Conception Et Conduite D'une Évaluation

Fonds structurels communautaires
valuer es programmes socio-conomiques
Conception etconduite d'une valuation
;ommission europenne
valuer les programmes socio-conomiques
Conception et conduite
d'une valuation
Volume 1
Commission europenne
MEANS est un programme de la Commission europenne.

Il vise amliorer les Mthodes d'Evaluation des Actions de Nature Structurelle.
Le programme et la Collection MEANS ont t lancs et superviss
par MM Philippe Goybet et Miguel Angel Benito Alonso
DG XVI/G2, Unit de Coordination de l'Evaluation
Coordination-evaluation@fmb. dg 16.cec.be
Sa ralisation a t confie au Centre Europen d'Expertise en Evaluation (C3E)
sous la direction d'Eric Monnier et de Jacques Toulemonde.
Les opinions exprimes dans cet ouvrage n'engagent que les auteurs du texte :
C3E - 13bis Place Jules Ferry - F-69006 Lyon - France - c3e@c3e.fr
De nombreuses autres informations sur l'Union europenne sont dispo

nibles sur Internet via le serveur Europa (http://europa.eu.int), et sur le
site Inforegio (http://inforegio.cec.eu.int).
Une fiche bibliographique figure la fin de l'ouvrage.
Luxembourg:
Office des publications officielles des Communauts europennes, 1999
ISBN 92-828-6627-0
Communauts europennes, 1999
Reproduction autorise, sauf des fins commerciales, moyennant men
tion de la source.
IMPRIM SUR PAPIER BLANCHI SANS CHLORE
Printed in Italy
Prface
Dvelopper des pratiques appropries en
matire d'valuation est devenue l'une
des actions prioritaires de la Commission
afin de contribuer la bonne utilisation
des financements communautaires.
En effet, le respect des principes de
bonne gestion financire qu'elle cherche
promouvoir dans son programme
SEM2000
(Sound
and
Efficient
Management) repose notamment sur la
ncessit de procder l'valuation
rgulire des actions communautaires.
Les Directions Gnrales en charge des
politiques structurelles possdent dans
ce domaine une certaine exprience, car elles ont d intgrer la dmarche
d'valuation ds 1988, tout au long du cycle des Interventions structurelles
communautaires : lors de leur conception sous la forme d'une valuation
prospective, lors de leur mise en uvre en tant que renforcement du sys
tme de suivi et, enfin, l'Issue de celles-ci afin de tirer les enseignements
des impacts obtenus.
Cependant, la capacit de l'valuation contribuer l'efficacit et la
transparence de ces actions doit s'appuyer sur la crdibilit des mthodes
qu'elle emploie afin qu'elles puissent garantir la validit des rsultats.
C'est pourquoi, l y a quatre ans, l'Initiative de la Direction Gnrale de la
Politique Rgionale et de la Cohsion (DG XVI), le programme MEANS a t
conu comme une rponse ce souci de dvelopper des mthodologies et
des pratiques d'valuation conciliant la rigueur scientifique et les spcifici
ts propres aux interventions communautaires, tout en demeurant volon
tairement accessibles au plus grand nombre.
L'un des rsultats les plus tangibles du programme MEANS est la publica
tion de cette collection de six ouvrages rdigs par un groupe d'experts
indpendants qui traitent des grands aspects de l'valuation des pro
grammes socio-conomiques dont un bref aperu est donn au dbut de
ce volume. Cette collection capitalise des expriences, des changes et
des Innovations mthodologiques dans le contexte des Fonds Structurels.
Elle permettra aux responsables de l'valuation de dvelopper leurs
pratiques de manire autonome et aux commanditaires de mieux matriser

cette dmarche.
Tmoin direct lors des grandes rencontres europennes entre spcialistes
et utilisateurs de l'valuation (Bruxelles 1995, Berlin 1996, Seville 1998) de
l'engouement que suscitent ces nouvelles techniques, il m'appartient d'In
sister sur le fait que le dveloppement de l'valuation doit aller de pair avec
la recherche d'une vritable insertion de ses rsultats dans les processus
dcisionnels afin de savoir si les politiques menes sont quitables, effi
caces et adaptes aux besoins.
En rpondant ces exigences, l'valuation apparat comme un moyen pri
vilgi offrant tant aux autorits nationales que communautaires, les garan
ties ncessaires pour que les fonds communautaires soient utiliss au
mieux des Intrts des citoyens de l'Union. Les enjeux de la Cohsion
Economique et Sociale ainsi que les dfis que reprsente le futur largisse
ment de l'Union europenne sont ce prix.
Je me dois enfin de remercier le Comit des Personnalits Indpendantes
constitu ds le lancement du programme qui par leur comptence et leur
renom ont grandement contribu asseoir la qualit et la pertinence
mthodologique du programme MEANS. Il s'agit de : E. Chellmsky (USA),
ex-Prsidente de l'American Evaluation Association ; K. Kennedy (IRL),
Directeur de l'Economic and Social Research Institute (ESRI) ; J. R.
Cuadrado Roura (E), Prsident de l'European Regional Science
Association ; C. Seibel (F), Directeur des Statistiques dmographiques et
sociales de l'Institut National de la Statistique et des Etudes Economiques
(INSEE) ; L. Senn (I), Directeur du Dpartement d'Economie Rgionale de
l'Universit Bocconi ; E. Stern (UK), Directeur de l'unit d'valuation du
Tavistock Institute ; A. Sorber (t) (NL), Chef du Policy Analysis Department
of the Minister/ of Finance ; L. I. Strom (SV), Statens Institut fr
Regionalforsking (SIR) ; L Tsoukalis (GR), professeur l'Universit
d'Athnes ; H. Wollmann (D), professeur l'Universit de Humboldt Berlin
et membre fondateur de la European Evaluation Society.
E. Landaburu
Table des matires

La Collection MEANS
Prsentation du Volume 1
11
Les enjeux de l'valuation dans le cadre des Fonds structurels
15
La valeur ajoute de l'valuation
17
La spcificit des programmes et de leurs valuations
27
Le dveloppement des pratiques dans le cadre

des Fonds structurels europens
35
II Prparer l'valuation et dfinir son contenu

Dfinir le cadre gnral de l'valuation projete
Dcider le lancement de l'valuation
Passer commande de l'valuation
III Raliser l'valuation d'ensemble
49
51
67
79
89
Analyser la logique et le contenu du programme

Evaluer les Impacts de l'ensemble du programme
91
115
Analyser les impacts macroconomiques
145
Raliser des analyses plus approfondies
157
IV Utiliser l'valuation
171
Optimiser l'utilisation de l'valuation
173
Apprcier la qualit d'une valuation
181
V Assurer la russite d'une valuation
195
Mieux prparer l'valuation
197
Ouvrir l'valuation des partenaires plus nombreux
203
Consolider les techniques d'valuation
211
Annexes
217
Annexe 1 - Processus d'valuation ex ante, mi-parcours

et ex post
219
Annexe 2 - Guide pour la prparation d'un cahier des charges
225
Annexe 3 - Rfrences bibliographiques
231
La Collection MEANS
La Commission europenne a investi pendant plusieurs
annes dans des actions de recherche, de
dveloppement, de formation et de communication, en
vue d'amliorer la qualit et l'utilit des valuations
ralises dans le cadre de la Politique de cohsion
conomique et sociale. Ces travaux ont pris place dans
un programme d'ensemble Intitul MEANS, Mthodes
d'Evaluation des Actions de Nature Structurelle, et initi
par la Direction Gnrale XVI (Politique rgionale et
cohsion). Ce programme se justifie par l'enjeu que
reprsente l'valuation dans un domaine qui reprsente
un tiers du budget de l'Union. L'objectif gnral du
programme est de constituer un ensemble cohrent de
mthodes pour traiter de faon efficace les problmes
d'valuation rencontrs dans le domaine des
interventions des Fonds structurels.
Les productions du programme MEANS constituent une
somme d'expriences, de rflexions et d'innovations
mthodologiques qui ont jusqu' prsent fait l'objet de sept
cahiers qui prfigurent la prsente Collection. En outre, ont
t raliss des bulletins trimestriels, des notes
mthodologiques, des sminaires de formation et trois
confrences europennes (la dernire, Seville, a runi prs
de 600 praticiens de l'valuation des programmes des Fonds
structurels). Les travaux ont cherch tirer le meilleur parti
des expriences existantes et des innovations rcemment
apparues, notamment dans les domaines suivants : mesure
des effets sur l'emploi, dveloppement des systmes
d'indicateurs, valuation des effets macroconomiques.
L'valuation a fait l'objet de nombreuses journes de
formation et de sensibilisation au sein de la Commission
dans le secteur des Fonds structurels.
Grce aux valuations Inities au niveau europen, et la
capitalisation de ces expriences, les acquis sont
maintenant suffisamment substantiels pour nourrir une
Conception et conduite d'une valuation
publication complte et accessible un large public :

une collection d'ouvrages traitant tous les aspects de
l'valuation dans le cadre des politiques structurelles et
tirant le meilleur parti possible des textes dj produits
dans le cadre du programme MEANS, remanis et
complts pour garantir leur cohrence.
Le parti a t pris de concevoir la Collection sans faire
trop
directement
rfrence
aux
dispositions
rglementaires qui rgissent la politique europenne de
cohsion pour la priode 1994-1999. En effet,
l'exprience a montr que le cadre rglementaire change
priodiquement alors que les problmes techniques et
les standards professionnels ont une plus grande
permanence. Aussi, en vue d'accrotre la longvit de la
Collection, il a t intentionnellement choisi de la faire
porter sur les programmes de dveloppement socioconomique . Ce terme, considr au sens large,
s'applique aussi bien aux interventions finances dans le
cadre de la politique europenne de cohsion, qu' toute
autre intervention ayant les mmes caractristiques
essentielles, savoir : une finalit globale de
dveloppement, des objectifs multiples, une dimension
partenariale et un contenu multisectoriel. De fait,
l'valuation de tels programmes requiert des mthodes
spciales que l'on ne peut pas trouver de faon simple et
exhaustive dans la littrature existante. C'est la
justification principale de la Collection MEANS.
U n e aide pour ceux qui pilotent

ou ralisent les valuations
La Collection s'adresse deux types de lecteurs : ceux
qui sont concerns par le pilotage des valuations, d'une
part, et par leur ralisation, d'autre part. Les lecteurs de
la premire catgorie, participent l'ensemble du
processus d'valuation, y compris aux dcisions qui
interviennent en amont et en aval de la ralisation du
travail. Ce sont principalement les fonctionnaires
La collection MEANS
europens (rapporteurs des units gographiques de la

Commission), nationaux et locaux chargs de la gestion
des programmes financs par l'Union europenne. La
Collection doit leur permettre, en particulier lorsqu'il
s'agit de fonctionnaires et agents peu forms en ce
domaine, de disposer d'un recueil complet de l'tat de
l'art, en vue d'assurer pleinement leurs missions.
Toutefois, les travaux du programme MEANS ont permis
des avances mthodologiques d'ordre plus gnral qui
devraient intresser les personnes responsables de
commandes d'valuations dans d'autres domaines.
La seconde catgorie de lecteurs laquelle cette
collection est destine comprend les quipes charges
des travaux d'valuation proprement dits : centres de
recherche publics, laboratoires universitaires, socits
de conseil prives, consultants indpendants, et units
d'valuation internes l'administration.
Par ailleurs, cette srie d'ouvrages est susceptible
d'intresser les enseignants et les tudiants dans les
programmes
acadmiques
traitant
d'conomie
rgionale, de politiques conomiques, de politiques de
l'emploi, de management public, etc.
Cet ouvrage n'a cependant pas une vocation acadmique.
En particulier, la bibliographie est limite quelques textes
de rfrence et ne prtend pas l'exhaustlvit.
Tour d'horizon d e l'valuation e n six V o l u m e s
La Collection complte comprend six Volumes conus
pour tre complmentaires et fournir les lments indis
pensables pour qu'un professionnel puisse perfectionner
sa pratique de faon autonome. En outre, chaque
ouvrage a t construit de telle manire qu'il puisse tre
lu et compris indpendamment des autres Volumes de la
Collection. Outre le prsent ouvrage, la Collection est
organise selon la structure suivante :
Le deuxime Volume traite du choix et de l'utilisation
des indicateurs pour le suivi et l'valuation. Il montre
comment les indicateurs peuvent tre utiliss pour

appuyer des dcisions politiques, pour renforcer la
gestion et pour mesurer la performance globale des
programmes.
L'ouvrage
propose
un
cadre
mthodologique, de nombreux exemples d'indicateurs,
et un guide pour l'apprciation de la qualit des
indicateurs. Il vise faire progresser les pratiques en
termes de quantification des indicateurs et de
comparaisons entre programmes.
Le troisime Volume prsente les principales techniques
et outils d'valuation adapts aux programmes socioconomiques. Ces outils sont issus de six ou sept
disciplines scientifiques diffrentes: conomie, sociolo
gie, science politique, management, gographie, etc.
C'est en quelque sorte une encyclopdie technique
prsente sous forme de fiches dont chacune comprend
la description gnrale d'un outil, les principes de sa
mise en uvre, une liste de ses points forts et faibles, un
exemple d'application et une bibliographie des ouvrages
de rfrence. En plus de donner un aperu des
possibilits d'utilisation de chacun des outils pris de
faon isole, le document inclut un guide pour le choix
des outils et pour leur combinaison en fonction des
questions poses et du contexte. Un tel ouvrage
caractre multidisciplinaire n'a pas d'quivalent dans la
littrature existante et sera srement un des apports les
plus originaux de cette Collection.
Plusieurs solutions techniques pour valuer dans un
cadre de partenariat, font l'objet d'un quatrime Volume.
Cet ouvrage est rendu ncessaire par le fait que les
programmes de dveloppement socio-conomique,
constituent des objets d'valuation
Inhabituels.
Premirement, ils impliquent toujours plusieurs autorits
publiques dans le cadre d'un accord partenarlal qui
n'empche pas l'existence de points de vue lgitimement
diffrents. Leurs objectifs sont gnralement nombreux et
pas toujours suffisamment clairs et cohrents pour
fonder l'valuation. Deuximement, les programmes
La collection MEANS
interviennent dans de multiples secteurs, ce qui multiplie

le travail d'observation et d'analyse dans des proportions
considrables, et qui pose des problmes au moment de
rdiger une synthse de faon transversale aux multiples
composantes du programme. Enfin, chaque autorit
publique devant rendre des comptes ses
administrs , chaque niveau de collectivit introduit dans
l'valuation ses propres critres et priorits qu'il faut
prendre en compte. On ne trouve pas dans les manuels
d'valuation existants une solution complte ces
problmes. Grce plusieurs valuations pilotes, le
programme MEANS a test et mis au point quatre
techniques qui peuvent tre runies pour former une
solution mthodologique complte. Le Volume dcrit le
mode d'emploi de ces quatre techniques : la cartographie
conceptuelle des impacts, la matrice des impacts croiss,
l'chelle de notation et l'analyse multlcritre.
Le cinquime Volume traite de l'valuation transversale
des impacts sur l'environnement, l'emploi et autres
priorits d'intervention. En effet, l'valuation des
programmes financs par les Fonds structurels ne peut
pas se limiter l'examen de leur seul impact global. Elle
se doit d'analyser galement la prise en compte d'une
srie de priorits europennes aussi diverses que
l'emploi, le maintien de l'emploi, l'galit des chances
entre les femmes et les hommes, l'environnement, la
comptitivit des PME, etc. Ces priorits, ou thmes
prioritaires, sont souvent rappeles dans les documents
oprationnels sans toutefois faire l'objet d'une
Intgration vritable (mainstreaming). Il est admis que
l'valuation de tels impacts transversaux, appele
valuation thmatique, est difficile raliser et que les
difficults sont accrues lorsque ces impacts sont indi
rects. Cet ouvrage fournit un cadre mthodologique
pour aider identifier les impacts potentiels d'un
programme, les prendre en compte y compris pour les
mesures qui n'y font pas rfrence, et identifier et
dfinir des indicateurs appropris pour suivre et
analyser empiriquement leur ralit auprs des publics
concerns. Il offre les lments ncessaires
l'analyse et au choix de meilleures solutions

mthodologiques adaptes aux valuations thmatiques.
Enfin, le dernier Volume vient clore la Collection avec un
Glossaire des concepts et termes techniques. La
rdaction de la Collection a impos un travail trs
rigoureux d'homognisation et de dfinition des termes
employs et la constitution d'un index spcifique
chaque Volume. Le glossaire rcapitule plusieurs
centaines de termes tirs des diffrents index et propose
des dfinitions, traductions et illustrations. Il rpond un
rel besoin en ce sens que la bonne qualit d'une
valuation dpend en partie de la qualit de la
communication entre les partenaires Impliqus dans la
commande, d'une part, et entre le commanditaire et
l'quipe d'valuation, d'autre part. Dans le cas de la
politique europenne de cohsion conomique et
sociale, l'interaction est rendue difficile parce que
l'valuation est conduite dans un contexte international
et intersectoriel impliquant des personnes qui ne
partagent ni la mme langue maternelle, ni les mmes
rfrences
professionnelles.
Par
ailleurs,
le
dveloppement rcent de l'valuation fait qu'un grand
nombre d'acteurs n'ont pas la connaissance du
vocabulaire standard de l'valuation, lequel n'est
d'ailleurs pas toujours stabilis. Il en rsulte des
difficults de communication qui peuvent compromettre
gravement la qualit et l'utilit des travaux d'valuation.
Ce Volume couvre, de faon gnrale, tous les thmes
abords dans le reste de la Collection. Dans les
situations frquentes o plusieurs dfinitions coexistent
la Commission et/ou dans la communaut scientifique,
il fait un choix unique et clair tout en mentionnant les
principales dfinitions concurrentes en vigueur dans
d'autres contextes sectoriels ou nationaux.
Ce premier Volume de la Collection MEANS sert entrer la fois dans
la Collection et dans le domaine de l'valuation des programmes socio
conomiques. En plus des questions traditionnellement traites dans les
guides d'valuation actuellement disponibles {General Accounting Office,
1991 ; Commission Europenne, 1997 ; Conseil Scientifique de
l'Evaluation, 1994 ; bibliographie en annexe 3), il prsente et traite de faon
oprationnelle les questions spcifiques aux programmes socio
conomiques telles que l'interaction entre les diffrents niveaux de gestion
(projet, programme, politique), le partenariat entre plusieurs niveaux de
gouvernement ou encore, l'valuation d'ensemble des programmes
complexes et les analyses plus approfondies d'actions ou de thmes
spcifiques.
Cet ouvrage doit permettre au lecteur de dcouvrir et de comprendre les
enjeux et la valeur ajoute de l'valuation tout en lui indiquant ce qu'il peut
ou ne peut pas attendre d'une valuation un moment et dans un contexte
donns. Il apporte les lments ncessaires au pilotage d'une valuation de
A : rpartir les responsabilits de l'valuation, dfinir sa finalit et les
grandes lignes de sa mthode, fixer son calendrier et son budget, apprcier
la qualit des travaux et enfin grer l'utilisation de ses conclusions. Il est
applicable de faon gnrale aux valuations qui Interviennent avant,
pendant ou aprs un programme, autrement dit aussi bien pour l'analyse
prospective des effets attendus, des besoins et de la stratgie que pour
l'analyse rtrospective des impacts observables sur le terrain. Les modles
d'organisation proposs ont une porte gnrale et leur ambition ne se
limite pas aux schmas organisationnels actuels qui sont amens voluer
dans le cadre de la nouvelle gnration de programmes aprs 1999.
On notera que ce premier Volume a un rle d'introduction gnrale
l'valuation des programmes de dveloppement socioconomiques. Il fait
la synthse de l'ensemble de la srie et il est destin un public moins
spcialis que les Volumes suivants, plus techniques et destins un
public plus averti.
Ce Volume a t construit de faon ce que le lecteur puisse en
apprhender le contenu en fonction de ses intrts propres. Les encadrs
cidessous proposent plusieurs modes de lecture permettant d'aller
rapidement l'essentiel.
Encadr 1 -
Pour ceux qui veulent mieux connatre l'valuation

en allant rapidement l'essentiel
Pour une vue d'ensemble rapide :

>
Parcourir les messages qui sont placs en italique en tte des

chapitres et qui rsument brivement les points cls de l'ouvrage commencer page 17
Pour le lecteur qui connat peu les interventions

europennes :
>
structurelles
Lire attentivement la premire Partie Les enjeux de l'valuation

dans le cadre des Fonds structurels
Pour le lecteur qui doit passer commande d'une valuation :

>
Passer directement la Partie II Prparer l'valuation et dfinir son

contenu
Pour ceux qui conoivent, ralisent ou surveillent des travaux de collecte

et d'analyse de donnes :
>
Lire plus particulirement

d'ensemble
la Partie III Raliser
l'valuation
Pour le lecteur qui dsire tirer le meilleur parti possible d'une valuation :
>
Des conseils et recommandations sont prsents aux Parties II et IV
Pour rflchir au perfectionnement des pratiques d'valuation :

>
Voir les suggestions et recommandations faites en conclusions du

Volume la Partie V
Encadr 2 -
Pour ceux qui doivent concevoir et raliser

une valuation
Evaluation ex ante :
>
Consulter l'annexe 1 - Processus d'valuation - colonne ex ante
>
Suivre les symboles

paragraphes
- ^ placs
en dbut
de section
ou de
Evaluation mi-parcours :
>-
Consulter l'annexe 1 - Processus d'valuation - colonne miparcours
>
Suivre les symboles

paragraphes
M placs
en dbut de section
ou de
Evaluation ex post :
>
Consulter l'annexe 1 - Processus d'valuation - colonne ex post
>
Suivre les symboles

paragraphes
placs
en dbut
de section
ou de
I
Les enjeux de l'valuation dans le cadre
des Fonds structurels
La valeur ajoute de l'valuation

Evaluer une Intervention publique, c'est juger de sa valeur au regard de
critres explicites et sur la base d'Informations spcialement rassembles
et analyses. Au-del de cette dfinition gnrale et forcment abstraite,
la pratique de l'valuation s'est dveloppe dans les pays de l'Union
europenne selon plusieurs conceptions : l'valuation manageriale qui
vise amliorer la gestion, l'valuation dmocratique utilise pour rendre
des comptes aux citoyens et l'valuation pluraliste qui cherche trouver
des accords entre les partenaires de l'action publique. On retrouve ces
trois conceptions dans l'exprience d'valuation des politiques de l'Union
europenne, avec une prdominance de l'une ou de l'autre selon qu'il
s'agit d'une valuation ex ante, ex post ou mi-parcours.
U n e d m a r c h e rcente, propre au secteur public
On value pour vrifier la raison d'tre d'une intervention publique, pour
identifier les russites reproductibles ou les checs ne pas renouveler,
pour rendre des comptes aux citoyens. Les organisations du secteur priv
n'ont pas vritablement se soucier de justifier leurs actions ou d'en ren
dre compte car elles sont juges par le march. Evaluer est par contre une
ncessit pour les organisations du secteur public.
Origines de l'valuation
L'valuation est en relation avec l'analyse des actions publiques et plus
gnralement avec les sciences sociales. Elle utilise de faon
systmatique les mthodes de l'conomie et de la sociologie, mais aussi
de la psychologie sociale, de la gographie conomique, de
l'anthropologie, etc. Elle s'est dveloppe, en tant qu'instrument de
connaissance, en mme temps qu'est apparue la collecte rgulire des
donnes socio-dmographiques et conomiques (tat civil, recensement,
etc.). Par contre, l'valuation des programmes, en tant qu'aide au
processus dcisionnel, est plus rcente. Elle apparat dans les annes
1950, alors qu'intervient aux USA une remise en cause de l'efficacit de
l'administration et de sa neutralit. Elle fait alors partie des efforts dploys
en vue de rationaliser la planification et l'affectation des ressources. C'est
la naissance du systme de PPBS (Planning, Programming, Budgeting
System) et sa diffusion dans la plupart des pays europens (Voir Rist, 1990,
pour une analyse de l'valuation dans sa perspective historique).
Des valuations commencent tre menes sur une vaste chelle aux USA
partir des annes 60. Elles portent principalement sur les innovations
dans les domaines de l'ducation, des services sociaux, de l'hygine
publique et de la prvention du crime. De nombreux programmes sociaux
deviennent pour la communaut scientifique amricaine de vritables
laboratoires exprimentaux dont on attend un accroissement des
connaissances et une amlioration de l'action des pouvoirs publics. Mais
ds les annes 70, les responsables administratifs prennent conscience du
caractre contraignant et factice de l'approche de type "exprimentation
sociale et de la norme du PPBS.
L'valuation a ensuite t davantage perue comme un moyen de grer les
ncessaires restrictions budgtaires. Ainsi en est-il en Grande-Bretagne, o le
dveloppement de l'valuation est li au souci de limiter les dpenses
publiques qui a accompagn la rforme du service public dans les annes 80.
L'valuation fait dsormais partie d'une nouvelle conception de la gestion
publique, plus dcentralise et plus responsable. Elle est le reflet d'un
certain nombre de proccupations qui peuvent tre dclines selon trois
axes principaux. En premier lieu, on trouve le besoin d'estimer le plus
objectivement possible les effets des politiques ou des programmes sur la
socit et de comprendre les logiques de leur fonctionnement (vise
cognitive). En deuxime Heu, il y a le souci d'aider les commanditaires poli
tiques et toutes les parties prenantes porter un jugement sur la valeur
desdits programmes (vise normative). Enfin, en troisime lieu, il y a la
ncessit de contribuer pratiquement l'amlioration des programmes en
clairant leurs diffrents protagonistes sur le sens, les conditions et les
consquences de leurs actions et dcisions (vise instrumentale).
L'valuation rassemble les informations existantes en un tout cohrent et,
le cas chant, elle en produit de nouvelles afin d'accrotre la connaissance
des responsables sur les ralits sociales et conomiques dans lesquelles
s'inscrivent les interventions publiques. En outre, l'valuation est un
instrument au service des dcisions stratgiques et oprationnelles : son
utilit pratique peut se dfinir comme une mise en relation des objectifs,
des moyens, des rsultats et des effets des interventions en vue amliorer
l'efficacit du programme et son efficience. Enfin, l'valuation introduit la
notion de valeur, et a fortiori de jugement de valeur, dans les pratiques
administratives. Cette dimension que l'on peut qualifier de politique fait
toute l'originalit de l'valuation et suppose l'mergence d'une nouvelle
profession part entire, distincte par exemple de celles de la recherche et
de l'tude.
Ncessit pour le secteur public

Pour mieux comprendre la ncessit de l'valuation dans le secteur public,
et notamment dans la phase ex post lorsqu'elle cherche mesurer les
impacts d'une activit publique, on peut faire un parallle avec le rle du
march pour une entreprise prive qui propose des produits et des
services ses clients. En dcidant d'acheter ces produits ou de s'adresser
un concurrent, chaque client intgre tous les avantages, les cots et les
inconvnients que son achat va lui apporter court et long terme. Les
comportements d'achat des clients sont autant de signaux qui dictent
l'entreprise ce qu'elle doit et ne doit pas faire. Finalement, l'entreprise n'a
pas besoin de justifier son existence. Elle survit si elle est financirement
viable, c'est dire si elle a des effets utiles pour ses clients.
Par analogie avec l'entreprise prive, une organisation publique produit
galement des quipements ou des services. Elle propose ses services (ou
quelquefois les impose), non pas des clients, mais des destinataires,
des usagers, des assujettis. Si les personnes qui participent une action
publique en sont satisfaites, cela ne suffit gnralement pas pour dire que
l'action est russie. Au contraire, les gestionnaires publics cherchent souvent
produire des effets lointains et globaux, par exemple le dveloppement
socioconomique durable, qui ne sont pas synonymes de satisfaction des
destinataires. L'valuation permet de connatre et de juger l'ensemble des
effets d'une action publique prcise, effets directs et indirects, effets positifs
et ngatifs. La sanction lectorale est certes un signal Important pour tout
gouvernement, mais son inconvnient majeur est le caractre non
discriminant du jugement qui est ainsi exprim. Seule la dmocratie directe
telle qu'elle est pratique par les citoyens helvtiques permet, dans une
certaine mesure, l'expression d'un jugement intervention par Intervention
(l'valuation n'en est pas moins dveloppe en Suisse !). Les dmocraties
reprsentes au sein de l'Union europenne sont plutt de type indirecte ;
l'valuation joue donc un rle crucial, la fois comme signal pour montrer ce
qu'il convient de faire et de ne pas faire, et comme instrument capable de
justifier l'existence de l'action publique aux yeux des citoyens.
Les d v e l o p p e m e n t s d e l'valuation en Europe

Diffrentes conceptions dans les pays europens
Le dveloppement europen de l'valuation a commenc dans les pays du
Nord (RoyaumeUni Sude, Danemark, PaysBas) o elle est maintenant
bien diffuse au sein des administrations. Tous les pays europens sont
maintenant concerns, avec des adaptations nationales lies des
attitudes culturelles diffrentes l'gard du rle du gouvernement et un
rapport diffrent entre les pouvoirs lgislatif et excutif.
Les orientations prises au sein des pays europens peuvent tre classes
dans trois grandes catgories. Aux deux orientations traditionnelles que
l'on peut qualifier de manageriale et dmocratique , s'est ajoute
une troisime que l'on nommera pluraliste . Ces trois orientations, ou
encore conceptions, sont diffrentes sans tre exclusives les unes des
autres. L'encadr ci-dessous les dcrit succinctement en montrant
l'ensemble des principes et des prconisations qui les caractrisent
respectivement (Duran, 1992).
Encadr 3 - Trois conceptions de l'valuation

Manageriale
Dmocratique
Pluraliste
Projet
global
Optimisation
des ressources
publiques
Impliquer
les citoyens
et leur rendre
des comptes
Rsolution
collective
des problmes
Dontologie
Evaluateurs
indpendants
(experts)
Jugement par
des reprsentants
lus
Jugement par
les protagonistes
de l'action
Standards
Objectivit
Publicit de
la dmarche
Impartialit
La problmatique gnrale qui sous-tend l'valuation manageriale est de

faire face la limitation des recettes publiques. La question sous-jacente
peut se formuler ainsi : comment justifier les arbitrages entre les diffrentes
politiques sectorielles ? La dmarche ici privilgie est celle, Interne
l'administration, d' optimisation des moyens budgtaires existants.
La dimension politique de l'acte d'valuation est passe sous silence.
L'valuateur , selon la terminologie officielle, est avant tout un
mthodologue dont la scientificlt fonde la lgitimit. La dontologie est
base sur deux principes : l'indpendance de l'valuateur et l'objectivit
de la mthode. La rfrence la rigueur scientifique constitue en quelque
sorte le gage de l'indpendance de l'valuation l'gard du politique.
Exemple : Le Value for Money britannique

Au cours des annes 80, de multiples fonctions de l'administration britannique ont
t privatises ou dlgues des agences semi-indpendantes. Paralllement, tant
au niveau de l'administration centrale qu' celui des citoyens, les exigences
d'efficacit de ces services se faisaient croissantes. Cette tendance apparaissait
encore plus vidente dans le cadre du dveloppement, au cours de cette priode,
d'une culture manageriale au sein de l'administration fonde sur des valuations de
type Value For Money et la diffusion d'orientations techniques sur le mode
d'valuation de ce principe dans le "Green Book" du Ministre des Finances.
La deuxime conception dmocratique , manifeste la prise de
conscience de la crise des systmes traditionnels de reprsentation
(dsaffection des partis politiques, syndicats, etc.). Dans cette conception,
les pouvoirs publics se doivent d'tre pleinement responsables
[accountable) de leur action vis--vis des citoyens. L'accent est donc mis
sur la ncessit pour l'valuation de renforcer les contre-pouvoirs vis--vis
de l'administration et plus gnralement de l'excutif, accus de
monopoliser l'expertise.
L'valuation, dfinie comme un jugement port sur la valeur des
politiques publiques doit nourrir le dbat dmocratique. Il est
recommand que ces valuations soient diriges par des instances
d'valuation comprenant des personnalits dmocratiquement lues. Les
professionnels de l'valuation sont au service de tels comits sur les
aspects techniques uniquement. Le processus doit tre rendu public afin
de s'assurer de son caractre dmocratique. D'une manire gnrale, on
observe que ce modle tend se dvelopper, en particulier dans le cadre
de la modernisation des pratiques lgislatives ou politiques qui privilgie
aujourd'hui la notion de lois d'orientation et de sunset legislation,
autrement dit de lois vise prospective et qui doivent faire l'objet d'un
vote de confirmation au vu des rsultats obtenus l'issue des premires
annes de mise en uvre.
Le dernier type d'valuation est dsign sous le nom d'valuation pluraliste
ou d'valuation participative, ou encore dans la littrature amricaine de
stakeholder evaluation. Cette approche essaie de trouver un compromis
entre les ncessits techniques qui justifient la premire conception et les
exigences politiques qui inspirent la deuxime.
Exemple : Les confrences de consensus au Danemark

Parmi les expriences dmocratiques, une pratique danoise fait rfrence. Les
Confrences Publiques de Consensus >> font partie du paysage politique depuis
plus de dix ans. Le Danish Board of Technology fait appel des citoyens ordinaires
afin de s'exprimer et dbattre, avec des experts et reprsentants des divers intrts
en cause, sur des sujets technologiques particulirement controverss (par exemple,
les manipulations gntiques sur des animaux, les tests susceptibles d'tre
pratiqus lors d'embauch au sein des entreprises ou de la signature de contrats
d'assurance.) Ces confrences, tales sur trois week-ends, permettent aux citoyens
de s'exprimer et dialoguer avec des experts. Les rapports qui sont ainsi produits
visent clairer l'opinion publique et faciliter le dbat dmocratique. Sans se
substituer la dcision politique, elles jettent les bases du dbat entre excutif et l
gislatif et s'intgrent dans le processus de dcision.
Dans cette conception, l'valuation fait partie d'un processus collectif de
rsolution de problmes. Sur la base d'informations fiables et acceptes
par tous, les jugements de valeur sont formuls en recherchant
un
consensus au sein d'une Instance pluraliste d'valuation qui c o m p r e n d des

responsables politiques et administratifs, ainsi que des porte-parole des
publics concerns.
Exemple : Des instances pluralistes pour valuer

En France, des instances d'valuation ad hoc sont frquemment constitues pour
diriger les travaux d'valuation. Ainsi, dans le cadre de l'valuation nationale de la
prvention des risques naturels, l'instance d'valuation comprenait des acteurs
d'origines diverses : ministres, autorits locales, agences publiques, associations...
Dans le cadre de politiques cofinances par l'Etat et les rgions, le pilotage de
certaines valuations est assur par des responsables politiques et administratifs
des deux niveaux, en association avec des reprsentants des publics concerns.
On peut faire un rapprochement entre les diffrentes conceptions nonces
ci-dessus et les quatre gnrations proposes par les ouvrages publis
aux Etats-Unis qui font rfrence aux diffrentes phases de dveloppement
des pratiques dans ce pays depuis les annes 50. Les valuations dites de
premire gnration se sont concentres sur la description des effets
produits dans la socit par les interventions publiques. La seconde
gnration s'est ensuite intresse l'analyse des relations de causalit et
l'attribution des effets aux interventions. La troisime gnration a
c o m m e n c vrifier systmatiquement l'atteinte des objectifs viss, ce qui
la rend peu diffrente de l'valuation manageriale dcrite plus haut. Enfin,
les valuations dites de quatrime gnration se sont dveloppes sur le

mode pluraliste autrement dit en associant les diffrents protagonistes la
dmarche evaluative (Guba, Lincoln 1989).
Dmarches d'valuation au sein de la Commission
Les dbuts de l'valuation la Commission europenne remontent aux
annes 80 dans le domaine de la recherche, d'une part, et de l'aide aux
pays en dveloppement, d'autre part. La politique europenne de la
science et de la technologie est fonde, depuis le dbut des annes 80, sur
un systme de programmation pluriannuelle et l'valuation a rapidement
t intgre dans la gestion de ces programmes. Un programme spcifique
a d'ailleurs t mis en place (Monitor, 1989-1992) afin d'amliorer les
mthodes et indicateurs dans le domaine de l'valuation de la recherche.
L'valuation dans le domaine de l'aide aux pays en dveloppement connat
galement un essor significatif dans les annes 80. L'approche
communment utilise est celle du Project Cycle Management. Elle est en
partie reprise dans cet ouvrage (voir page 158). Les pratiques se sont
ensuite tendues d'autres domaines, notamment celui des Fonds
structurels, avec la mise en place en 1988 d'une rglementation prcise sur
le suivi et l'valuation des programmes.
En 1991, un peu plus de la moiti des Directions Gnrales disposaient
d'une unit d'valuation. Ce dveloppement ingal peut s'expliquer par la
gense des politiques europennes. Certaines politiques disposent d'une
lgitimit a priori, autrement dit reconnue par les Traits comme de
comptence exclusive des institutions europennes, par exemple la
politique du commerce extrieur, celle de la concurrence, celle des marchs
agricoles, etc. Ces politiques ont t peu values jusqu' une date rcente.
Les quelques valuations existantes ont pour particularit d'tre ralises en
interne. Ainsi, par exemple, dans le cas de la politique de la concurrence, les
valuations ont longtemps t faites par les fonctionnaires europens qui
s'appuyaient sur la consultation des industriels concerns et des rencontres
informelles avec les administrations nationales. La Commission, forte des
textes juridiques qui dfinissent ses comptences dans ces domaines, peut
conduire elle-mme ses valuations.
Par contre, dans d'autres domaines, la lgitimit des interventions
europennes s'est construite progressivement au fil des annes. Il s'agit de
politiques qui sont traditionnellement de comptence nationale telles que la
recherche scientifique, la protection des consommateurs, les rseaux de
transports, etc. Malgr la reconnaissance croissante des initiatives

europennes, ces politiques restent sujettes justification. Les
interventions sont reconnues comme ncessaires sous rserve que la
Commission fasse la preuve des avantages retirs de la conduite du
programme l'chelon communautaire . Pour ce faire, elle passe
commande de nombreuses valuations. Ainsi, les valuations des
programmes de recherche s'efforcent de lgitimer la politique europenne,
en particulier vis--vis des Etats membres, en s'appuyant sur des comits
d'experts rputs indpendants et recruts dans les diffrents pays.
Dans le domaine de la politique de cohsion, l'valuation a pris naissance
en 1988 et s'est dveloppe un rythme trs soutenu. Les valuations sont
parfois proches de la conception pluraliste dcrite plus haut dans la mesure
o certaines d'entre elles associent des responsables administratifs
europens, nationaux et rgionaux, ainsi que des partenaires socioconomiques, sans pour autant carter les autres conceptions de
l'valuation. En outre, la Commission ralise de sa propre initiative
(commande unilatrale) des valuations thmatiques ou des valuations de
programmes transversales plusieurs pays. On trouvera dans la partie I de
ce Volume, une analyse dtaille des pratiques d'valuation des
programmes des Fonds structurels.
Enfin, la Commission a lanc en 1995 un programme qui vise amliorer sa
gestion financire : Sound and Efficient Management - SEM 2000 . Ce
programme gnralise l'valuation toutes les politiques ayant une incidence
budgtaire. Il institutionnalise l'utilisation de l'valuation selon le modle
managerial, comme lment cl de l'amlioration de la gestion au sein de la
Commission. Les Directions Gnrales sont invites tablir des programmes
continus d'valuation et crer des units d'valuation. Des mcanismes de
soutien ont galement t mis en place (rseau des services d'valuation,
manuels, actions de formation, base de donnes des valuations ralises et
projets pilotes). Tout renouvellement de programme pluriannuel est dsormais
conditionn par l'valuation de ses rsultats antrieurs.
Trois bonnes raisons d'valuer

Vrifier que l'action publique rpond des besoins non couverts
ou insuffisamment satisfaits
Une des finalits de l'valuation est de vrifier la raison d'tre de l'action
publique. En effet, une intervention publique ne se justifie que si elle est
Les enjeux de l'valuation dans le cadr des Fonds structurels
destine satisfaire des besoins ou rsoudre des problmes socioconomiques. L'valuation sert clarifier ces besoins ou vrifier
l'existence relle de ces problmes surtout si elle est ex ante, mals aussi
lorsqu'elle est ex post pour vrifier si les besoins ou problmes continuent
d'exister.
De plus, il est Impratif de statuer sur l'opportunit de l'intervention
publique en tant que telle. Un programme public ne se justifie que si les
besoins ne peuvent tre satisfaits ni par l'initiative prive, ni par d'autres
initiatives publiques dj mises en place. Ainsi, le caractre insuffisant ou
dfaillant de l'initiative prive constitue la justification premire de
l'intervention publique en vertu du principe de subsidlarit, dans la
dfinition originelle du terme qui veut que l'autorit publique agisse
seulement quand le secteur priv est dfaillant.
Pour ce qui concerne plus particulirement les institutions europennes, ce
concept de subsidiante prend un sens supplmentaire dans la mesure o
la lgitimit de l'Union europenne doit galement se justifier par rapport
aux souverainets nationales. Le Trait de Maastricht raffirme l'importance
du respect de la subsidiarit par rapport l'chelon national : la
Communaut agit dans la mesure o un objectif peut tre mieux ralis au
niveau europen qu'au niveau des Etats membres pris isolment .
Amliorer les interventions
Grce l'observation de la ralit des rsultats et des impacts, l'exercice
d'valuation permet une rtroaction sur les actions en cours. Certaines
leons tires de l'exprience dbouchent sur des propositions
d'amliorations dans la mise en uvre sans ncessairement changer les
hypothses de dpart. Par exemple, on diminuera la dotation budgtaire
des actions qui russissent le moins bien. Il s'agit alors d'une rtroaction
directe ou d'un apprentissage simple (dit en simple boucle ).
L'valuation peut galement proposer des rorientations d'ordre
stratgique, par exemple en rorganisant la mise en uvre des actions
pour qu'elles russissent mieux. L'valuation exerce alors une rtroaction
indirecte ou un apprentissage en double boucle dans la mesure o elle
remet en cause la logique de l'Intervention.
Cette finalit de l'valuation relve de ce qu'il est convenu d'appeler l'apport
instrumental, autrement dit, d'une aide concrte en termes de solutions aux
difficults rencontres ou d'adaptation un environnement instable. Sa
fonction est qualifie d'endoformative dans le sens o elle a comme vertu

d'apporter tous les lments ncessaires aux responsables oprationnels
pour l'amlioration du programme : rpartition plus rationnelle des
ressources humaines et financires, amlioration de la gestion des services
chargs de les mettre en uvre, etc. Le but est d'analyser les facteurs de
succs ou d'chec afin d'aider les gestionnaires corriger les modalits
d'intervention et de mise en uvre du programme.
Rendre des comptes
La troisime finalit de l'valuation, consiste rendre compte aux
responsables politiques et aux citoyens des rsultats obtenus et du bon
emploi des ressources affectes. Cette finalit est dsigne par les termes
de
responsabilit
ou
redevabilit,
quelquefois
d'imputabilit
{accountability).
Les devoirs des autorits publiques en la matire sont la contrepartie du
droit de lever l'impt et du pouvoir de coercition. L'valuation prend alors
toute sa dimension politique dans le fonctionnement dmocratique. La
Commission, bien qu'elle ne soit pas responsable politiquement devant les
lecteurs europens, a affirm progressivement une exigence de
transparence vis--vis des contribuables sur la bonne utilisation de ces
fonds qu'elle a la charge de grer.
L'valuation doit contribuer expliquer de faon simple o a t l'argent
public, quels effets il a produit et en quoi les dpenses taient justifies. Les
destinataires de ce type d'valuation sont bien videmment les
responsables politiques et in fine, le plus souvent par l'intermdiaire des
mdias, les citoyens. Une notion essentielle dans le cadre des valuations
europennes est celle de valeur ajoute communautaire autrement dit
le concours apport par l'Intervention des institutions europennes est-il
justifi par des progrs raliss ?
La spcificit des programmes et de leurs valuations

Les programmes de dveloppement socio-conomique doivent tre
valus l'aide de mthodes adaptes leurs spcificits. Une de leurs
caractristiques est d'tre cofinancs et de faire l'objet de co-dcisions.
Ceci implique que l'valuation soit conduite avec la participation de
plusieurs partenaires et rponde leurs diffrentes attentes.
Ces programmes sont aussi caractriss par de multiples objectifs et
domaines d'intervention. Il en rsulte une plus grande complexit des
travaux d'valuation.
Enfin, contrairement des contextes o l'valuation est considre comme
un exercice purement rtrospectif, le systme choisi pour la politique
europenne de cohsion comporte une valuation des programmes trois
stades successifs : ex ante, mi-parcours et ex post.
L'valuation d'un e n s e m b l e d'objectifs c o m b i n s
Ds son origine, la politique europenne de cohsion conomique et
sociale a eu pour vocation la rduction des disparits conomiques et
sociales entre les rgions d'Europe et leurs citoyens. Au dbut des annes
1990, les carts de dveloppement et de niveau de vie restent marqus
entre rgions l'chelle europenne. Les dix rgions les plus pauvres de
l'Union europenne avaient encore un produit intrieur brut par habitant
plus de 3,5 fois infrieur celui des plus riches. Le taux de chmage des
dix rgions les moins favorises en matire d'emploi dpassait jusqu' sept
fois celui des dix rgions les mieux places.
La rduction de ces disparits, qui ne peut tre le seul fait du libre jeu du
march, est un dfi qui relve d'interventions publiques trs long terme.
Les interventions de l'Union europenne viennent en appui de celles de
chaque Etat membre en contribuant la promotion d'un effort de solidarit
europenne.
L'objectif de la cohsion conomique et sociale a t introduit en 1986
dans l'Acte unique europen et a engendr la rforme de 1988 dont une
augmentation considrable des ressources alloues ses instruments
financiers, les Fonds structurels : FEDER, FSE, FEOGA et plus rcemment
IFOR Le Trait sur l'Union europenne, ratifi en 1993, a confort cette
orientation puisqu'il place la cohsion conomique et sociale parmi les
objectifs essentiels de l'Union, avec en toile de fond, l'objectif de

convergence conomique indispensable la ralisation du March
unique mais aussi de l'Union conomique et montaire.
L'objectif global long terme de cohsion de l'Union europenne se
dcline en plusieurs objectifs gnraux tels que la solidarit et le soutien
mutuel qui sont, leur tour, exprims en termes conomiques et sociaux
concrets et mesurables. La cohsion conomique et sociale est
officiellement dfinie dans l'article 130a du Trait sur l'Union europenne
en termes de dveloppement harmonieux avec une dimension
gographique spcifique : les rgions les moins favorises, doivent
pouvoir rattraper leur retard de dveloppement. De plus, cette ambition de
cohsion inclut le soutien aux groupes sociaux les plus dfavoriss et plus
particulirement les chmeurs et les travailleurs dont l'emploi est menac.
Agissant ensemble, les Fonds structurels sont, jusqu'en 1999, concentrs sur
sept objectifs. Les objectifs 1, 2, 5b et 6 spcifiquement rgionaux,
concernent respectivement l'ajustement structurel des rgions en retard de
dveloppement (Objectif 1), les reconversions conomiques des zones
industrielles en dclin (Objectif 2), la diversification conomique des zones
rurales vulnrables (Objectif 5b) et l'ajustement structurel des rgions trs
faible densit de population (Objectif 6). Les objectifs 3, 4 et 5a couvrant toute
la communaut visent respectivement la lutte contre le chmage de longue
dure, l'intgration professionnelle des jeunes et des personnes menaces
d'exclusion du march du travail (Objectif 3), l'adaptation des travailleurs aux
mutations de l'industrie et des systmes de production (Objectif 4) et
l'adaptation des structures agricoles et de la pche (Objectif 5a).
Afin d'accrotre la visibilit et l'efficacit des Fonds structurels, le Conseil
sur proposition de la Commission a dcid de ramener ces sept objectifs
trois : deux rgionaux (rgions en retard de dveloppement et rgions en
reconversion conomique et sociale) et le troisime horizontal consacr aux
ressources humaines.
L'objectif global de rduction des disparits et de cohsion s'inscrit en
outre dans le cadre de plusieurs priorits dfinies par les Etats membres et
le Conseil qui doivent tre respectes dans le cadre des objectifs de
chacun des programmes et, in fine, dans les critres de slection des
projets financs. Ces priorits correspondent aux quatre enjeux
transversaux que sont : la protection de l'environnement, la comptitivit,
la cration d'emplois et l'galit des chances entre les femmes et les
hommes. Le Volume 5 de la Collection est consacr la prise en compte

de ces priorits dans l'valuation.
En consquence, l'valuation des programmes doit s'attacher l'analyse
simultane de plusieurs objectifs long terme, d'un nombre encore plus
grand d'objectifs moyen terme, sans oublier de fournir des informations
sur les mrites du programme par rapport aux priorits politiques
transversales ci-dessus. Les responsables administratifs et plus encore les
quipes d'valuation doivent faire face des difficults techniques
considrables du fait de cette imbrication d'objectifs qui se traduisent en
impacts multiples et difficiles observer et analyser en dtail.
L'valuation d'interventions d a n s d e s d o m a i n e s multiples
Avec le renforcement du processus d'intgration europenne, l'tendue
des domaines pour lesquels les Etats membres ont dcid de poursuivre
une politique commune s'est accrue. Certaines sont spcifiquement
cibles sur l'amlioration de la cohsion et d'autres sont senses y
contribuer tout en ayant leurs objectifs propres.
Les interventions peuvent tre regroupes en diffrentes rubriques : les
interventions dans les secteurs agricole et de la pche, les mesures visant
accrotre la comptitivit (recherche et dveloppement, politiques
industrielle et commerciale), les politiques des rseaux (transports, tl
communication, nergie) ; les mesures visant amliorer la qualit de vie
(politique sociale, ducation et formation, protection et amlioration de
l'environnement) ; etc.
Elles sont globalement couvertes par les quatre Fonds structurels (FEDER,
FSE, FEOGA-Orientation, IFOP) :
Le Fonds europen de dveloppement rgional (FEDER), cr en 1975, qui
vise renforcer le potentiel conomique des rgions aides, soutenir
l'ajustement structurel et contribuer promouvoir la croissance des
emplois durables. Il soutient l'investissement productif, des projets
d'infrastructures et des actions de dveloppement du potentiel
conomique propre des rgions par le biais d'un cofinancement de
programmes oprationnels, d'une aide aux grands projets, de subventions
globales, d'une assistance technique et d'tudes prparatoires.
Le Fonds social europen (FSE), cr en 1958 avec le Trait de Rome,
mais rform en 1988, qui a pour principal objectif de combattre le
chmage de longue dure et d'amliorer la capacit des jeunes tenir un

emploi. Depuis 1993 il s'y ajoute l'encouragement de l'adaptation aux
mutations industrielles. Il contribue financer la formation
professionnelle et les mesures de soutien de l'emploi ainsi que les
amliorations du systme ducatif.
Le Fonds europen d'orientation et de garantie agricole, partie
orientation (FEOGA-O), cr en 1962 avec la Politique agricole
commune, qui a pour objet d'encourager l'ajustement structurel dans
l'agriculture grce des mesures de modernisation de la production et
de dveloppement des rgions rurales.
Et finalement, l'Instrument financier d'orientation de la pche (IFOP) - cr
en 1994 pour remplacer divers instruments financiers spars en vigueur
depuis 1976 - qui soutient l'adaptation des structures de ce secteur.
Le Fonds de cohsion et la Banque europenne d'investissement
contribuent galement la politique de cohsion par des subventions et
prts sur projets. Le Fonds de cohsion, institu par le Trait de Maastricht,
est destin faciliter la prparation de la Grce, du Portugal, de l'Irlande et
de l'Espagne l'Union conomique et montaire. Ce Fonds peut tre
considr comme une aide aux Etats membres les plus faibles en
contrepartie du fait qu'ils s'engagent satisfaire aux objectifs de
convergence et matriser leurs dficits budgtaires.
Dans le cadre de cette collection, et notamment dans ce Volume, on aura
recours uneo typologie d'intervention en trois grands domaines
d'intervention couverts par les politiques mises en uvre dans le cadre des
Fonds structurels et du Fonds de cohsion, savoir : l'amlioration des
infrastructures de base (transport, communication, quipements publics en
gnral), le dveloppement des ressources humaines (par des actions de
formation, de conseil auprs des entreprises et des individus) et le soutien
l'environnement productif comprenant les aides aux acteurs
conomiques pour, par exemple, accrotre leurs capacits de production,
d'exportation, d'innovation, etc. (voir page 147 et suivantes).
Cet ventail large de domaines htrognes d'intervention est frquent en
matire de programmes socio-conomiques. Toutefois, cette diversit
atteint, pour les programmes financs par les Fonds structurels, une
ampleur rarement gale. L'valuation n'en est que plus dlicate ; c'est
pourquoi deux Volumes de la Collection traitent prcisment des solutions
mthodologiques possibles du point de vue des indicateurs (Volume 2) et
des mthodes d'valuation (Volume 4).
Plusieurs niveaux e t plusieurs t a p e s d'valuation

Dans le domaine public, l'valuation est une opration qui peut concerner
aussi bien des activits que des services, des organismes ou des pratiques.
L'valuation intervient galement trois niveaux principaux : projet,
programme ou politique. Dans les pays anglophones, comme la
Commission europenne, c'est la notion d'valuation de programme qui
domine. Dans les pays latins, la littrature relative l'valuation fait plus
souvent rfrence aux politiques publiques.
Le terme de programme dsigne (1) un ensemble coordonn d'actions
de diffrentes natures (par exemple des stages de formation, du conseil
personnalis, des subventions aux employeurs, etc. ), (2) prcisment dfini
dans ses objectifs oprationnels (ex. : on parlera d'un programme d'aide
la reconversion de chmeurs de longue dure), mais pas compltement
dfini l'avance dans sa mise en uvre et, enfin, (3) limit dans le temps
et dans ses ressources budgtaires.
La notion de politique , quant elle, dsigne un ensemble de
programmes et/ou de mesures qui concourent un mme objectif gnral
mais qui comportent des diffrences en termes d'objectifs spcifiques, de
calendrier et de modalits de gestion (ex : une politique de l'emploi va se
rfrer un ensemble de mesures, pas toujours coordonnes, qui se sont
accumules au cours des annes).
La dfinition des deux termes prcdents renvoie celle du projet qui
est, pour sa part, une action non divisible et assortie d'un mode de gestion,
d'un calendrier et d'un budget compltement prciss ds le dpart.
Les trois niveaux d'valuation sont pertinents pour la politique europenne
de cohsion et ils mritent d'tre articuls entre eux (voir page 55).
Toutefois, c'est le niveau de l'valuation des programmes qui fait l'objet de
l'activit la plus importante, en termes quantitatifs. La Collection MEANS
porte essentiellement sur l'valuation ce niveau.
Dans la littrature relative l'valuation, on peut lire des opinions
contradictoires propos de la temporalit de l'valuation. Certains auteurs
considrent que l'valuation est seulement un exercice rtrospectif alors
que d'autres lui donnent aussi une dimension prospective. Dans le contexte
de la politique europenne de cohsion, l'valuation est clairement dfinie
comme une activit qui intervient avant, pendant et aprs l'action publique.
Les trois tapes ou stades de l'valuation d'un programme sont relis son
cycle de vie et comprennent l'valuation ex ante, l'valuation mi-parcours

et l'valuation ex post. Compte tenu de la succession ininterrompue des
cycles de programmation, il apparat un recouvrement temporel entre les
valuations ralises diffrents stades et pour diffrents cycles. Ceci
impose de relier soigneusement les diffrents exercices pour qu'ils se
renforcent mutuellement et ne soient pas redondants (voir page 51).
Partenariat et valuation
Le partenariat
Les programmes financs par les Fonds structurels sont systmatiquement
cofinancs par les Etats membres au niveau des autorits nationales et
infra-nationales (Rgions ou autres autorits locales). Le financement
europen s'accompagne d'une exigence d'additionnalit. Son principe est
d'assurer que l'aide communautaire au dveloppement conomique et
social ne se substitue pas aux efforts des gouvernements nationaux, c'est-dire, que les financements propres de l'Etat bnficiaire restent globale
ment au moins gaux ceux qui existaient avant la contribution des Fonds
structurels. Cela signifie concrtement que toute dpense communautaire
vient en sus d'une dpense nationale. La vrification de la mise en uvre
de ce principe s'effectue l'chelon national dans le cadre du contrle
financier et non de l'valuation proprement parler. Cette vrification
prsente encore des difficults sur le plan mthodologique (donnes
incompltes, modalits de calcul, etc.).
La combinaison des financements europens et nationaux s'accompagne
d'une consquence dcisive pour l'valuation, savoir l'existence de codcisions et de partenariats. La conception et la mise en uvre de
programmes cofinancs ncessitent en effet la reconnaissance d'objectifs
communs, l'tablissement d'un cadre d'action contractuel et l'installation
d'une confiance rciproque. Dans le cas des Fonds structurels, par gestion
partenariale, on entend souvent le partenariat vertical, c'est--dire le fait
qu'il doit s'tablir une concertation troite entre la Commission et toutes les
autorits comptentes au niveau national, rgional ou local dsignes par
chaque Etat membre. Il existe aussi plusieurs formes de partenariat
horizontal : gographique, sectoriel, administratif, etc. Depuis 1994, le
partenariat est tendu tous les organismes comptents y compris (en
rgle gnrale) aux partenaires conomiques et sociaux, dsigns par l'Etat
membre concern.
Les enjeux de l'valuation dans le cadre des Fonds structure/s
Encadr 4 Les partenaires des programmes europens

/
reprsent.
del'U.E.
/ f Dcision
y*
'
'
' '
'n' /
represent.
nationaux
I l
;
1 /
1
>
.
< "
\
" .
n ;
>. Suivi
y
A
">
reprsent.
rgionaux
Comit
de Suivi
* Evaluation
'
I 1
''
|'
Autres acteurs
'n
Partenaires
"verticaux"
L'valuation partenariale
En termes d'valuation, le partenariat, et tout particulirement le partenariat
vertical entre les diffrents niveaux d'administration, va engendrer des
opportunits qu'il faudra saisir et des contraintes qu'il faudra dpasser. Le
partenariat vertical reprsente une opportunit pour le dveloppement
d'valuations pluralistes, dites de quatrime gnration (voir page 22),
mais introduit galement toute une srie de contraintes nouvelles. En effet,
les politiques partenariales engendrent des situations qui rendent les
valuations difficiles raliser et qui en rduisent la porte. Les objectifs
communs poursuivis manquent souvent de prcision et de cohrence en
raison des ngociations et des compromis qui ont prsid leur formulation.
En outre, la coresponsabilit complique singulirement la gestion des
moyens. L'valuation a donc des difficults dfinir son objet et fait craindre
aux partenaires une remise en question du modus operandi ngoci.
L'valuation partenariale, devant tenir compte de la diversit des attentes
propres chaque partenaire et rechercher la convergence des points de
vue, se trouve confronte au fait qu'elle ne reprsente pas le mme enjeu
pour tous les partenaires. Souvent, l'existence d'enjeux spcifiques est
gomme au profit du postulat que ce qui est bon pour un niveau de
collectivit l'est forcment pour les autres. Cette hypothse implicite a pour
consquence l'absence de diffrenciation des questions poses et des

critres de jugement. Finalement, une valuation qui, sous prtexte de
partenariat, serait construite en ngligeant les diffrences initiales entre les
partenaires court le risque de devenir une construction procdurale sans
substance.
D'une situation partenariale l'autre, il existe, de facto, de profondes
diffrences dans l'application de l'obligation rglementaire d'valuer. Dans
un certain nombre de pays ou de rgions, cette obligation se rduit un
exercice formel assez superficiel. Dans d'autres cas, elle a conduit non
seulement une meilleure efficacit des Fonds structurels mais aussi une
volution gnrale des modles administratifs. Ainsi, par exemple, dans
plusieurs Etat membres et rgions rcemment llgibles, les exigences
communautaires en matire d'valuation ont contribu promouvoir de
nouvelles pratiques dans le cadre de la programmation et de la mise en
uvre des politiques rgionales.
On remarque par ailleurs que l'application de cette rglementation varie
autant entre les diffrents Etats membres qu'entre rgions au sein des Etats
eux-mmes. Il apparat que les valuations ont plus de chance d'tre de
qualit lorsque les relations entre les partenaires sont quilibres,
autrement dit lorsqu'un flnanceur n'est pas trop dominant. Les rgions les
plus riches ne sont pas ncessairement les plus respectueuses des
rglements des Fonds structurels probablement parce qu'ils ne
reprsentent pas un apport budgtaire considrable pour ces collectivits.
Les rgions ou les pays les moins favoriss, quant eux, reoivent des
aides trs importantes mais ne sont pas toujours les plus actives en matire
d'valuation, soit parce qu'ils rencontrent dj des difficults pour mettre
en uvre les ressources disponibles, ou encore parce qu'ils peroivent
l'valuation comme une menace compte tenu de leur position de dbiteurs
vis--vis des autres partenaires. L'hypothse peut tre faite que la volont
d'valuer de chaque partenaire dpend de son apprciation des gains mais
aussi des cots et des risques lis l'valuation de son programme.
A l'avenir, l'action de la Commission europenne sera davantage centre
sur le choix des priorits stratgiques, laissant aux autorits nationales,
rgionales et locales le soin de piloter la programmation et la gestion des
programmes. Cette gestion plus dcentralise et simplifie aura pour
contrepartie un suivi et une valuation renforcs.
Le dveloppement des pratiques dans le cadre

des Fonds structurels europens
La diffusion de l'valuation dans le cadre de la politique europenne de
cohsion date de moins de dix ans. En s'tendant dans les Etats membres,
elle rencontre des rfrences et des schmas de pense trs divers
(expertise macroconomique, conomie rgionale, analyse politique,
analyse stratgique, etc.) et se fonde sur des concepts qui peuvent varier
d'un pays l'autre.
Nanmoins, quels que soient le vocabulaire et les structures adoptes, les
systmes d'valuation mis en place dans les diffrents Etats membres ont
contribu accrotre la transparence et l'efficacit des interventions
finances par les Fonds structurels, et souvent mme, d'autres
interventions publiques dans des domaines proches.
A partir d'une pratique quasi inexistante, des progrs considrables ont t
faits dans la qualit des rapports d'valuation. Il subsiste nanmoins un
certain nombre de difficults, en particulier dans le domaine de l'analyse
des Impacts et dans celui de l'utilisation des rapports.
L'volution de la r g l e m e n t a t i o n d e s F o n d s structurels
Au niveau de la Commission une exigence de transparence vis--vis des
contribuables des Etats membres s'est affirme progressivement, sur la bonne
utilisation des fonds d'origine nationale qu'elle a la charge de grer. Cette
aspiration un bon usage des deniers europens s'est traduite par une
expression simple : recherche de l'efficacit des dpenses europennes .
L'Acte unique europen, adopt au dbut 1986, a introduit au Trait CEE un
nouveau titre V contenant un article 130D qui annonait la rforme des
Fonds structurels, destine amliorer leur efficacit en vue d'une
meilleure cohsion conomique et sociale de la Communaut. Dans le
mme esprit, en fvrier 1992, le Trait de Maastricht a repris dans son titre
XVI cet impratif de cohsion et l'article 130B stipule que le Conseil dfinit
les dispositions ncessaires pour assurer l'efficacit des Fonds.
Conformment ces impratifs, les rglements relatifs aux Fonds
structurels (ceux de 1988 pour la premire gnration des Fonds structurels
et ceux de 1993 pour la gnration actuelle) ont t pourvus d'articles
spcifiques consacrs l'valuation ; notamment l'article 6 du rglementcadre et l'article 26 du rglement de coordination.

La rglementation applique de 1988-93
Dans son paragraphe 2, l'article 6 du rglement de 1988 stipulait ainsi
que en vue d'apprcier l'efficacit des interventions structurelles,
l'action communautaire fait l'objet d'une valuation ex ante et ex post
destine apprcier son impact et que pour ce faire, les demandes de
concours tablies par les autorits comptentes devraient comporter les
informations ncessaires pour pouvoir tre values par la Commission .
Ces premiers rglements, adopts par le Conseil le 19 dcembre 1988,
concernaient des plans de dveloppement rgional qui devaient tre
dposs le 1er janvier 1989. Pour un certain nombre d'administrations
nationales ou rgionales, la ncessit d'tablir une programmation
pluriannuelle constituait une sorte de rvolution. Quant la matrise de la
dmarche d'valuation, elle tait trs rduite aussi bien de la part de la
majorit des autorits comptentes que des services de la Commission
eux-mmes, au moins en ce qui concerne les Fonds structurels. Par
consquent, les valuations ralises pendant la priode 1989-1993 n'ont
pas t d'une trs grande qualit malgr les efforts raliss par un certain
nombre d'acteurs, surtout au niveau de la Commission. On a observ
notamment que le cadre dfini par cette premire version du rglement ne
crait pas les conditions adquates pour que la phase d'valuation ex ante
se droule normalement.
La rglementation applicable en 1994-99
Admettant ce demi-chec, l'instigation de la Commission, mais
galement sous la forte impulsion de certains Etats membres (Pays-Bas et
Royaume-Uni en particulier), les nouveaux rglements de juillet 1993 ont
renforc considrablement les exigences en matire d'valuation.
Cette nouvelle rglementation (article 6 du rglement cadre) prcise les
notions d'apprciation ex ante, de suivi et d'valuation ex post. Les articles
dtaillant le contenu des documents de programmation dposs par les
Etats membres introduisent la notion d'objectifs spcifiques quantifis si
leur nature s'y prte . De mme, l'article 26 du rglement de coordination
prsente une clause de conditionnante spcifiant que les aides seront
octroyes lorsque l'apprciation ex ante aura dmontr les avantages socioconomiques retirer moyen terme, eu gard aux ressources mobilises .
Cette exigence trs forte d'valuation ex ante, variante communautaire de la

notion britannique de Value For Money n'a en pas t trs strictement applique
dans la pratique. Cependant l'introduction d'valuations intermdiaires qui
n'existaient pas jusqu'alors a rencontr un succs significatif comme le montre
plus loin notre enqute. Il est clair que ce renforcement de la lgislation
europenne en matire d'valuation a constitu un stimulant puissant pour que
se rpande l'Ide que l'obligation d'valuer tait un point de passage
incontournable pour recevoir des Fonds communautaires.
La rglementation de la troisime gnration de programmes
(2000-2006)
La troisime gnration de Fonds structurels verra donc se renforcer
l'apprciation de leur efficacit. Les actions communautaires feront
dsormais l'objet d'une valuation ex ante par l'Etat membre lui-mme,
d'une valuation mi-parcours par les gestionnaires du programme et d'une
valuation ex post l'initiative de la Commission, destines apprcier leurs
effets par rapport aux objectifs (objectifs propres et objectifs de cohsion) et
analyser leurs incidences sur des problmes structurels spcifiques.
Ainsi, l'efficacit de l'action des Fonds sera mesure trois niveaux : effet
d'ensemble sur les objectifs viss l'article 130 A du Trait (notamment le
renforcement de la cohsion conomique et sociale), effet sur les priorits
proposes dans les Plans et prvues dans chaque Cadre Communautaire
d'Appui, effet sur les priorits spcifiques retenues au titre des
interventions. Des valuations complmentaires, le cas chant
thmatiques, pourront tre lances en vue d'identifier des expriences
transfrables d'un programme l'autre.
Afin de renforcer la transparence, I est prvu que les rapports d'valuation
soient mis la disposition du public plus largement que cela n'a t le cas
jusqu' prsent.
L'volution r c e n t e d e s pratiques d'valuation 1
Les apprciations ex ante : un constat en demi-teinte
L'valuation de la deuxime gnration de programmes, avec l'impulsion
de la rglementation rvise et renforce de 1993, dispose d'un cadre
1
Cette section est fonde sur une enqute conduite on 1997 dans le cadre du
programme MEANS. L'enqute a comport des entretiens tlphoniques dans
tous les Etats membres et des visites dans cinq pays.
rigoureux. Notamment, la phase d'apprciation ex ante doit prciser les

objectifs au sein de la stratgie rgionale et vrifier la prise en compte des
priorits communautaires, fournissant ainsi aux services responsables des
lments pour juger de la pertinence des actions lors des ngociations.
En rgle gnrale, les apprciations ex ante sont conduites par les
administrations nationales. Pour la premire fois, elles l'ont t galement
de manire systmatique par la Commission. Toutefois, les apprciations
ex ante n'ont pas toujours eu l'utilit attendue. Pour des raisons de
calendrier, les analyses sont souvent restes trop superficielles pour
produire une valeur ajoute, tant au niveau de la formulation des objectifs
gnraux et spcifiques des programmes que des modalits de mise en
uvre de ceux-ci.
Des efforts ont cependant t raliss par les Etats membres, notamment
au niveau de la quantification des objectifs. Incontestablement, les
Documents de Programmation de la priode 1994-1999 sont de meilleure
qualit que ceux de la priode prcdente. Ils ont t enrichis grce des
rflexions conduites dans le cadre des analyses prospectives qui ont con
tribu clarifier les objectifs poursuivis, structurer les composantes des
programmes et hirarchiser les priorits.
Le dveloppement spectaculaire des valuations mi-parcours
Des progrs notables ont t raliss dans le cadre des valuations miparcours du deuxime cycle de programmation des Fonds structurels.
Cette priode ayant bnfici des acquis de la priode prcdente, les
valuations ont en gnral t systmatiquement ralises.
Sur le plan quantitatif, le nombre de rapports produits a t multipli par
cinq ou six par rapport la priode prcdente et la pratique d'valuation
s'est dveloppe de faon spectaculaire.
Ainsi, dans les quinze Etats membres, pour la priode de 1996 au dbut
de 1998, plus de 380 valuations mi-parcours ont t organises par des
Comits de suivi pour les six Objectifs. Parmi celles-ci, on ne compte pas
moins de 250 valuations pour les seuls Objectifs 1 et 2 et pour l'anne
1997 uniquement. A titre comparatif, pour la priode 1989-1993, on a
ralis en moyenne moins de 40 valuations par an sur l'ensemble des
programmes et pour toutes les formes d'valuation (ex ante, ex post,
thmatiques). Le nombre d'valuations de programme dans le cadre des
Fonds structurels a donc t multipli par 5 ou 6 d'une gnration l'autre.
Des valuations systmatiques globales et parfois des analyses

approfondies thmatiques et gographiques ont t ralises pour les
programmes Objectif 1 et 5b. Ces valuations mi-parcours visent fournir
les premiers rsultats du programme et indiquer les ajustements effectuer
en cours de programme 1994-1999.
Pour les programmes Objectif 2, les valuations ont t conduites en 199697, la fin de la premire phase de programmation (1994-1996) dans la
majorit des pays. Les nouveaux Etats membres ont galement fourni leurs
rapports d'valuation. Compte tenu du lancement tardif des programmes,
la priode de mise en uvre prise en compte dans les rapports a t plus
courte. Il n'en demeure pas moins que les travaux ont t utiles. En Sude
par exemple, l'valuation des programmes Objectif 2 a t reconnue
comme utile pour dgager les premires conclusions sur les dispositions
de mise en uvre et l'adquation des mesures.
On constate gnralement que l'utilit de l'exercice du point de vue
managerial s'est renforce au fil des expriences au point que de
nombreux gestionnaires sont alls au-del des exigences rglementaires.
En plus des valuations thmatiques et transnationales faites l'initiative
des services de la Commission, de nombreuses valuations sectorielles
ont t lances par des administrations nationales ou des gestionnaires de
programme.
Une amlioration notable de la qualit des rapports d'valuation
La qualit moyenne des valuations ralises au cours de la priode 19941999 s'est incontestablement accrue par rapport la priode prcdente,
notamment pour ce qui est des valuations mi-parcours. Il reste certes
des travaux de qualit mdiocre qui peuvent s'expliquer par les retards pris
dans le lancement de certains programmes dans certaines rgions
d'Objectif 1 ou d'Objectif 5b.
Une critique commune faite la plupart des rapports est leur caractre peu
analytique. Les conclusions restent trop descriptives pour apporter une
aide efficace la prise de dcision. Il existe nanmoins des pratiques
correspondant aux meilleurs standards professionnels. Ainsi des
valuations (notamment en Belgique et en Irlande) ont su fournir des
conclusions crdibles sur la question dlicate des rallocations
budgtaires : identification de mesures renforcer ou reconsidrer.
La plus grande exprience des chargs d'valuation dans le domaine et

une meilleure connaissance de la spcificit de la dmarche d'valuation
ont permis de produire de meilleurs rapports. Beaucoup d'entre eux sont
construits pour l'essentiel sur l'analyse de donnes secondaires (collectes
partir de bases de donnes ou de documents existants) et des indicateurs
de suivi qui se sont amliors au cours des dernires annes. Sur la base
de ces donnes, les Etats membres ont ainsi mieux rpondu aux exigences
de la rglementation qui imposent l'examen des donnes physiques et
financires dans le cadre de l'valuation. D'importants travaux ont t
raliss par exemple en Italie o un systme d'indicateurs standards dans
le domaine de la formation a t tabli et au Portugal o des propositions
d'indicateurs ont t construites pour l'ensemble des secteurs.
C'est au niveau de la collecte et du traitement des donnes socioconomiques que les pratiques ncessitent le plus d'amliorations. En
effet, les donnes primaires, collectes directement par enqutes auprs
des publics concerns, restent rares et la qualit des informations
fournies par les Indicateurs de contexte ne tire pas encore tout le parti
possible des systmes statistiques nationaux et rgionaux. Certains de
ces systmes statistiques sont parfois peu dvelopps (cas de la Grce
et du Portugal par exemple) ou, comme dans le cas des nouveaux Lnder
allemands, insuffisamment harmoniss avec les systmes europens
(EUROSTAT). C'est dans cette perspective de tirer un meilleur parti des
donnes existantes qu'a t crit le Volume 2 de cette Collection.
La multiplication des initiatives et le renforcement des moyens
Les services de la Commission ont fourni des efforts remarquables en
matire d'valuation, par eux-mmes mais aussi en troite coopration
avec les administrations nationales.
A l'actif des services communautaires il faut voquer, partir de 1994, la
cration ou le renforcement d'units d'valuation et la diffusion des
comptences spcialises dans l'ensemble des services oprationnels.
Entre 1994 et 1998 prs de 260 fonctionnaires en charge des Fonds
structurels ont suivi une formation l'valuation de deux ou trois jours dans
le cadre du programme MEANS et de SEM 2000 (soit pratiquement la
moiti des fonctionnaires concerns).
Selon les Etats membres, les administrations nationales ont un rle
primordial l'chelon central (Department of Finance en Irlande, Ministres
de l'Agriculture, des Transports et Chancellerie en Allemagne) ou

dconcentr (Prfectures en France). Dans certains pays les
responsabilits sont assumes par les deux types d'autorits (nationales et
rgionales), comme en Espagne. Aux Pays Bas par exemple, les autorits
nationales ont labor un cadre mthodologique (voir exemple ci-dessous)
afin de garantir la pertinence et la qualit des rapports d'valuation raliss
sous la responsabilit des diffrents comits.
Exemple : Le cadre mthodologique nerlandais
Ce pays a dvelopp en 1994 un cadre mthodologique commun, appliqu toutes
les tapes d'valuation et pour l'ensemble des programmes des Fonds structurels.
Chaque rapport d'valuation est ainsi construit de la mme manire : situation
socio-conomique de la rgion, stratgie et cohrence, organisation et suivi, mise
en uvre et synergie, effets. Ce cadre, associ l'utilisation d'indicateurs communs
aux diffrentes rgions et un systme de suivi performant, permet un change
d'informations et d'expriences, du fait de la comparabilit des outils utiliss dans
les rgions concernes par les programmes des Fonds structurels.
La participation des autorits rgionales aux exercices d'valuation s'est
sensiblement renforce depuis 1994 : programmation, dfinition,
slection des valuateurs, prise en compte des recommandations, etc. Ce
renforcement peut tre considr comme un facteur de dveloppement
de l'valuation surtout lorsque ces autorits rgionales disposent d'une
autonomie forte et constituent par consquent un partenaire dominant.
En Belgique, le niveau fdral n'intervient pas dans la gestion des
programmes structurels et l'valuation est par consquent gre au niveau
des rgions. En Allemagne, les administrations des Lnder sont les
principaux responsables de la mise en uvre des Fonds structurels et donc
de leur valuation. Il subsiste toutefois des diffrences importantes entre
les anciens et les nouveaux Lnder allemands. Les premiers, habitus la
dmarche evaluative, n'impliquent le niveau national que lorsque c'est
indispensable, alors que les seconds sont systmatiquement soutenus par
les administrations nationales.
Dans des Etats comme le Portugal ou la France, les Ministres techniques
ne sont pas forcment trs actifs dans l'valuation des Fonds structurels.
En revanche, les administrations cordinatrices au niveau national assurent
un rle clef d'animation et de suivi permanent des travaux d'valuation
conduits sous la responsabilit de chacun des Comits de suivi.
La dynamique cre par les Fonds structurels

La valeur ajoute du partenariat
Le partenariat, en crant des relations de confiance, a crdibilis l'valuation
et en a ainsi facilit la mise en uvre. La rserve, voire l'hostilit, qui pouvait
persister vis--vis de la dmarche depuis le dbut des annes 90 s'est
attnue pour disparatre dans la majorit des Etats membres ; ce qui a bien
entendu permis de mettre en uvre l'valuation beaucoup plus facilement.
La gestion des programmes des Fonds structurels implique de nombreux
acteurs et une coordination entre les niveaux europen, national et rgional.
Le partenariat s'est construit dans le cadre des Comits de suivi, incluant les
acteurs socio-conomiques. Pour ce qui est de l'valuation, les Comits de
suivi ont, dans pratiquement tous les pays, confi la responsabilit de la
dmarche des Comits de pilotage (ou comits techniques, comits
d'accompagnement, etc.) de taille plus restreinte, donc mieux mme
d'aborder des questions techniques. Ces comits sont le plus souvent
composs d'autorits europennes, nationales, rgionales et parfois
d'experts (universitaires, statisticiens, etc.). Ils jouent un rle primordial dans
la conception mthodologique et l'examen de la qualit des travaux
d'valuation. Les rapports d'valuation sont discuts au sein de ces groupes
restreints avant d'tre prsents aux Comits de suivi en sance plnire.
L'application de cette organisation au Portugal est prsente ci-dessous.
Exemple : Le partenariat, un facteur cl de succs au Portugal
Chaque Comit de suivi constitue un groupe technique d'valuation comprenant les
rapporteurs de la Commission, des reprsentants des administrations nationales et
rgionales portugaises et charg de grer les relations avec l'quipe d'valuation. Ce
groupe technique se runit au moins trois fois par an (pour valider les cahiers des
charges, slectionner les offres, discuter les rapports avant remise au Comit de suivi).
Les bonnes relations entre partenaires au sein des groupes techniques d'une part et,
d'autre part, les interactions constructives entre les commanditaires et les quipes
d'valuation constituent deux points forts qui ont eu, de l'avis des responsables
nationaux, des effets trs positifs sur la qualit des valuations.
Le partenariat avec les services de la Commission a jou galement un rle
positif : apports en terme de documentation technique aux diffrentes
phases, participation la slection des quipes d'valuation ou encore
analyse de la qualit des rapports.
De nombreuses initiatives ont t lances par la Commission afin de

diffuser les connaissances et promouvoir les changes entre Bruxelles et
ses partenaires. La Commission a mis en place des Groupes Technique
d'Evaluations (comprenant des reprsentants des autorits nationales et
des services de la Commission) qui se runissent plusieurs fois par an. Au
niveau de la commande d'valuation, la Commission a labor en
partenariat avec plusieurs Etats des modles de cahiers des charges. Des
runions d'information et d'change entre la Commission et les
gestionnaires de programmes ont lieu rgulirement au sein des Etats
membres (en Grce et en Finlande par exemple).
On ne peut toutefois aborder cette question du partenariat dans le cadre
des Fonds structurels sans voquer une des conclusions produites par le
programme MEANS en 1996 et qui reste d'actualit, savoir que si le
partenariat est un moteur du dveloppement des pratiques, il peut, cause
de trop nombreux compromis entre les co-dcideurs, engendrer une
moindre qualit des valuations.
La professionnalisation des quipes d'valuation
Le march de l'valuation au cours des cinq dernires annes a connu un
dveloppement remarquable, tout comme le nombre de structures ralisant
des travaux d'valuation. L'offre de service en valuation reste le plus
souvent extrieure aux administrations l'exception cependant des
administrations centrales irlandaises, franaises et italiennes qui ont cr
en leur sein des quipes spcialises. Lorsqu'elles existent, ces units
d'valuations dont l'indpendance est garantie par un statut juridique
spcial et par une position hors hirarchie , bnficient d'une
exprience que les praticiens externes n'ont pas forcment car l'valuation
ne reprsente qu'une part de leurs activits professionnelles. Le cas de
l'administration irlandaise est prsent en page suivante.
Le nombre de cabinets de consultants actifs dans le domaine de l'valuation
s'est trs fortement accru dans l'ensemble des pays. Le fait de confier
l'valuation des valuateufs externes, qu'ils soient consultants privs ou
universitaires, est considr comme une assurance d'indpendance de
l'quipe par rapport aux autorits responsables. Le secteur d'activit s'est
dvelopp selon diffrents modes : mergence d'quipes lies au monde
acadmique ou, au contraire, cration de dpartements ou filiales de grands
groupes internationaux de consultance. La Grce et le Portugal ont ainsi vu
se dvelopper un nombre important de petites structures (plus d'une tren

taine de cabinets sont actuellement impliqus dans la ralisation
d'valuations des programmes structurels). On constate parfois, comme
c'est le cas en France, un phnomne de concentration : quelques cabinets
se partagent l'essentiel du march.
Exemple : Des quipes d'valuation permanentes au sein des administrations
irlandaises
Le gouvernement irlandais et la Commission ont tabli ds 1992 des units
spcifiques d'valuation (Evaluation Units) dans les domaines de l'Industrie et de
l'Agriculture, ainsi qu'une unit spcifique pour le FSE et entre autres pour
l'ensemble du CCA, qui joue un rle horizontal de coordination. La mise en place
de ces units, par leur indpendance et leur professionnalisme, contribue au bon
droulement de l'valuation et la qualit des travaux produits.
Les units entreprennent des valuations thmatiques et des analyses approfondies.
Leur programme de travail est dcid par des Comits de pilotage pluralistes. La
plupart des valuations sont conduites par les units elles-mmes, l'unit
d'Agriculture faisant parfois appel des comptences extrieures. Toutes ces
valuations sont publies.
Les conditions pour raliser des travaux de qualit ne sont toutefois pas
toujours runies. Ainsi par exemple, les dlais sont souvent trop courts (un
six mois) pour des raisons de calendrier. On trouve parfois des dlais plus
raisonnables (allant jusqu' douze mois) et dans certains pays comme la
Finlande, l'Irlande, la France ou l'Allemagne ou encore lorsqu'il s'agit
d'valuations approfondies. En corollaire, les budgets allous sont faibles
(30 KEuros pour certaines valuations aux Pays-Bas et en Espagne) pour
pouvoir raliser de vritables enqutes de terrain auprs des individus ou
des entreprises concernes.
On constate que le cot des travaux d'valuation reste en rgle gnrale
trs modeste si on le rapporte au budget global du programme : 0,02 %
en moyenne et probablement moins de 0,01% dans les rgions
d'Objectif 1. Toutefois, ces ratios sont amens se rapprocher des normes
internationales (voir page 83) lorsque seront connus les budgets consacrs
aux valuations approfondies, en cours et ex post, venir.
Le dveloppement quantitatif de l'offre s'est galement accompagn d'un
dveloppement qualitatif engendr par plus de professionnalisme. Les
comptences ont en effet volu au cours des dernires annes, davantage
par l'exprience accumule que par une spcialisation pralable des

prestataires dans le domaine de l'valuation. Les quipes d'valuation ont
souvent des comptences pluridisciplinaires mme si les conomistes jouent
un rle dominant dans le cadre des valuations des programmes rgionaliss.
Les consultants font de plus en plus appel la collaboration d'universitaires
qui disposent d'une expertise plus pointue et prcise dans tel ou tel
domaine des politiques publiques. Nombreux sont par ailleurs les bureaux
d'tudes crs par des universitaires, surtout dans les pays du sud de
l'Europe (Portugal, Espagne, Italie). Les comptences en Allemagne,
Finlande et Belgique reposent majoritairement sur les universits, les
Instituts ou les centres de recherche.
Certaines avances mthodologiques ralises au cours des dernires
annes mritent d'tre soulignes. Les savoir-faire en modlisation de
l'conomie rgionale se sont ainsi accrus en Allemagne, Italie, Irlande et
plus rcemment en Belgique. Des analyses Input-Output ont t mises en
uvre avec comptence pour la conduite d'valuations au Portugal, en
Allemagne, en Italie et en Espagne. L'analyse des relations de causalit
s'est dveloppe et les spcialistes font davantage appel des analyses
statistiques comparatives. Encore limite il y a quelques annes au
Danemark et au Royaume-Uni, la pratique des groupes de comparaison
s'est diffuse en Sude, en Allemagne, en France ou encore en Espagne,
principalement dans le domaine de l'emploi.
La construction de capacits d'valuation au sein des Etats
On a constat que les spcificits institutionnelles de chaque Etat
conduisent des diffrences importantes du point de vue de la mise en
uvre de l'valuation. Il en va de mme pour ce qui est de l'appropriation
et de l'utilisation des rsultats des rapports par les commanditaires. Le
paysage europen, en matire d'utilisation de l'valuation, est, comme on
peut l'Imaginer, assez contrast. Cependant, de manire un peu
schmatique, on peut discerner trois phases dans le niveau d'utilit attribu
l'valuation ; et par l mme, dans la qualit de son organisation.
1re phase : L'valuation est vcue comme une rponse des obligations
rglementaires. C'est donc une contrainte et une charge de travail
supplmentaire qui psent sur les gestionnaires qui considrent que
l'valuation est avant tout exige par Bruxelles ; mme si les rglements
sont des dcisions du Conseil adoptes l'unanimit.
2me phase : L'valuation devient un systme d'aide la conception et la

gestion des interventions. Un dialogue s'tablit avec les valuateurs et la
qualit des informations recueillies s'amliore. Dans cette phase trs
oprationnelle, la dmarche d'valuation se raffine et les progrs sont rapides.
3me phase : L'valuation devient un acte politique et ses rsultats font
l'objet de dbats publics. Le but recherch est d'informer l'opinion publique
sur l'efficacit de l'utilisation des Fonds publics et sur la dmonstration de
leur efficience en termes d'obtention des impacts attendus (Value For
Money). Dans un certain sens, l'valuation devient un outil du jeu
dmocratique en informant sinon en recherchant le consentement du
citoyen sur les dpenses contrles par l'Etat.
Ces trois phases sont reprsentes de manire simplifie dans le schma
ci-dessous qui met en perspective les diffrents Etats membres, en
fonction de leur utilisation des travaux d'valuation, telle qu'elle vient d'tre
expose. D'une part, l'utilisation de l'valuation est reprsente par l'axe
vertical, et d'autre part, la pratique d'valuation au sein des pays est
reprsente par l'axe horizontal. Concernant la pratique, on regarde si
celle-ci se limite aux Fonds structurels ou si elle est galement pratique
dans le cadre d'autres politiques nationales ou rgionales.
Encadr 5 - Pratique et utilisation de l'valuation
limite aux Fonds structurels
tendue l'ensemble du pays

Pratique
Ce graphique n'est qu'une mage instantane (enqute ralise en 1998).

Il conviendrait de reprsenter galement les dynamiques propres chaque
pays. Le Portugal, par exemple, s'est considrablement familiaris avec
l'exercice d'valuation, et au cours des dernires annes, d'importants
progrs ont t raliss en termes de qualit et d'utilisation des travaux.
L'influence de la rglementation communautaire sur le dveloppement des
pratiques est sensible dans la majorit des Etats membres. Ainsi, dans les
pays d'Objectif 1, les travaux d'valuation sont essentiellement ceux
consacrs aux Fonds structurels. Cette influence, bien que perceptible,
semble cependant moins marque dans certains pays comme en Irlande,
o les rformes rcentes lies l'amlioration de la gestion des actions
publiques, manent plutt du mouvement de performance management
dvelopp dans les pays anglophones. Dans certains Etats, les exigences
europennes rgissant la mise en uvre des politiques structurelles ont
provoqu des changements d'attitude remarquables. Les obligations
rglementaires ont conduit une application systmatique de l'exercice.
Ainsi, par exemple, en Allemagne et en France, l'valuation tait en cours
d'Institutionnalisation mais la rglementation communautaire a acclr le
processus existant.
En ce qui concerne les pays les plus rcemment entrs dans l'Union
europenne, la rglementation communautaire a eu des effets d'autant plus
notables que la pratique, les comptences et la culture d'valuation taient
limites. L'obligation d'valuer, impose par la Communaut, a provoqu
l'mergence d'un nouveau march accompagn d'une institutionnalisation
accrue et d'une culture d'valuation plus affirme. On retrouve ce
phnomne en Finlande o les pratiques se dveloppent rapidement grce
la relative intgration des politiques structurelles europennes aux
politiques nationales finlandaises.
Il est intressant de remarquer que l'utilisation dmocratique de
l'valuation est favorise lorsqu'il existe une pr-culture indpendamment
des exigences communautaires. Autrement dit, l'obligation rglementaire
peut aider tablir une utilisation manageriale mais n'est probablement
pas suffisante pour induire une contribution au dbat public. A l'Inverse,
le nombre de pays figurant dans la partie infrieure gauche de l'encadr
ci-dessus traduit l'importance de la rglementation communautaire sur le
plan institutionnel et son influence sur le dveloppement des pratiques
dans des pays o la culture d'valuation tait auparavant faible.
Les rflexions internationales sur la construction de capacits d'valuation

insistent sur l'importance des actions de sensibilisation et d'incitation
comme facteurs importants du dveloppement de l'valuation. Diverses
initiatives peuvent y contribuer parmi lesquelles la cration de socits ou
d'associations nationales d'valuation. La socit allemande et
l'association nationale italienne d'valuation ont ainsi t rcemment
cres (Boyle, Lemaire, paratre). La socit britannique, particulirement
active, est brivement prsente ci-dessous.
Exemple : La communaut professionnelle britannique de l'valuation
Les quipes britanniques du secteur priv et des universits ont dvelopp des
comptences et une expertise dans le domaine de l'valuation qui sont reconnues
l'chelle internationale. Le Royaume-Uni est un des rares Etats membres disposer
d'quipes de recherche en valuation qui travaillent dans ce domaine de manire
transversale , sans se limiter un aspect mthodologique particulier ni un
secteur politique donn. La Socit d'valuation britannique (UKES), forte de plus de
200 membres, organise une confrence annuelle et des ateliers de travail pour
dvelopper les changes mthodologiques.
La formation est un outil essentiel de sensibilisation. Les pays dans
lesquels les personnels administratifs ont bnfici de formations
spcifiques l'valuation restent rares. Cependant, l o ces activits ont
pu tre mises en place (sminaires sur l'valuation organiss en France par
des cabinets privs ou par les services administratifs, ou encore en Grce,
par les services de la Commission), les rsultats sont positifs. On notera
galement que quelques cours sur l'valuation des politiques publiques
existent ou se dveloppent en milieu universitaire, le plus souvent dans le
cadre de formations sectorielles.
A partir du prcdent constat relatif l'volution des pratiques au cours des
dernires annes, on peut identifier deux dfis majeurs relever pour
soutenir la dynamique actuelle de dveloppement de l'valuation dans le
cadre des Fonds structurels :
renforcer le professionnalisme des praticiens pour complter des
comptences insuffisantes, tant au niveau des responsables administratifs
que des quipes d'valuation et renforcer la qualit des travaux ;
mettre en uvre des actions de sensibilisation et d'incitation efficaces,
autrement dit passer d'une rponse une obligation une dmarche
volontaire.
Prparer l'valuation et dfinir son contenu
Dfinir le cadre gnral de l'valuation projete

L'valuation prend de multiples formes selon le stade o elle intervient dans
le cycle de programmation (valuation ex ante, mi-parcours, ex post),
selon le niveau de dcision concern (valuation de politique, de
programme, de projet), et selon son caractre plus ou moins tendu
(valuation d'ensemble, valuation thmatique, valuation plus approfondie
de certains aspects d'une politique ou d'un programme). Loin d'tre
indpendantes les unes des autres, ces diffrentes formes d'valuation
doivent s'articuler les unes aux autres. Il convient donc de replacer les
initiatives d'valuation dans un cadre plus gnral, largi plusieurs
priodes de programmation et plusieurs niveaux de responsabilit.
En particulier, la succession des priodes de programmation des Fonds
structurels europens impose un calendrier qui cre des chevauchements entre
les valuations ex ante, mi-parcours et ex post. Il en rsulte une ncessit de
penser la complmentarit entre les travaux pour que chaque valuation se
nourrisse des prcdentes, alimente les suivantes et vite les redondances.
De mme, l'embotement des niveaux de responsabilit (politique /
programme / projet) suppose que les valuations ralises un niveau
produisent des conclusions utiles aux autres niveaux. En particulier, les
valuations des programmes prennent en compte les objectifs et les

priorits de la politique dans laquelle ils prennent place.
Relier les diffrentes tapes de l'valuation

Pour bien anticiper l'utilit future d'une valuation, I faut la replacer dans le
cycle de vie du programme considr comme reprsent dans le schma
ci-dessous.
Encadr 6 - L'valuation dans le cycle de vie du programme
Conception du programme
Evaluation ex ante
Etude de faisabilit
Achvement du programme
Evaluation ex post
Bilan d'activit
Mise en uvre du programme

Suivi des ralisations
Evaluation mi-parcours
L'valuation ex ante
4 L'valuation ex ante intervient en dbut de cycle alors que le programme
n'a pas encore t adopt.
Cette forme d'valuation contribue faire en sorte que le programme
dfinitif soit aussi pertinent et cohrent que possible. Ses conclusions sont
destines tre intgres au programme au moment de la dcision.
L'valuation ex ante porte notamment sur l'analyse des forces, des
faiblesses et des potentialits de l'Etat membre, de la rgion ou du secteur
concern. Elle apporte aux autorits responsables un jugement anticip sur
le fait que les enjeux de dveloppement ont t correctement
diagnostiqus, que la stratgie et les objectifs proposs sont pertinents,
qu'il n'y a pas d'incohrence avec les politiques et orientations
communautaires, que les impacts attendus sont ralistes, etc. Elle apporte
par ailleurs les bases ncessaires au suivi et aux futures valuations en
veillant l'existence d'objectifs explicites et, dans la mesure du possible,
quantifis. Elle aide prciser les critres de slection des projets retenir
et s'assurer du respect des priorits communautaires. Elle contribue,
enfin, assurer la transparence des dcisions en permettant d'expliquer
clairement les choix oprs et leurs consquences attendues.
Les valuations ex ante sont ralises un moment o les autorits
publiques multiplient les discussions et les ngociations propos du futur
programme. Elles sont donc soumises des contraintes fortes : pression
sur les dlais, formalisation floue de la proposition de programme valuer,
modifications de cette proposition en cours de travail, exigences de
confidentialit, etc. L'quipe d'valuation doit par consquent tre capable
d'Intervenir avec souplesse et rapidit, tout en sachant mettre en uvre
des techniques d'analyse des besoins et de simulation des effets socioconomiques.
L'valuation mi-parcours
H L'valuation mi-parcours intervient au deuxime stade du cycle de
programmation, pendant la priode de mise en uvre des interventions.
Au vu de ses conclusions, des ajustements sont apports, si ncessaire, en
milieu de priode. Cette valuation porte un regard critique sur les
premires ralisations et sur les premiers rsultats des Interventions. Elle
apprcie galement la bonne gestion financire, ainsi que la qualit du suivi
et de la mise en uvre. Elle montre la traduction oprationnelle des

intentions de dpart et, le cas chant, elle constate les modifications
apportes de facto aux objectifs initiaux. Par comparaison avec la situation
de dpart, elle montre l'volution du contexte conomique et social gnral
et juge si les objectifs restent pertinents. Elle examine si l'volution des
politiques et priorits communautaires pose des problmes de cohrence.
Elle aide prparer des ajustements et des reprogrammations et les
argumenter de faon transparente.
L'valuation mi-parcours s'appuie fortement sur les informations issues
du systme de suivi, mais galement sur l'valuation ex ante, les
informations sur le contexte et son volution. Ce sont en rgle gnrale
des exercices relativement courts et exhaustifs qui s'intressent surtout
aux rsultats du programme valu sans chercher faire une analyse
approfondie de ses impacts. En effet, mi-parcours d'un programme, les
impacts n'ont pas souvent eu le temps de se rvler. Il est toutefois
possible et souhaitable de se rfrer des valuations approfondies ou
thmatiques portant sur les programmes antrieurs lorsque ces analyses
existent. L'valuation mi-parcours a un caractre endo-formatif ,
c'est--dire qu'elle alimente une rtroaction directe sur le programme
dont elle contribue amliorer la gestion.
L'valuation ex post
L'valuation ex post rcapitule et juge l'ensemble du programme, et
notamment ses impacts. Elle vise rendre compte de l'utilisation des
ressources, de l'efficacit et de l'efficience des interventions et de
l'obtention des effets attendus et d'autres inattendus. Elle porte sur les
facteurs de russite ou d'chec, sur la durabilit des rsultats et impacts.
Elle cherche tirer des enseignements gnralisables d'autres
programmes ou d'autres rgions.
Dans l'idal, il faudrait disposer de cette valuation au moment de prparer
la prochaine programmation, c'est dire un an au moins avant la date
d'achvement du programme. Or, pour que les Impacts aient eu le temps
de se matrialiser, l'valuation ex post doit tre conduite deux trois ans
aprs la fin de la priode de programmation. A dfaut, de pouvoir attendre
ce dlai, il est souvent demand de raliser une mise jour de l'valuation
mi-parcours, peu de temps avant l'achvement du cycle de
programmation, en liaison avec l'valuation ex ante du cycle suivant.
L'analyse des Impacts est toujours un exercice de grande envergure s'il est
conduit systmatiquement. Les valuations ex post sont donc
susceptibles d'impliquer des enqutes de terrain et de se drouler sur des
priodes longues allant de douze dix-huit mois.
Les cycles de programmation successifs
L'enchanement des trois tapes d'valuation au cours de cycles successifs
cre des superpositions qu'il s'agit d'organiser au mieux pour ne pas
dupliquer les travaux. Le principe de base revient adjoindre aux travaux
d'valuation, en cours d'un programme, l'exploitation des conclusions
d'valuations conduites sur le programme prcdent. La relative continuit
des actions programmes d'une priode l'autre permet, en effet, de tirer
des enseignements d'un pass proche sur la pertinence des nouvelles
mesures proposes. Le schma de l'encadr ci-dessous montre que les
interactions sont possibles entre les travaux d'valuation qui interviennent
aux diffrentes phases de plusieurs programmes successifs.
Encadr 7 - Cycles de programmation et valuations
Programmes
(1)
(3)
(2)
Rsultats,
impacts
Evaluation
mi-parcours (1)
ex ante (2)
Observation
ex post (1)
mi-parcours (2)
ex ante (3)
Rtroaction
-^ Ainsi, l'valuation ex ante qui prpare l'adoption du programme venir

devra mettre profit les rsultats de travaux antrieurs, savoir :
L'valuation mi-parcours de la priode qui s'achve. Cette valuation

aura dgag les leons des premires annes d'activit et les
reprogrammations qui s'en sont suivies. Elle aura ventuellement t
complte par un bilan des ralisations et des rsultats du programme en
cours, ralis sur la base des informations du systme de suivi.
L'valuation ex post de la priode antrieure la priode actuelle,
ventuellement complte par des thmatiques et des analyses
approfondies. Ces valuations auront permis d'observer et d'analyser les
impacts d'interventions dj anciennes, mais souvent proches des
interventions projetes, et intervenant dans un contexte en partie similaire.
M Le rle de l'valuation mi-parcours tant de vrifier si les objectifs sont
encore pertinents et sont en train d'tre atteints, il y aura lieu de faire
principalement rfrence aux donnes du systme de suivi, mais aussi :
A l'valuation ex ante, et notamment au diagnostic ralis en fonction du
contexte socio-conomique prvalant avant le dbut du programme et
qu'il y a Heu de mettre jour.
A l'valuation ex post du programme prcdent dont les conclusions
concernant les mmes domaines d'interventions pourront servir de
rfrences.
L'valuation ex post se fonde la fois sur les donnes de gestion et de
suivi et sur des enqutes de terrain qui serviront observer et analyser les
impacts rels et durables des interventions. Elle fait rfrence l'valuation
ex ante dans la mesure o elle doit rendre compte de l'atteinte des objectifs.
Elle fait rfrence l'valuation mi-parcours, notamment pour identifier les
succs et les checs qui avaient dj pu tre dcels ce stade.
Dans la mesure o l'valuation doit tirer les enseignements de l'exprience des
programmes prcdents au profit d'une amlioration des programmes suivants,
une solution intressante est d'tablir un programme pluriannuel d'valuation. Il
s'agit d'identifier les diffrentes valuations possibles et de caler leur date et
leur contenu en fonction des calendriers politiques et des chances
dcisionnelles des clients de l'valuation aux diffrents chelons.
Mener l'valuation diffrents niveaux

Depuis la rforme des Fonds structurels en 1988, la Commission a
privilgi une programmation intgre des interventions communautaires.
Un programme est compos de nombreux projets entrant dans le cadre
d'objectifs spcifiques qui sont eux-mmes orients vers l'objectif global

du programme.
L'valuation de programme n'est pas la somme, ni mme la synthse des
valuations des projets qui le composent. Certaines questions ne se posent
pas au niveau d'un projet individuel mais intressent l'valuation du
programme. Cela est par exemple le cas lorsque l'on cherche valuer les
effets de synergie. Ce point est trait plus loin (voir page 136) ainsi que dans
le Volume n4 de la Collection MEANS).
Evaluation des projets au stade de leur slection
Les autorits nationales et rgionales ont la responsabilit de la slection
des projets et ceci s'accompagne frquemment d'une valuation ex ante,
galement appele apprciation. L'exemple qui est dcrit ci-aprs est celui
d'un programme de dveloppement rgional au Royaume-Uni, pays o
l'apprciation des projets est ralise de faon particulirement soigne.
Exemple : slection des projets du programme des Highlands and Islands.
Dans le cadre du programme considr, deux cycles d'appel projets ont lieu
chaque anne. Toutes les demandes de financement sont d'abord examines en
fonction de leur ligibilit. Les projets considrs comme ligibles font l'objet d'une
notation selon huit critres gnraux, communs l'ensemble du programme (liens
avec les objectifs, efficacit probable, respect de l'environnement, additionnalit,
innovation, liens avec d'autres projets, intervention du secteur priv et soutien des
partenaires locaux) et selon plusieurs critres spcifiques variant d'une mesure
l'autre. Les critres tant pondrs, il est possible d'attribuer une note globale
chaque projet. Aprs confrontation des demandes de financement et des ressources
disponibles, une barre d'admission est tablie et une liste de projets financer est
recommande. La dcision finale revient aux responsables du programme.
Cet exemple montre que l'valuation des projets doit tre ralise en
liaison avec les objectifs du programme. Le lien avec les objectifs Intervient
ci au premier rang des critres de slection pris en compte dans le
systme de notation. Inversement, lors de l'valuation d'ensemble d'un
programme, la dmarche suit souvent un cheminement du projet au
programme, c'est dire du bas vers le haut (bottom-up). Les tudes sont
souvent, dans un premier temps, centres sur des projets ou des mesures
spcifiques, donc de type micro, et tendues progressivement
l'ensemble du programme pour valuer les hypothses de causalit qui
sont, par nature, toujours plus macro. L'valuation des projets nourrit alors
l'valuation de programme.
Exemple : valuation d'un projet dans son contexte rgional.
Une quipe d'valuation a ralis l'valuation ex ante d'une aide publique attribue
pour l'implantation d'une usine de construction automobile en Italie du sud. La
question principale portait sur les retombes conomiques et sociales de cette usine
pour l'activit conomique locale, et notamment pour la rduction du chmage. En
examinant le projet de faon isole, l'quipe d'valuation a montr que les
retombes taient faibles. En fait, l'usine restait fortement dpendante de ressources
externes la rgion en termes de main uvre et de fournisseurs. En ne considrant
que le niveau microconomique, l'impact du projet tait donc limit.
En examinant, au contraire, le projet dans son contexte rgional, l'quipe
d'valuation a montr que le projet tait susceptible de gnrer des activits
nouvelles, de dvelopper des productions locales de biens et services, et finalement
de produire des effets significatifs long terme, condition de prendre en compte
des mcanismes de niveau macroconomique.
Les limites de la dmarche qui va du micro au macro rside dans le fait
qu'elle entrane l'quipe d'valuation faire des hypothses de plus en plus
fragiles dans la mesure o les effets abords sont de plus en plus lointains
et complexes. Malgr tout, l'avantage de cette articulation des valuations
de projets et de programme est de fournir une explication dtaille de
l'enchanement des Impacts court et moyen termes.
Evaluation des grands projets
Un cas particulier est fait pour l'valuation des grands projets d'infrastructure
qui constituent des instruments importants de la mise en uvre de la
politique rgionale de l'Union europenne. Les grands projets ont t dfinis
comme ceux dont le cot total [...] excde, en gnral, 25 millions d'euros
pour les investissements en infrastructure et 15 millions d'euros pour les
investissements productifs 2. L'importance des financements mis en jeu
justifie que leur apprciation ex ante soit mene de faon approfondie et
autonome, en comparant leur cot et leurs avantages selon une technique
dcrite dans le Volume 3 de la Collection. La responsabilit de ces
valuations Incombe compltement aux Etats membres3.
' Article 16 du Rglement du Conseil 2082/93
1
Rglement 2082/93.
Pour les investissements en infrastructures l'analyse des avantages socioconomiques du projet inclut le taux prvisible d'utilisation, l'Impact
potentiel sur le dveloppement ou la reconversion de la rgion concerne
et l'estimation des consquences de l'Intervention communautaire sur la
ralisation du projet. Pour les Investissements productifs, on analysera plus
particulirement les perspectives du march dans le secteur concern, les
effets sur l'emploi et l'analyse de rentabilit conomique et financire
prvisionnelle du projet.
Dans l'instruction des demandes de concours individuels, la Commission
prend en compte les rsultats des apprciations et des valuations
effectues. Si l'apprciation prsente par le demandeur est considre
comme insuffisante et peu convaincante, la Commission peut rclamer au
demandeur qu'il dveloppe l'analyse, ou bien raliser elle-mme une
apprciation du projet en sollicitant, si ncessaire, l'avis d'experts
techniques indpendants. Dans tous les cas, la dcision de la Commission
sera le rsultat d'un dialogue et d'un travail commun avec le demandeur,
afin de parvenir aux meilleurs rsultats d'investissements.
Evaluation de programme
Les rsultats des valuations de programme sont systmatiquement repris
dans des synthses ralises l'chelon national et l'chelon europen.
A ces chelons, elles servent alimenter la rflexion et aider aux prises
de dcisions relatives la politique de cohsion conomique et sociale.
L'encadr suivant liste une srie de clients directs et indirects des
valuations de programme l'chelon europen.
Encadr 8 - Les clients des valuations l'chelon europen
Les valuations de programme sont directement ou indirectement utiles :
aux excutifs europens pour alimenter leur rflexion stratgique sur la
politique de cohsion et pour prparer leurs propositions au Conseil,
aux units oprationnelles de la Commission, dans le cadre de la prparation
des dcisions relatives au financement des programmes et leur contenu,
aux reprsentants de la Commission, lorsqu'ils expriment le point de vue
communautaire lors des dcisions de rorientation au cours de la mise en
uvre du programme,
et enfin aux services chargs de la prparation des rapports annuels sur la mise
en uvre des Fonds structurels et du rapport triennal sur la cohsion
conomique et sociale.
Une forme d'valuation particulirement intressante l'chelon europen

est celle qui analyse certains impacts considrs comme prioritaires cet
chelon. Ainsi l'valuation peut aborder des questions transversales telles
que l'impact sur l'emploi, la comptitivit des PME, l'galit des chances
entre les femmes et les hommes, l'environnement, etc. Ces priorits
communautaires sont souvent rappeles dans les documents de
programmation sans pour autant que l'on puisse parler d'une intgration
vritable (mainstreaming). Chercher valuer les Impacts en relation avec
ces priorits revient concevoir ce que l'on appelle une valuation
thmatique (voir le Volume 5 de la Collection).
Une valuation thmatique proprement dite porte sur plusieurs
programmes et peut tre ralise l'chelon national ou europen. Sa
particularit sera de traiter un thme spcifique, en gnral central pour le
commanditaire. Par exemple, la Commission europenne a ralis une
valuation sur le thme de l'galit des chances, dans une dizaine de
programmes rpartis dans des Etats diffrents. Les valuations
thmatiques permettent de faire un rapprochement entre diffrents
programmes et d'avoir une meilleure comprhension des processus de
production d'impact dans un domaine particulier. De grandes valuations
transnationales ont ainsi t lances sur l'Environnement, la RechercheDveloppement, le soutien aux Petites et Moyennes Entreprises.
S l e c t i o n n e r les diffrents niveaux d'analyse
L'exprience d'valuation des programmes des Fonds structurels montre
une grande diversit dans la manire de traiter les questions valuatlves.
Assez souvent, il est demand l'quipe d'valuation de traiter un
ensemble de questions, dans le cadre d'un exercice limit quelques mois.
D'autres valuations consacrent au contraire une anne entire l'analyse
approfondie d'un seul aspect. Le choix d'approfondir une question sera
guid par le besoin de mieux comprendre une difficult rencontre, de
mieux montrer le caractre exemplaire d'une russite, de mieux connatre
l'efficacit d'une mesure, de mieux comprendre les conditions d'atteinte
d'un objectif, etc. Dans l'exemple prsent en page suivante, le groupe de
pilotage a envisag d'approfondir plusieurs questions prioritaires.
C'est la combinaison de plusieurs critres qui va conduire la slection des
questions valuer en profondeur. Il pourra s'agir :
des mesures les plus coteuses (en supposant que les enjeux
dcisionnels augmentent avec le budget) ;
des mesures les plus innovantes (en considrant que ces parties d u
p r o g r a m m e sont des exprimentations qui ont besoin d'tre valides par
une valuation) ;
des objectifs les plus stratgiques (en supposant que ces parties d u
p r o g r a m m e soient le plus m m e de profiter d'un dbat inform) ;
des objectifs les plus controverss (en supposant que ces parties d u
p r o g r a m m e soient le plus m m e d e profiter d'une clarification des
critres de jugement) ;
des priorits qui intressent particulirement un chelon d e dcision.
Exemple : sept questions approfondir dans le cadre de l'valuation d'un
programme
En 1997, dans le cadre de l'valuation d'un programme de reconversion industrielle
en Franche-Comt au nord-est de la France, le groupe de pilotage de l'valuation a
consacr ses deux premires runions identifier une srie de questions et les
hirarchiser.
Sept champs de questionnement ont ainsi t identifis qui ont fait l'objet de
discussions en ateliers afin de formuler, pour chacun d'eux, une question
evaluative raliste et utile. Dans l'ordre des priorits tablies par le groupe de
pilotage, ces questions sont les suivantes : (1) Quelles catgories de projets ont
le meilleur impact sur l'attrait du territoire ? (2) Les aides aux entreprises ontelles permis de crer ou de maintenir des emplois fortement enracins dans la
zone ? (3) Les services aux entreprises ont-ils suffisamment contribu la
diversification de l'activit conomique ? (4) Les formations servent-elles
lever les qualifications ou plutt les rendre plus pertinentes ? De ces deux
effets attendus, lequel est le plus ncessaire ? (5) L'impact probable des projets
d'enseignement suprieur et de recherche est-il suffisant ? (6) Quelle est
l'efficacit des diffrentes catgories de projets en termes de cration et de
maintien d'emploi ? (7) Quelles catgories de projets assurent ou amliorent
l'galit des chances entre les femmes et les hommes ?
L'approfondissement des sept questions aurait reprsent un cot trop lev. Il a
donc t dcid de limiter le nombre de questions approfondir trois. Certaines
questions ont t cartes dans le souci de ne pas crer de doublon avec d'autres
valuations en cours dans la rgion. Finalement les questions (1), (4) et (5) ont t
juges prioritaires.
C o m m e le montre l'Encadr 9, les analyses approfondies peuvent prendre

diffrentes f o r m e s qui dpendent de l'objet analys.
Encadr 9 - Trois situations d'analyse approfondie

Mesures
/
Impacts
Publics
^~"s\
Conseil
Exportation
PME
Aide
l'investissement
Formation
S"
Crateurs
d'entreprises
^ " "
"
Innovation
La premire forme d'analyse approfondie (cercle 1 dans l'Encadr)

concerne des impacts d'une mesure, ou d'un grand projet. En fonction
de la nature du public concern, les Impacts recherchs seront par
exemple, les emplois crs ou maintenus, l'investissement induit, la
consolidation des activits; la diversification des activits, etc. Les
destinataires de l'intervention sont connus et peuvent tre interrogs.
Les donnes primaires ainsi obtenues fournissent des indications
relatives aux effets bruts. L'analyse de causalit peut galement tre
conduite l'aide des techniques proposes dans le Volume 3 (voir page
157) : recherche des facteurs concurrents, estimation des effets
d'aubaine, de dplacement ou d'viction, constitution d'un groupe de
comparaison, construction d'une situation contrefactuelle. Dans cette
situation, l'valuation aboutit des conclusions sur le succs ou l'chec
d'une intervention donne. Ces conclusions seront si possible,
gnralisables d'autres interventions similaires (validit externe).
La deuxime forme d'analyse approfondie (cercle 2 dans l'Encadr) se
concentre sur un public particulier, comme par exemple les chmeurs de
longue dure, les crateurs d'entreprise, les petites exploitations agricoles,
etc. L'valuation se place du point de vue du public concern, analyse ses
besoins, son attitude par rapport au programme, ses critres de jugement.
Dans cette situation, l'valuation aboutit des conclusions sur l'impact
compar des diffrentes mesures qui touchent directement ce public. Elle
peut galement montrer comment ces diffrentes mesures se renforcent ou
se contrarient rciproquement (effets de synergie).
La troisime forme d'analyse approfondie (cercle 3 dans l'Encadr)

concerne un impact ou une catgorie d'impacts. La question s'applique
alors toutes les mesures du programme et porte sur leur contribution
respective la production de cet impact. La particularit de ce type de
situation est que le public concern est homogne, alors que les actions qui
exercent une influence sur ce public sont htrognes et nombreuses.
Dans cette situation, l'valuation aboutit des conclusions sur l'impact
compar des diffrentes mesures qui contribuent directement ou
indirectement produire l'impact.
La notion d'valuation thmatique voque celle d'valuation approfondie.
Certaines valuations thmatiques examinent comment un mme impact
(ex : comptitivit des PME) est obtenu par plusieurs sortes d'interventions
(voir Encadr 9 - situation 3), ou comment les Interventions finances dans
un domaine prcis comme la Recherche & Dveloppement produisent
plusieurs sortes d'impacts (voir situation 1).
Les valuations thmatiques peuvent tre ralises au sein d'un
programme (le terme est alors quivalent celui d'analyse approfondie) ou
de faon transversale plusieurs programmes. Ces valuations sont
dcrites dans le Volume 5 de la Collection MEANS.
Les valuations thmatiques sont particulirement utiles pour valuer les
programmes du point de vue des priorits communautaires. Elles reposent
sur le principe du mainstreaming qui repose sur la prise en compte
systmatique d'une priorit ou de besoins spcifiques dans l'ensemble des
politiques communautaires, et en particulier dans le programme valu. Le
concept est particulirement employ pour la prise en compte des besoins
des femmes et des hommes dans l'ensemble des politiques afin de
promouvoir un objectif d'galit des chances qui constitue une priorit. Cet
objectif peut tre atteint si l'on tient compte de l'effet de l'intervention sur
la situation spcifique des femmes et des hommes ds la conception du
programme, puis au cours de la mise en uvre, du suivi et de l'valuation,
et jusque dans les systmes d'indicateurs. Le mainstreaming ncessite le
dveloppement de mesures visant adapter l'organisation de la socit
pour garantir une distribution plus quitable des rles entre les femmes et
les hommes
Diffrencier le c o n t r l e , le suivi et l'valuation

Il faut attendre de l'valuation ce qu'elle peut rellement apporter et ne pas
chercher lui faire jouer des rles qui ne sont pas les siens, tels que le
contrle et le suivi.
Dans le cadre des politiques structurelles, la Commission se proccupe de
satisfaire simultanment les exigences du Conseil et du Parlement en
matire de contrle, de suivi et d'valuation. Les trois exercices sont
proches en tant que jugements ports sur l'activit publique et peuvent
s'enrichir mutuellement. Toutefois, ils doivent tre clairement distingus
pour viter toute ambigut. Ces pratiques requirent, en effet, des qualits
professionnelles, des temporalits et des modes d'organisation diffrents.
Une premire clarification concerne le point de vue partir duquel l'action
publique est juge. Le contrle vrifie la lgalit et la rgularit de la mise
en uvre des ressources. Le suivi vrifie la bonne gestion des interventions
et produit une analyse rgulire sur l'tat d'avancement des ralisations.
L'valuation juge de la mise en uvre du programme sur la base des
ralisations, des rsultats et des Impacts qu'il a produits dans la socit.
Un deuxime claircissement concerne les critres de jugement. Le contrle
juge en fonction de critres connus et clarifis l'avance (enveloppes
budgtaires, textes rglementaires, normes professionnelles). Le suivi juge
en fonction d'objectifs oprationnels raliser. Au contraire, l'valuation doit
le plus souvent commencer par choisir ses critres de jugement. Ceux-ci
sont formuls partir des objectifs de l'action publique value. Or
l'exprience nous montre, et la littrature de l'valuation le confirme : il est
encore rare que les objectifs d'une action publique soient clairs, quantifis,
vrifiables et immdiatement utilisables comme critres d'valuation.
Ces diffrences fondamentales qui distinguent contrle, suivi et valuation
sont prsentes dans le schma en page suivante.
Ainsi, les qualits professionnelles et les comptences requises par les
diffrents exercices ne sont pas les mmes. Le contrleur a une
connaissance approfondie des critres prtablis (connaissances
juridiques ou comptables par exemple). Son comportement inspire le
respect et l'autorit et il n'hsite pas utiliser la contrainte et stigmatiser
publiquement les erreurs et les dysfonctionnements pour obtenir un effet de
dissuasion. Le responsable du suivi doit avoir pour sa part des
comptences reconnues en termes d'organisation, de gestion et de mise

en place des dispositifs d'information. Il supervise et assiste les oprateurs
dans la mesure o I leur fournit des outils et des procdures qui les aident
dans leurs pratiques professionnelles et qui de plus serviront une analyse
critique des conditions de mise en uvre. Enfin, le praticien de l'valuation
ne pouvant que difficilement s'appuyer sur des critres unanimement
reconnus, a besoin de la collaboration des gestionnaires publics pour
collecter une information pertinente, pour savoir l'interprter et pour
formuler un jugement lgitime. Il ne peut pas tre efficace si ses
interlocuteurs ne sont pas de bonne volont et de bonne foi, ce qui
implique souvent de respecter une certaine confidentialit.
Encadr 10 - Articuler contrle, suivi et valuation
Ressources
Ralisations
Rsultats / Impacts
Input
Output
Outcome I Outreach
Rfrences
Contrle
(de lgalit)
Suivi (de gestion)

Evaluation
(de la qualit de la gestion et des effets)
Conformit
aux
textes
administratifs
Standards de
bonne
gestion
Satisfaction
des
besoins des
citoyens et rsolutions
des
problmes
Si les trois exercices prsentent des diffrences intrinsques, ils se servent

mutuellement grce leur complmentarit. Par exemple, le contrle et le
suivi peuvent reprer des succs et des checs apparents, que l'valuation
va chercher confirmer par une analyse approfondie. A l'Inverse, une
valuation peut montrer que l'application d'une norme juridique ou
professionnelle constitue un facteur particulier d'efficacit ou d'inefficacit.
Entre les exercices de suivi et d'valuation il existe une interdpendance en
ce sens que les indicateurs du suivi sont utiles l'valuation.
Toutefois, les risques de conflits entre les trois logiques sont importants. En
particulier, une valuation ne doit pas tre ralise avec les mthodes du
contrle sous peine de crer des oppositions qui contrarient la collecte

d'information et l'utilisation des conclusions. Dans un autre ordre d'ides,
aucune valuation ne peut remplacer un contrle ou un suivi dfaillant. Par
exemple, en cas de soupon sur la rgularit ou le professionnalisme de la
mise en uvre, il est ncessaire de procder une inspection ou un audit
afin de prendre les dcisions qui s'imposent et d'attendre que la srnit
soit revenue pour investir dans une valuation.
Dcider le lancement de l'valuation

La plupart des valuations entrant dans le cadre de la politique europenne
de cohsion conomique et sociale ont un caractre obligatoire. Cet tat de
fait ne devrait pas conduire sous-estimer le rle que joue la dcision de
lancement d'une valuation. Celle ci est l'occasion de cadrer le travail
entreprendre en dfinissant prcisment son champ (ce qui va tre valu),
son calendrier et surtout ses motifs rels, au-del du simple respect des
obligations rglementaires.
En formulant une dcision claire et forte, les autorits publiques
commanditaires donnent l'valuation toute sa lgitimit politique. Elles
dsignent les personnes qui participeront au processus d'valuation en
rpartissant les rles et en fixant les rgles du jeu.
Lorsque l'valuation est obligatoire, on peut craindre que les autorits
commanditaires soient tentes par une solution de facilit qui consiste
calquer leurs dcisions sur des modles prtablis sans se soucier
suffisamment de ce qu'ils peuvent rellement attendre de l'valuation dans
le contexte de leur programme et dans les limites du calendrier politique. Il
en rsulte un risque d'uniformisation et de bureaucratisation de l'valuation.
Plusieurs auteurs de rfrence dans le domaine de l'valuation affirment, au
contraire, que chaque valuation doit tre considre comme unique
(Patton, 1986) parce qu'elle rpond des attentes qui changent en fonction
du moment et du contexte, mais aussi parce que l'exprience a montr qu'il
n'existe pas de mthode universelle d'valuation.
Dlimiter le champ
La dcision d'valuer est l'occasion de dfinir les limites du programme en
termes de dimensions institutionnelles, temporelles, sectorielles et
gographiques. C'est ce que l'on appelle le champ de l'valuation ou
valuanda . Dlimiter le champ d'une valuation revient se poser la
question : Que veut-on valuer ? . Le champ d'investigation doit tre
circonscrit sur quatre plans au moins : Institutionnel (niveau europen,
national ou local), temporel (priode prise en considration), sectoriel
(social, industriel, environnement, rural, etc.) et gographique (telle partie
du territoire europen, telle rgion, telle ville, tel parc naturel, etc.).
Dans le cadre de cet ouvrage, le champ est en principe dlimit par les
financements du programme valuer, par le territoire concern et par la
priode de programmation. Il est cependant utile d'avoir une rflexion

pralable sur les points suivants :
Veuton valuer les financements du programme uniquement ou
galement certains autres financements nationaux, rgionaux ou locaux
qui sont plus ou moins directement lis au programme ?
Veuton valuer les interventions dans la zone eligible uniquement ou
tendre d'observation certaines zones voisines qui rencontrent des
problmes de dveloppement similaires ?
Veuton valuer les financements attribus uniquement dans le cycle de
programmation concern ou galement certains financements des cycles
prcdents ?
Il faut insister ici sur l'importance d'une dlimitation relativement stricte du
champ. L'exprience a en effet montr qu'au cours du processus
d'valuation les participants ont tendance vouloir examiner tout ce qui
touche de prs ou de loin au programme. Pour aboutir des conclusions,
l'valuation doit tre rduite l'examen du programme et de ses
interdpendances les plus essentielles avec d'autres politiques publiques.
^ Le risque est particulirement sensible dans le cas des valuations ex
ante qui peuvent driver vers un exercice d'analyse prospective ou de
rflexion spculative qui s'loigne de l'objet de l'valuation. Il est
recommand de bien limiter le champ de l'valuation la proposition de
programme.
A n n o n c e r les motifs et l'utilisation prvue
Au moment du lancement de l'valuation, I est fortement recommand de
prciser les motifs qui sont l'origine de la dcision d'valuer et de dresser
la liste des utilisateurs potentiels. Mme si l'valuation est obligatoire, cet
exercice est une faon de s'assurer contre la production d'un travail inutile.
Il est galement important de prciser jusqu'o on souhaite voir l'quipe
d'valuation s'impliquer. Estce que les attentes se limitent de simples
conclusions ou estce que l'on souhaite obtenir des recommandations
caractre oprationnel ou stratgique ? Les attentes sont videmment
diffrentes selon l'tape laquelle l'valuation prend place (ex ante,
intermdiaire ou ex post).
Il faut souligner ci l'importance, pour obtenir une valuation utile,
d'noncer, avec le plus de prcision possible, les dcisions susceptibles
d'tre prises et qui peuvent tre claires par l'valuation. On constate

frquemment que les commanditaires n'osent pas, par peur de trop
Influencer l'quipe d'valuation, exprimer par avance les changements qui
leur paraissent souhaitables d'apporter au programme ou leurs doutes par
rapport l'efficacit de telle ou telle action. L'intention est louable : ne rien
dvoiler par avance pour voir si l'quipe d'valuation arrive aux mmes
conclusions que les siennes ! L'exprience montre au contraire que
l'valuation a peu de chance de documenter les dcisions que l'on
envisage de prendre si celles-ci ne sont pas connues au pralable de ceux
qui vont aller sur le terrain collecter et analyser les donnes. La ralit
socio-conomique est en effet trs complexe et l'quipe d'valuation se
trouve confronte un trs grand nombre de constats et de pistes
d'amlioration possibles. Elle risque donc de s'attacher vrifier des
hypothses certainement intressantes dans l'absolu mais peu ralistes
aux yeux des responsables politiques ou des gestionnaires compte tenu
des marges de manuvre existantes ou des urgences.
Rpartir les rles dans le dispositif d'valuation

On entend par dispositif d'valuation les rles et responsabilits au
sein du processus d'valuation d'une part et, d'autre part, les relations
entre l'valuation, le suivi et la gestion du programme. Des rgles du jeu
claires et quitables contribuent des travaux de qualit et vitent les
blocages. Le choix principal porte sur le rle de pilotage de l'valuation,
rle qui comprend notamment la rdaction du cahier des charges, la
slection de l'quipe d'valuation et la validation de son rapport.
Par le pass, le pilotage de l'valuation a t souvent confi un
fonctionnaire isol ou au contraire, exerc collectivement par les
cofinanceurs du programme dans le cadre de runions formelles, largies
de nombreux partenaires et peu frquentes (Comits de suivi). En pratique,
le dispositif fonctionne bien quand la responsabilit du pilotage est
assure, de faon relativement informelle, par un groupe restreint compos
des fonctionnaires des administrations les plus directement concernes par
le programme, auquel on adjoint parfois quelques experts. La priodicit
des runions doit tre importante (une par mois certains moments) et les
procdures de travail doivent tre souples et peu formelles.
De faon schmatique (voir schma ci-aprs) on peut rduire le dispositif
d'valuation la rpartition des rles entre les cinq entits cls que sont les
commanditaires, le groupe de pilotage, l'quipe d'valuation et enfin les

oprateurs et les publics concerns. Dans certaines situations il convient
de rajouter d'autres entits. En particulier on a parfois, avec succs,
organis le pilotage sur la base d'un comit global coordonnant plusieurs
comits sectoriels (ou des comits crs une chelle gographique plus
petite). Les responsabilits de ces entits sont dcrites par leur rle
respectif au cours des six tapes cls qui constituent l'valuation.
Encadr 11 - Le dispositif d'valuation et ses six tapes
Autorits publiques
commanditaires
Groupe d e pilotage
6. Dcisions, instructions,
communication
Publics
concerns
Oprateurs
Equipe d'valuation
3. Enqute
entretiens
Etape 1 : Les autorits publiques, commanditaires et futurs utilisateurs

de l'valuation, formulent leurs instructions un groupe de pilotage,
Cette tape se matrialise a minima par un paragraphe dans le document
de programmation ; elle pourrait l'avenir faire l'objet d'un mandat en
bonne et due forme ainsi qu'il est recommand dans le chapitre de
conclusion de ce Volume.
Etape 2 : Le cahier des charges est conu et rdig par le groupe de
pilotage sur la base du mandat reu. Ce cahier des charges sert le plus
souvent de document d'appel d'offre et permet la slection de l'quipe
d'valuation. Le groupe de pilotage assurera autant d'interactions que
ncessaires avec l'quipe d'valuation afin de s'assurer que celle-ci ne

dvie pas des lignes directrices inscrites au cahier des charges et
travaille dans le sens des questions poses.
Etape 3 : L'quipe d'valuation ralise la collecte d'Informations
secondaires et primaires auprs des oprateurs et des publics concerns
puis en fait l'analyse. C'est l'tape la plus longue.
Etape 4 : Un rapport que l'on peut qualifier de technique est rdig
par l'quipe d'valuation. Il Inclut des conclusions et le cas chant des
recommandations provisoires l'Intention du groupe de pilotage.
Etape 5 : Les conclusions sont valides en tout ou partie par le groupe
de pilotage qui en outre formule ses recommandations aux autorits
publiques dans le rapport d'valuation qui intgre le rapport technique ou
le prsente en annexe.
Etape 6 : Les autorits utilisent l'valuation en la diffusant auprs du
public et/ou en dcidant de nouvelles orientations que les
administrations seront charges de mettre en uvre. Cette tape cruciale
est souvent isole du processus d'valuation proprement dit car le
groupe de pilotage peut tre dissous aprs avoir rendu son rapport et ne
peut malheureusement pas assurer un vritable suivi des dcisions
subsquentes. Notons toutefois que l'on peut se prmunir contre le
risque d'absence de suites donnes en Incluant dans le mandat initial un
engagement moral des autorits d'inviter si ce n'est le groupe de pilotage
au moins son Prsident prsenter les conclusions et assister la
runion au cours de laquelle seront prises les dcisions.
-^ Il faut souligner que par le pass les dispositifs d'valuation ont peu
peu converg vers le schma qui prcde pour les valuations miparcours. Par contre tel n'a pas t le cas des valuations ex ante. Les
contraintes de temps et la difficult de mobiliser les protagonistes par
rapport un programme qui n'existe pas encore peuvent expliquer sans
toutefois compltement justifier l'absence de groupe de pilotage.
Les mmes lacunes se retrouvent en matire d'valuation ex post alors
mme que l'on ne peut se prvaloir de difficults similaires. Ce type
d'valuation est souvent demand par une administration sans
vritablement apporter tout le soin ncessaire la clarification des attentes
des niveaux dcisionnels les plus importants ou au pilotage du processus.
Formuler les questions valuatives

Liste des questions possibles
L'aspect qui est peut-tre le plus fondamental dans la phase de conception
d'une valuation est la formulation des questions valuatives. Ce sont ces
questions qui constituent le cur de l'exercice d'valuation.
Parmi les questions possibles, on distingue en gnral les questions
descriptives qui cherchent observer et mesurer des changements (que
s'est-il pass ?), les questions causales qui cherchent comprendre et
apprcier des liens de cause effet (comment et dans quelle mesure ce qui
s'est pass est attrlbuable au programme ?), et enfin les questions
normatives qui appliquent des critres d'valuation (les rsultats et les
impacts sont-ils satisfaisants ?). Dans l'idal, toute question evaluative
devrait englober ces trois dimensions et avoir les qualits suivantes :
La question doit correspondre une vritable interrogation, un rel besoin
d'information, de comprhension et/ou d'identification de solutions nouvelles.
Dans le cas contraire, il s'agit d'une question alibi , visant par exemple
cautionner une dcision dj prise. Si une question prsente un intrt
uniquement en terme de connaissances nouvelles sans dbouch immdiat
en termes de dcisions ou de dbat publics, elle relve plus de la recherche
scientifique, elle ne trouve pas sa place dans un exercice d'valuation.
La question concerne un impact, un groupe d'impacts, un rsultat ou un
besoin, c'est dire qu'elle concerne au moins en partie des lments
extrieurs au programme, savoir ses destinataires ou son environnement
conomique et social. SI une question concerne uniquement la gestion
interne des ressources et des ralisations, il est probable qu'elle peut tre
mieux traite dans le cadre des exercices de suivi ou de contrle.
Exemple : Quelques questions valuatives relatives aux programmes des
Fonds structurels europens
Les aides aux centres scientifiques et techniques ont-elles provoqu un dbut de
rattrapage du retard des PME rgionales en matire d'innovation ?
Le programme a-t-il cr ou maintenu un nombre suffisant d'emplois au regard de
son cot ?
Les ralisations et les rsultats du programme correspondent-ils aux besoins et aux
attentes spcifiques des femmes ?
Quelles sont les mesures qui ont les impacts les plus positifs (les plus ngatifs) sur
l'environnement ?
La question comporte un critre de jugement et un seul. Ce dernier lment

pourra paratre parfois difficile respecter, mais l'exprience montre
pourtant qu'il s'agit d'un facteur cl pour l'utilit de l'valuation. En
l'absence de critre de jugement annonc ds le dpart, le rapport final
parvient rarement dboucher sur des conclusions.
Critres d'valuation
Lorsqu'elles comprennent un critre de jugement, les questions
d'valuation se rangent principalement dans l'une des quatre catgories
suivantes : celles qui ont trait la pertinence du programme, celles qui ont
trait son efficacit, celles qui ont trait son efficience ou encore celles qui
ont trait son utilit. Ces quatre grandes catgories sont reprsentes dans
le schma ci-dessous.
Encadr 12 - Principaux critres d'valuation
Socit
Economie
Environnement
Programme
Besoins
Problmes
Enjeux
Impacts
tt\
| Objectifs [-l Ressources | | Ralisations |
Efficience
Pertinence
Efficacit
Utilit
^ M Par pertinence on entend, dans le contexte d'une valuation,

l'adquation entre les objectifs explicites du programme et les problmes
socio-conomiques que ce dernier est cens prendre en charge. Dans le
cadre d'une valuation ex ante, les questions de pertinence sont les plus
importantes car on s'interroge principalement sur la stratgie choisir ou
sur la justification de celle que l'on propose. Dans le cadre d'une valuation
mi-parcours, on souhaitera vrifier si le contexte socio-conomique a
bien volu comme on l'imaginait a priori et si cette volution ne remet pas
en question tel ou tel objectif initial.
H Les questions fondamentales des valuations mi-parcours et plus

encore des valuations ex post sont relatives l'efficacit et l'efficience
des interventions mises en uvre et du programme dans son entier. En ce
qui concerne l'efficacit, il s'agit de savoir si les objectifs formuls dans le
programme sont en vole d'tre atteints, de connatre les russites et les
difficults rencontres, l'adquation des solutions choisies ou encore
l'Influence de facteurs concurrents exognes au programme lui-mme.
L'efficience dans le contexte de l'valuation revient rapprocher les
rsultats obtenus, ou mieux encore les impacts produits des ressources
mobilises. Autrement dit, les effets obtenus sont-ils la hauteur des
moyens engags ? Les termes d'efficience et d'efficacit sont, par ailleurs,
couramment employs par les gestionnaires dans une acception diffrente
dans la mesure o Ils s'attacheront, dans le cadre du suivi, l'analyse des
ralisations et non des rsultats ou impacts. Soulignons cet gard que les
questions relatives la performance d'un programme sont de plus en plus
frquentes. Cette notion englobe celles d'efficacit et d'efficience telles que
nous les avons dfinies la fois pour le suivi et pour l'valuation. C'est donc
un ensemble assez large de questions que l'on trouvera regroupes sous
ce vocable.
Le critre d'utilit juge les impacts obtenus par le programme au regard des
besoins de la socit et des enjeux conomiques. L'utilit est un critre
d'valuation trs particulier puisqu'il abandonne toute rfrence aux
objectifs officiels du programme. Il peut tre judicieux de formuler une
question d'utilit lorsque les objectifs sont mal dfinis ou lorsque qu'il y a
beaucoup d'Impacts Imprvus. Ce critre doit malgr tout tre utilis avec
prcaution afin d'viter que l'quipe d'valuation ne procde une
slection trop personnelle des besoins ou enjeux importants. Certains
auteurs nord-amricains ont prn cette forme d'valuation affranchie
des objectifs (goal free evaluation).
De faon concise on peut caractriser simplement les quatre catgories de
questions de la faon suivante :
Pertinence : Dans quelle mesure les objectifs du programme sont-Ils
justifis par rapport aux besoins ? Leur raison d'tre est-elle encore
dmontrable ? Correspondent-ils aux priorits locales, nationales et
europennes ?
Efficacit : Dans quelle mesure les objectifs escompts ont-ils t atteints ?
Est-ce que les instruments mis en uvre ont produit les effets attendus ?
Pourrait-on obtenir plus d'effets en utilisant des instruments diffrents ?
Efficience : Est-ce que les objectifs ont t atteints au meilleur cot ?

Pourrait-on obtenir plus d'effets pour le mme cot ?
Utilit : Est-ce que les effets attendus et Inattendus sont globalement
satisfaisants du point de vue des destinataires directs et indirects ?
Ces quatre critres ne sont pas exclusifs. Par exemple, on posera une
question du type : Est-ce que les effets obtenus vont perdurer au-del de
la fin du programme, mme en cas d'arrt de tout financement public ? Il
s'agira dans ce cas du critre de viabilit (sustainability) ou de durabilit des
Impacts produits. On peut encore avoir recours d'autres critres, tels
que : l'quit, la cohrence, la synergie, la reproductlbilit, etc.
Probabilit de rponse
Une fois les questions valuatives identifies, il convient de rflchir leur
valuabilit. Il s'agit d'apprcier a priori si les questions valuatives peuvent
vraisemblablement trouver des rponses compte tenu des ressources
disponibles. Il s'agit concrtement de s'assurer qu'une quipe d'valuation
utilisant des outils d'valuation appropris sera capable, dans des dlais et
pour un cot compatibles avec les contraintes existantes, de trouver tous les
lments ncessaires la construction de rponses crdibles aux questions
poses. Pour savoir s'il est possible d'accder un degr de crdibilit
acceptable, on peut faire, ou faire faire une tude d'valuabllite. On y
reviendra dans la dernire partie de l'ouvrage (voir page 211) consacre aux
amliorations qui peuvent tre apportes aux pratiques existantes.
Il est recommand de vrifier, mme de faon sommaire, pour chaque
question evaluative :
si les concepts sont stabiliss ;
si l'on saura formuler des hypothses explicatives ;
si les donnes dj disponibles permettent de rpondre la question
sans enqute complmentaire ;
si l'accs au terrain ne posera pas de difficults majeures.
Un certain nombre de facteurs peuvent rendre trs difficile la rponse une
question. Ainsi, par exemple, si le programme est trs nouveau, s'il n'a pas
encore pu produire de rsultats importants ou si les donnes disponibles
sont totalement Inappropries. Ces raisons peuvent conduire la dcision
de ne pas entreprendre l'valuation, de la repousser plus tard, ou encore
de poser des questions plus ralistes.
Slection d e s questions prioritaires

Parce que chercher rpondre de faon approfondie toutes les questions
serait trop coteux en temps et en investigations, il est toujours
recommand d'tablir une hirarchie parmi l'ensemble des questions
valuatives exprimes.
Pour ce faire, il est ncessaire d'apprcier les enjeux associs chacune de
ces questions (connaissance, ngociation, dcision, communication) afin de
pouvoir tablir une hirarchie entre elles. Les probabilits de rponse aux
questions et les probabilits d'utilisation de ces rponses doivent guider le
choix qui sera d'autant plus russi que les utilisateurs potentiels auront
t consults et se seront appropris les questions slectionnes.
Il est bien entendu qu'il vaut mieux obtenir des rponses lgrement
imprcises des questions importantes que des rponses prcises des
questions que personne ne se pose et qui risquent a fortiori de ne jamais
tre coutes.
Encadr 13 - Slectionner les questions prioritaires
Parties prenantes
Types de dcisions
prendre
Contexte politique
Premire liste de
questions valuatives :
Probabilit de rponse
Probabilit d'utilisation
Questions
prioritaires
Comme le montre l'encadr ci-dessus, on considrera qu'une question est

prioritaire si la probabilit de rponse est grande et si la probabilit
d'utilisation de la rponse l'est aussi. A cette fin, on se posera les
interrogations suivantes :
Les conclusions seront-elles utilises ? Par qui ? Pour quoi faire

(dcider, dbattre, rendre compte) ? Quand ?
Est-il politiquement opportun de mener une telle valuation un tel
moment ou dans un tel contexte ? Y a-t-il une situation conflictuelle qui
risque de compromettre l'exercice ?
Une tude rcente n'a-t-elle pas dj rpondu la majorit des
questions ?
Les priorits en matire d'valuation ne sont-elles pas trop instables ?
Si ncessaire, ces points peuvent faire l'objet d'une tude pralable
l'valuation (voir page 200).
Passer commande de l'valuation

Le cahier des charges traduit la dcision de lancement de l'valuation dans
des termes suffisamment prcis pour permettre la mise en concurrence de
plusieurs quipes d'valuation et pour garantir la ralisation du travail dans
de bonnes conditions. La rdaction du cahier des charges mrite donc
beaucoup de soin.
Le cahier des charges rcapitule l'origine, le champ et la finalit de
l'valuation ainsi que la rpartition des rles. Il dcrit le contenu du
programme valuer et prcise l'information qui est dj disponible et qui
sera mise disposition de l'quipe d'valuation. Il nonce, de faon
prcise, un nombre limit de questions auxquelles l'valuation devra
rpondre. Il trace les grandes lignes de la mthode d'valuation et fixe les
tapes du calendrier de travail. Il indique ventuellement l'enveloppe
budgtaire disponible
L'quipe d'valuation est choisie aprs mise en concurrence. Parmi les
critres considrer, l'Indpendance et la comptence sont deux lments
essentiels.
Soigner la rdaction du cahier des charges

Le cahier des charges (ou termes de rfrence) est le document servant de
base une relation contractuelle entre le commanditaire d'une valuation et
l'quipe charge de l'tude. Construire de faon claire le cahier des charges
est une tape vitale lorsque l'valuation doit tre ralise par des
consultants extrieurs. Ce travail revt nanmoins une importance toute
aussi grande si une partie de l'valuation est faite en interne bien que l'on
croie souvent pouvoir en faire l'conomie dans ce cas. Le cahier des
charges peut concerner soit l'opration d'valuation dans son ensemble
(lorsqu'elle est confie une quipe unique), soit un sous-ensemble de
travaux d'tude programms dans le projet d'valuation (analyse
approfondie d'une question evaluative).
Le cahier des charges est un texte de 5 20 pages, gnralement complt
par des annexes administratives. Son contenu est dcrit dans l'Encadr 14.
Seuls les points qui n'ont pas dj t traits sont expliqus par la suite.
Exemple : une valuation comprenant plusieurs cahiers des charges

Dans le cadre de l'valuation de leur programme de dveloppement, les autorits
d'une rgion ont choisi de dcouper les travaux en lots spars selon les capacits
techniques requises pour les raliser : (1) travaux d'enqute par questionnaire
auprs d'un chantillon de destinataires, (2) travaux d'entretiens avec les
gestionnaires et les oprateurs, (3) expertise conomique. D'autres valuations sont
dcomposes par territoire (ex : dveloppement rural / dveloppement urbain) ou
par secteur d'intervention (ex technologie /formation /tourisme). On notera qu'un
tel dcoupage fait porter au commanditaire la responsabilit complte des choix
mthodologiques et de la synthse des rsultats.
Encadr 14 - Le plan type d'un cahier des charges

1
2
3
4
5
6
7
8
9
10
11
- Cadre rglementaire
- Champ de l'valuation
- Qui va utiliser l'valuation et pour quoi ?
- Questions valuatives et critres
- Connaissances et donnes disponibles
- Mthode (lignes directrices)
- Dispositif d'valuation
- Calendrier
- Budget indicatif
- Qualifications requises
- Structure de la proposition
Cadre rglementaire de l'valuation

Pour le bnfice de l'quipe qui sera charge de raliser l'valuation, il est
ncessaire de rappeler le contexte dans lequel celle-ci s'insre. Les bases
juridiques et contractuelles sont explicites dans les rglementations de
l'Union europenne et dans chaque document de programmation mais il
est souhaitable d'y faire rfrence.
Le cahier des charges doit prciser qui a t l'initiative du projet
d'valuation et le cas chant, qui a t associ l'laboration de la
commande de cette valuation et les motifs l'origine de la dcision
d'valuer s'ils ne sont pas purement rglementaires.
Par ailleurs, les finalits de l'valuation, c'est--dire la raison pour laquelle
une valuation est demande, doivent tre explicites : veut-on inflchir
une tendance ? pourquoi ? veut-on modifier les procdures de pilotage ou

d'arbitrage ? veut-on rallouer des crdits ?
Connaissances disponibles
Le cahier des charges contient un bilan de l'tat actuel des connaissances
sur le programme et ses effets. Parmi les lments de cet tat des lieux, on
trouve des extraits ou des rfrences des documents de programmation, la
liste des tudes et des valuations prcdentes accompagnes d'extraits
significatifs, la description du systme de suivi, des indicateurs
effectivement quantifis, des divers comptes-rendus et bases de donnes
disponibles auprs des services gestionnaires.
Cet tat des lieux est indispensable pour permettre aux quipes candidates
pour l'valuation d'ajuster leurs propositions mthodologiques en fonction
de l'ampleur et de la nature de la collecte de donnes et des travaux
d'interprtation qui devront tre organiss au cours de l'exercice
d'valuation.
Grandes lignes de la mthode

Chaque valuation fait appel une mthode ad hoc construite avec
l'accord du commanditaire, sur la base de la proposition de l'quipe
d'valuation slectionne. Au stade du cahier des charges, on choisit
gnralement de ne pas dcrire compltement la mthode, mais de
tracer les grandes lignes d'une mthode selon le schma prsent
l'Encadr 15. L'objectif n'est pas d'enfermer les quipes candidates
dans des contraintes mthodologiques strictes, mais d'noncer
quelques impratifs que le commanditaire considre comme essentiels
pour obtenir une rponse ses questions. Faut-il faire un inventaire
des valuations et rapports de recherche sur des sujets similaires ? Y
aura-t-il enqute auprs des destinataires ou non ? Y aura-t-il une
analyse comparative ou non ? L'quipe d'valuation devra-t-elle
rechercher des rfrences de jugement ou ces rfrences seront-elles
fournies par le groupe de pilotage ?
On choisit gnralement de garder une flexibilit suffisante pour permettre
aux quipes candidates de se diffrencier selon la pertinence et la clart de
leurs propositions mthodologiques.
Encadr 15 - Prvoir une mthode d'valuation

au stade du cahier des charges
Premires questions valuatives
Exploitation des questions
Etude d'valuabilit, propositions mthodologiques
Questions prioritaires
Vrification de la compatibilit avec le budget
Calendrier
Le calendrier de l'valuation est tabli en tenant compte de diverses
contraintes dont les principales sont celles du calendrier dcisionnel.
Comme le montre l'encadr ci-dessous, il faut galement Intgrer les
principaux dlais incompressibles qui sont engendrs par les procdures
d'appel d'offre et par les phases de collectes de donnes primaires.
Encadr 16 - Les contraintes de calendrier d'une valuation
Calendrier
dcisionnel
Evaluation
Lancement
Cahier des
charges
Appel d'offres
Slection
Ralisation
Prparation
Validation
Diffusion
Utilisation
Dcision
Budget indicatif
Les ressources financires disponibles pour une tude dterminent en
partie les limites de l'valuation, et en particulier le nombre des questions
traites et l'approfondissement des traitements. Lorsque cela est possible,
le budget de l'valuation devrait tre tabli par le commanditaire en
considrant l'intrt et la difficult des questions poses. Pour tablir un
budget indicatif, on peut adopter une dmarche descendante , une
dmarche ascendante ou une combinaison des deux.
Une premire dmarche descendante consiste fixer le budget de
l'valuation par rfrence au budget du programme valuer. Quelques
rfrences peuvent tre utilises dans cette dmarche. Une tude sur des
valuations ralises dans le cadre du CCA irlandais pour la priode 19941999 a montr que le cot annualis de l'valuation s'levait entre 0,6 et
1,4% des dpenses annuelles du Programme Oprationnel (Etude du
processus d'valuation mi-parcours dans le CCA irlandais pour la priode
1994-1999, publi en 1998). Ces chiffres sont bien suprieurs la dpense
actuellement consacre l'valuation des Fonds structurels europens, qui
est globalement de l'ordre de 0,02% des fonds programms. Dans certains
cas, le cot de l'valuation s'est leve 10%, ou mme 50% du cot de
l'action value. De tels pourcentages sont exceptionnels et se justifient pour
des interventions trs innovantes ou pour des oprations exprimentales.
Dans ces circonstances, il n'est pas pertinent de se rfrer au cot de
l'intervention value. Une meilleure rfrence est le cot du programme qui
va tre dcid si l'valuation conclut au succs de l'exprimentation.
Les facteurs qui peuvent justifier un budget d'valuation faible ou lev
sont notamment les suivants :
il s'agit d'une grande politique onreuse, simple et routinire (% rduit) ;
le programme est valu frquemment (% lev pour l'ensemble des
valuations, mais rduit pour une valuation individuelle) ;
il s'agit d'une politique rglementaire dont les effets sont importants et
dont le cot est minime (% important) ;
il s'agit d'un programme innovant ou exprimental (% Important).
La dmarche ascendante , quant elle, consiste chiffrer le cot
probable des tudes raliser pour rpondre chaque question evaluative.
Le cot d'une valuation comprend deux grandes catgories de dpenses :
les cots gnraux (structuration de l'valuation et tablissement du
rapport) et les cots spcifiques de collecte et d'analyse des donnes. Les

cots gnraux comprennent les dpenses relatives l'analyse des
documents du programme et des donnes du suivi, au bilan de la
documentation, aux entretiens et runions avec les gestionnaires et les
principales parties prenantes, l'tablissement, la prsentation et les
discussions des rapports intermdiaires et finals. Les cots spcifiques
concernent les tudes de cas, les entretiens de groupe, les entretiens
individuels, les questionnaires, les analyses statistiques, etc. On peut
estimer le cot et la dure de mise en uvre de quelques techniques
d'valuation de la faon suivante :
Encadr 17 -
Indications de cot de q uelques

techniques d'valuation
Cot
Dure
(personne / mois)
(mois)
Enqute par questionnaires
Moyen
XXX
Enqute par entretiens individuels
Moyen
XX
Enqute par entretiens de groupe
Faible
XX
Enqute par tudes de cas
Moyen
XXX
Analyse statistique
Faible
XX
Panel d'experts
Moyen
XXXX
Utilisation d'un modle conomtrique
Faible
XX
Dveloppement d'un modle conomtrique
Fort
XXXXXX
X = environ un mois
En ralit, le cot de l'valuation d'un programme varie considrablement

d'un cas l'autre. Le budget indicatif est souvent fix en combinant les
dmarches ascendante et descendante et en prenant en compte des
facteurs significatifs tels que :
Le nombre des questions approfondir. En gnral, le cot de collecte et
d'analyse des donnes est proportionnel au nombre de questions
approfondies, mais il est quelquefois possible de regrouper certaines de
ces tudes analyses.
Les attentes en terme de crdibilit. Quoique cela ne soit pas une rgle
absolue, les mthodes d'valuation les plus solides ont tendance tre
les plus chres.
La qualit du systme de suivi et l'existence d'un enregistrement des

ralisations et des rsultats.
Il est galement important de ne pas sous-estimer le cot, souvent
cach, du temps consacr aux runions du groupe de pilotage et la
production de donnes internes l'administration.
Slectionner l'quipe d'valuation

L'quipe d'valuation est slectionne en tenant compte de son
indpendance, de son profil et des qualits mthodologiques de sa
proposition.
Indpendance de l'quipe d'valuation
L'indpendance de l'valuation ou de l'quipe d'valuation est une
exigence dans un contexte partenarial. En particulier, on doit viter que
l'quipe d'valuation soit dans une relation de subordination quelconque
avec les gestionnaires du programme valu. Ceci est particulirement
important s'il s'agit d'une valuation mi-parcours ou si l'valuation a
vocation porter un jugement sur la russite du programme. On verra
cependant au dernier chapitre de cet ouvrage que le souci d'Indpendance
ne doit pas empcher l'quipe d'valuation d'tablir des relations troites
avec les gestionnaires. Le principe d'indpendance doit galement tre
appliqu avec discernement lorsqu'il est plus efficace, en termes de cots,
de confier une partie du travail aux administrations charges du suivi du
programme. C'est le cas, par exemple, s'il s'agit de retrouver certaines
donnes de gestion et de raliser un premier traitement. Dans certaines
circonstances, des mlanges habiles de contributions internes et externes
sont probablement plus productifs que de confier l'ensemble de l'exercice
des professionnels extrieurs. Cependant l'quipe d'valuation devra tre
en mesure de contrler l'impartialit et la qualit de toute l'valuation.
L'indpendance de l'valuation n'est pas totalement garantie par l'appel
une quipe externe. Les membres d'une quipe d'valuation peuvent tre
soumis des pressions multiples l'occasion de l'tablissement du plan de
travail, de l'accs l'information et de la validation du rapport. L'quipe
d'valuation n'a pas toujours suffisamment de poids pour rsister aux
pressions, particulirement si elle est peu familiarise avec l'valuation, si
elle ne peut pas s'appuyer sur des donnes solides, ou si elle n'a pas le
temps de faire des analyses compltes. Dans tous les cas, le groupe de
pilotage peut jouer un rle complmentaire trs utile pour amliorer

l'indpendance de l'valuation, notamment s'il est largi un ou plusieurs
experts extrieurs.
Certains programmes des Fonds structurels font l'objet d'une succession
d'valuations confies la mme quipe, par exemple plusieurs analyses
approfondies et une valuation mi-parcours. Le plus souvent, les travaux
sont confis une socit de consultants ou un centre de recherche,
mais il arrive galement que des units d'valuation soient constitues en
marge de l'administration nationale pour jouer ce rle (cas de l'Irlande par
exemple). Dans ces situations, l'quipe d'valuation travaille pendant
plusieurs annes au contact des gestionnaires du programme. Que l'quipe
soit externe ou interne, elle parvient d'autant mieux prserver son
indpendance qu'il existe un groupe de pilotage bien structur et
comprenant des experts extrieurs. Une solution lgante consiste faire
appel des valuateurs non ressortissants du pays considr, mme si les
diffrences linguistiques limitent souvent ce genre de pratique.
Profils des quipes d'valuation
Dans le domaine des Fonds structurels europens, les organismes
intervenant sur le march de l'valuation sont de plus en plus nombreux.
Les prestataires choisis appartiennent des cabinets de consultants
locaux, nationaux ou internationaux. Le secteur marchand occupe la part la
plus importante des interventions. La prsence des centres de recherche
universitaire est galement significative. Chaque quipe d'valuation a un
profil propre selon son mtier de base. Une diffrence Importante est lie
ce qui distingue l'valuation et la recherche.
La recherche, surtout lorsqu'elle est fondamentale, a pour vocation
principale de faire avancer les connaissances. Elle a une finalit
cognitive. En principe, sa premire proccupation n'est pas de faire changer
des comportements, ou tout au moins sa dmarche ne vise pas une utilit
immdiate. Bien qu'ayant recours aux mmes rgles mthodologiques que
celles utilises par la recherche (en sociologie, conomie, etc.) l'valuation a
au contraire pour vocation premire d'tre au service direct des acteurs et
de porter un jugement. Elle a une finalit normative et instrumentale. Sa
premire vocation est d'tre utile et utilise. Cette distinction fondamentale
entre les approches recherche et valuation explique pourquoi,
mme avec un cahier des charges prcis, s'adresser un cabinet de
consultants ou un laboratoire universitaire aura des rpercussions en

termes de dmarche et de rsultats de l'valuation. Les universitaires
prsentent l'avantage d'tre perus comme indpendants et trs crdibles
de par leurs exigences acadmiques. Alors que les cabinets privs quant
eux sont souvent plus disponibles en termes de calendrier et ont un plus
grand souci de rpondre aux attentes du commanditaire.
Au moment de faire appel des quipes candidates, le groupe de pilotage
doit prciser les comptences qui sont attendues. En mme temps qu'elle
fixe les grandes lignes de la mthode, une tude d'valuabillt peut dfinir
ces comptences et prcise si l'valuation a besoin d'experts spcialiss
dans les domaines d'intervention du programme (sciences rgionales,
macroconomie, march de l'emploi, dveloppement rural, etc.) ou si l'on
recherche plutt une comptence gnraliste en valuation, ou encore une
comptence mthodologique spcifique (enqute, audit, systmes
d'information, analyse de causalit, etc.).
D'une manire gnrale, chaque consultant ou universitaire possde des
points forts dans certains domaines techniques de l'valuation et des
points faibles dans d'autres. Le regroupement au sein d'une quipe mixte
constitue souvent une solution, sous rserve que la coordination soit en
mesure de jouer son rle. Si les quipes candidates sont suffisamment
polyvalentes, I devient possible de les mettre rellement en concurrence et
ne pas faire appel aux mmes experts de faon rpte. Cette situation
cre de meilleures possibilits d'Indpendance.
Qualits mthodologiques de la proposition
La slection de l'quipe n'est jamais indpendante du critre de prix. Dans
ce cas, il convient que la mthode d'valuation soit dtermine avec
beaucoup de dtails et que les quipes candidates soient prslectionnes
en fonction de leurs comptences techniques. Cette formule oblige le
commanditaire et le groupe de pilotage faire un travail mthodologique
considrable en amont.
Lorsque la rglementation administrative le permet, il est prfrable de
procder l'inverse, c'est dire de fixer une enveloppe de budget ou de
volume de travail, de dcrire seulement les grandes lignes de la mthode
dans le cahier des charges, et de slectionner l'quipe qui propose la
mthode la plus intressante. La slection de l'quipe suppose alors que
l'on sache juger la qualit mthodologique d'une offre. Cette qualit n'est
pas ncessairement lie l'utilisation d'une terminologie obscure et de

modles compliqus. Il convient surtout de s'assurer que la mthode
propose permettra rellement de rpondre aux questions poses dans le
cahier des charges. Le groupe de pilotage peut conduire ce travail en
vrifiant
pour chacune des offres, question par question, les points
prsents dans l'Encadr 18.

Encadr 18 - E x a m e n d e la qualit mthodologique
d'une proposition
Pour chaque question d'valuation
Question 1
Question 2
++
Se fonde-t-elle sur des techniques

rigoureuses d'analyse ?
Se donne-t-elle les moyens

d'expliciter les critres d'valuation
de faon impartiale ?
Produira-t-elle
vraisemblablement
des conclusions crdibles ?
La proposition de l'quipe
candidate :
Prvoit-elle de rassembler et/ou
de collecter des informations
suffisamment pertinentes ?
L'importance respective
des questions a-t-elle t bien
apprhende ?
++
...
Ill
Raliser l'valuation d'ensemble
Analyser la logique et le contenu du programme

Dans un premier temps, l'quipe d'valuation reconstitue la logique d'un
programme, c'est dire les besoins satisfaire, la stratgie choisie, les
objectifs fixs, les effets attendus, les ressources alloues, ainsi que les
dispositions prises pour assurer la mise en uvre et le suivi. L'analyse de
la logique du programme construit un cadre indispensable pour l'tude des
rsultats et des impacts. C'est donc une tape cl de toute valuation.
Lors d'une valuation ex ante, cet examen constitue l'essentiel du travail
car il dbouche sur un jugement du bien fond et de la cohrence du
programme et de sa stratgie. Lors d'une valuation mi-parcours, cet
examen dbouche sur des recommandations d'amlioration du systme de
suivi et des mthodes de gestion comme sur des propositions d'ajustement
des programmes.
Dans le cadre d'une valuation ex post, cet examen permet de clarifier, si
ncessaire, des objectifs qui n'avaient pas t clairement exprims lors des
tapes prcdentes. Cette clarification est indispensable pour structurer au
mieux la collecte d'informations et l'analyse des impacts.
De faon gnrale, cette tape va permettre de vrifier la cohrence des
objectifs entre eux et avec ceux d'autres interventions. Le contenu du
programme sera examin au regard des ressources budgtaires alloues,
des modes d'intervention choisis (slections des projets, responsabilits
des intervenants), des impacts affichs et du systme de suivi mis en place
au sein duquel le systme d'indicateurs a une place importante.
La logique d'un programme se dfinit comme l'articulation entre tous ses
lments, savoir : les besoins satisfaire, la stratgie choisie, les
objectifs fixs (globaux, spcifiques, oprationnels), les ressources
alloues, les dispositions prises pour la mise en uvre, et les effets
attendus (ralisations, rsultats et impacts). On a coutume de prsenter
l'articulation de tous ces lments sous la forme d'une succession logique
d'tapes dnomme cycle de programmation , telle que figure dans
l'encadr 19 ci-aprs.
Encadr 19 Le cycle de programmation

Besoins
Enjeux
Problmes
r
Objectifs globaux
>
1
Objectifs spcifiques
Impacts attendus
M
Rsultats attendus
il
'r
Objectifs
oprationnels
Ralisations
attendues
Ressources,
Dispositif de
mise en uvre
^ L'valuation ex ante examine la logique du programme propos et

porte un jugement sur le fait qu'elle est claire, complte et cohrente. Il
s'agit de sa vocation principale. Les pages qui suivent constituent donc
une tape cl de la ralisation d'une valuation ex ante. Dans une
seconde tape, l'valuation ex ante ralise une estimation prvisionnelle
des Impacts.
H L'valuation ml-parcours et l'valuation ex post peuvent aussi
consacrer leur premire tape la logique du programme, comme le
montre le schma de l'Encadr 19. Cela est videmment ncessaire si la
logique de dpart prsente des points obscurs ou mal justifis, c'est dire
si l'valuation ex ante n'a pas t conduite correctement ou si ses
conclusions n'ont pas t entendues. Il peut galement arriver que les
objectifs aient t modifis ou amnags en cours de route, ce qui impose
de prsenter la nouvelle logique du programme au dbut du rapport
d'valuation et d'examiner si les changements d'objectifs ont prserv la
cohrence d'ensemble. Plus frquemment, il arrive que les besoins
satisfaire ou les problmes rsoudre aient chang pendant la mise en
uvre du programme. Si ncessaire, l'valuation mi-parcours ou

l'valuation ex post rexaminent alors la logique du programme la
lumire de ce nouveau contexte.
Lorsque l'quipe d'valuation examine la logique du programme, elle
commence par analyser les textes officiels (proposition de programme dans
le cas d'une valuation ex ante, programme approuv dans les autres cas).
Il s'agit alors d'expliciter la logique officielle et d'valuer sa cohrence.
SI les autorits gestionnaires du programme le souhaitent, l'valuation peut
se poursuivre par une srie d'entretiens et/ou de runions au cours
desquelles les participants expliquent comment ils comprennent la
stratgie, les objectifs et les effets attendus. Il s'agit alors de produire, de
faon participative, une logique reconstruite . La premire option est
plus rapide et elle a l'avantage de respecter les textes officiels, ce qui
permet de rendre des comptes sur une base lgitime. L'inconvnient est
que l'valuation peut tre amene rvler des incohrences ou des
imprcisions qui sont dj largement connues des dcideurs. La seconde
option ncessite plus de travail mais elle permet de produire des
conclusions plus utiles pour l'amlioration du programme.
Apprcier le bien-fond du programme

La raison d'tre d'un programme est de satisfaire des besoins, de rsoudre
des problmes de prvenir des menaces ou de saisir des opportunits. Les
besoins ou les problmes considrs sont de nature sociale, conomique
ou environnementale. Ils concernent un territoire ainsi qu'un ou plusieurs
publics sur ce territoire. S'il s'agit de justifier un financement public, les
besoins prendre en compte sont ceux qui ne peuvent pas tre satisfaits
par le march et les problmes sont ceux qui ne peuvent pas tre rsolus
par l'Initiative prive.
Retour sur le diagnostic socio-conomique
-4 L'quipe d'valuation a comme premire tche incontournable de
rappeler les besoins sociaux et les problmes de dveloppement qui
justifient l'existence du programme. Elle doit examiner la logique de cette
justification de faon complte et systmatique, particulirement dans le
cas d'une valuation ex ante.
L'valuation prcise quels sont les handicaps socio-conomiques et les
problmes de dveloppement qui sont rencontrs part la rgion ou par
l'Etat membre considr, et qui justifient qu'une aide soit alloue au titre
des Fonds structurels. L'quipe d'valuation se prononce sur le fait que les
besoins invoqus correspondent effectivement aux objectifs gnraux de la
politique europenne de cohsion.
M Dans le cas d'une valuation mi-parcours, l'quipe d'valuation devra
galement examiner l'volution que connaissent ces besoins socioconomiques ou ces problmes de dveloppement. Elle regardera s'ils
vont vers une aggravation ou une rsorption et se demandera pour quelles
raisons. L'objet de ce questionnement est en particulier de savoir si
l'Initiative prive pourrait satisfaire ces besoins ou rsoudre ces problmes
la place de et aussi bien que le programme public considr.
Il faut garder l'esprit comme l'illustre l'exemple ci-dessous que, selon les
priodes considres, certains problmes peuvent tre requalifis comme
relevant plus ou moins d'une intervention publique.
Exemple : un nouvel examen de la raison d'tre des interventions
Dans le cadre de l'valuation mi-parcours de l'ensemble des programmes
cofinancs par l'Union europenne en Irlande, l'quipe d'valuation a class les
interventions en quatre grandes catgories selon la faon dont elles peuvent tre
justifies : celles qui produisent des biens publics qui ne peuvent pas tre fournis par
l'initiative prive, celles qui corrigent des dfaillances du march, les subventions
spcifiques et les mesures de redistribution. Au sein de chaque catgorie, l'quipe
d'valuation a not le bien-fond de chaque intervention l'aide d'une mme grille
d'apprciation. Sur la base de cette valuation, il est apparu que certaines mesures
pouvaient tre considres comme ayant perdu leur raison d'tre : parmi celles-ci,
on retrouve certaines incitations destination du secteur touristique priv qui
devenaient inutiles en raison de la rapidit de la croissance. Au contraire, d'autres
mesures avaient une pertinence renforce, par exemple l'amlioration des routes
nter-urbaines et la lutte contre l'abandon prcoce de l'cole.
Pertinence de la stratgie et des objectifs

- ^ Etablir la stratgie d'un programme revient choisir des priorits
d'action en fonction de l'urgence des besoins satisfaire, de la gravit des
problmes rsoudre, et des chances de succs des actions
envisageables. La formulation d'une stratgie aboutit slectionner les
objectifs, fixer leur niveau d'ambition et les hirarchiser. Tous les
territoires ou les publics ne relvent pas d'une mme stratgie de
dveloppement. L'valuation ex ante examine si la stratgie est adapte au

contexte et son volution probable. Il convient donc de vrifier que le
programme a bien t construit sur la base d'un classement des objectifs
selon leur degr d'importance.
L'volution du contexte est caractrise par des enjeux auquel la stratgie
doit rpondre. Celle cl pourra alors prendre une forme active ou ractive
selon la nature de l'enjeu. Il pourra s'agir par exemple d'une menace qu'il
conviendra de prvenir, d'un possible blocage conomique qui devra tre
cart, d'une faiblesse dont il faudra tenir compte ou alors d'une
opportunit qu'il faudra saisir, d'un potentiel de dveloppement peu
exploit qu'il faudra stimuler, d'une force sur laquelle on pourra s'appuyer,
etc. La stratgie est compose d'objectifs dfensifs et offensifs. Dans le
premier cas, le programme visera plutt lutter contre une faiblesse ou
prvenir une menace. Dans le deuxime cas, il visera accompagner une
force ou profiter d'une opportunit.
L'valuation considre la stratgie du programme en cherchant savoir si
elle est principalement offensive ou dfensive, ou ventuellement mixte. Une
stratgie purement dfensive comporte le risque de devoir durablement
affronter de nouveaux problmes en instituant l'ide que le territoire ou le
public concern ne peut se dvelopper qu'avec un soutien extrieur. Une
stratgie purement offensive peut conduire ngliger des menaces
importantes et potentiellement catastrophiques pour le dveloppement.
Une technique utilisable pour l'valuation de la stratgie du programme
peut tre l'analyse SWOT. L'analyse SWOT
(Strengths-WeaknessesOpportunities-Threats),
solt Forces-Falblesses-Opportunits-Menaces,
avec un groupe compos du maximum de parties prenantes concernes
procure en effet une structure formelle qui permet de clarifier et de prciser
en dtails les forces et les faiblesses d'une situation donne (rgionale ou
sectorielle) et les opportunits et les menaces existantes ou potentielles.
L'outil est dcrit plus en dtail dans le Volume 3 de la Collection MEANS.
L'quipe d'valuation examine galement quel est le degr d'ambition de la
stratgie par rapport aux besoins et problmes Identifis. Il s'agit de
montrer clairement l'esprit dans lequel le programme a t conu : pour
satisfaire compltement les besoins ou rgler dfinitivement les problmes
au cours de son cycle de vie, ou comme la premire tape d'un effort
prolonger sur une priode plus longue, ou encore comme le test d'une
solution gnraliser ultrieurement. Le degr d'ambition du programme
s'apprcie galement par rapport d'autres programmes comparables. Il

est important que l'valuation examine l'ambition des objectifs pris un par
un. Ce travail est insparable de l'valuation de l'atteinte des objectifs car
il est facile d'atteindre des objectifs peu ambitieux. L'valuation de
l'efficacit du programme doit tre nuance en consquence.
Exemple : une analyse SWOT
L'analyse SWOT a t utilise lors de l'laboration du plan de dveloppement
rgional pour l'Objectif 6 en Sude. Les rsultats produits grce cette technique
ont permis de mettre en vidence les grandes tendances environnementales,
structurelles et dmographiques caractristiques du contexte de la rgion retenue.
Les facteurs majeurs identifis lors de cette analyse sont synthtiss ci-dessous :
Forces : Larges espaces naturels prservs, ressources naturelles importantes.
Faiblesses : Rgion isole, faible densit de population, vulnrabilit aux fluctuations
conomiques, celles des budgets publics, faiblesses structurelles des entreprises.
Opportunits : Tourisme, qualit des ressources forestires, production piscicole en
eau douce, prospection minire.
Menaces : Dclin dmographique, insuffisance du nombre d'emploi.
Les recommandations issues de cette analyse ont permis d'orienter les choix faits
dans le cadre du Plan de Dveloppement Rgional. Cet outil a, depuis lors, t utilis
dans de nombreuses rgions.
Vrifier la clart et la cohrence des objectifs

Clart des objectifs
Lorsqu'un objectif a t clairement identifi, il est plus facile de constater
en fin de priode s'il a t atteint ou non. Un objectif parfaitement clair est
donc un objectif verifiable. Dans le premier des exemples qui suivent,
l'objectif est relativement facile vrifier. Il s'agit d'augmenter la dynamique
de cration d'entreprises. L'objectif est associ un indicateur mesurable
dont la signification est claire pour tous (taux de cration d'entreprises pour
10 000 habitants). Il a t fix sous la forme d'une valeur quantitative
(+ 20%). Les exemples suivants montrent des objectifs quantifis mais plus
difficilement vrlflables, ainsi que des objectifs non quantifis, dont certains
sont plus faciles vrifier que d'autres. Il revient l'quipe d'valuation de
porter un jugement systmatique sur la clart des objectifs.
Exemples : des objectifs vrifiables et non vrifiables

Des objectifs facilement vrifiables
A la fin du programme, le ratio de cration d'entreprises pour 10.000 habitants aura
augment de 20%.
la fin du programme, les principales villes de la rgion seront classes un rang
plus lev par les sondages qui posent la question o aimeriez vous habiter ?
Des objectifs difficilement vrifiables
Le programme contribuera 1% d'augmentation du PIB/habitant
Le programme renforcera la comptitivit des entreprises rgionales
Lorsqu'un objectif est difficilement ou mme Impossible vrifier, l'quipe
d'valuation se trouve devant un travail complmentaire faire avant de
poursuivre vers les tapes suivantes de l'valuation.
- ^ H Dans le cas d'une valuation ex ante ou mi-parcours, l'quipe
d'valuation collecte toutes les opinions pertinentes afin de faire des
recommandations dans le sens d'une clarification.
H Dans le cas d'une valuation ml-parcours ou ex post, elle recherche
si les gestionnaires du programme ou les oprateurs ont redfini voire
clarifi au cours de la mise en uvre les objectifs initiaux. Les entretiens
devront permettre de savoir s'il y a consensus sur l'Interprtation de la
logique du programme.
Chercher rendre un objectif mesurable l'aide d'un indicateur aide
souvent le rendre plus clair.
Cohrence des objectifs au sein d'un programme
L'valuation vrifie que les objectifs du programme sont cohrents c'est
dire que les objectifs des mesures dcoulent logiquement des objectifs
spcifiques dfinis pour les axes ou sous-programmes. A ce niveau, on
parle de cohrence interne du programme ; celle ci tant dfinie comme
une organisation des objectifs qui est telle que les objectifs de niveau
infrieur constituent une contribution logique aux objectifs de niveau
suprieur. C'est ce que l'on entend par la notion de hirarchie des objectifs
qui est reprsente par le schma ci-aprs.
Encadr 20 Hirarchie des objectifs

Programme
A x e prioritaire :
Mesure :
Action :
c o m p t i t i v i t des
entreprises
services
technologiques
aux e n t r e p r i s e s
centres
technologiques
Ti n
ro .
o
de dveloppement
"(0
11
e
xi
Comptitvit accrue
des entreprises
Comptitvit accrue
des entreprises
+ ...
Meilleurs services
technologiques aux
entreprises
Meilleurs services
technologiques aux
entreprises
+ ...
J/J
'S
3
tn
rr
c
O
ra
tn
ra
Nouveaux rseaux
technologiques
+ ...
Nouveaux rseaux
technologiques
Nouveaux centres
technologiques
+ ...
Nouveaux centres
technologiques
tr
Adapt de : COMMISSION EUROPEENNE (1995) Orientations communes pour le suivi et les

valuations intermdiaires Fonds structurels
Pour vrifier la cohrence interne du programme, on peut avoir recours la

technique de l'arbre d'objectifs. En effet, cette technique permet de
dterminer la contribution de chacun des objectifs de niveau infrieur
l'objectif global du programme. Il s'agit d'un schma o l'objectif le plus
global du programme est plac tout gauche et les objectifs les plus dtaills
tout droite. Chaque objectif global peut ainsi se dcomposer en plusieurs
sousobjectifs qui, leur tour, se dcomposent en objectifs d'un niveau plus
spcifique. Cet outil permet ainsi d'identifier et hirarchis les objectifs.
En pratique, ni ies objectifs de chaque mesure (objectifs spcifiques), ni les
liens entre les diffrents niveaux d'un programme complexe, ne sont
gnralement articuls aussi clairement et de faon aussi explicite. Le
besoin de clarifier ies diffrents niveaux d'objectifs d'un programme est
alors d'autant plus ncessaire que l'on n'est pas certain des impacts de
chaque type d'interventions.
L'arbre d'objectifs permet de spcifier les objectifs et d'tablir une
hirarchie claire entre eux en identifiant clairement le degr de cohrence
interne du programme, la fois verticalement, entre les diffrents niveaux
d'objectifs, et horizontalement, entre les objectifs de mme niveau des
diffrentes mesures (Voir le Volume 4 de la Collection MEANS ainsi que le

Volume 5 pour de nombreux exemples thmatiques).
Exemple : objectifs cohrents et incohrents
Deux mesures visant offrir de meilleurs services technologiques aux PME et
offrir des possibilits de financement en capital risque aux PME ont des objectifs
cohrents avec l'objectif de niveau suprieur accrotre la comptitivit des
entreprises .
Au contraire, ces objectifs seraient incohrents si l'objectif de comptitivit tait
nonc sans qu'aucune mesure n'ait contribu clairement ou si les mesures de
niveau Infrieur taient juxtaposes sans rien avoir en commun.
Tandis que l'arbre d'objectifs permet d'identifier et de hirarchiser les
objectifs, il ne permet pas d'identifier les liens de causalit qui existent
entre ceuxci. Pour ce faire, on a recours un autre outil le diagramme
logique des impacts attendus . Cet outil schmatise les tapes de
causalit entre les ralisations du programme, situes gauche, et les
impacts spcifiques jusqu' l'impact global ou aux impacts globaux, situs
droite. L'arbre d'objectifs s'inscrit dans une logique de dcomposition
d'un objectif global, par contre le diagramme logique d'impacts s'inscrit
dans une logique de recomposition d'impacts attendus ou d'objectifs
spcifiques (Voir Encadr 21 et Encadr 41).
Encadr 21 Exemple de diacramme logique des impacts attendus
Mesures
R&D
Tourisme
Friches
industrielles
Impact s Intermdiaires
Ouverture
extrieure
Attractivit
environ
nementale
Diversification
sectorielle
Entreprises
Agriculture
\^V
\ 4
y 4
l \
^.
Meilleure
viabilit des
entreprises
\
\
Tissu
conomique
Meilleur
dispositif de
production
Multiplication
des PME
Meilleure
Equilibre
structurel
de l'emploi
*
Formation
Impacts
globaux
CD
CL
CL
O
>
Cohrence des objectifs avec les autres politiques publiques

Il est important de se rappeler que le programme ne reprsente qu'une
partie des politiques publiques menes dans une rgion donne et que les
ressources qui lui sont alloues ne sont qu'une petite part des ressources
publiques dpenses localement. Certains des besoins que le programme
peut lgitimement chercher couvrir constituent galement la cible
d'autres politiques, qu'elles soient rgionales, nationales ou europennes.
Par consquent, on doit s'assurer que les activits programmes ne sont
pas en conflit ou ne viennent pas dupliquer inutilement ces autres
politiques. Il s'agit donc d'apprcier la cohrence externe du programme,
c'est dire d'examiner notamment si les objectifs du programme ne sont
pas en contradiction avec les autres politiques de l'Union europenne, par
exemple celles relatives la concurrence ou l'organisation des marchs
agricoles.
Exemple : la cohrence externe dans le cadre d'interventions pour le

dveloppement rural
Les conditions d'attribution de certaines aides de la Politique Agricole Commune
dans le cadre de l'organisation des marchs agricoles, visant au maintien de l'espace
rural, sont en cohrence avec les objectifs des programmes de dveloppement
conomique des zones rurales finances par les Fonds structurels. Pour viter toute
duplication, il est important que les programmes 5b soient entirement consacrs au
maintien d'une communaut agricole viable dans les rgions en difficult : maintien
de la population dans les zones rurales dfavorises, maintien et dveloppement de
l'activit agricole dans ces mmes zones.
M La rglementation communautaire prcise par ailleurs qu'une
Information sur la cohrence avec les politiques conomiques, sociales et,
le cas chant, rgionales des Etats membres, doit tre inscrite dans
chaque document de programmation.
H Le principal risque qui pse sur la cohrence externe est l'apparition, en
cours de route, d'autres interventions qui font double emploi ou qui crent
des contradictions avec le programme valu. SI ncessaire, l'valuation
ml-parcours fait un bilan des politiques voisines et estime dans quelle
mesure elles prolongent, compltent, chevauchent ou contredisent le
programme en cours de mise en uvre. Cette tude est mene l'aide
entretiens avec les gestionnaires des programmes, des oprateurs et de
tout autre informateur comptent.
Une des techniques qui peut tre utilise pour clarifier les relations avec les
diffrentes autres politiques est d'tablir une matrice des impacts croiss
(composantes du programme en ligne et autres politiques en colonnes).
Une telle matrice va montrer les complmentarits, les duplications et les
conflits qui risquent de surgir entre les impacts du programme considr et
les autres politiques existantes (Voir Volume 4 de la Collection MEANS).
L'utilisation de cet outil est montre dans l'Encadr 22. Dans cet exemple
on voit qu'il existe de nombreux cas de synergie entre les activits
programmes et les autres politiques mise en uvre, par exemple, au
niveau national. A titre d'exemple, l'appui la diversification et la
promotion des investissements trangers se renforcent. Par contre, cette
dernire politique qui s'appuie sur des ressources exognes est en conflit
avec un programme en faveur du dveloppement endogne soutenu par la
cration d'un rseau d'appui pour les PME.
Encadr 2 2 -
Mise en vidence de la c o h r e n c e e x t e r n e
l'aide d une matrice d ' i m p a c t s croiss
Autres politiques
Promotion
rgionale des
investissements
trangers
Promotion
nationale des
exportations
Promotion
europenne
des PME
Appui la diversification
Appui aux investissements

productifs
Activits programmes
Rseau d'appui
Appui aux services

aux entreprises
Renforcement rgional
de la R&D
Promotion d'une nouvelle

image de la rgion.
= : pas d'interaction
? : risque de duplication
+ : c Dmplmentarit
- : ri!sque de conflit
Analyser les m o d a l i t s d e g e s t i o n d u p r o g r a m m e
Le processus de mise en uvre suppose de prendre une srie de
dispositions organisationnelles et budgtaires savoir : l'tablissement du
budget, la slection des projets, les circuits financiers, les modalits de

gestion et de coordination, le systme de suivi et de comptes-rendus.
A ce stade de l'valuation, on examine les dispositions budgtaires, les
consignes oprationnelles donnes, ou encore les guides diffuss pour
faire en sorte que le programme soit mis en uvre avec le maximum de
chances d'atteindre ses objectifs. L'analyse proprement dite de
l'adquation des conditions de mise en uvre sera faite un stade ultrieur
du processus d'valuation notamment lorsque l'on recherchera les raisons
de l'atteinte ou non d'un impact donn.
4 Dans le cadre d'une valuation ex ante, l'examen se limitera aux
premires dispositions dcrites dans la proposition de programme, c'est
dire principalement les enveloppes budgtaires, les instruments choisis et
les principales rgles du jeu tablies.
H Dans le cadre des valuations mi-parcours ou ex post, il est
possible d'aller beaucoup plus loin et d'examiner galement le dtail des
dispositions administratives, la rpartition des rles entre gestionnaires et
oprateurs, les documents d'application transmis aux oprateurs, les
critres de slection des projets, etc.
Rpartition des ressources budgtaires
L'valuation s'attache principalement aux financements publics allous par
les autorits qui ont co-dcid le programme. Les Investissements
privs complmentaires ne sont pas mettre sur le mme plan, de mme
que les fonds publics en provenance d'autres financeurs dont la
contribution est espre mais pas formellement programme. Le
programme rpartit ses ressources budgtaires sous forme d'enveloppes
alloues ses diffrentes composantes. Avant mme d'examiner comment
les ressources sont attribues aux agences et aux autorits locales
charges de la mise en uvre, l'valuation peut examiner la cohrence
entre l'allocation des ressources et les objectifs. Elle examinera galement
l'effet potentiel de levier ou d'entranement que ces ressources publiques
auront sur la mobilisation d'autres fonds, en particulier privs. Sur ce
dernier point voir le Volume 5 de la Collection.
4 L'examen porte de faon plus dtaille sur ia correspondance entre la
rpartition des ressources budgtaires et les priorits stratgiques du
programme. L'valuation vrifie que l'Importance relative des enveloppes
budgtaires attribues aux diffrents objectifs reflte bien les priorits et les
ambitions annonces. A l'chelle du programme, il s'agit d'appliquer le
mme principe qui s'applique pour l'ensemble de la politique europenne
de cohsion sous le nom de concentration. Ce principe exprime que la
majeure partie des ressources doit tre dirige vers l'atteinte des objectifs
considrs comme prioritaires.
La concentration s'value en rpondant des questions du type de celles
qui suivent : dans quelle mesure le programme s'est-il concentr sur
quelques objectifs stratgiques ? sur des zones restreintes devant faire
face des problmes particulirement difficiles ? ou sur un petit nombre de
publics prioritaires ?
Pour raliser cette tape de l'valuation, on peut utiliser l'arbre des objectifs
s'il en a t dessin un l'tape prcdente. On Inscrira simplement sur
chaque branche de l'arbre le montant total des ressources attribues
l'objectif correspondant.
Modes d'intervention
Il y a souvent plusieurs faons d'atteindre un objectif. Chacune de ces
faons correspond diffrents instruments qu'il est possible d'employer,
par exemple les subventions directes, le conseil, la formation, la fourniture
de services gratuits, la construction d'infrastructures, etc.
Dans le domaine des ressources humaines, d'importants financements
sont attribus des programmes ou des systmes de formation et
d'insertion professionnelle. Les destinataires sont touchs par des
organismes de formation ou par l'Intermdiaire de leurs entreprises. Les
programmes d'insertion fournissent une aide aux organismes publics ou
privs qui embauchent des chmeurs de longue dure. D'autres
programmes favorisent par exemple la cessation d'activit pour les
agriculteurs gs au profit de jeunes agriculteurs qui souhaitent s'installer.
Dans le domaine de l'environnement productif, l'aide peut tre directe (cas
d'une subvention l'investissement ou d'un prt bonifi) ou indirecte (cas
d'un ple d'Innovation). Elle peut prendre la forme d'un rgime de
subvention ouvert ou d'un programme plus slectif. L'aide peut tre
rserve des investissements physiques ou des investissements
immatriels (marketing, prospection internationale, rseaux, innovation,
qualit, design, gestion, etc.). Elle passe souvent par une amlioration de
l'offre de services aux entreprises. Les programmes de recherche

dveloppement reprsentent la forme la plus Indirecte de soutien aux
structures productives.
4 Dans le domaine des infrastructures de base, l'aide est dcide dans le
cadre de programmes ou de grands projets. Certains projets comportent un
accs payant et d'autres non. Certains projets sont raliss par des
autorits publiques et d'autres sont dlgus des oprateurs privs.
Pour chaque objectif, l'valuation peut examiner les instruments alternatifs
qui sont utilisables pour l'atteindre et les raisons qui ont justifi le choix
d'un instrument plutt qu'un autre. Il est galement possible de juger la
pertinence du choix des Instruments au regard de l'exprience connue par
ailleurs.
Critres de slection des projets

Un programme est gnralement constitu de mesures, lesquelles
regroupent un certain nombre de projets qu'il faut retenir, c'est dire choisir
en fonction de critres dterminer. Ces critres sont des critres de
slection qui doivent tre tablis avant le dmarrage du programme.
4 Pa r consquent, dans le cadre de l'valuation d'un programme, il sera
ncessaire d'examiner si la gestion de celui-ci est clairement oriente vers
l'atteinte des objectifs et pour ce faire, d'examiner si les projets ont t
choisis judicieusement. Cela revient examiner si les critres de choix des
projets ont t correctement dfinis au regard des objectifs du programme
(Voir Exemple, page 56).
Cette recherche de la cohrence entre les critres de slection des projets
et les objectifs du programme aura une grande Importance dans le cas
d'une valuation mi-parcours, un moment o le programme peut encore
tre amlior. En effet, dans ce cas, l'valuation va contribuer aux choix des
critres qui seront une des cls de la russite du programme par le biais du
type de projets retenir ou privilgier.
Deux types de questions devront tre poss :
Quels critres de slection des projets sont employs ?
Les critres de slection sont-ils clairement en rapport avec les objectifs
du programme ?
Rpartition des responsabilits oprationnelles

Les ressources qui sont la base d'une intervention publique ne sont pas
seulement financires. Elles sont galement d'ordre humain et
organisationnel ; ces deux composantes tant plus difficiles apprhender
avec prcision et donc estimer.
-^ H Cependant, tout comme elle rcapitule les ressources financires,
l'valuation va devoir examiner qui sont les acteurs chargs de la mise en
uvre du programme chaque niveau (programme, mesures, projets) et
comment est organise l'articulation entre les diffrents niveaux et les
diffrents acteurs.
L'valuation va examiner si chaque niveau, chaque objectif est clairement
sous la responsabilit d'au moins un gestionnaire. Lorsqu'un objectif est
sous la responsabilit de plusieurs gestionnaires, elle va examiner si un
mcanisme de coordination a t mis en place.
Les programmes des Fonds structurels europens faisant l'objet d'une
mise en uvre partenariale, l'valuation doit aussi se demander quelle en
est la consquence sur la cohrence au sein du programme (cohrence
interne) et avec les autres politiques appliques dans la rgion (cohrence
externe). La dmarche thorique d'valuation applicable en la circonstance
consiste se demander et estimer dans quelle mesure les effets du
programme ont t meilleurs et plus importants grce au partenariat. Cette
approche permettra d'observer si les effets du programme entrent en
synergie ou en contradiction avec ceux des politiques conduites dans la
rgion par les autres partenaires.
Toujours concernant les diffrentes formes de ressources, l'valuation
devra rechercher s'il y a de gros problmes d'efficacit rsultant par
exemple, de retards dans les circuits financiers, des processus de contrle,
des systmes de dcision, etc.
E x a m i n e r le s y s t m e d'information d u p r o g r a m m e
Le systme d'information du programme est l'ensemble des donnes
rassembles dans le cadre de la conception du programme puis collectes
de faon permanente par les oprateurs au stade de la mise en uvre
(demandes d'aides, apprciation des projets au moment de la slection,
paiements des aides, comptes rendus d'avancement des projets, comptes
rendus finals des projets, etc.). Une partie de ces donnes sont agrges,
Interprtes et transmises sous forme de tableaux ou de rapports de

synthse. Une autre partie de ces donnes sont conserves des fins de
contrle a posteriori et peuvent aussi tre utilises par l'valuation.
Examen des rsultats attendus
La dcomposition de la logique du programme permet de distinguer
plusieurs niveaux d'objectifs qui s'articulent entre eux. A chaque niveau
d'objectif (oprationnels, spcifiques et globaux) sont associs
respectivement des ralisations attendues, des rsultats et des impacts (Cf.
Encadr 19). Ces notions sont prsentes plus en dtail dans le Volume 2
de la Collection MEANS.
Les ralisations constituent le produit de l'activit des oprateurs. Ils
reprsentent ce qui est obtenu en contrepartie de la dpense publique.
Pour savoir si s'agit bien d'une ralisation, il suffit de poser la question
suivante : est-ce la condition pour le paiement du financement
public ? . Les ralisations sont sous l'entire responsabilit des oprateurs
qui doivent en rendre compte de faon permanente par l'intermdiaire du
systme de suivi. On citera comme exemples de ralisations : les routes
construites, les friches urbaines rhabilites, les stations d'puration
construites, les formations qui ont t payes par le programme.
Les rsultats reprsentent les avantages immdiats du programme (ou
exceptionnellement les Inconvnients Immdiats) pour les destinataires
directs. Un avantage est immdiat si le destinataire en bnficie lorsqu'il est
en interaction direct avec les ralisations du programme. Les rsultats
attendus d'un projet prcis sont le plus souvent enregistrs dans le cadre
du suivi car ils figurent gnralement dans le dossier de demande d'aide
dpos par l'oprateur ou le destinataire direct.
Les rsultats correspondent des changements qui interviennent pour les
destinataires directs, par exemple : gain de temps des usagers d'une
route, diminution du prix des communications tlphoniques, qualification
acquises par des stagiaires, diversification de l'activit d'un agriculteur,
nouvelle capacit de production installe par un industriel, satisfaction des
entreprises qui ont reu un conseil.
Identification des impacts attendus
Comme reprsent dans l'Encadr 23, les impacts reprsentent les
consquences qui rsultent des interactions directes et immdiates du
programme avec ses destinataires. Une premire catgorie d'impacts est

donc constitue des consquences qui apparaissent ou qui perdurent
moyen terme chez les destinataires directs du programme (impacts
spcifiques). Par exemple, la circulation sur une route un an aprs son
ouverture, le placement des stagiaires au bout de douze mois, les emplois
durablement crs dans un tablissement industriel construit avec l'aide du
programme, la survie des entreprises cres avec l'aide du programme.
Certains impacts peuvent tre inattendus (retombes) mais ils ne font pas
partie de la logique du programme.
Encadr 23 - Organisation publique : rtroactions par l'valuation
PROGRAMME
ENVIRONNEMENT
SOCIO-ECONOMQUE
Impacts
Une seconde catgorie d'impacts est constitue de toutes les

consquences qui affectent, court ou moyen terme, des personnes ou
organismes qui ne sont pas destinataires directs. Ces impacts peuvent tre
proches (par exemple : l'amlioration de la qualit de vie pour le voisinage
d'une friche industrielle rhabilite, l'amlioration de la qualit des plages
au voisinage d'une nouvelle station d'puration). Ils peuvent au contraire
s'tendre des personnes ou des organisations trs loignes, comme
dans le cas des impacts macroconomiques.
Les mcanismes de propagation des impacts sont souvent distingus en
deux catgories : les effets marchands (par exemple l'impact sur les
fournisseurs ou sur les sous-traitants des entreprises aides) et les effets
non-marchands (par exemple l'impact positif d'une amlioration de l'image
de la rgion ou l'impact ngatif d'une dtrioration de l'environnement). Les

effets non-marchands, ou externantes ne sont pas pris en compte dans les
dcisions prives, mme s'ils ont des consquences conomiques pour les
acteurs privs. Il est donc particulirement utile de les Identifier dans le
contexte d'un programme public.
En raison de leur dcalage dans le temps ou de leur caractre indirect, les
impacts ne peuvent pas tre facilement connus des oprateurs dans le
cadre de leur gestion quotidienne. Les impacts sont donc principalement
analyss l'occasion des travaux d'valuation.
Une illustration des termes ressources, ralisations, rsultats et impacts est
propose dans l'encadr ci-dessous.
Encadr 24 - Ressources, ralisations, rsultats et impacts
d'une route
Si on prend l'exemple l'agrandissement d'une route pour le dsenclavement
d'une valle, les diffrentes notions peuvent tre illustres de la manire suivante :
Ressources :
Les budgets allous, les moyens juridiques utiliss pour

l'expropriation des propritaires fonciers, les entreprises
mobilises pour les travaux, les instruments d'information
utiliss, etc.
Ralisations :
Les kilomtres de voies nouvelles, les carrefours agrandis, les

revtements routiers amliors, etc.
Rsultats :
La rduction du temps de trajet pour les vhicules qui

voyagent entre deux villes donnes, l'accroissement de
scurit pour ces vhicules.
Impacts :
Le nombre de voyageurs habitant la rgion et empruntant la

route un an aprs sa mise en service. La meilleure attractivit
de la rgion pour les investisseurs (impact recherch positif).
Les nuisances accrues pour certains riverains (impact ngatif
non recherch). L'augmentation de la valeur de certains
terrains avoisinants (impacts positifs non recherchs), etc.
^
H L'valuation examine le systme d'Indicateurs et en particulier s'il
reflte suffisamment bien les objectifs (voir les critres de qualit d'un
systme d'indicateurs). Si ncessaire, et dans un contexte ex ante ou
intermdiaire, l'valuation fait des recommandations pour amliorer les
indicateurs.
Informations relatives au contexte

Les indicateurs de programme concernent tous les aspects de la mise en
uvre et permettent galement de suivre les effets (rsultats et impacts)
depuis les plus directs jusqu'aux plus lointains. Ils vont par exemple
mesurer l'atteinte d'un public prioritaire ou l'obtention d'un avantage
durable pour les destinataires ultimes du programme. Dans le cadre du
suivi et de l'valuation, un indicateur de programme peut montrer que telle
intervention est un succs ou que telle autre est un chec.
A l'inverse, les indicateurs de contexte s'appliquent l'ensemble de la
population sans se proccuper de savoir si elle a t touche par le
programme ou non. Ils vont par exemple montrer l'ampleur des besoins de
la population ou l'Importance des disparits rduire. Ils peuvent servir
apprcier si les objectifs sont suffisamment ambitieux par rapport aux
problmes rencontrs par la population. Dans le cadre d'une valuation, un
indicateur de contexte peut montrer qu'une intervention a perdu sa raison
d'tre ou doit tre modifie parce que le problme que l'on voulait rsoudre
a disparu ou a chang de nature.
Le point de rencontre entre les indicateurs d'impact et les indicateurs de
contexte semble vident. Ce serait en suivant ces deux Indicateurs que l'on
pourrait estimer les effets propres du programme. Cependant cette facilit
thorique est contrarie par l'existence d'effets dus aux facteurs concurrents
dont il va falloir tenir compte. L'tat final attendu se dcompose en trois
parties : tat initial, effet attendu et effet des facteurs concurrents.
Pour chaque objectif, l'valuation examine s'il est associ un indicateur,
s'il existe une quantification de l'tat Initial, de l'tat final attendu, et/ou une
quantification de l'effet attendu. Si ncessaire, l'valuation fait des
propositions pour les objectifs qui sont dpourvus d'indicateurs : ou bien,
elle propose des Indicateurs pertinents ou bien elle propose un traitement
qualitatif (voir le suivant et le Volume 2 de la Collection).
Quantification des ralisations et des rsultats
-4 Un systme d'information doit tre mobilis ex ante dans le cadre du
processus de ngociation du programme afin de prciser les critres de
russite et de quantifier les effets recherchs. Par la suite, le dispositif mis
en place pour le suivi doit permettre l'examen des ralisations et des
rsultats au fur et mesure qu'ils se concrtisent sur le terrain. Chaque
oprateur fournit ses informations aux gestionnaires du programme sous
forme de rapports d'avancement, de bilans priodiques ou de comptes-
rendus d'excution. Les autorits responsables du programme reoivent

ces informations, les discutent dans le cadre du Comit de suivi et
ragissent en consquence.
M Au moment de l'valuation mi-parcours et de l'valuation ex post,
il s'agira d'utiliser au mieux les donnes du systme sous rserve de s'tre
assur de la qualit des informations fournies par ce systme.
L'valuation va devoir vrifier si des dispositions suffisantes ont t prises
qui permettent de vrifier si le programme, tout au long de son cycle de vie,
est en train d'atteindre ses objectifs, si ses objectifs restent pertinents et si
des dcisions seront prises en cas de drive.
L'valuation doit galement s'assurer que des dispositions suffisantes (de
suivi - valuation) ont t prises pour rendre compte de l'atteinte des
objectifs. En effet, ce travail de suivi - valuation doit avoir t organis
selon un plan conu avant le dmarrage du programme. Il doit tre
clairement prcis qui est charg de cette surveillance et de ces dcisions
et selon quel calendrier. Des ressources financires et humaines auront t
prvues cet effet en quantit suffisante.
C'est grce ce cadre que pourra tre surveill le rythme des dpenses et
l'avancement du programme (systme de suivi) et que pourront tre
programmes les diffrentes valuations susceptibles d'intervenir en cours
de programme ou en fin de programme. C'est galement ce cadre qui doit
prciser comment les valuations doivent tre discutes par les autorits
gestionnaires et comment s'organisera leur diffusion auprs du public.
L'valuation examine les dispositions qui ont t prises pour la
quantification des indicateurs. La collecte et la synthse de l'information
peuvent tre facilites par la mise en place d'un systme informatis. Les
nouvelles technologies de l'information facilitent la collecte et la circulation
d'une grande masse d'informations. Cependant, il faut viter la construction
de systmes d'indicateurs plthoriques. L'valuation peut comporter une
rflexion approfondie pour slectionner les indicateurs les plus utiles.
L'quipe d'valuation examine la probabilit qu'ont les indicateurs d'tre
correctement renseigns. Elle fait des propositions pour que, le cas
chant, les indicateurs de ressources et de ralisations soient
systmatiquement quantifis par les oprateurs et les gestionnaires dans le
cadre de leur responsabilit.
Un certain nombre de critres permettent de vrifier la qualit d'un systme
d'indicateurs qui sont prsents de faon dtaille dans le deuxime
Volume de la Collection. Pour en rsumer brivement le contenu, on peut

prciser qu'il existe un groupe de critres de qualit applicables chacun
des indicateurs retenus d'une part et, d'autre part, un autre groupe qui
concerne l'ensemble du systme.
Un indicateur est de qualit s'il est quantifi Intervalles rguliers et selon
une frquence approprie aux travaux considrs et publis. De plus,
l'indicateur doit tre utilisable peu de temps aprs la collecte des donnes
qui en a permis la construction. On doit galement vrifier la sensibilit et
la fiabilit de ces indicateurs par rapport aux phnomnes que l'on veut
mesurer. Enfin, l'indicateur doit permettre de faire des comparaisons entre
les mesures du programme mais galement avec d'autres programmes ou
groupes de destinataires.
Les principaux critres de qualit d'un systme d'indicateurs sont au
nombre de quatre : bonne couverture de l'ensemble du programme ; bon
quilibre entre ralisations, rsultats et Impacts ; pragmatisme en terme de
nombre ; et enfin, pertinence savoir une slection d'indicateurs qui tienne
compte de l'importance stratgique et oprationnelle des informations.
Informations qualitatives
Une bonne valuation ne peut pas se permettre d'exclure de son champ
d'analyse un objectif parce qu'il serait difficilement mesurable de faon
quantitative. En effet, il se peut que ce soit un des objectifs les plus
importants qui ne peut tre nglig pour la simple raison que l'on ne sait
pas dfinir un indicateur quantitatif.
Une information qualitative bien structure est bien videmment prfrable
l'absence d'Information. Il convient par consquent de raliser un travail
de structuration qui peut s'effectuer grce une grille d'apprciation plus
ou moins structure si possible gradue selon la plus ou moins grande
russite de l'Intervention considre.
La construction et l'utilisation de ces grilles sont prsentes dans le Volume
4 de la Collection MEANS consacr aux solutions techniques adaptes aux
programmes socio-conomiques complexes. L'encadr ci-dessous donne
un exemple d'une grille d'apprciation tablie pour la recherche d'Impacts
environnementaux d'une mesure particulire d'un programme d'Objectif 1
au Royaume-Uni. L'intrt de cet exemple est l'association d'objectifs
conomiques avec les autres objectifs.
Encadr 25 - Exemple de grille d'apprciation qualitative

de l'impact environnemental des projets
Priorit 1 / Mesure 1 : Sites et locaux de qualit pour investisseurs industriels et
commerciaux
Objectif : Garantir la fourniture adapte de sites industriels et commerciaux de qualit
pour encourager la croissance locale et l'augmentation des opportunits d'emploi.
Projet :
Rfrence :
Oui
Pas
applicable
Non
1. Si le projet est ralis dans un site

industriel rhabilit, est-ce que la zone
en friche sera rduite et est-ce que
certains btiments seront reconvertis en
sites de production ?
0,5
2. Le projet respecte-t-il les consignes

relatives l'environnement naturel ou
au patrimoine immobilier ?
0,5
3. Le projet intgre-t-il de bonnes pratiques

d'conomie d'nergie, de recyclage de
l'eau ou de rduction des dchets,
ou impllque-t-il de mesures
environnementales innovante ?
0,5
4. Le site bnficiera-t-il d'un plan de

gestion de l'environnement ou bien
des mesures sont-elles en place pour
la gestion de l'environnement ?
0,5
5. Des mesures ont-elles t prises pour

garantir que le site soit facilement
accessible par les transports en commun ?
0,5
6. Le dveloppement est-Il conu pour

amliorer l'environnement immobilier local,
par exemple en minimisant les effets de la
dlinquance ou du manque de civisme ?
(ce critre est considr comme moins
important que les autres d'o une note < 1)
0,75
0,38
7. Le projet de dveloppement comprend-il

des propositions d'amliorations
environnementales telles que
l'amnagement paysager ?
(mme remarque que ci-dessus)
0,75
0,38
Note totale
Dans les trois cas, (grille semi-structure, structure ou gradue)

l'Information qualitative peut tre transforme sous la forme de notes qui
permettent des comparaisons au sein du programme.
-4 H P u r l e s objectifs qui ne peuvent pas tre associs un indicateur
de faon pertinente, l'valuation peut faire des propositions de traitement
qualitatif dans le cas des valuations ex ante et mi parcours.
Evaluer les impacts de l'ensemble du programme

Les programmes de dveloppement socio-conomiques Interviennent
habituellement dans des domaines multiples. Bien que leurs impacts
convergent vers un objectif global de dveloppement, Ils se matrialisent
par des mcanismes trs diffrents. Lorsque l'valuation traite l'ensemble
d'un programme, I lui est demand d'tudier systmatiquement tous les
Impacts. Compte tenu de leur diversit et du nombre des causes possibles,
les mthodes applicables sont ncessairement globales.
Ces mthodes reposent sur l'emploi de donnes secondaires, sur des
enqutes qualitatives auprs des oprateurs et de quelques destinataires,
ainsi que sur des extrapolations effectues partir de rsultats Issus
d'autres valuations.
Les programmes financs par la politique europenne de cohsion visent
acclrer le dveloppement socio-conomique dans telle ou telle de ses
dimensions (revenu, emploi, qualit de vie, etc.). Le principal impact
recherch est un impact structurel donc durable au niveau
macroconomique ou macro-social. Pour obtenir cet Impact, la plupart des
programmes adoptent des stratgies multlsectorielles, comprenant des
mesures diversifies autant par leur nature (quipement, conseil,
subvention, formation, communication, etc.) que par leur domaine
(transports, recherche, tourisme, etc.). Chaque mesure produit d'abord des
rsultats sur ses destinataires directs, puis ses impacts se matrialisent par
tapes successives sur des publics de plus en plus lointains, travers des
mcanismes multiples et ramifis. L'existence mme du programme
prsuppose que tous ces mcanismes convergent vers l'impact global de
dveloppement.
La ralisation d'une valuation de programme pourra prendre des formes
trs diffrentes selon la faon dont on veut analyser ses Impacts. Dans cet
ouvrage, on a choisi de prsenter trois situations comme suit.
1. L'valuation d'ensemble qui se donne pour contrainte d'examiner les
Impacts de toutes les mesures. Cette situation est la premire qui est
dcrite ci-aprs. Sa ralisation est dcrite de faon complte, depuis la
prparation du travail jusqu' la rdaction du rapport en passant par la
collecte et l'analyse des donnes.
Conception et conduite d'une valuatio
2. L'approfondissement de l'analyse des impacts macroconomiques.

Cette situation est dcrite en second lieu en se limitant uniquement aux
spcificits de ce type d'analyse (voir page 145).
3. L'approfondissement de l'analyse d'un Impact particulier au niveau
microconomique ou micro-social. Cette troisime situation est
galement dcrite sous forme de complment une valuation
d'ensemble, plutt que sous forme d'une valuation part entire (voir
page 157).
Il est noter que les deux premires situations (valuation d'ensemble et
analyse macroconomique) se rencontrent Indiffremment tous les stades
du cycle de programmation. Par contre, la situation d'analyse plus
approfondie d'un impact particulier est seulement possible de faon
rtrospective, une date suffisamment tardive pour que l'impact ait eu le
temps de se matrialiser. Cette analyse est lourde et ne peut pas
s'appliquer l'ensemble d'un programme multlsectorlel, comme cela va
tre expliqu dans les sections suivantes.
Choisir le mode d'analyse d'impact

Imputation d'un changement au programme
Lorsque l'on dsire faire l'analyse d'un Impact, on ne connat gnralement
que ce qui a t observ, c'est dire un changement (diminution du
chmage, nombre d'entreprises cres, augmentation du trafic sur une
route, etc.). L'impact ne reprsente qu'une part de ce changement, c'est
dire la part qui est attribuable au programme et seulement cette part.
L'Impact est aussi appel effet net, effet propre ou effet additionnel.
Toutes les mthodes qui permettent d'estimer un impact de faon
quantitative consistent, d'une manire ou d'une autre, dcrire ce qui se
serait pass en l'absence du programme, faire une comparaison avec ce
qui s'est rellement pass, et estimer l'Impact par diffrence. En d'autres
termes, l'impact du programme est considr comme l'cart entre
l'volution relle constate la suite de l'intervention (policy-on) et
l'volution fictive estime dans une situation sans intervention (policy-off).
La situation fictive est aussi appele situation c o n t r a c t u e l l e . Ce
raisonnement est illustr dans l'encadr ci-dessous en prenant l'exemple
d'un impact sur la cration d'emploi.
Encadr 26 - Situation observe et situation contrefactuelle
Point zro
Evaluation
Une technique d'imputation consiste crer matriellement les deux

situations en recrutant des personnes candidates pour participer au
programme et en tirant au sort parmi elles un premier groupe qui participera
au programme et un second groupe qui ne participera pas (groupe de
contrle). Une enqute est alors effectue sur chacun des deux groupes
avant et aprs. L'cart entre les rsultats des deux enqutes donne une
estimation fiable de l'Impact condition que les deux groupes soient
suffisamment reprsentatifs (chacun comprendra entre 300 et 1000
individus selon le taux d'erreur acceptable et la plus ou moins grande
htrognit de la population enqute). Cette technique est longue,
coteuse, techniquement dlicate et quelquefois contestable d'un point de
vue thique. Ces raisons expliquent pourquoi elle est rarement applique
malgr sa trs forte capacit produire des conclusions robustes. A la
place, on utilise souvent des techniques qui reconstituent la situation
contrefactuelle, non plus de faon relle, mais de faon artificiellement,
comme la technique du groupe de comparaison ou celle de la simulation
conomtrique qui seront dveloppes plus loin (voir 155 et 166).
L'analyse d'impact est nettement simplifie si elle est faite directement par
les destinataires. C'est ce qui arrive, par exemple, quand on demande
des entrepreneurs qui ont reu une aide : Quelle sera la valeur ajoute
gnre par l'aide dans votre entreprise ? Combien d'emplois ont-ils t
crs grce l'aide ?. Ces questions peuvent tre poses au moment de
la slection des projets, au moment du paiement de l'aide, ou encore au
moment d'une enqute d'valuation. Les rponses fournissent une
estimation directe des effets et vitent la construction d'une situation
contrefactuelle. En effet, c'est la personne enqute qui imagine par ellemme la situation contrefactuelle au moment o elle donne sa rponse.
Lorsque l'impact est estim par cette mthode, il faut toutefois raliser un
supplment d'analyse car les destinataires ont tendance surestimer les
effets du programme pour toutes sortes de raisons, dont la moindre n'est pas
la volont de manifester leur reconnaissance vis vis de l'administration qui
leur a allou une aide. Dans ce cas, l'quipe d'valuation procde une
analyse des Impacts rels de l'Intervention value, c'est dire de ses effets
nets , par opposition ses effets apparents ou aux effets qui sont dclars
par les destinataires, c'est sire les effets bruts . Il convient en effet de
dterminer dans quelle mesure l'aide attribue a vritablement permis la
ralisation d'un projet, et dans quelle mesure le projet n'aurait pas pu se faire
aussi bien et aussi vite en l'absence de l'intervention publique. Lorsque l'aide
publique est accorde des projets qui se seraient raliss mme sans aide
on parlera d'un effet d'aubaine . pour ceux qui en ont bnficie. On
obtiendra l'effet net en dduisant l'effet d'aubaine de l'effet brut.
Exemple : L'effet d'aubaine dans le cadre des aides l'embauche
L'exemple le plus souvent connu est celui de l'entreprise qui dcide d'une embauche
et recherche dans un deuxime temps si cette embauche ne lui permet pas d'obtenir
une aide publique un titre ou un autre. Les nombreuses valuations qui existent dans
le domaine de l'emploi estiment que l'effet d'aubaine pour les aides l'embauche est
trs Important (entre 40 et 80% des effets bruts). Nanmoins les autorits publiques
d'une rgion ou d'un pays peuvent en toute connaissance de cause dcider que le
problme social du chmage est prioritaire et que l'effet d'aubaine est un prix qu'il faut
accepter de payer pour susciter l'embauche de chmeurs.
Dans certains cas d'valuation, il est ncessaire d'analyser galement les
effets de dplacement ou les effets de substitution. L'effet de dplacement
apparat par exemple quand un emploi est cr dans la zone gographique
aide au dtriment d'un autre emploi qui a t supprim ailleurs (Cf. l'motion
suscite rcemment par la fermeture d'une usine automobile en Belgique et

la cration simultane d'emplois en Espagne par le mme constructeur).
L'effet de substitution apparat par exemple lorsqu'une personne trouve un
emploi grce un programme, mais que cet emploi chappe, par le fait
mme, une autre personne qui se trouve dsavantage. Les effets de
substitution et les effets de dplacement sont quelquefois recherchs, par
exemple lorsqu'on encourage le transfert d'entreprises vers des zones qui
connaissent un fort taux de chmage. Dans ce cas, l'Impact du programme
comprend bien videmment ces effets. En revanche les effets de substitution
ou de dplacement doivent tre soustrait des effets bruts lorsqu'ils ne sont
pas justifiables, par exemple si l'aide apporte un chmeur aboutit faire
perdre son emploi quelqu'un qui devient chmeur son tour. En rsum,
et comme le montre l'Encadr 27, l'effet net peut tre estim partir de
l'effet brut condition de soustraire les effets d'aubaine et, dans certains cas,
les effets de dplacement et/ou de substitution si ceux-ci ne sont pas
recherchs par le programme.
Encadr 27 - Effet d'aubaine, de dplacement et de substitution
Emplois crs
nets
Effet
de dplacement
(un emploi est cr
et un autre emploi est
dtruit dans la zone)
Emplois crs bruts

(enqute auprs
des entreprises participantes)
Effet
de substitution
(un chmeur est embauch
et un autre individu
devient chmeur)
I
J
Effet d'aubaine
(un emploi qui aurait t cr
mme sans l'aide
publique)
La plupart des effets de dplacement et de substitution peuvent tre

analyss de faon crdible l'aide d'entretiens avec les destinataires. Par
contre, il est plus dlicat d'analyser les effets d'aubaine par cette technique
dans la mesure o il est difficile d'admettre, mme sous couvert de

l'anonymat, qu'une aide a t reue sans relle contrepartie. Une bonne
analyse des effets d'aubaine suppose d'utiliser la technique des groupes
de comparaison, comme le suggre l'exemple ci dessous.
Exemple : La mise en vidence les effets d'aubaine l'aide d'un groupe de
comparaison
Dans le cadre d'un programme de dveloppement rural mis en uvre au Danemark,
les exploitants agricoles taient susceptibles de recevoir une subvention pour
diversifier leurs activits. Une enqute ralise dans le cadre de l'valuation a pos aux
exploitants aids la question suivante : Etes vous d'accord avec la phrase
suivante ? : l'aide reue a conditionn la ralisation de mon projet de diversification .
Environ 75% des exploitants aid ont donn une rponse positive cette question. On
peut donc, dans un premier temps, estimer l'effet d'aubaine environ 25%.
Cependant, un complment d'enqute a t effectu auprs d'exploitants qui
avaient demand l'aide et qui elle avait t refuse pour diverses raisons. Or il est
apparu que tous ces exploitants avaient tout de mme ralis leur projet. On peut
donc en conclure que l'effet d'aubaine serait de 100%. Cette conclusion est toutefois
htive dans la mesure o certains de ces exploitants ont pu tre carts parce que
le comit de slection estimait qu'ils n'avaient pas rellement besoin d'une aide
publique. Dans ce cas, un approfondissement de l'analyse, mettant en uvre un
vritable groupe de compraison, serait ncessaire pour comprendre la ralit des
effets d'aubaine.
Ce qui prcde montre que l'analyse d'un Impact doit tre faite avec
beaucoup de prcautions si on veut qu'elle soit valide. Que l'Impact soit
estim partir des changements constats ou partir de l'opinion des
participants au programme, l'quipe d'valuation ne doit jamais s'en tenir
aux apparences. Au contraire, elle doit toujours approfondir l'analyse et
procder, chaque fols que ncessaire une vrification sur le terrain. Une
vrification particulirement crdible est celle qui s'appuie sur une enqute
auprs de non-participants.
Validit de l'analyse
Les principaux auteurs de la littrature consacre l'valuation considrent
que la validit d'une analyse d'impact prend trois formes, dcrites dans
l'encadr ci-dessous : la validit de construction, la validit Interne et la
validit externe.
Encadr 28 - Les formes de validit des valuations
Validit de
construction
Validit
interne
Validit
externe
La validit de construction porte sur le fait que les indicateurs utiliss pour
l'analyse mesurent de faon fiable et sensible les changements que l'on
voulait observer. Pour obtenir une bonne validit de construction, il est
particulirement ncessaire que l'Impact soit exprim dans des termes
suffisamment prcis et que les observations ralises sur le terrain soient
strictement en concordance avec ce que l'on cherche mesurer. Par
exemple, si l'on cherche estimer l'Impact d'une aide sur l'Innovation grce
une enqute auprs des PME rgionales, il faut que la notion d'innovation
ait t dfinie de faon prcise et que les questions poses correspondent
prcisment ces dfinitions (ex : nombre de nouveaux produits ou
procds de production).
La validit interne est obtenue quand l'quipe d'valuation apporte une
conclusion Indiscutable sur le fait que le programme a produit un effet
donn. Par exemple, les aides du programme ont entran, dans les PME
aides directement et indirectement, un doublement du taux d'Innovation
(ex : nombre d'innovations par an pour 1 000 emplois). Ce type de
conclusion est plus crdible si la collecte et l'analyse des donnes ont tenu
compte trs prcisment de toutes les particularits du programme et de
son contexte (ex : catgories d'entreprises aides, formes d'innovations

propres la rgion, etc.).
On voit par l que pour amliorer la validit interne, il faut adapter
l'valuation tous les particularismes du programme et de son contexte, ce
qui va l'encontre de la troisime forme de validit, la validit externe, qui
consiste produire des conclusions gnrallsables d'autres programmes.
Pour poursuivre, l'exemple prcdent, l'valuation aurait une bonne validit
externe si elle pouvait conclure qu'une aide similaire, attribue des PME
dans d'autres rglons, auraient vraisemblablement pour effet de doubler
leur taux d'innovation. On voit que la validit externe est prcieuse dans un
contexte o de nombreux programmes appliquent des recettes similaires.
Elle permet d'tendre les leons apprises dans une rgion et les rendant
utilisables dans de nombreuses autres rglons.
Niveaux d'approfondissement
Les sections prcdentes ont montr que l'quipe d'valuation ne peut pas
raliser une estimation d'impact valide sans procder des vrifications sur
le terrain, des enqutes auprs de non-participants et une analyse fine
des modalits de mise en uvre du programme et de son contexte. Il en
dcoule que l'analyse valide d'un impact demande du temps et un budget
suffisant, ce qui peut conduire l'impossibilit d'analyser tous les impacts
d'un programme multisectoriel et multiobjectlfs, ou du moins
l'Impossibilit de les analyser tous de faon approfondie.
Le choix d'un niveau d'approfondissement est donc particulirement
dterminant. L'valuation peut tre ralise en se contentant d'tudes
superficielles (niveau 1 de l'Encadr 29 ci-aprs) ou, au contraire, en
mobilisant des moyens lourds pour raliser des estimations quantitatives
(niveau 4). Dans ce cas, on est gnralement oblig de concentrer l'analyse
sur quelques Impacts.
Le traitement le plus simple d'une question evaluative (niveau 1) consiste en
une simple description des changements observables auprs des publics
concerns ou sur la zone eligible. Il n'est pas rare que l'valuation se
contente d'un tel traitement purement descriptif, alors que l'on sait bien
qu'il peut donner une Ide fausse des effets du programme. L'analyse peut
tre amliore en apportant des correctifs aux donnes observes de faon
se rapprocher de la ralit des effets propres au programme. Par
exemple, on tiendra compte des effets d'aubaine en appliquant un
coefficient correcteur tir de l'valuation d'un autre programme, sous

rserve d'avoir vrifi la validit externe de cette valuation. De mme, on
pourra estimer les impacts sur l'emploi partir des investissements raliss
par les entreprises aides, l'aide d'un coefficient d'extrapolation.
Encadr 29 Choisir le niveau d'approfondissement
de l'analyse d'impact
Niveau 1.
Etude descriptive des changements et
estimation des impacts par extrapolation
'Niveau 2.
Analyse comparative des changements
Niveau 3.
Analyse inductive des relations causales
'Niveau 4.
Estimation quantitative des impacts
L'analyse comparative (niveau 2) permet d'aller plus loin dans l'analyse. Elle
doit au minimum s'appuyer sur l'observation de publics ou de territoires
non touchs par le programme. Les analyses de ce niveau sont toujours
possibles, mme avec des moyens limits, bien qu'elles ne soient
malheureusement pratiques que dans un nombre encore trop rare de cas.
Il est vrai qu'elles ont un cot en termes d'enqutes de terrain et qu'elles
ncessitent un dlai d'tude suffisant. Sans dmontrer, au sens fort du
terme, l'existence d'une relation de causalit entre le programme et les
changements socioconomiques intervenus, l'analyse comparative
rassemble un faisceau d'indices qualitatifs et quantitatifs sur la nature et
l'importance des effets du programme.
L'analyse Inductive des relations de causalit (niveau 3) est considrer
lorsque l'on cherche comprendre les mcanismes de production des
impacts et lorsqu'exlstent de nombreuses interdpendances avec le
contexte socioconomique (causes concurrentes). Les analyses de ce

lls^'
niveau sont toujours possibles, notamment l'aide d'tudes de cas, mais

elles sont exigeantes en termes d'enqutes de terrain, de techniques
d'valuation et de dlai d'tude.
L'analyse la plus approfondie (niveau 4) est celle qui permet de montrer
l'Importance quantitative des impacts du programme partir d'hypothses
sur l'ensemble des relations de cause effets concurrentes. Cette analyse,
lourde et techniquement difficile, ncessite gnralement plusieurs mois de
travail. De plus, son aboutissement n'est pas toujours assur pour des
raisons expliques plus loin (voir 168).
Pour conclure, l'valuation d'ensemble d'un programme porte
systmatiquement sur tous les Impacts de toutes les composantes d'un
programme. Or dans la mesure o les programmes socioconomiques se
caractrisent par la multiplicit de leurs Impacts, il en dcoule que leur
valuation d'ensemble ne peut pas esprer dpasser le premier niveau
d'analyse. La validit d'une valuation d'ensemble dpend donc de la
validit externe des autres valuations sur lesquelles elle se fonde pour
estimer les Impacts, d'une part, et de la ralisation d'analyses plus
approfondies lorsque cela s'Impose, d'autre part.
Les analyses plus approfondies (niveaux 2 4) permettent d'atteindre un
bon niveau de validit, mais leur cot les rserve l'estimation de quelques
impacts. Il est alors d'autant plus Important que ces valuations soient
ralises avec un souci de validit externe, afin que leurs conclusions
soient utilisables dans d'autres valuations, que ce soit dans la mme
rgion ou dans des rgions connaissant des problmes similaires.
Exploiter les sources d'informations existantes

L'estimation d'un impact est toujours une tche difficile. Pour aboutir une
estimation aussi robuste que possible, il convient de s'appuyer le plus
possible sur les informations existantes telles que les donnes
administratives, les tudes et les recherches relatives au domaine
considr, la documentation lie la vie et la gestion du programme, les
statistiques publies, des Informations relatives des programmes
similaires, etc. Ces informations peuvent tre obtenues avec peu de
nouvelles dpenses et rapidement. Avec un cot de collecte trs faible,
elles peuvent contribuer fournir des premires rponses une partie des
questions poses. Si le cahier des charges a t correctement prpar, I
contient dj une liste des informations immdiatement disponibles,
appeles donnes secondaires par opposition celles qui vont tre

collectes spcialement dans le cadre de l'valuation et qui sont appeles
donnes primaires. Ces deux catgories de donnes sont prsentes dans
l'encadr ci-dessous.
Encadr 30 - Les sources d'information de l'valuation
Evaluation
Donnes
primaires
Donnes
secondaires
Systme
du suivi
Sries
statistiques
Littrature
Experts
Documents de
gestion
Offices
statistiques
Recherches
valuations
passes
Enqutes,
tudes de cas
tt&ZCtt^t^^
Documents de gestion du programme
Les documents de gestion du programme contiennent une information sur
les dpenses qui ont t engages et payes. Ces informations sont
utilisables sous forme synthtique, par exemple sous forme de bilans
financiers dcomposs selon les axes, mesures et actions. Les donnes
lmentaires projet par projet sont systmatiquement conserves et
accessibles. Il pourra tre ncessaire d'y revenir, par exemple dans les cas
suivants : (1) on dsire connatre le pourcentage des dpenses du
programme qui a t consacr porter remde des problmes
d'environnement, (2) on dsire connatre le pourcentage des dpenses du
programme qui a bnfici aux zones rurales ou urbaines les plus
dfavorises, (3) on dsire connatre le pourcentage des dpenses du
programme qui a bnfici aux plus petites entreprises, (4) on dsire
connatre la diffrence entre le cot par emploi cr en zone rurale et en

zone urbaine, etc.
Parmi les donnes conserves sur les dpenses, on trouve souvent le nom,
l'adresse et le numro de tlphone des personnes et des organisations qui
ont reu les aides. Ces donnes sont trs prcieuses pour l'valuation dans
le cas o il serait ncessaire de contacter des destinataires des fins
d'enqute.
Les documents de gestion du programme contiennent galement une
information sur les ralisations, c'est dire sur ce qui a t obtenu en
contrepartie de la dpense publique. Ces informations sont utilisables sous
forme synthtique, par exemple, travers des Indicateurs ou des rapports
d'activit. Les donnes lmentaires, projet par projet, sont souvent
conserves mais gnralement de manire peu accessible. Il pourra
cependant tre ncessaire d'y revenir, par exemple si l'on dsire connatre
le dtail de quelques projets pour raliser des tudes de cas.
L'quipe d'valuation ne peut accder aux documents de gestion qu'avec l'aide
et la coopration de ceux qui les dtiennent, ce qui peut reprsenter un temps
de travail non ngligeable pour les gestionnaires et les oprateurs. La
coopration des dtenteurs de l'Information est obtenue d'autant plus
facilement que le problme a t discut l'avance avec les Intresss.
L'autorit commanditaire est responsable de faire en sorte que les portes
s'ouvrent, ce qui peut tre obtenu par exemple en associant les principaux
dtenteurs d'information au groupe de pilotage ou en promettant un retour sous
forme de synthse des premires conclusions de l'valuation. Pour faciliter
l'accs l'Information, I est galement Important que l'quipe d'valuation
s'engage prserver la confidentialit de toutes les donnes personnelles.
Sources statistiques
Les sources statistiques concernent la totalit d'une rgion, d'un Etat, voire
de l'Union europenne. Elles permettent donc d'examiner des
changements qui affectent l'ensemble d'une population, d'une conomie,
de l'environnement d'un territoire donn ou d'une population particulire au
sein d'un territoire. Les statistiques les plus utiles l'valuation sont celles
qui s'appliquent exactement au territoire concern par le programme ou
la population eligible. Ces dernires sources statistiques fournissent des
indicateurs de contexte et permettent de constater des impacts apparents
(par exemple : le nombre de crations d'entreprises a doubl) ou
d'apprcier des besoins (par exemple, le taux de cration d'entreprises est

nettement infrieur la moyenne europenne), ou encore d'examiner si les
objectifs restent pertinents (par exemple, le taux de cration d'entreprises
a maintenant rattrap la moyenne europenne).
A la diffrence des donnes de gestion qui se concentrent sur les oprateurs
et sur les destinataires directs du programme, les statistiques englobent
aussi toutes les personnes ou les entreprises qui n'ont eu aucun contact
avec le programme. La comparaison d'une statistique avant-aprs ne peut
donc absolument pas fournir une estimation d'impact. Elle donne tout au
plus une information utilisable dans le cadre d'une analyse d'Impact dont le
rle sera d'imputer le changement observ plusieurs causes : le
programme d'une part, et les facteurs exognes (ou facteurs concurrents)
d'autre part. Ainsi par exemple, les statistiques peuvent montrer une
augmentation du chmage explicable par un fort accroissement naturel de la
population active alors mme que le programme a cr beaucoup d'emplois.
Dans le cadre d'une analyse d'Impact, les statistiques fournissent des
indications utiles sur l'volution des facteurs exognes en mesurant toutes
sortes de caractristiques du territoire ou de la population concerne. Elles
permettent d'interprter ou de nuancer l'observation des effets bruts ou
impacts apparents. Elles fournissent aussi des coefficients d'extrapolation
dont on verra qu'ils sont souvent utiliss en valuation (voir page 134). Par
exemple, si une tude statistique permet d'affirmer que la taille moyenne
des entreprises cres depuis deux ans s'lve 4,5 emplois, ce coefficient
pourra tre utilis dans le cadre d'une estimation d'Impact pour une mesure
d'aide la cration d'entreprises.
Les donnes statistiques sont accessibles directement auprs des
organismes qui les produisent et les publient (offices statistiques publics
aux niveaux europen, national et rgional, instituts privs, etc.). Elles sont
souvent dj rassembles par les gestionnaires du programme, ou par des
organismes d'tude (observatoires rgionaux par exemple). Par exemple,
un grand nombre de donnes rgionalises peut tre trouv Eurostat
dans la base REGIO (base de donnes dont l'accs est payant). Ces
donnes sont prsentes sous la forme d'environ 70 tableaux standards
par domaine : dmographie, comptes conomiques, chmage, force de
iravail, nergie, agriculture, transport, R&D. Eurostat a rcemment enrichi
ses donnes rgionalises grce l'exploitation des enqutes nationales
annuelles sur les structures industrielles. L'Information traite est disponible
dans la base de donnes ELIZE (base de donnes qui ne dpend pas
d'Eurostat). Celle-ci comprend : le nombre d'entreprises industrielles,

l'emploi, les salaires et traitements, le chiffre d'affaires et l'investissement.
Les donnes sont dcomposes en une trentaine de secteurs
conomiques et en deux classes de taille ( 20 employs). A moyen terme,
la base de donnes REGIO sera complte par une exploitation de
l'enqute sur les structures agricoles.
L'utilisation des statistiques par l'quipe d'valuation peut poser plusieurs
sortes de problmes techniques. En premier lieu, pour des raisons de secret
statistique ou de mthode de collecte, on ne peut pas toujours rgionaliser
finement les statistiques. Ainsi, les enqutes construites sur des chantillons
limits (10 000 40 000 questionnaires l'chelle europenne) ne peuvent
donner de rsultats significatifs que pour des grandes rglons (enqute sur
les forces de travail, enqute innovation, Eurobarometre, pour citer quelques
exemples). Mme lorsque les statistiques sont finement rgionalises, leur
dcoupage ne concide pas toujours avec celui des programmes. Enfin, en
l'tat actuel de la pratique, certaines donnes sont calcules et publies avec
deux ou trois ans de retard. Pour des suggestions sur la faon de traiter ces
difficults techniques, on se reportera au Volume 2 de la Collection.
Evaluations et recherches passes
Les informations que l'on peut retrouver dans les valuations et recherches
passes peuvent jouer un grand rle toutes les tapes de l'valuation. Par
exemple, un retour la littrature spcialise pourra permettre de suggrer
un indicateur pertinent, une grille d'observation dj teste, un modle
explicatif des Impacts, un coefficient d'extrapolation, une rfrence de
comparaison, etc.
Il peut s'avrer trs utile d'avoir recours aux conclusions d'valuations des
programmes similaires dans la mme rgion ou dans d'autres rgions. Les
mmes causes pouvant engendrer les mmes effets, se rfrer des
programmes similaires peut souvent permettre de rpondre rapidement et
peu de frais une question evaluative. Si l'quipe d'valuation s'appuie
fortement sur ce type de donnes secondaires, elle doit alors faire une
vrification de la validit externe des valuations consultes, c'est dire de
la possibilit de gnraliser leurs conclusions d'autres contextes.
Il n'est pas souhaitable d'investir trop de temps pour inventorier et collecter
les donnes bibliographiques exhaustivement. La faon la plus efficace
d'accder ces Informations est de consulter quelques experts ayant une
connaissance approfondie du domaine et/ou de la rgion concerne par

l'valuation.
Collecter des informations nouvelles

Les donnes prexistantes, ou donnes secondaires, rpondent rarement
la totalit des questions que l'on est amen se poser dans le cadre
d'une valuation. Dans certains cas, la bonne qualit du systme de suivi
suffit valuer les rsultats et l'abondance des travaux de recherche
disponibles permet d'extrapoler les impacts. Dans d'autres cas, il faut
envisager des investigations spcifiques et une collecte de donnes
primaires par enqute sur le terrain.
Entretiens avec les gestionnaires et les oprateurs
Les gestionnaires du programme sont les personnes ou les organisations
qui contribuent la mise en uvre du programme. Ils attribuent et grent
les fonds. Les oprateurs, situs au plus prs terrain, mettent en uvre le
programme. Les destinataires comprennent, de faon large, toutes les
personnes ou organisations qui reoivent des avantages du programme de
faon directe ou indirecte. Ces diffrents types d'acteurs, qui parfois se
confondent (voir l'encadr ci-dessous), tant dtenteurs d'informations
diffrents niveaux du programme, ils seront sollicits dans le cadre de la
collecte d'Informations.
Encadr 31 - Diffrence entre oprateurs et destinataires
Selon les dfinitions de cet ouvrage, le promoteur de projet ou porteur de projet
peut tre oprateur ou destinataire selon les cas. Dans l'exemple o le promoteur
de projet est un groupement d'entreprises qui reoit une aide pour dvelopper
des actions collectives de promotion des exportations, deux situations peuvent
se prsenter. Si l'aide est ponctuelle et limite un seul projet, alors le
groupement est considr comme destinataire direct et les entreprises qui le
composent comme destinataires indirects. Si le groupement rpte ses actions
d'anne en anne, reoit des aides variables en fonction de ses activits, fait un
compte rendu annuel de ses actions ainsi que de l'identit des entreprises
participantes, alors le groupement est considr comme oprateur et les
entreprises participantes comme destinataires directes (ex : une Chambre de
commerce et d'industrie qui organise des stages l'intention des PME).
Lors d'une enqute destine collecter des donnes primaires, l'quipe d'valuation
n'abordera pas toujours le groupement d'entreprises de la mme faon. Elle ne posera
pas les mmes questions, selon qu'il a un rle d'oprateur ou de destinataire.
Les donnes de gestion sont des donnes secondaires, dont il a t

question prcdemment, et auxquelles on accde par les gestionnaires. Ce
qui est voqu ici est diffrent. Il s'agit essentiellement de l'opinion des
gestionnaires et des oprateurs sur les questions Intressant l'valuation,
opinion qui est collecte sous forme d'entretiens. Parmi les multiples sortes
d'opinions que l'valuation est amene collecter, on mentionnera
spcialement celles qui portent sur les succs et les checs rencontrs par
le programme.
Les questions que l'quipe d'valuation pose dans ces entretiens sont du
type suivant : Quelles mesures, quelles actions, quels projets peuvent tre
considrs comme des russites exemplaires (ou comme des checs dont
il faut tirer les leons) ? Comment ces russites et ces checs s'expliquentils ? A quoi reconnat-on qu'un projet est particulirement russi ? Quels
sont les critres spontanment utiliss dans ce jugement (efficacit,
efficience, pertinence) ?
L'information qualitative collecte l'occasion de ces entretiens complte
utilement les donnes de gestion, notamment pour identifier des exemples
de bonnes pratiques et pour orienter les analyses d'impact vers les situations
o I y a le plus apprendre. A ce stade de son travail, l'quipe d'valuation
doit tre trs attentive privilgier l'examen des effets du programme. Les
gestionnaires et les oprateurs ont en effet tendance considrer qu'un
projet est un succs ou un chec en fonction des difficults plus ou moins
grandes rencontres dans l'application des rgles ou dans le fonctionnement
de la machinerie administrative. Au contraire, l'valuation juge la russite
d'un projet en fonction de ses rsultats bnfiques et durables pour les
destinataires. Les deux formes de russite sont souvent lies mais il peut
arriver qu'un projet soit problmatique du point de vue administratif
(interprtation des textes la limite de la rgularit, conflits entre
gestionnaires) et qu'il soit en mme temps une russite exemplaire du point
de vue de son efficacit (L'inverse se constate encore plus frquemment !).
L'avis des gestionnaires et des oprateurs s'obtient le plus souvent
travers des entretiens individuels. L'quipe d'valuation s'efforce de
conduire suffisamment d'entretiens pour rencontrer au moins une personne
fortement concerne par chaque objectif chaque niveau de
dcomposition du programme. Il peut tre Intressant, dans cet esprit, de
reporter visuellement les entretiens effectus sur l'arbre des objectifs. Selon
la complexit du programme le nombre d'entretiens varie de quelques-uns
plusieurs dizaines.
Avec l'accord du commanditaire, l'quipe d'valuation peut complter ses

entretiens individuels par une srie de runions, chacune rassemblant une
dizaine de gestionnaires ou d'oprateurs. Ces runions peuvent tre
organises par ville, par sous-rglon, par secteur conomique, par domaine
d'intervention, etc. Il peut galement tre intressant d'organiser
sparment les runions aux diffrents niveaux du programme (oprateurs
de terrain, gestionnaires des mesures, responsables d'ensemble du
programme). Un exemple de cette dernire dmarche pourra tre trouv
dans le Volume 4 de cette Collection, consacr aux techniques innovantes
d'valuation des programmes complexes. On trouvera galement dans le
Volume 3, consacr aux outils d'valuation, plusieurs techniques
d'animation ou de mdiations susceptibles de rendre ces runions plus
productives et plus Impartiales.
Entretiens avec les destinataires
Par
dfinition,
les
programmes
socio-conomiques
couvrent
simultanment plusieurs domaines d'intervention (plusieurs secteurs) et de
nombreux publics, souvent htrognes (ex : PME, crateurs
d'entreprises, agriculteurs, travailleurs indpendants, salaris menacs de
chmage, chmeurs, chercheurs, etc.). Par consquent, l'valuation
d'ensemble du programme couvre systmatiquement tous les domaines et
tous les publics. Cela implique qu'il faut trouver un moyen de collecter des
informations rellement nouvelles auprs de ces publics trs htrognes
sans pour autant que le cot d'enqute soit exorbitant. Or si l'on choisit par
exemple de faire une enqute par questionnaire, construire un chantillon
reprsentatif pour chacun des publics concerns reprsente un cot
extrmement lev. Cela ne peut tre fait en pratique que dans le cadre de
l'approfondissement d'une question evaluative centre sur un public
particulier (voir la partie suivante).
Parmi les techniques envisageables de faon pragmatique pour collecter
des donnes primaires auprs de destinataires trs diffrents les uns des
autres, on citera l'enqute par entretien de groupe (focus group) et
l'enqute par tude de cas, qui est prsente de faon plus dtaille dans
les paragraphes suivants.
La technique de l'entretien de groupe a t standardise par les
professionnels de l'tude de march. Un entretien de groupe runit six
huit participants pendant une heure et demi deux heures autour d'un
enquteur / animateur. Celui-ci provoque une forte interaction entre les

participants sur les thmes centraux de l'tude. En faisant appel la
crativit des participants et la dynamique de groupe, la technique
permet de dmultiplier la capacit d'exploration puis de dgager les Ides
convergentes. SI le groupe est bien encadr, ce qui mane de la discussion
est souvent beaucoup plus riche que ce que l'on obtient d'une srie
d'entretiens individuels.
La prsence de plusieurs personnes vite les opinions extrmes puisque
chaque argument est, le plus souvent, contest. Cependant, le clientlisme
des participants, la prsence de personnalits leader ou une situation
conflictuelle entre certaines personnes peuvent entacher la qualit d'une
runion. C'est la raison pour laquelle l'entretien de groupe est plus difficile
raliser avec des gestionnaires et des oprateurs. Pour une enqute
auprs des destinataires, le risque est moins important et peut tre prvenu
en ralisant une vague de trois ou quatre runions. Pour plus d'Informations
sur cette technique, on peut se rfrer au Volume 3 de la Collection.
Analyser l'ensemble des impacts sur les destinataires

Il convient de rappeler au dbut de cette section que nous nous situons
dans le cadre de l'valuation d'ensemble d'un programme qui comprend
des ralisations htrognes et qui produit des impacts multiples sur des
publics varis. Cette situation empche l'emploi de la plupart des
techniques classiques d'analyse d'Impact, lesquelles seront prsentes
plus loin (voir page 164). Par ailleurs, il convient de distinguer les impacts
selon deux niveaux, savoir ceux qui peuvent tre suivis la trace chez les
bnficiaires du programme, d'une part, et ceux qui ne se matrialisent
qu' l'chelle de l'ensemble d'une rgion, d'autre part. Le premier niveau
d'impact relve de mcanismes microconomiques ou micro-sociaux,
tandis que le second niveau relve de mcanismes macroconomiques ou
macro-sociaux. Leur analyse fera l'objet d'une section spciale ci-aprs
(voir page 145).
Croisement des donnes primaires et secondaires
Pour raliser son analyse d'impact, l'quipe d'valuation commence par
constater les changements qui se sont drouls pendant le programme et
par s'Interroger sur leur concomitance avec l'action politique. Il faut tre
conscient du fait qu' ce stade de l'valuation il est difficile de trouver des
preuves concernant des relations de causalit. Aussi, cherche-t-on plutt

des prsomptions de causalit et des explications aux phnomnes
constats.
Ainsi par exemple, il est intressant de croiser les donnes statistiques et
les donnes de gestion dans une perspective avant/aprs comme dans
l'exemple suivant.
Exemple : un croisement de donnes qui rvle un impact plausible
Dans le cadre d'une analyse d'valuabilit portant sur plusieurs mesures du
Programme Oprationnel FEDER de l'Objectif 1 (1994-99) de la rgion de Valencia
(Espagne), un certain nombre de critres d'valuation ont t dtermins par type
d'action. Pour chacun des critres, entre trois et onze indicateurs accompagns de
leurs sources d'information ont t galement proposs. Le nombre total
d'indicateurs proposs s'est lev 123. Certains d'entre eux, environ 40, ont t
supprims ds le dbut de l'valuation intermdiaire car ils n'taient pas disponibles.
Une slection a ensuite t ralise par les chargs d'valuation parmi les indicateurs
restants. L'quipe d'valuation a veill d'une part, ce que les indicateurs retenus
fournissent une information contraste (rgion de Valencia et Espagne) et d'autre
part, ce qu'ils soient bass sur des informations publies de faon priodique (pour
l'analyse de la situation tendancielle 1990-1993) et sur des informations non publies
mais disponibles pour la priode la plus rcente. Les indicateurs ainsi dfinis figurant
dans le rapport d'valuation ont fait l'objet d'une analyse approfondie l'aide de
graphiques qui ont permis, d'une part d'examiner la tendance (favorable ou
dfavorable) pour la priode prcdant la mise en uvre du programme, et d'autre
part d'identifier s'il y a eu une variation de tendance les annes suivantes. Le
changement de tendance a t class comme positif lorsqu'il s'agit d'une
amlioration de la situation de la rgion ou ngatif lorsqu'il s'agit d'une dtrioration.
L'intensit de la variation a t qualifie d'insignifiante, de modre ou d'intense.
En guise d'exemple : pour le critre diversification et efficience des ressources
nergtiques , un des indicateurs utiliss a t le nombre d'entreprises
consommant du gaz naturel (% rgion de Valencia par rapport l'Espagne). Pour la
priode 1990-93, cet indicateur a rvl une tendance dfavorable. A partir de 1994,
lorsque la mise en uvre du programme a dbut, une variation positive de tendance
vers une intensit modre est observe.
M O n PeLJt raliser des croisements particulirement intressant l'aide
d'un outil qui devient de plus en plus rpandu, savoir le systme
d'Information gographique (SIG). Cette technique combine une base de
donnes informatise capable de mmoriser aussi bien les donnes de
gestion du programme que des donnes statistiques de contexte.
L'utilisation d'un SIG permet de produire des cartes qui effectuent des
recoupements visuels entre les donnes. Ainsi, une carte peut superposer
l'volution du chmage dans diffrentes zones urbaines ou rurales
couvertes par le programme et des Informations susceptibles d'expliquer
cette volution, y compris l'importance des financements allous, le
nombre de chmeurs forms et le nombre d'entreprises aides. Pour plus
d'informations sur cette technique, on se reportera au Volume 3 de la
Collection MEANS.
Exploration des mcanismes d'impact
L'enqute par tude de cas examine un nombre limit d'actions, de projets
ou de situations (les cas) et aboutit une srie de monographies dcrivant
chacun de ces cas en quelques pages. Pour chacun des projets tudis,
l'enquteur rassemble toutes les donnes de gestion disponibles, interroge
les gestionnaires et oprateurs responsables, et ralise des entretiens avec
plusieurs destinataires directs et indirects. Chaque tude de cas reprsente
une dpense non ngligeable mais le nombre de cas tudis est
suffisamment rduit pour contenir le cot total de l'valuation dans une
limite raisonnable.
Une enqute par tude de cas permet d'obtenir des explications sur
l'attitude des destinataires, sur leurs vritables besoins, sur les raisons de
leur participation au programme, sur leur faon de juger la qualit du
programme, sur les mcanismes d'apparition des impacts, sur les effets
Imprvus, etc. L'enqute par tude de cas tant essentiellement qualitative,
sa principale fonction est de mieux faire comprendre le fonctionnement du
programme. Elle aide aussi interprter des informations quantitatives
obtenues par ailleurs.
Dans certaines limites, on peut utiliser l'tude de cas pour produire une
Information quantitative. De fait, chaque monographie de cas peut produire
une estimation quantitative d'impact, videmment limite au projet tudi.
La question est alors celle de la gnralisation des enseignements d'un
cas. Elle peut tre traite de diffrentes faons au moment de la slection
des cas. Par exemple, si chaque cas est slectionn comme tant
typique d'une catgorie de projets, son impact sera considr comme
une image ou un ordre de grandeur de l'impact de tous les projets de cette
catgorie. Plus intressante est sans doute la dmarche qui consiste
tudier deux cas par catgorie de projets, un cas de russite et un cas
d'chec, de faon obtenir une fourchette d'estimation des effets du
programme. Pour une prsentation plus complte de la technique de

l'tude de cas, on se reportera au Volume 3 de la Collection MEANS et pour
un exemple d'utilisation quantitative des tudes de cas, on se reportera au
Volume 4.
Estimation quantitative par extrapolation
L'estimation quantitative d'un impact, ou au moins la dmonstration de
l'existence de cet impact, constitue un thme central dans la dmarche
d'valuation. Les techniques de base employes pour ce type d'analyse
sont les groupes de comparaison et l'analyse de rgression, ainsi que la
modlisation pour les impacts macroconomiques. Ces techniques seront
prsentes plus loin. Dans cette section, on privilgie la seule approche qui
soit applicable de faon pragmatique l'valuation d'ensemble d'un
programme complexe, savoir l'utilisation de coefficients d'extrapolation
pour estimer les impacts.
Un coefficient d'extrapolation permettra par exemple d'estimer le nombre
d'emplois temporaires crs par million d'Euros d'investissement en
infrastructure, la valeur ajoute annuelle gnre par million d'Euros
d'investissement dans les PME ou la proportion des crations d'emploi
dclares par les entreprises qui sont des crations relles. SI l'quipe
d'valuation emploie des coefficients d'extrapolation prexistants, il
importe qu'elle explique et justifie ceux qu'elle a choisis. Un coefficient peut
tre dduit d'une enqute approfondie conduite dans le cadre de la mme
valuation ou d'une valuation prcdente. Un coefficient peut aussi tre
emprunt une valuation ou une recherche portant sur des interventions
similaires, conditions que les conclusions soient considres comme
gnrallsables. Un coefficient peut galement tre tabli pour les besoins
d'une valuation par un panel d'experts ou par un rseau d'experts en
utilisant la technique de l'enqute Delphi (Voir le Volume 3 de la Collection
MEANS pour en savoir plus sur cette technique de consultation d'experts).
Les diffrentes solutions peuvent galement tre combines entre elles.
^ L'extrapolation consiste appliquer un coefficient d'impact une
donne de dpart qui peut tre de nature diffrente selon les cas. Dans une
situation d'valuation ex ante, l'extrapolation ne peut partir que de
aonnes basiques sur les enveloppes budgtaires que le programme
prvolt d'allouer aux diffrentes interventions. On utilise donc des
coefficients du type nombre d'emplois crs par million d'euros (ou le
ratio Inverse du cot par emploi cr).
H
Dans une situation d'valuation intermdiaire ou ex post, il est
possible d'utiliser les donnes de ralisation comme base d'extrapolation.
Ainsi par exemple, on se fondera sur le nombre de lits d'un quipement
touristique rcemment construit, pour estimer le nombre d'emplois crs
l'aide d'un ratio de nombre d'emplois par lit. Dans certains cas, il est
demand aux destinataires de faire une dclaration sur les impacts au
moment o ils sont en contact avec les oprateurs. Ils doivent par exemple
Indiquer le nombre d'emplois crs au moment du dernier paiement ou le
nombre d'emplois crer au moment de leur demande d'aide. Dans ce cas
il est recommand d'appliquer un coefficient correcteur pour tenir compte
des effets d'aubaine. Ce coefficient peut varier de 0,8 dans les meilleurs
cas, moins de 0,3 pour certaines interventions o les effets d'aubaine
sont particulirement importants.
Analyse des effets de synergie
Un programme est compos d'un ensemble de projets et de mesures qui
sont tous orients vers le mme objectif. Ces projets ne sont pas
Indpendants et Ils ne doivent pas tre valus en faisant l'addition, ou

mme la synthse, de leurs effets pris sparment. Au contraire, les
composantes d'un programme sont censes se renforcer mutuellement
grce des effets de synergie. L'encadr ci-dessous dcrit quelques
mcanismes de production de ces effets de synergie.
Encadr 32 - Exemples de mcanismes produisant des effets
de synergie au sein d'un programme
Sous le titre de Program Induced Dynamic Effects, une tude ralise pour la
Commission europenne propose une liste des mcanismes qui sont
susceptibles de produire des effets de synergie :
effet de masse critique : un projet isol n'aurait aucun impact faute d'une
masse critique suffisante ;
effet de taille : abaissement des cots du fait de la prsence de plusieurs
projets au mme endroit ;
effet de dmonstration : dmultiplication de l'action par l'exemple ;
effet d'ajustement : meilleure coordination des diffrentes actions publiques
entre elles ;
effet de capacit : une action publique isole n'aurait aucun impact faute d'une
effet de productivit : les conomies d'chelle sur l'action publique elle-mme
amliorent sa productivit ;
effet de dblocage : la ralisation d'un projet dbloque une contrainte pesant
sur un autre projet ;
effet d'entranement : la ralisation d'un projet incite raliser un autre projet.
Bien que la synergie soit un mcanisme important qui conditionne l'atteinte

des objectifs d'un programme, elle fait rarement l'objet d'une analyse en tant
que telle, notamment parce que cela implique un cot supplmentaire alors
mme que la question ne peut tre traite que dans le cadre d'une valuation
d'ensemble. Pour traiter cette difficult, un travail mthodologique a t
men dans le cadre du programme MEANS. La dmarche propose est
prsente en dtail dans le Volume 4 de la Collection. Elle dbute par la
construction d'une matrice des impacts croiss o toutes les composantes
du programme figurent de faon symtrique en lignes et en colonnes. A l'aide
d'entretiens avec les gestionnaires et les oprateurs, l'quipe d'valuation
estime le degr d'Importance des synergies potentielles entre composantes
(sur une chelle de notation de -3 +3). Ces estimations permettent de
remplir les cellules de la matrice et de calculer un coefficient de synergie pour
chaque composante. Certaines synergies potentielles peuvent alors faire
l'objet de vrifications sur le terrain, particulirement si elles constituent un
enjeu important en termes de comprhension des effets du programme ou
en termes de dcisions prendre.
Formuler les j u g e m e n t s et c o n c l u r e l'valuation
Rfrences de jugement
Le mot valuation, apparent au mot valeur, sous-entend qu'une valuation
est, par dfinition, un jugement de valeur. Toute la crdibilit de l'valuation
repose sur l'explicitatlon des rfrences de ce jugement, tape
indispensable toute valuation et trop souvent nglige. Un jugement de
valeur se rfre un ou plusieurs critres, chacun d'entre eux tant
ventuellement associ un instrument de mesure et une norme
atteindre, comme le symbolise le thermomtre prsent dans l'Encadr 33.
Chaque valuation et chaque rponse une question evaluative peut tre
ralise au regard d'un critre d'valuation spcifique qui est choisi
pendant la phase de conception de l'valuation. Cependant, il y a certains
critres d'valuation qui ont une place prdominante parce qu'ils sont
rcurrents et essentiels. On les retrouve dans presque toutes les
valuations. Ces principaux critres sont la pertinence du programme et
des actions vis vis des besoins, l'efficacit du programme pour remplir les
objectifs et l'efficience du programme, savoir sa capacit remplir les
objectifs au moindre cot (Voir page 73).
Encadr 33 - Rfrence, norme et critre

degr Celsius ou
% de stagiaires employs
z) aprs 12 mois
unit de mesure
norme
Rfrence de
jugement
critre
temprature ou
Taux d'insertion durable
Une fols les critres choisis et une fois leurs normes respectives arrtes,
les instruments qui vont permettre de mesurer sont en rgle gnrale, les
Indicateurs, et dans certains cas, la notation.
Si l'valuation du programme pouvait se faire selon un seul critre, par exemple
l'efficience en termes de cot par emploi cr, la formulation du jugement
pourrait alors s'appuyer sur une seule technique, en l'occurrence l'analyse
cot-efficacit, qui permettrait de juger le programme au regard de ce critre.
Cependant, dans le cadre de l'valuation de programme o les Impacts ne
sont pas tous connus de manire trs prcise, une telle technique, plus
approprie dans les cas d'valuations approfondies d'actions simples, ne peut
pas donner de rsultats trs certains. Il est alors gnralement conseill de
retenir le cot comme critre d'efficacit mais d'utiliser ce critre dans
l'optique d'tablir des comparaisons. On calculera le cot moyen par emploi
cr et on comparera ce ratio avec d'autres ratios obtenus ailleurs dans le
cadre de programmes ayant des caractristiques similaires. On dfinira le ratio
idal , en gnral le meilleur, qui deviendra alors la norme . Ce principe
de l'talonnage (benchmarking) qui ncessite de rechercher et de valider des
rfrences, est galement une technique qui permet d'tablir un jugement de
valeur en rfrence un modle reconnu pour sa qualit. La dmultiplication
des objectifs oblige l'Identification de multiples cas de bonne pratique,
identifis chacun pour leur qualit dans un domaine particulier.
Hirarchisation des critres

L'quipe d'valuation est souvent confronte la ncessit de prendre en
compte diffrents critres et de faire un arbitrage entre ces critres au
moment de rdiger ses conclusions. Par exemple, que faut-il conclure
propos d'une mesure qui cote cher, qui cre peu d'emplois, mais qui
touche un public trs dfavoris ? Ces arbitrages doivent tre faits de
faon explicite et justifie sous peine de mettre en cause l'Impartialit de
l'valuation. En cas de difficult, il vaut mieux que l'quipe d'valuation
demande tre guide par le groupe de pilotage pour arrter les critres
prioritaires. Si le groupe de pilotage a lui-mme des difficults arbitrer sur
des sujets jugs trop sensibles, il peut faire appel un mdiateur. A cet
gard, I est possible d'employer certains outils d'valuation comme
technique de mdiation. Des outils comme METAPLAN ou l'analyse
SWOT (forces-falblesses-opportunits-menaces) ont la caractristique de
faire s'exprimer toutes les opinions et d'identifier sans heurts les points de
consensus (Voir Volume 3 de la Collection).
On peut galement avoir recours l'analyse multicritre qui permet de
prendre en compte simultanment plusieurs critres en explicitant leurs
Inter-relations. L'utilisation de cette technique est frquente pour
l'valuation des projets. Son emploi relve encore de l'Innovation pour
l'valuation d'ensemble d'un programme multl-dcldeurs. Un exemple
d'application de cette technique est dcrit dans le Volume 4 de cette
Collection. Dans le cadre d'une valuation de programme, l'analyse
multicritre implique la participation active d'un groupe de pilotage, si
possible largi une dizaine de membres. L'analyse est utilise pour aider
les participants formuler collectivement un jugement comparatif sur les
diffrentes mesures du programme. Outre sa capacit produire des
conclusions consensuelles, la technique joue aussi un rle utile de
clarification et d'explicitatlon des critres de jugement.
L'analyse cot-avantages propose une autre approche pour hirarchiser les
critres. Chaque Impact est pondr par l'quipe d'valuation l'aide d'une
valeur montaire reprsentant ce que la socit ou les personnes
concernes sont prtes payer pour obtenir les Impacts positifs ou viter
les Impacts ngatifs. L'emploi de cette technique est souvent dlicat,
cause notamment de la difficult de montariser certains impacts de faon
incontestable (impacts sur l'environnement notamment). De plus, la
technique est extrmement difficile appliquer un large programme et se
trouve pratiquement rserve l'valuation des projets d'infrastructures.
Lorsqu'il parat trop difficile ou trop dlicat d'engager l'valuation dans la

vole d'une explicitation et d'une hirarchisation des critres, une bonne
solution alternative consiste faire formuler les conclusions de l'valuation
par un panel d'experts. Dans des domaines comme ceux des politiques de
recherche ou d'ducation, la technique du panel d'experts est largement
utilise. Les experts sont choisis de faon reprsenter tous les points de
vue en prsence de faon quilibre et Impartiale. Ce sont des spcialistes
indpendants et reconnus dans le domaine du programme valu. Il est
demand aux experts d'examiner toutes les donnes et toutes les analyses
effectues dans le cadre de l'valuation, puis de dgager un consensus sur
les conclusions que l'valuation doit en tirer, et en particulier sur les
rponses apporter aux questions valuatives. Le panel n'explicite pas
compltement ses rfrences de jugement ni ses arbitrages entre critres,
mais la crdibilit de l'valuation est garantie par le fait que les conclusions
rsultent d'un consensus entre des personnes qui ont une forte notorit et
sont reprsentatives des diffrentes coles d'expertise .
Rdaction des conclusions et du rapport provisoire
L'Indpendance de l'quipe d'valuation lui confre toute latitude pour
formuler les conclusions qu'elle pense pouvoir tirer des donnes collectes
et analyses. Cette latitude est cependant encadre par des contraintes de
professionnalisme dont le respect s'impose.
En tout premier lieu, les conclusions sont construites et prsentes sous
forme de rponse aux questions valuatives. Les rponses sont exprimes
dans les termes mme qui ont servi poser la question dans le cahier des
charges et ces rponses sont aussi conclusses que possible. SI une des
questions poses ne reoit pas de rponse, les raisons en sont
explicitement nonces. En plus de la rponse aux questions poses,
l'quipe d'valuation ajoute toutes les conclusions qu'elle considre
comme fondes et pertinentes pour les responsables du programme. C'est
particulirement le cas si le travail a permis d'Identifier des effets ngatifs
Inattendus ou s'il a montr qu'un objectif a perdu sa pertinence.
Dans le cas de l'valuation d'ensemble d'un programme, les conclusions
sont formules au niveau du programme, c'est dire de faon transversale
aux mesures ou aux actions contenues qui le composent. Ces conclusions
transversales prendront par exemple les formes suivantes : les meilleures
russites en matire d'emploi ou d'environnement ont t obtenues dans
telle partie du programme, telles mesures sont particulirement efficientes,
telles mesures sont devenues moins pertinentes la suite des

changements du contexte, etc. Il n'est pas acceptable que l'valuation
d'ensemble du programme aboutisse une juxtaposition de conclusions
spcifiques chaque mesure. Les Volumes 4 et 5 de cette Collection font
des propositions techniques pour aider les quipes d'valuation formuler
des conclusions transversales.
Une des rgles du professionnalisme consiste relier chaque conclusion,
de la faon la plus explicite possible, aux donnes et aux analyses qui
permettent de l'tayer : sources statistiques ou bibliographiques, faits et
opinions collects lors des enqutes (en respectant l'anonymat lorsque
cela est ncessaire), rsultats d'analyses, rfrences prcises des
comparaisons, etc. Les limites mthodologiques sont galement discutes
pour montrer si le lien entre les donnes et les conclusions est robuste et
dans quelles limites les conclusions sont gnralisables.
Il existe une diffrence de nature entre les conclusions et les
recommandations. Les conclusions dcoulent des observations et des
analyses effectues par l'quipe d'valuation. Les jugements de valeur
qu'elles comportent reposent sur des rfrences claires et explicites. Leur
devenir appartient en dernier ressort aux responsables politiques du
programme. L'indpendance de l'valuation commande que les
conclusions appartiennent en dernier ressort l'quipe d'valuation, mme
si elles peuvent utilement tre discutes par le groupe de pilotage dans leur
forme provisoire. Au contraire, les recommandations ont une nature plus
subjective et plus politique. Il n'est pas choquant que les recommandations
manent conjointement de l'quipe d'valuation et du groupe de pilotage.
C'est une suggestion qui est dveloppe dans la dernire partie de cet
ouvrage (voir pages 198 200).
L'Encadr 34 prsente le contenu type d'un rapport d'valuation.
E n c a d r 3 4 - C o n t e n u d u rapport d'valuation
Le contenu du rapport doit comprendre l'ensemble des lments permettant
l'apprhension claire des rsultats de l'valuation et la comprhension du
raisonnement poursuivi. La richesse du rapport va obliger prsenter celui ci en
distinguant prcisment les contenus selon leur nature. Six grandes parties vont
se dtacher :
Les lments d'Information sur le programme valu : l'historique du
programme et des mesures qui le composent, l'analyse des documents, les
objectifs affichs, etc.
L'expos mthodologique qui rappelle les diffrentes tapes du droulement
de l'valuation, les choix arrts par le groupe de pilotage, les comptes-rendus
des tudes ralises et de leurs apports respectifs au questionnement
valuatif, les limites de la mthode employe.
La prsentation des informations qui constituent la base de l'valuation :
donnes secondaires ou primaires collectes.
L'expos des arguments, c'est dire les analyses et interprtations qui ont
permis de formuler des conclusions partir des informations collectes.
L'expos clair et prcis des conclusions qui doivent tre des rponses aux
questions poses dans le cahier des charges.
Et, le cas chant, si le cahier des charges le spcifie, les recommandations qui
refltent les opinions de l'quipe d'valuation. Ces recommandations devront
tre clairement hirarchises en fonction de leur importance (de leur utilit).
De plus, tout rapport d'valuation devra contenir un executive summary , c'est
dire un rsum de deux cinq pages maximum des six parties.
Validation d e l'valuation e t r a p p o r t final

Le c o m m a n d i t a i r e , ou plus souvent le g r o u p e de pilotage, s e p r o n o n c e sur
la validation du travail de l'quipe d'valuation au s t a d e d u rapport final
provisoire. Dans ce cas, l'apprciation d o n n e Heu l'une d e s t r i s dcisions
suivantes :
L'quipe d'valuation n'a pas rempli son contrat et d o i t effectuer u n
travail supplmentaire qui ne fera pas l'objet de contrat supplmentaire.
L'quipe d'valuation doit conduire d e nouvelles t u d e s de terrain afin
d'tayer
empiriquement
certaines
de
ses
conclusions
ou
r e c o m m a n d a t i o n s qui sont apparues intressantes mais sur des sujets

mal c o n n u s . C e travail ncessitera l'tablissement d ' u n contrat et d ' u n
b u d g e t supplmentaires.
Le rapport est a c c e p t sur le plan t e c h n i q u e et qualitatif.
Dans les deux premiers cas, l'avis du groupe de pilotage doit tre confirm
par le commanditaire de l'valuation. Ce n'est qu'aprs la validation des
conclusions par les autorits comptentes que le rapport peut tre
dfinitivement adopt et les travaux clturs. Cette tape est dlicate car il
s'agit de distinguer clairement la qualit technique du travail de l'quipe
d'valuation, d'une part, et les conclusions elles-mmes, d'autre part. S'il
est normal que le commanditaire vrifie la qualit technique de l'valuation,
il doit au contraire s'interdire d'interfrer avec les conclusions en vertu du
principe de l'Indpendance de l'valuation. Pour faciliter cette tape de
validation, il est bon d'annoncer l'avance les critres sur lesquels la
qualit technique du travail sera juge, par exemple en se rfrant la grille
propose page 192.
Une fols le rapport valid, l'quipe d'valuation et le groupe de pilotage
peuvent classer les principales conclusions dans un tableau avec les
annotations suivantes : conclusion valide, crdible et solidement
taye , conclusion peu taye et ncessitant ventuellement des
analyses plus approfondies , conclusion conduisant des
recommandations intressantes , conclusion qui apporte une
connaissance nouvelle , etc.
Pour conclure ces deux premiers chapitres, soulignons que la ralisation
d'une valuation d'ensemble d'un programme est indispensable dans la
mesure o le principe de programmation est essentiel dans les rglements
de Fonds structurels. Une telle dmarche, l'chelle du programme dans
sa globalit, est aujourd'hui facilite par l'exprience acquise aux cours des
dernires annes.
Une fois l'valuation ralise, la suite du processus consiste diffuser le
rapport et organiser l'utilisation des conclusions qu'il contient ; tapes
qui seront abordes plus loin (voir Partie IV). Avant de poursuivre, il faut
cependant voquer les approfondissements qui peuvent tre envisags en
matire d'analyse d'impact. C'est l'objet des pages qui suivent.
Analyser les impacts macroconomiques

En complment de l'valuation d'ensemble d'un programme, Il peut tre
ncessaire d'analyser les Impacts macroconomiques.
Les Impacts des interventions des Fonds structurels au niveau d'une rgion
ou d'un pays dpendent en premier Heu des impacts microconomiques
obtenus sur le terrain, mais ils dpendent aussi de mcanismes
macroconomiques qui n'apparaissent qu' plus grande chelle.
Ces mcanismes sont difficiles valuer de faon crdible par des
techniques simples. Il est Intressant et possible de progresser dans leur
comprhension et d'en donner une reprsentation schmatique. Leur
estimation quantitative relve de techniques de modlisation qui ont fait
l'objet, au cours des dernires annes, de dveloppements spcifiques
pour l'valuation de la politique europenne de cohsion.
Les impacts macroconomiques l'chelle d'une rgion ou d'un pays
peuvent-ils tre considrs comme la somme de tous les Impacts
microconomiques ? Le dbat n'est pas clos mais conduit cependant
reconnatre l'importance des mcanismes macroconomiques qui
conditionnent l'atteinte des objectifs globaux de dveloppement. Cette
section leur est entirement consacre.
Les quelques exemples de l'encadr ci-dessous permettent de distinguer
ces deux types de mcanismes.
Encadr 35 - Exemples de mcanismes de niveau micro
et macroconomique
Grce l'aide reue, une entreprise se dveloppe (niveau micro), elle achte
plus ses fournisseurs rgionaux qui achtent eux-mmes plus leurs
fournisseurs rgionaux, etc. (effet fournisseur, niveau macro).
Grce l'aide reue, une entreprise se dveloppe (niveau micro), elle distribue
des salaires supplmentaires qui sont en partie dpenss dans la rgion, ce qui
donne lieu de nouveaux dveloppements, puis de nouvelles distributions de
revenu, etc. (effet multiplicateur, niveau macro).
Un investissement public remplit le plan de charge d'une entreprise rgionale ce qui
rduit la concurrence lors de la ralisation des investissements suivants, (niveau
micro), ce qui fait augmenter le niveau gnral des prix, etc. (niveau macro).
Pour financer leur contribution aux projets aids (niveau micro), les autorits
rgionales augmentent les impts, ce qui diminue les revenus disponibles, etc.
(niveau macro).
Du point de vue de l'valuation, les impacts microconomiques peuvent

tre valus en Interrogeant un nombre limit de personnes, c'est dire les
destinataires directs (chez qui on observera des effets directs) et des
personnes qui ont t en contact avec les destinataires directs (chez qui on
observera des effets indirects). Il est indniable que des effets importants
se produisent au-del de ces cercles limits de destinataires, comme le
montre l'encadr prcdent. Ces effets plus lointains impliquent des
mcanismes macroconomiques qui affectent potentiellement la globalit
des marchs ou des acteurs conomiques du territoire concern.
Eviter les dmarches trop simplifies

Les volutions macroconomiques d'une rgion s'observent relativement
bien l'aide des indicateurs statistiques tels que le PIB par habitant ou le
taux de chmage pour citer ceux qui sont le plus couramment employs.
Cette disponibilit facile conduit naturellement les quipes d'valuation
faire des constats d'volution avant-aprs sur la situation conomique
rgionale. Lorsqu'un programme reprsente quelques pour-cent ou fraction
de pour-cent de l'investissement total rgional, l'observation des volutions
globales n'a videmment aucune signification en termes d'impact, pas plus
que ne peuvent en avoir les comparaisons avec l'volution conomique
globale des rgions voisines, fussent-elles non ligibles aux aides publiques.
Ce n'est que dans le cas d'un transfert massif d'argent public vers une
rgion en retard de dveloppement que l'on peut fonder l'valuation sur
l'observation des grandes tendances conomiques. C'est ce qui a t fait
ds les annes soixante pour l'valuation des politiques rgionales l'aide
d'une technique appele analyse structurelle-rsiduelle (shift-share
analysis). Cette technique, ainsi que toutes celles qui sont prsentes dans
ce chapitre, fait l'objet d'une fiche descriptive dans le Volume 3 de cette
Collection. Il s'agit d'une dmarche d'valuation top-down qui procde
par comparaison entre les tendances d'volution de l'emploi observables au
niveau d'un pays et au niveau de la rgion aide. L'analyse structurellersiduelle dcompose l'emploi rgional par grands secteurs et applique
ces secteurs les taux d'volution observs au niveau national pour ces
mmes secteurs. On reconstitue de cette faon une situation contrefactuelle
montrant comment la rgion aurait volu si elle avait volu comme la
moyenne du pays. La comparaison avec l'volution relle fait apparatre une
diffrence (le rsidu) qui est entirement imput aux effets des aides
extrieures. Le caractre videmment trs simplificateur de cette analyse ne
se justifie que si les aides extrieures sont rellement massives.
Un certain nombre d'effets macroconomiques peuvent s'estimer l'aide

de coefficients d'extrapolation tirs d'tudes ou de recherches antrieures,
selon la mme logique que celle qui a t dcrite plus haut (voir page 135)
pour l'estimation des impacts microconomiques. Les coefficients d'effets
macroconomiques s'appliquent aux effets microconomiques qui sont
supposs avoir t estims au pralable. Les formules sont du type :
Effet macro = Effet micro X Coefficient.
Le coefficient d'effet fournisseur varie selon la taille et le degr d'ouverture
de l'conomie rgionale. Le coefficient d'effet multiplicateur varie dans une
fourchette comparable.
L'quipe d'valuation doit s'entourer de srieuses prcautions, et si ncessaire,
de conseils d'experts, avant d'employer des coefficients d'effet macro. Une des
raisons qui pousse cette prudence est que la valeur du coefficient varie
beaucoup d'une rgion l'autre. L'autre raison est que les mcanismes
macroconomiques sont nombreux et que l'on oublie souvent ceux qui sont
dfavorables. Ainsi par exemple, l'effet d'viction ou l'effet de hausse des prix
peuvent conduire appliquer des coefficients ngatifs importants.
Les limites inhrentes aux dmarches les plus simples conduisent proposer
deux directions complmentaires pour l'valuation des impacts
macroconomiques. La premire consiste dvelopper un modle logique
des relations de cause effet entre le programme et ses objectifs
macroconomiques. Cette dmarche, de nature qualitative, insiste sur les
effets qui sont les plus Importants'en termes de dveloppement, savoir les
effets structurants. La seconde dmarche, de nature quantitative, consiste
utiliser la modlisation conomtrique pour simuler l'volution de l'conomie
rgionale avec et sans programme, afin d'en dduire une estimation
d'impact. Ces deux dmarches seront traites dans les sections suivantes.
Articuler les effets aux niveaux micro e t m a c r o
Un programme de dveloppement vise produire des changements
durables et structurels l'chelle d'une rgion ou d'un pays. Les effets
recherchs ont deux dimensions qui se dfinissent comme suit : ce sont
des effets qui doivent perdurer mme si l'aide publique vient cesser
(notion d'effet structurant) et ce sont des effets qui interviennent aux
niveaux macroconomique et macro-social.
Par opposition, les ralisations du programme sont toujours
microconomiques ou micro-sociales et dates dans le temps. Elles ne sont
pas appeles perdurer indfiniment, ce qui serait Implicitement quivalent

un chec du programme. L'valuation doit donc chercher identifier et
articuler les chanes de causes et d'effets qui permettent de faire la liaison
entre des ralisations qui interviennent une date donne des effets
permanents, d'une part, entre les niveaux micro et macro, d'autre part.
Cette dmarche s'apparente celle du diagramme logique des impacts qui
est applicable aussi bien pour l'valuation d'ensemble du programme (voir
page 99), que pour les analyses approfondies (voir page 160).
Impact global sur la cohsion conomique et sociale
L'encadr cidessous donne une vue d'ensemble des mcanismes qui
relient les ralisations des programmes des Fonds structurels l'objectif
global de la politique dont ils font partie, savoir la cohsion conomique
et sociale. Ce schma propose une reprsentation logique des effets des
interventions sur le dveloppement, travers les mcanismes d'effets
structurants. Les sections qui suivent vont permettre de parcourir ce
schma en le dtaillant tape par tape.
Ces schmas ne peuvent tre utiliss dans le cadre d'une tude particulire
sans une ncessaire adaptation, il convient en effet que l'quipe
d'valuation et le groupe de pilotage les modifient en fonction de la
stratgie du programme et du contexte rgional.
Encadr 36 L'articulation micromacro : une vue d'ensemble
Niveau micro
Niveau ma cro
Ralisations dans
les domaines
..des ressources
humaines
..de l'environ
nement productif
Rduction
du chmage
n
/
Augmen
tation du
revenu
/
Meilleures
conditions
dvie
Impact durable sur

le dveloppement
\
..des infractruc
tures de base
Impact immdiat sur

le dveloppement
Cohsion
conomique et
sociale
L'objectif de cohsion conomique et sociale, tel qu'il est envisag dans le

cadre des politiques europennes et soutenu par l'ensemble des diffrents
Fonds structurels, trouve ses bases dans l'article 130a du Trait sur l'Union
europenne o il est dfini en termes de dveloppement harmonieux
avec une dimension gographique spcifique : rduire l'cart entre les
niveaux de dveloppement des diverses rgions et le retard des rglons
les moins favorises, y compris les zones rurales . L'Agenda 2000
reprend cet objectif part entire en lui adjoignant une dimension
supplmentaire lie l'largissement de l'Union aux pays d'Europe de l'Est
et aux objectifs de lutte contre le chmage, de promotion de l'galit des
chances entre les femmes et les hommes et de stimulation d'un
dveloppement comptitif et d'une croissance soutenable du point de vue
de l'environnement.
Impact des investissements dans les infrastructures de base
L'impact des infrastructures sur la cohsion est surtout indirect et profite
aux entreprises et aux personnes de faon collective. Les relations de
cause effet par lesquelles les impacts se produisent sont multiples.
Exemples de projets d'infrastructure qui conduisent des impacts durables au
niveau macroconomique :
(1) Une nouvelle installation portuaire, une route, une autoroute ou un rseau de
distribution d'lectricit abaissent les cots de production des entreprises
rgionales et les rendent plus comptitives.
(2) Un systme d'gouts ou un systme de distribution de l'eau permettent de lever
des contraintes de dveloppement pour les entreprises locales, un aroport rend
possible le dveloppement touristique.
(3) Une amlioration des rseaux de tlcommunications permet l'tablissement de
nouvelles relations entre les entreprises locales, ces relations amliorent le
fonctionnement des rseaux d'innovation rgionaux, ce qui amliore la
comptitivit des PME rgionales.
Les programmes d'infrastructures peuvent bnficier aux activits
conomiques existantes mais aussi augmenter l'attractlvit relative d'un
territoire pour les investisseurs extrieurs. Les infrastructures peuvent aussi
entraner des bnfices directs en termes d'accs aux biens publics
(exemple : un temps de trajet plus rapide vers les hpitaux).
Encadr 37
Autoroute
Exemple d'effets structurants dans le domaine

des infrastructures de base
Utilisation par
es entreprises
locales
Niveau micro
Niveau macro
Cohsion
conomique
et sociale
Impact des interventions sur l'environnement productif

Les politiques rgionales ont longtemps t fondes sur des aides directes
aux investissements dits de capacit . Cette logique supposait que les
investissements aids permettent d'accrotre la capacit de production de
biens pour lesquels I existe une demande non satisfaite.
A prsent, lorsque des aides sont directement accordes des entreprises,
les hypothses qui sont faites sont souvent d'une autre nature. Il s'agit
d'encourager ou de susciter des dpenses susceptibles d'accrotre
directement la comptitivit des entreprises aides. L'ide est que le soutien
europen aide les entreprises btir des avantages concurrentiels. Ces
avantages sont appels visibles >> quand ils aboutissent une meilleure
comptitivit-prix , grce des gains de productivit ou des rductions
de cots de production. Les avantages invisibles ou immatriels sont de
plus en plus dterminants dans la comptition mondiale et sont donc de
plus en plus encourags par les aides publiques. Il s'agit par exemple
d'assistance l'innovation, au marketing, la qualit, etc.
Enfin, de plus en plus d'aides publiques cherchent crer ou renforcer des

avantages comptitifs qui appartiennent collectivement l'ensemble des
entreprises d'une rgion ou d'une filire de production. L'environnement
productif se compose de tous les facteurs que l'entreprise doit trouver en
dehors de son organisation interne afin d'avoir de bonnes performances. Dans
l'exemple de l'encadr ci-dessous, le programme subventionne un centre de
confrence destin renforcer la comptitivit des entreprises rgionales.
Encadr 38
Exemple d'effets structurants dans le domaine

de l'environnement productif
Niveau micro
Centre de
confrences
Utilisation par
les entreprises
locales
Niveau macro
Cohsion
conomique
et sociale
Impact des interventions dans le domaine

des ressources humaines
L'aide en faveur des ressources humaines a pour premier effet de renforcer
et d'accrotre les qualifications et les capacits des destinataires. Le
concept de capital humain rend compte de l'accumulation des actions
d'ducation et de formation investies dans les individus habitant la
rgion. Ce concept constitue un pont entre la naturo sociale des rsultats
d'une formation et ses effets macroconomiques. Le capital humain
regroupe la fols les effets mesurables sur la productivit du travail et des
effets moins palpables sur l'adaptablllt, la pertinence des spcialisations

ou la qualit des rseaux relationnels.
Les Interventions structurelles en faveur des ressources humaines ont un
impact direct sur les groupes concerns en augmentant leur employablllt,
c'est dire leur capacit trouver un emploi ou le conserver dans le contexte
d'une rgion donne et dans le cadre d'une conjoncture conomique donne.
L'aide en faveur des ressources humaines peut avoir un impact sur les
entreprises (exemple : un programme de formation spcifique
accompagne l'Installation d'une nouvelle usine, un programme de
formation accompagner la restructuration d'une entreprise). Cependant, les
entreprises tirent essentiellement des avantages indirects sous forme d'une
amlioration de l'adaptabilit et de la productivit de la maln-d'oeuvre sur
le march du travail qui les concerne (exemple : une formation technique
pointue peut renforcer les avantages d'une rgion dj spcialise dans un
secteur dynamique et favoriser l'innovation).
Enfin, les Interventions dans le domaine des ressources humaines ont
souvent des impacts non-conomiques essentiels tels que la reconstitution
de liens sociaux dtruits par le chmage et le retour une intgration sociale
et un quilibre de vie. Ces Impacts sont souvent lis au retour l'emploi
mais ils mritent d'tre identifis et si possible, valus sparment.
Encadr 39 - Exemple d'effets structurants dans le domaine
des ressources humaines
Niveau micro
Stages
deformation
Qualifications
acquises
Niveau macro
Cohsion
conomique
et sociale
Impacts macroconomiques et stratgies de dveloppement

L'objectif de cohsion suppose une rduction des disparits entre rgions
ou entre catgories sociales. Pour progresser vers cet objectif il faut
admettre que les rgions ou les catgories aides doivent connatre un
dveloppement dont le rythme est suprieur au rythme moyen du
dveloppement conomique europen. Pour cela, les programmes doivent
non seulement stimuler le dveloppement socio-conomique mais aussi
renforcer les moteurs de ce dveloppement. Les diffrents types de
stratgies qui sont adoptes cet effet conduisent attendre des impacts
de nature trs diffrente.
Le dveloppement socio-conomique peut tre recherch par des moteurs
externes telles que l'investissement, l'Immigration de professionnels
qualifis ou le transfert de technologie. De nombreux programmes tentent
d'attirer ces facteurs de dveloppement. L'attractlvit est le matre mot de
ce type de dveloppement appel dveloppement exogne. Une meilleure
attractlvlt est un but recherch par toutes sortes de programmes dont les
rsultats s'expriment par exemple sous forme de baisse de prix des
terrains, d'adaptation de l'Infrastructure, de qualification de la malnd'oeuvre, de qualit de vie urbaine ou de paysages protgs.
La dlocalisation d'une entreprise vers un territoire aid n'est pas en sol
une preuve de succs en termes de dveloppement car elle ne garantit pas
un effet durable. Certains Investissements peuvent en effet tre attirs
parce qu'ils sont mobiles. Cette mobilit est susceptible de perdurer au
point que ces entreprises quitteront le territoire au bout de quelques annes
en direction de zones offrant des cots de production plus faibles. En
consquence, la chane de causes et d'effets qui concerne le
dveloppement exogne doit tre complte par un dernier maillon : on
doit supposer que les entreprises rcemment installes creront des liens
suffisants avec la main d'uvre et l'environnement productif du territoire de
faon rester durablement attaches ce territoire.
Le dveloppement socio-conomique peut galement tre entretenu par
des causes internes. Dans l'idal, le dveloppement endogne nat
spontanment d'une base conomique solide, c'est--dire d'un ensemble
d'entreprises et de travailleurs fortement enracins dans leur territoire, qui
russissent s'imposer sur leurs marchs respectifs, et dont les marchs
sont porteurs.
La force de la base conomique d'un territoire peut s'appuyer sur sa

spcialisation dans un secteur en forte croissance. Un programme qui vise
renforcer cette base pourra stimuler les secteurs d'activits stratgiques
et dynamiques par des aides indirectes : formation, services collectifs,
mise en rseau, accs l'information, innovation, recherche, etc. L'aide au
dveloppement endogne suppose qu'un facteur de croissance prexiste
sous la forme d'une spcialisation dans certaines activits dynamiques ou
sous forme d'un avantage comptitif rgional. Le programme soutient les
activits concernes, accrot leur comptitivit et leur spcialisation et le
dynamisme de ces activits s'en trouvent renforcs.
Le dveloppement endogne d'un territoire dpend beaucoup de
l'existence de rseaux locaux non-marchands. La recherche d'effets de
rseau est la base d'aides aux technoples et aux systmes
d'Innovation . Ils aboutissent crer un environnement conomique,
social et politique capable de construire et de reproduire ses propres
facteurs de russite. Dans ces systmes, les avantages concurrentiels
essentiels ne sont pas dtenus par des firmes Individuelles. Ils ne
s'appuient pas non plus sur les facteurs de production comme la malnd'oeuvre ou le capital. Les facteurs clefs de la russite du territoire sont
dtenus de manire collective et informelle par un rseau de firmes et
d'acteurs locaux. Ce rseau constitue la principale source d'avantages
comptitifs (technologie, Innovations, savoir-faire, etc.). Les firmes profitent
du rseau de manire formelle et informelle : associations professionnelles,
aide des collectivits locales et rgionales, rseaux Informels, mobilit
nter-firmes du personnel, canaux d'information parallles, etc. Ces moyens
d'interaction sont gnralement indpendants des transactions de march,
ce qui signifie qu'ils correspondent la dfinition du mot externante (effet
conomique qui ne dpend pas d'une relation client-fournisseur).
Un programme qui vise encourager le dveloppement endogne ne doit
pas tre valu en fonction d'impacts purement conomiques. La cration
d'un environnement conomique, social et politique susceptible de
construire et de reproduire ses propres avantages concurrentiels implique
toutes sortes de dimensions. Le terme potentiel local reprsente cet
ensemble de facteurs qui gouvernent le renouvellement du processus de
croissance : capacit d'innovation, dynamisme institutionnel, acceptabilit
du dveloppement, etc.
Raliser une estimation quantitative

On a examin plus haut (voir 146) des dmarches simplifies d'estimation
quantitative telles que l'analyse structurellersiduelle (shiftshare) et l'emploi
de coefficients. Ces dmarches sont intrinsquement limites dans leur
capacit d'analyse. Une dmarche thoriquement idale consisterait raliser
une modlisation
quantitative
de
l'ensemble
des
mcanismes
macroconomiques telle qu'elle a t bauche de manire qualitative dans les
pages prcdentes. Cette dmarche n'est probablement pas compltement
ralisable mais des efforts considrables ont t faits dans cette direction.
Les techniques de modlisation permettent de reprsenter le
fonctionnement simplifi de l'ensemble d'une conomie et des diffrents
marchs qui la composent (ex : march des produits, march du travail,
march de la monnaie, etc.). Un modle schmatise le fonctionnement de
l'conomie l'quilibre, mais il est aussi capable de simuler l'volution de
cette conomie la suite d'un choc exogne (ex : variation du prix du
ptrole, variation des taux de change, prlvement fiscal), le rajustement
des variables modlises et l'atteinte d'un nouvel quilibre des marchs. Il
est donc possible d'utiliser un modle des fins d'valuation en
considrant que le programme provoque un choc exogne (un Impact
primaire microconomique) et en simulant les rpercussions de ce choc
dans l'ensemble de l'conomie. Le nouvel quilibre atteint prendra en
compte l'ensemble des mcanismes macroconomiques, et notamment
les effets structurants, pour peu que ces mcanismes aient t modliss.
En pratique, on simule un scnario avec intervention publique et un
scnario sans Intervention publique, l'Impact macroconomique est estim
par diffrence entre les deux scnarios. Les modles sont entirement
quantifis et fournissent donc une estimation de l'ampleur des Impacts sur
toutes les variables macroconomiques qui ont t modlises.
^ ^ L'estimation des effets peut intervenir ex ante. Dans ce cas, on
compare deux scnarios prvisionnels (avec et sans programme). Bien que
cela soit plus innovant, on peut aussi employer un modle dans une
situation d'valuation ex post. Dans ce cas, la comparaison porte, d'une
part, sur l'volution conomique passe telle que le modle l'a recalcule
de faon approche et, d'autre part, sur un scnario sans intervention
publique, reconstitu ex post par le modle.
Les modles macroconomiques disponibles se limitent gnralement au
niveau national. Les modles construits l'chelle rgionale ou locale sont
rares, notamment parce que les flux conomiques sont trs vite dilus hors
du territoire concern. La modlisation garde cependant du sens pour des
petites conomies condition qu'elles soient relativement fermes. C'est
pourquoi les conomies insulaires sont souvent quipes de modles
macroconomiques. Par ailleurs, l'emploi d'un modle est d'autant plus
Intressant que l'Intervention du programme atteint une masse suffisante
par rapport l'conomie modllse. On considre que pour atteindre cette
masse critique, l'importance conomique du programme doit tre au moins
de l'ordre de 1 % du PIB de l'conomie du territoire.
Dans le cadre des Interventions structurelles europennes, l'exprience
d'valuation macroconomique la plus avance a t ralise avec le
modle HERMIN. Ce travail est prsent de faon plus dtaille dans le
Volume 3 de la Collection, en parallle avec deux autres expriences. Le
modle HERMIN a t utilis dans le cadre d'valuations en Espagne, en
Irlande et au Portugal. Ces valuations ont Introduit une innovation
intressante en simulant explicitement les effets d'offre, notion qui n'est
pas loigne de celle des effets structurants voque plus haut (voir
page 147). Dans le cas des modles HERMIN, on a simul l'effet des
programmes sur la productivit du travail et/ou des autres facteurs de
production, ainsi que sur l'attraction des investissements trangers et
l'accroissement de la comptitivit des exportations.
Cette exprience constitue un exemple intressant des travaux de
recherche et de dveloppement qui portent actuellement sur la
modlisation des impacts
macroconomiques
en termes de
dveloppement. Ces travaux cherchent dpasser les limites des
premires expriences de modlisation qui ne simulaient que les effets de
demande. Les effets de demande rsultent du fait que l'argent public qui
est dpens dans le cadre du programme, continue de circuler dans
l'conomie rgionale sous forme de consommation des entreprises et des
mnages. Ils ne prennent pas en compte les gains de productivit et de
comptitivit. Il est clair qu'une approche rduite aux effets de demande
serait trop limite car elle supposerait implicitement que le programme n'a
plus d'effets lorsque la dpense publique s'arrte. Ceci est videmment
contraire aux hypothses de base de l'aide au dveloppement socioconomique. C'est pourquoi les travaux de modlisation des effets d'offre
seront particulirement intressants suivre au cours des prochaines
annes.
Raliser des analyses plus approfondies

En complment de l'valuation d'ensemble du programme, qui doit traiter
un grand nombre d'impacts avec ses propres mthodes d'analyses, il est
possible et utile de raliser des analyses spcifiques propos de quelques
Impacts particuliers. Ces analyses pourront utiliser tout l'arsenal des
techniques d'valuation, collecter des donnes primaires et aboutir des
estimations quantitatives crdibles sur l'atteinte des objectifs du
programme.
L'approfondissement de l'analyse Implique la ralisation d'une enqute
pour observer les changements Intervenus chez les destinataires, enqute
suivie d'une analyse de causalit qui vise dterminer quelle part de ces
changements peut tre attribue au programme.
M A la diffrence de l'valuation d'ensemble d'un programme qui vise
tre exhaustive, l'approfondissement d'une question concerne une
catgorie de ralisations, un public et un mcanisme d'apparition des
impacts. L'valuation d'ensemble d'un programme peut s'accompagner de
l'approfondissement d'une ou plusieurs questions. On peut aussi dcider
de lancer une valuation uniquement consacre l'approfondissement
d'une question. La notion d'valuation thmatique voque le traitement
d'une question mais elle n'est pas quivalente. Une valuation thmatique
examine en effet comment un mme impact (ex : comptitivit des PME)
est obtenu par plusieurs sortes d'interventions, ou comment les
Interventions finances dans un domaine prcis (ex : la R&D) produisent
plusieurs sortes d'Impacts. Les valuations thmatiques sont dcrites dans
le Volume 5 de la Collection. Elles sont trop complexes pour entrer dans la
logique simple de cette section qui se rsume l'valuation d'une
intervention prcise dont on attend un impact principal (ex : impact de la
R&D sur la comptitivit des PME).
La question traite, ainsi simplifie, permet d'avoir recours toutes les
techniques classiques de l'valuation, notamment pour l'observation des
comportements des destinataires et pour l'attribution au programme de sa
juste part des changements observs. L'approfondissement portant
essentiellement sur l'observation des effets sur le terrain, ces analyses
concernent donc l'valuation ml-parcours et l'valuation ex post.
Approfondir l'analyse de la logique interne du programme

L'valuation d'ensemble d'un programme suppose d'expliciter sa logique
interne, et en particulier d'examiner la bonne articulation de ses objectifs
aux diffrents niveaux (voir p. 99). La logique d'un programme peut se
schmatiser sous la forme d'un arbre d'objectifs, son objectif global
constituant le tronc et ses multiples ralisations formant les rameaux. Si
l'on analyse une catgorie de ralisation et un impact, cela revient isoler
une branche de l'arbre. Il est alors possible d'examiner cette branche
beaucoup plus en dtail. C'est ce que vont montrer les sections suivantes.
Cadre logique
La technique du cadre logique, originellement conue pour l'valuation ex
ante des projets dans les pays en dveloppement, est un outil qui permet
d'entrer simplement et rapidement dans la description des liens logiques
entre une ralisation et un impact attendu. La technique consiste produire
une prsentation matricielle qui nonce les attentes en matire de
ralisations (Cf. en bas gauche de l'Encadr 40) ainsi que pour les
principales tapes logiques sparant les ralisations de l'impact global
(colonne de gauche). La matrice du cadre logique dcrit donc une branche
de l'arbre des objectifs en plaant le rameau en bas (ralisations) et le
tronc en haut (impact global).
A chaque tape logique, l'quipe d'valuation mentionne les moyens
prvus ou prvoir pour vrifier l'atteinte des objectifs (indices de succs
vrifiables). Elle dfinit en mme temps ce qui doit tre considr comme
un succs ou un chec (ralisations, rsultats et Impacts suffisants /
Insuffisants). En obligeant remplir cette seconde colonne de la matrice
avec des indicateurs ou des descriptions qualitatives prcises, la technique
apporte souvent une clarification trs utile qui permet de revenir une
description plus prcise de la premire colonne. La troisime colonne,
intitule conditions et risques fait une liste des facteurs exognes qui
peuvent faciliter ou contrarier le passage d'une tape l'tape suivante. Ce
point sera dtaill plus loin (Cf. le modle explicatif ). On trouvera plus
de dtails sur le cadre logique dans le Volume 3 de cette Collection
consacr aux techniques d'valuation.
Encadr 40 - Cadre logique

Enonc
des
attentes
Impact
global
Dveloppement
conomique et social
Impact
spcifique
Economie pour les

entreprises rgionales
Rsultat
Ralisation
Indices
de succs!
vrifiables !
Conditions
et risques
Gain de temps sur

parcours-type
Amlioration des routes
Il est recommand de mettre en uvre la technique du cadre logique de

faon participative en Impliquant les gestionnaires et les oprateurs
chargs des ralisations values.
La colonne la plus gauche de la matrice du cadre logique dcrit la
succession des effets du programme en quatre tapes (ralisations,
rsultats, Impact spcifique, impact global). La colonne la plus droite, en
rappelant tous les facteurs extrieurs qui peuvent conditionner le passage
d'une tape l'autre, montre bien que l'obtention des impacts repose sur
des hypothses. C'est la raison pour laquelle les spcialistes de l'valuation
appellent cette colonne de droite thorie d'action . La thorie d'action
est constitue de l'ensemble des hypothses par lesquelles on explique
qu'une ralisation donne va produire un impact donn. L'valuation a pour
vocation premire de confronter cette thorie la ralit.
Diagramme logique des impacts
Dans le cadre d'une analyse approfondie, les quatre lignes de la matrice du
cadre logique ne suffisent gnralement pas dtailler la thorie d'action
de faon suffisamment explicite. En particulier, I subsiste souvent des
zones d'ombre entre les rsultats et les Impacts. C'est ce que l'on a
coutume d'Illustrer par l'image de la bote noire des hypothses d'impact.

Cette mage voque la situation frquente dans laquelle les concepteurs et
les oprateurs savent bien expliquer ce qu'ils ralisent et l'impact global qui
est espr, mais ne savent pas expliquer de faon convaincante le
processus qui est suppos conduire cet Impact.
Encadr 41 - Approfondir le diagramme logique des impacts
Conseils
aux P.M.E.
pour
l'exportation
Conseils
aux P.M.E.
pour
l'exportation
Rduction
du chmage
Contacts
inter
nationaux
Courant
d'exportation
nouveau et
durable
Survie des
P.M.E.
Rduction
du chmage
L'exemple de l'encadr ci-dessus propose de dcomposer les hypothses

d'impact en quatre tapes. Entre chacune de ces tapes, il peut tre
ncessaire de rechercher des impacts intermdiaires et d'affiner le
diagramme logique des Impacts. En particulier, le diagramme mrite d'tre
dtaill chaque fois qu'une relation de cause effet parat obscure ou mal
justifie. Cela ncessite des changes intenses avec les gestionnaires et
oprateurs, au cours desquels l'quipe d'valuation rvle leurs
hypothses implicites et produit une thorie complte en cherchant
liminer progressivement les faiblesses logiques des raisonnements.
Lorsque le groupe de pilotage construit lui mme le diagramme logique des
Impacts, l'exprience montre qu'il considre cette tape comme une valeur
ajoute significative de l'valuation.
L'exemple de l'encadr prcdent montre que l'ouverture de la bote noire
des hypothses implicites permet de diriger le travail d'valuation vers
certaines hypothses d'impact plutt que d'autres moins stratgiques. Cet

exemple montre que l'valuation a peu de chances de conclure si
l'observation se limite au nombre de jours de conseil fourni aux PME d'une
part et aux statistiques du chmage d'autre part. Par contre, l'analyse
d'Impact sera plus intressante si on demande aux responsables des PME
aides combien de contacts internationaux ont t gnrs ou facilits par
le programme, comment ces contacts ont volu, combien de ces contacts
sont encore actifs, quel chiffre d'affaires ils ont gnr, quel pourcentage ils
reprsentent dans l'activit de l'entreprise, etc. L'analyse approfondie de la
logique du programme permet de focaliser l'observation de terrain sur le
bon niveau d'impact.
Raliser les observations sur le terrain
La dimension empirique et pragmatique d'une valuation repose sur sa
capacit observer les effets du programme sur le terrain. C'est donc
travers des enqutes auprs des destinataires du programme que
l'valuation apporte toute sa valeur ajoute. La rponse approfondie une
question evaluative comprend donc souvent une collecte de donnes
primaires auprs des personnes ou organismes qui ont particip au
programme, et galement auprs de non-participants quand l'valuation
use de techniques comparatives voques par ailleurs (voir pages 116 et
166). Les sections qui suivent dcrivent les principales techniques
d'enqute utilises en valuation.
Collecte de donnes quantitatives
L'enqute par questionnaire est le moyen le plus classique de collecter des
Informations quantiflables. Elle peut tre ralise par courrier, par tlphone
ou par entretiens. La formulation du questionnaire est une tape dcisive.
Les questions sont en nombre limit, nonces de manire claire et
formules de faon Intresser la personne Interroge. Le questionnaire
propose des questions fermes auxquels les personnes interroges
peuvent rpondre en choisissant parmi des rponses proposes par le
questionnaire ou l'enquteur. On peut ventuellement utiliser quelques
questions ouvertes, mais les rponses doivent alors tre codes (classes
par catgories) aprs collecte des donnes, ce qui est trs lourd. Un pr
test du questionnaire auprs d'un nombre limit de personnes est
indispensable afin de valider la forme et le contenu du questionnaire et de
confirmer sa capacit collecter l'information. L'organisation d'une

enqute peut ncessiter plusieurs mois et reprsente un cot variable en
fonction de la taille de l'chantillon, de son accessibilit, du taux de
rponse souhait, etc.. Les diffrentes enqutes entreprises dans une
rgion doivent galement tre coordonnes avec soin pour ne pas
provoquer de ractions de rejet des destinataires (les refus de participer
une enqute sont de plus en plus frquents).
Les enqutes par questionnaire sont largement utilises toutes sortes de
fins mais leur domaine d'emploi privilgi est celui du recueil d'Information
quantitative auprs des destinataires. Grce au caractre ferm des
questions poses, les donnes fournies par un questionnaire peuvent en
effet donner lieu la construction d'indicateurs. Un fondement de l'enqute
par questionnaire est d'utiliser un chantillon de telle sorte que des
conclusions puissent tre gnralises l'ensemble de la population. Il
suffit souvent d'un chantillon restreint (par exemple 200 300 stagiaires)
pour obtenir la quantification correcte d'un Indicateur.
La taille de l'chantillon doit cependant tre plus Importante si l'on dsire
exploiter pleinement le caractre quantitatif de l'Information fournie par une
enqute et en particulier lorsque l'on veut comparer les rsultats de deux
enqutes, comme dans les trois exemples suivants une enqute auprs des
participants une formation sachant qu'une certaine proportion d'entre eux
occupe un emploi aprs 12 mois, et que l'on veut faire une comparaison
avec un groupe de non-participants ; une enqute auprs des entreprises
aides sachant qu'un petit nombre d'entre elles dveloppent des projets de
haute technologie, et que l'on veut faire une comparaison avec les rsultats
d'une enqute nationale ; une enqute sur le revenu des agriculteurs
sachant qu'une partie de celui-ci provient du tourisme, et on souhaite faire
une comparaison avec les rsultats d'une enqute ralise il y a cinq ans sur
un chantillon partiellement Identique. Dans chacun de ces exemples,
l'quipe d'valuation veut comparer les rsultats d'enqutes portant surdes
chantillons diffrents ou partiellement diffrents. Dans ce cas, les rgles de
validit statistique interdisent les comparaisons si les chantillons ne sont
pas suffisamment importants. La taille minimum varie de 500 2000
individus en fonction de critres qui ne dpendent pas de la taille de la
population enqute. L'appel un professionnel permet de choisir la taille
correcte d'un chantillon dans une situation concrte. A dfaut, on retiendra
que lataille des chantillons statistiquement comparable est le plus souvent
comprise entre 900 et 1100 individus.
Une forme particulire d'enqute est celle qui permet de suivre les Individus
ou groupes d'Individus au cours du temps et de mesurer ainsi les
changements d'attitude ou de situation. On utilise gnralement ces tudes
par panel dans le cas d'interventions dans le domaine de l'emploi (on
interroge les participants avant et aprs une formation par exemple). Ces
enqutes s'tendent sur plusieurs annes et peuvent donc difficilement tre
lances dans le cadre d'une valuation dont la dure est limite quelques
mois. Cependant, lorsque les enqutes par panel existent, l'valuation
utilise leurs rsultats en tant que donnes secondaires.
Techniques d'enqute qualitative

Une analyse approfondie combine gnralement la collecte d'Informations
quantitatives et qualitatives. Plusieurs techniques d'enqute qualitative
sont prsentes dans le Volume 3 de la Collection consacr aux outils
d'valuation. L'entretien individuel non directif et l'tude de cas (voir page
134) sont les outils les plus courants. L'quipe d'valuation ne doit
cependant pas enfermer ses choix techniques dans les limites de l'habitude
et c'est pourquoi on voquera ci-dessous deux techniques qui peuvent se
rvler trs concluantes.
Le premier exemple est celui de l'entretien de groupe (focus group). Sous
rserve qu'il soit anim par une personne qualifie, l'entretien de groupe
permet de crer une dynamique d'change entre les participants, de faire
jouer leur crativit, et de recueillir finalement beaucoup plus d'information
que ce qui rsulterait d'entretiens Individuels avec chacun des participants.
L'entretien de groupe est particulirement indiqu lorsque les destinataires
ont une opinion trs vague des effets que le programme a produit pour eux
(cas d'une PME qui a particip un rseau technologique par exemple).
Leurs rponses un questionnaire ou lors d'un entretien individuel
risqueraient d'tre des rponses de politesse. L'entretien de groupe permet
dans ce cas d'obtenir des rponses plus fiables.
Le second exemple est plus atypique, c'est celui de l'observation
ethnographique qui implique que l'enquteur s'Immerge parmi les
participants au programme (en tant que participant ou assistant un stage
d'Insertion par exemple). Cette technique a t applique avec succs pour
des enqutes auprs de populations difficiles, peu motives, voire
rticentes.
Analyser les i m p a c t s
Les analyses approfondies sont celles qui permettent d'atteindre les niveaux les
plus levs dans l'tude des Impacts (voir Encadr 29 page 123). C'est pourquoi
l'analyse d'Impact est particulirement dveloppe dans les sections suivantes.
L'analyse des Impacts combine deux types de dmarches dans des
proportions qui varient selon la situation : l'analyse Inductive et l'analyse
deductive. L'analyse inductive suggre des liens de causalit partir de
l'observation des faits. Elle est donc exploratoire dans un premier temps et
vise produire une thorie explicative des causes et des effets en partant
d'observations, le plus souvent qualitatives, effectues sur le terrain.
L'analyse deductive considre au contraire cette thorie explicative comme
un point de dpart qu'il s'agit de tester par confrontation la ralit. En cas
de validation des hypothses initiales, elle peut conduire une estimation
quantitative des impacts. Les deux sections qui suivent expliquent
respectivement comment construire une thorie explicative, comment
estimer les impacts, quand utiliser la thorie explicative et quelles sont les
limites l'analyse d'Impact. Il s'agit d'une convention car une valuation
peut procder de faon inverse si les circonstances le justifient.
Thorie explicative des impacts
A plusieurs occasions, cet ouvrage a dj fait mention des relations de
cause effet entre le programme et ses Impacts et de la manire dont ces
relations peuvent tre schmatises sous forme d'un diagramme logique
des impacts. La thorie explicative ne constitue qu'un pas supplmentaire
dans la reprsentation du processus de production des Impacts, mais c'est
un pas difficile et dcisif pour l'valuation.
L'encadr 42 ci-aprs montre que l'on passe du diagramme logique la
thorie explicative en ajoutant tous les facteurs qui peuvent faciliter ou
contrarier l'obtention des impacts chaque niveau. On retrouve ici ce que
la technique du cadre logique appelle conditions et risques et ce que
la littrature de l'valuation appelle facteurs exognes ou facteurs
concurrents . Dans toute situation d'valuation, les facteurs exognes
sont en nombre potentiellement infini. Le rle de l'analyse inductive est de
dterminer ceux qui apparaissent les plus influents au regard de ce qui a
t observ sur le terrain, par enqute auprs des destinataires.
Dans le cadre de son analyse Inductive, l'quipe d'valuation va galement
chercher identifier tous les effets inattendus qui sont observables chez les
destinataires. Par exemple, plusieurs valuations ont montr un effet

ngatif pour les habitants des zones aides, dcoulant du fait que ces
zones sont dclares comme dfavorises et deviennent, en
consquence, moins attractives (effet de stigmatisation). Il existe
heureusement aussi des effets inattendus positifs.
La technique de l'tude de cas prsente un excellent rapport cot-efflcaclt
pour dceler les facteurs exognes et les effets Inattendus. C'est
probablement l'outil de base de l'analyse Inductive. On peut galement
apprendre beaucoup l'aide d'une srie d'entretiens Individuels avec des
personnes ayant particip et n'ayant pas particip au programme. Il ne faut
cependant pas considrer que l'analyse Inductive est toujours qualitative.
Des techniques comme l'analyse de variance ou l'analyse factorielle sont
galement utilises de faon courante pour rvler les facteurs exognes
les plus influents. Sans aller vers des outils aussi sophistiqus, des
tableaux, des cartes et des graphiques bien choisis peuvent souvent
rvler des concidences et similitudes qui suggrent de faon trs parlante
l'importance de certains facteurs exognes.
Encadr 42 - Thorie d'action et thorie explicative
Estimation des impacts

L'analyse
d'impact
consiste attribuer
une part des
changements
constats au programme et une autre part aux facteurs exognes, ou tout

au moins aux principaux facteurs exognes. Ces derniers entrent en
concurrence avec le programme pour expliquer les diffrences avantaprs , d'o leur appellation de facteurs concurrents.
Exemple : Analyse d'impact l'aide d'un groupe appari

Une analyse comparative, par groupe appari, a t mene au Royaume Uni, dans
le cadre de l'valuation d'un programme qui s'adressait aux PME en leur offrant des
prestations de conseil en gestion, de formation et d'information. Les impacts de ce
programme ne pouvaient pas tre exprims en emplois crs, puisqu'il visait
augmenter la productivit, ce qui conduisait court terme dtruire des emplois. Il
a donc fallu valuer le programme selon d'autres critres comme la productivit, la
rentabilit ou l'investissement induit.
Un chantillon d'environ 300 entreprises destinataires a t constitu. Un autre
chantillon d'environ 200 entreprises non destinataires a galement t constitu
selon la technique des binmes apparis. Pour assortir les binmes, les critres
suivants ont t utiliss : type d'activit de l'entreprise, taille de l'entreprise mesure
en effectif, anciennet et situation gographique.
Un questionnaire a t adress aux entreprises destinataires et celles du groupe
appari. Une comparaison statistique entre les entreprises des deux groupes a
permis d'obtenir des indications quantitatives sur les effets du programme en termes
de chiffre d'affaires, de productivit et d'investissements induits. Afin d'viter des
dclarations "biaises", les questionnaires comportaient des questions nombreuses
et partiellement redondantes (questionnaire triangul). L'enqute intgrait la
recherche d'effets d'aubaine.
L'estimation d'impact ncessite d'estimer l'effet des facteurs exognes,

puis de soustraire cet effet des changements constats puis enfin
d'attribuer au programme la diffrence. La situation contrefactuelle est
celle qui rsulterait de l'influence des facteurs exognes et d'eux seuls.
Pour estimer la situation contrefactuelle, la technique la plus frquente
consiste reconstituer un groupe de comparaison avec des personnes qui
n'ont pas particip au programme, par exemple, des candidats dont le
projet a t refus, des candidats qui ont abandonn le programme en
cours de route, des non-candidats ayant un profil similaire aux participants
(groupes apparis comme dans l'exemple prcdent). On peut aussi
reconstituer un groupe de comparaison fictif partir d'individus ayant

rpondu une enqute nationale (comparaison statistique par
redressement). Une fois le groupe de comparaison construit, diffrents
dispositifs de comparaison peuvent tre mis en oeuvre : une comparaison
aprs seulement , une comparaison avant/aprs ou l'utilisation de
sries temporelles regardant avant, pendant et aprs. Pour une description
dtaille de la technique, se reporter au Volume 3 de la Collection.
L'quipe d'valuation doit composer le groupe de comparaison jusqu' ce
qu'il ressemble suffisamment celui des destinataires directs du
programme. Les deux groupes doivent avoir les mmes caractristiques
essentielles, ce qui revient dire qu'ils doivent tre influencs par les
mmes facteurs exognes. En effet, des diffrences entre ces facteurs
seraient susceptibles d'expliquer une part des diffrences constates entre
les deux groupes et cela fausserait l'estimation d'impact. La construction
ou le redressement du groupe de comparaison suppose donc que l'on ait
une bonne connaissance des facteurs exognes, c'est dire que l'on ait
une thorie explicative des impacts.
Utilisation de la thorie explicative
La thorie explicative est encore plus ncessaire quand l'estimation
d'impact fait appel une analyse de rgression. L'emploi de cet outil
commence en effet par l'criture d'un petit modle qui schmatise les
causes (le programme et les principaux facteurs exognes), les effets (le
changement constat) et les relations de cause effet. Ce modle est
ensuite ajust de faon reprsenter le plus fidlement possible les
donnes disponibles (donnes de gestion et/ou donnes d'enqute). Le
rsultat de l'analyse est une estimation quantitative de l'impact. La validit
de l'estimation dpend fortement de la qualit du modle de dpart, et
notamment du fait que ce modle prend correctement en compte les
facteurs exognes.
L'analyse de rgression est un exemple typique d'analyse deductive. La
technique ncessite de formaliser ds le dpart un ensemble d'hypothses
sur les causes et les effets (pour cette raison, on parle aussi d'analyse
hypothtlco-dductive). Elle utilise pour cela une thorie explicative
emprunte la littrature scientifique, ou puise dans le savoir d'un expert,
ou encore construite par analyse Inductive dans le cadre de l'valuation.
Dans un second temps, les hypothses sont confrontes la ralit et
l'quipe d'valuation conclut sur l'existence de l'Impact,

importance quantitative, ou sur sa non-existence.
sur son
Limites de l'analyse d'impact

L'valuation d'un impact est un exercice qui s'apparente une prvision,
mme lorsque la dmarche est rtrospective. Que serait-Il arriv si l'argent
public n'avait pas t dpens ? Il n'y a pas d'valuation ex post sans
rponse cette question. Or la description de ce qui serait arriv sans
l'action publique, la construction de la situation contrefactuelle, n'est rien
d'autre qu'une prvision effectue rebours. L'valuation partage donc
toutes les limites de la prvision. Et on sait qu'elles sont nombreuses.
Certains contextes se prtent facilement la prvision et l'valuation
alors que d'autres sont tellement complexes qu'aucun des deux exercices
n'aboutit des rsultats crdibles. Dans un contexte imprvisible, l'quipe
d'valuation ne peut pas tablir la situation contrefactuelle de faon
convaincante, et mme les participants au programme sont Incapables
d'estimer l'impact qui s'est produit dans le cadre de leur propre projet.
Les situations favorables sont celles o la thorie explicative est
relativement simple et linaire. Par exemple, des Investissements publics
amliorent un aroport, ce qui entrane directement la multiplication des
dessertes ariennes, laquelle conduit directement une augmentation de la
frquentation touristique. Dans cet exemple, la cause est clairement
connue et conduit mcaniquement un effet relativement prvisible. Il est
possible d'estimer les impacts dans une telle situation, quitte y mettre le
prix en termes d'enqutes et d'analyses.
Les situations dfavorables sont celles o la thorie explicative est
complexe, particulirement lorsqu'elle contient des relations de causalit
circulaire. Ainsi en est-il de l'impact des programmes de formation dont les
effets suivent des chemins embrouills. D'un ct, Ils produisent de
nouvelles qualifications qui doivent s'ajuster aux besoins conomiques afin
d'amliorer l'employablllt des stagiaires et d'aboutir de bons taux de
placement. D'un autre ct, ils fournissent aux entreprises une main
d'oeuvre plus productive, ce qui accrot leur productivit mais diminue
donc l'emploi. Toutefois les gains de productivit ont une influence
favorable sur la comptitivit, ce qui permettent de crer ou de sauvegarder
indirectement des emplois. L'analyse d'impact dans ce contexte devient
trs difficile car l'explication causale peut donner Heu plusieurs versions
diffrentes : un bon taux de placement peut tre soit la cause, soit la

consquence des gains de comptitivit.
La difficult est encore plus vidente si l'on admet que ce phnomne de
circularit s'applique galement la politique elle-mme. On peut en effet
esprer que les chmeurs sont aiguills vers des formations o les taux de
placement sont levs plutt que dans des directions alatoires. Est-ce que
cela ne signifie pas que la politique elle-mme est Influence par les
Impacts qu'elle est cense produire ? Avec ce type de causalit circulaire,
le programme valu peut tre regard alternativement comme une cause
ou comme un effet. Dans cette situation, les concepts d'effets, d'Impacts
et de rsultats perdent leur sens.
Certaines analyses d'Impact sont donc Impossibles raliser cause de la
nature mme du problme pos, quel que soit le professionnalisme de
l'quipe d'valuation. Le cahier des charges doit donc tre rdig avec
prudence car certaines questions relatives aux impacts du programme
rsistent l'valuation, mme comportant des analyses approfondies.
IV
Utiliser l'valuation
Optimiser l'utilisation de l'valuation

Pour qu'une valuation ait une relle valeur ajoute dans la sphre
dcisionnelle et institutionnelle, il faut que ses conclusions soient
correctement diffuses et qu'elles rencontrent un cho favorable auprs
des utilisateurs potentiels.
Le support constitu par le rapport d'valuation n'est pas ncessairement
le seul ni le plus efficace en particulier lorsque les utilisateurs sont des lus
ou des citoyens qui recevront les rsultats par l'intermdiaire des mdias.
Ces considrations plaident fortement pour que soit tabli suffisamment tt
un plan de communication des rsultats de l'valuation.
Au-del de l'tape de diffusion, arrive la dernire et la plus Importante des
tapes de l'valuation : celle de son utilisation. Tout le processus
d'valuation mrite d'tre optimis en vue d'obtenir la meilleure utilisation
possible. Il convient cependant de ne pas tre exagrment optimiste sur
certaines formes d'utilisation. Si un bon rapport d'valuation apporte
toujours des connaissances nouvelles (utilisation cognitive), il ne conduit
pas obligatoirement ses lecteurs rviser leurs jugements dans le sens des
conclusions (dimension normative). La prise en compte des
recommandations de l'valuation (valeur ajoute Instrumentale ) est la plus
dlicate obtenir. En effet, les processus de dcision publique font souvent
intervenir plusieurs acteurs et de trs nombreux facteurs.
Diffuser les conclusions d e l'valuation
Dans les sections qui suivent, on appellera utilisateur toute personne qui a
l'occasion de lire ou d'entendre les conclusions et les recommandations de
l'valuation, et pour qui cette Information provoque un changement de
connaissance, d'opinion ou d'attitude. Le spectre des utilisateurs potentiels
de l'valuation s'tend depuis les co-dcideurs du programme, jusqu'au
lecteur du journal ou de la revue qui relate l'valuation, en passant par les
oprateurs et les gestionnaires.
La diffusion de l'valuation est une phase essentielle qui suit la production
du rapport d'valuation, mais qui mrite d'tre prvue ds la phase de
rdaction du cahier des charges. Il est souhaitable que le cahier des
charges annonce qui les rsultats de l'valuation seront diffuss et sous
quelle forme Ils le seront. Les dcisions en la matire sont confirmes par
le commanditaire aprs la remise du rapport, mais une bonne anticipation
de la stratgie de diffusion permet d'optimiser l'utilisation de l'valuation.
Les canaux de communication

La stratgie de diffusion comporte un compromis entre l'objectif de
maximiser la visibilit et l'objectif d'tablir un climat d'Interaction confiante
avec tous les protagonistes de l'valuation. En ce qui concerne les
enqutes conduites par l'quipe d'valuation auprs des destinataires et
des oprateurs du programme, I suffit, pour assurer confiance et visibilit,
de traiter tous les rsultats d'enqute de faon confidentielle en prservant
l'anonymat des personnes interroges durant tout le processus
d'valuation.
En ce qui concerne les interactions entre l'quipe d'valuation, le groupe de
pilotage et le commanditaire, cette question peut tre plus difficile grer.
Les interactions portent en effet sur des points sensibles telles que
l'expllcitation des critres et des normes, l'identification d'exemples de
bonnes et de mauvaises pratiques, l'Importance donner telle question
ou tel critre plutt qu' tel autre, etc. Les questions sensibles ne peuvent
pas tre traites correctement avec une totale publicit. Au contraire,
l'quipe d'valuation doit respecter une discrtion suffisante dans son
travail et dans son rapport pour permettre aux membres du groupe de
pilotage de s'exprimer sincrement en leur nom propre et pour leur
permettre de dpasser, si ncessaire, le discours officiel de leur Institution.
Dans certains cas, l'quipe d'valuation rdige son rapport de faon
prserver un haut degr de discrtion sur ses interactions avec les
responsables du programme, et elle rdige une note supplmentaire et
confidentielle pour attirer leur attention sur des points plus sensibles.
Trop souvent, le problme de l'utilisation de l'valuation se rduit la
question : publier ou ne pas publier le rapport final ? alors qu'un
ensemble plus large de questions devrait tre pris en considration. Audel de la question de la publication, c'est la faon de diffuser qui doit
faire l'objet d'une rflexion et d'un choix. Diverses formes de
communication et de nombreux supports possibles sont prsents dans
l'encadr ci-aprs.
Encadr 43 Canaux de communication

Canaux de communication
O
CD
||
I
II
CL
s
2 o
TV
Commanditaire
CD
O
C
<D
Groupe de pilotage
Gestionnaires
Oprateurs
Institutions
europennes,
nationales,
rgionales
Citoyens
Journalistes
ra
CD
l
TD
.c
c
>.
c/)
CLJD
Cfl ZS
CC Q.
et
CD
=)
SS
<5
c
m m
oS
JZ CD
eg
"c
CD
C/l
CD
Les personnes impliques dans le programme (groupe de pilotage de

l'valuation, gestionnaires et oprateurs) ont tendance utiliser l'valuation
ds que les premiers rsultats sont prsents par l'quipe d'valuation au
groupe de pilotage (ex : rsultats d'enqutes et d'analyses, rapports
intermdiaires, rapport final provisoire). De leur point de vue, l'utilisation de
l'valuation commence avant la communication du rapport final.
Pour les autres utilisateurs il est indispensable de prvoir une stratgie de
communication adapte combinant un support et une chance. L'encadr
qui prcde montre que diffrents canaux de communication sont
possibles qu'il convient de choisir en fonction de la plus ou moins grande
disponibilit des diffrentes catgories d'utilisateurs ( rcepteurs selon
les spcialistes de la communication).
Plan de communication
Le commanditaire et les plus hautes autorits administratives et politiques,
n'ont pas le temps de lire un rapport d'valuation en dtail. Le mode de
communication le plus efficace ce niveau est une courte synthse de
quelques pages, renvoyant certaines sections du rapport final pour plus
de dtails. La communication peut utilement tre complte par une
prsentation orale par le groupe de pilotage ou son Prsident au cours d'un
sminaire ou d'une runion aprs l'achvement du travail.
Pour largir la communication aux Institutions europennes, nationales et

rgionales, on peut galement utiliser un court document de synthse.
Cependant, la communication passe mieux si cette synthse est
transforme en une brochure contenant des exemples concrets de
ralisations du programme et montrant comment ces ralisations ont t
juges par l'valuation. L'information des partenaires sociaux et des
destinataires du programme sera ralise de faon optimale en publiant
des documents spciaux (bulletins, fiches de synthses, etc.). D'autres
documents seront prpars pour l'information du grand public
(brochures, articles, etc.) et des mdias. On peut cet gard prvoir une
confrence de presse laquelle est associ le groupe de pilotage comme
cela est fait parfois pour obtenir un impact auprs des journalistes d'autant
plus fort que les membres du groupe renforcent la lgitimit de l'valuation.
Dans la plupart des cas, les rgles de transparence administrative Imposent
de rendre public le rapport final. Malgr tout, la diffusion publique de ce
rapport n'est qu'un moyen parmi d'autres, et pas toujours le plus efficace,
pour faire parvenir les conclusions de l'valuation ses utilisateurs. Un effort
sincre de publication complte et de large diffusion aura cependant
l'avantage d'exposer l'valuation la critique des experts, ce qui est une
garantie de qualit. Si le commanditaire annonce que le rapport sera publi
et largement diffus, la qualit mthodologique du rapport a toute chance
d'tre meilleure car l'quipe d'valuation sera stimule par cette perspective
et l'valuation sera plus crdible car organise de faon plus transparente.
En revanche, il y a un risque certain d'autocensure : les conclusions et
recommandations n'en seront que plus prudentes. Pour viter cet
inconvnient qui peut se rvler tre un vritable handicap, on peut
demander l'quipe d'valuation de produire une note confidentielle en
plus de son rapport.
Une bonne communication aux utilisateurs de l'valuation suppose par
ailleurs de phaser le processus de diffusion. Si l'valuation comporte
des enqutes de terrain et une analyse approfondie de certaines questions,
il convient d'organiser des prsentations partielles des rsultats obtenus
sans attendre l'achvement du rapport final.
Le plan de communication doit surtout tre soigneusement synchronis
avec les grandes chances du programme : dates des principales
runions de gestion, chances dcisionnelles du programme, sortie des
rapports publics sur les politiques concernes par le programme au niveau
rgional, national et europen.
En ralit, ce n'est pas seulement le plan de communication, mais tout le

processus d'valuation, qui mrite d'tre organis en fonction du calendrier
des utilisateurs. Cette proccupation est prsente ds les tous premiers
moments de la commande (voir page 68) et elle est dterminante pour
l'utilit de l'valuation.
C o n s i d r e r t o u t e s les f o r m e s d'utilisation
L'valuation est frquemment juge l'aune de ses propres critres. On lui
demande, bien videmment, d'avoir une efficacit propre : sa valeur
ajoute est-elle suffisante par rapport aux ressources budgtaires et
humaines qui lui sont consacres ? Pour rpondre ce type de questions,
de nombreux travaux de mta-valuation ont t raliss et publis. La
plupart conduisent la conclusion qu'il faut considrer plusieurs types
d'utilisation, l'utilisation directe des recommandations de l'valuation par
les dcideurs n'tant qu'une forme d'utilisation parmi d'autres. Trois
grandes formes d'utilisation se dgagent.
Utilisation pour lever le niveau des connaissances
^ H Toute valuation va en premier lieu permettre ses utilisateurs de
dcouvrir, d'tre parfois surpris, d'apprendre et si possible de comprendre.
La phase de conception de l'valuation aura un grand rle jouer ce
niveau puisqu'elle va contribuer clarifier des objectifs qui taient peut-tre
mal exprims ou seulement implicites dans les documents de
programmation, expliquer les mcanismes d'impacts, identifier les
changements de comportement, vrifier la ralisation des effets attendus
et mettre en avant les effets Inattendus.
L'exercice d'valuation transforme la manire dont l'utilisateur se
reprsente le programme et ses effets. Cette forme d'utilisation peut tre
d'ordre conceptuel lorsque les nouvelles connaissances portent sur la
thorie explicative des impacts.
Quelle que soit la finalit affiche, une valuation russie
obligatoirement avoir une utilisation cognitive visible et reconnue.
doit
Utilisation pour dcider des amliorations apporter

H L'quipe d'valuation et le groupe de pilotage formulent des
recommandations aux dcideurs. La participation active du groupe de
pilotage cette tape de l'valuation a l'avantage de donner aux

recommandations une dimension plus raliste et de tenir compte des
proccupations des protagonistes qui pourront par la suite se les
approprier plus facilement. Quel que soit le choix fait, I est Important que
les recommandations soient nettement spares des conclusions et que
leur statut soit clairement expliqu en rpondant aux questions suivantes :
la mise en uvre de cette recommandation a-t-elle une Implication
financire ? peut-elle intervenir court terme ? la recommandation fait-elle
consensus ? Mme s'il n'existe jamais d'obligation de se conformer aux
recommandations d'une valuation, il est intressant que le commanditaire
suive pendant un ou deux ans le devenir de ces recommandations.
Dans le meilleur des cas, il est possible de retrouver la trace des
recommandations dans les dcisions qui ont t prises la suite de
l'valuation. Celle-ci constitue alors un Instrument d'aide la dcision et
peut servir amliorer le programme en cours de route ou l'occasion de
son renouvellement, comme cela a t le cas dans la situation prsente cidessous. Cette utilisation des conclusions de l'valuation est qualifie
d'Instrumentale .
Exemple : l'utilisation instrumentale de l'valuation
Le rapport de l'valuation intermdiaire du CCA irlandais 1994-99 a reprsent une
importante base de discussions lors du bilan mi-parcours dudit CCA. Suite aux
ngociations intervenues entre la Commission europenne et les autorits nationales,
le Comit de suivi s'est mis d'accord sur toute une srie d'ajustements portant sur
prs de 3% du montant global. Une partie des principales r-affectations financires
rsulte clairement des recommandations issues de l'valuation du CCA, tout comme
certaines dcisions autres que financires. Ainsi, sur les dix huit mesures ou groupe
de mesures pour lesquels les allocations taient remises en question, huit ont vu cette
aide diminuer. Par contre parmi les huit domaines qui avaient t identifis comme
souffrant de besoins d'aides complmentaires, cinq se sont vus attribuer une aide
additionnelle. Des dcisions non financires ont t prises dans le sens d'un
changement de priorits : formation et renforcement des capacits d'expansion pour
les petites entreprises au dtriment de l'aide au secteur priv en gnral.
Utilisation pour juger les succs et les checs

Les utilisateurs trouvent dans l'valuation des arguments pour former ou
modifier leur jugement. En effet, l'valuation va aider expliciter des
critres et dfinir des normes de comparaison. Elle va conduire tirer des
conclusions sur le succs ou l'chec de telle ou telle partie du programme

et par consquent Identifier des bonnes pratiques et des projets
exemplaires.
Cette forme d'utilisation est primordiale lorsque l'valuation sert rendre
compte aux autorits politiques et au grand public. Il s'agit d'une utilisation
externe au programme qui alimente le dbat sur la justification de ce
programme. L'valuation s'apparente alors un compte-rendu et est
destine permettre des personnes trangres au contexte du
programme (les pouvoirs publics, les lus, le grand public) de se former une
opinion globale sur la valeur Intrinsque de l'action, Indpendamment de
l'opinion des protagonistes.
Toujours dans ce contexte, l'utilisateur confronte les conclusions de
l'valuation ses propres opinions. Il en vient maintenir, conforter ou
changer son jugement personnel sur le programme. Cette autre forme
d'utilisation est appele normative en raison du fait qu'elle comporte une
forte part de jugement.
Toutes les valuations ne parviennent pas cette dernire forme d'utilisation
car l'utilisation normative est la plus dlicate. En effet, si un utilisateur doit
rviser son jugement, il risque de manifester une certaine rsistance, surtout
si son jugement a dj t exprim en public auparavant.
La littrature spcialise a coutume de distinguer deux pratiques
d'valuation selon qu'elle est principalement destine aux acteurs
directement concerns par le programme ou que les destinataires sont
exognes. L'valuation est appele endoformative ou formative lorsque
son utilisation, Interne l'action ou au programme valu, est de nature
donner aux protagonistes du programme les informations qui leur
permettront de modifier leurs conduites, d'amliorer l'action et de
transformer ainsi son objet mme.
L'valuation est dite rcapitulative quand elle sert la fols juger le
programme et aider les autorits de tutelle dcider de son lancement,
de sa reconduction ou de sa suppression. Les utilisateurs sont alors les
flnanceurs extrieurs et ventuellement d'autres acteurs sociaux qui
peuvent dcider de l'opportunit d'adopter pour eux-mmes les meilleures
pratiques identifies l'occasion de l'valuation du programme.
Quelle que soit la nature de la dcision qui est prise la suite de
l'valuation, le processus d'utilisation passe successivement par les trois
formes d'utilisation. Le dcideur commence par transformer sa faon

de comprendre le programme, puis il formule, renforce ou modifie son
jugement, avant de s'exprimer au bon moment et de faon convaincante
pour entraner ses co-dcideurs ; la dcision publique tant presque
toujours prise plusieurs.
Pour passer de l'valuation la dcision, on voit que les tapes logiques
sont nombreuses et que les dernires tapes mettent en jeu plusieurs
acteurs. On comprend donc que l'utilisation Instrumentale d'une valuation
soit difficile dmontrer. C'est ce que confirment les travaux de mtavaluatlon qui concluent souvent l'absence de lien direct court terme
entre les recommandations et les dcisions.
-4 C'est en ce sens que l'valuation se distingue d'une tude de faisabilit
du programme. En effet, cette dernire est toujours ralise sur la base des
objectifs du responsable politique pour prparer directement sa dcision et
ne comporte pas de remise en question de ses objectifs. Elle a pour seule
et unique vocation de dboucher sur des dcisions. Au contraire, une
valuation comporte toujours une dimension de jugement sur l'opportunit
du programme en prenant en compte les objectifs politiques d'une part et,
d'autre part, le point de vue des destinataires. Mme dans le cas d'une
valuation ex ante qui porte sur une proposition de programme, l'utilisation
instrumentale n'est pas la seule et unique modalit d'utilisation ; les
dimensions cognitive et normative sont invitablement prsentes.
Par ailleurs l'valuation diffre aussi d'un travail de recherche fondamentale
du point de vue de son utilit car elle rpond une commande des
responsables du programme, un moment o ils sont demandeurs
d'information et de rponses aux questions qu'ils se posent. L'exercice est
toujours sous des contraintes fortes que sont les hypothses d'action et le
champ d'investigation choisi par les dcideurs. En contrepartie, les
rsultats des valuations sont souvent mieux accepts par les pouvoirs
publics, et donc davantage utiliss.
Apprcier la qualit d'une valuation

La qualit d'une valuation est souvent juge sur la seule base du rapport
final, or elle dpend trs largement de la faon dont on a su grer la qualit
de l'ensemble du processus depuis la commande jusqu' la formulation de
recommandations et la communication des rsultats.
Juger de faon quitable la qualit d'une valuation suppose que l'on
explicite les critres utiliss. L'apprciation peut s'appuyer sur huit critres
qui constituent les standards professionnels importants connatre : la
satisfaction des demandes, la pertinence du champ, l'adquation de la
mthodologie, la fiabilit de s donnes, la solidit de l'analyse, la crdibilit
des rsultats, l'impartialit des conclusions et la clart du rapport.
Il convient d'apprcier la qualit de l'valuation pour vrifier si l'quipe a
satisfait les exigences des commanditaires mais galement pour distinguer,
parmi les conclusions, celles qui sont valides et solidement tayes de
celles qui sont susceptibles d'tre contestes ou qui ncessitent une
vrification empirique plus approfondie.
Apprcier la qualit de l'valuation est, ou devrait tre, un pralable
l'utilisation de ses conclusions et recommandations. C'est un pralable logique
car seule une valuation de bonne qualit peut rsister aux critiques que
suscitent invitablement les jugements ports sur les succs et les checs. La
qualit est aussi un pralable chronologique car elle fait le plus souvent l'objet
d'une apprciation formelle avant la diffusion du rapport d'valuation et avant
la prise en considration de ses conclusions et recommandations.
Nous avons choisi toutefois de placer ce chapitre la fin des trois parties
du Volume qui sont consacres la conception d'un projet d'valuation et
sa ralisation car la grille d'apprciation de qualit reprsente une check
list de l'ensemble des propositions et recommandations faites dans les
chapitres prcdents. Elle a t mise au point dans le cadre du programme
MEANS avec l'aide d'experts de plusieurs pays europens et pourra donc
servir au lecteur qui le souhaiterait pour vrifier si sa propre pratique rpond
aux standards professionnels courants.
Grer e t amliorer la qualit d'un p r o c e s s u s d'valuation
Avec le dveloppement de l'valuation et par consquent l'augmentation
gnrale des budgets consacrs cette activit, l'attention se porte de plus
en plus sur la qualit des travaux rendus, mais aussi sur la qualit de
l'ensemble du processus qui va de la commande jusqu' l'utilisation de ces
travaux.
L'apprciation de la qualit vrifie que le contrat de l'quipe d'valuation
est rempli. Son existence mme contribue sensibiliser l'quipe
d'valuation, ce qui conduit amliorer le rapport final. Plus Indirectement,
l'apprciation peut amliorer les pratiques professionnelles en diffusant des
standards de bonne pratique. Elle peut aussi servir un objectif
dmocratique plus large en renforant la crdibilit des informations
diffuses par les administrations publiques.
Les critres de qualit qui seront prsents plus loin ont t utiliss par la
Commission pour l'apprciation d'un certain nombre de rapports
d'valuation mi-parcours de la priode de programmation 1994-1999. Ils
ont galement t appliqus par certaines autorits nationales. Ainsi par
exemple, la qualit de plusieurs dizaines d'valuations ralises en
Rpublique d'Irlande au cours de la priode 1994-1998 a t apprcie en
se rfrant ces critres. Ces travaux s'apparentent des exercices de
mta-valuatlon, c'est dire l'valuation d'une ou plusieurs valuations.
La qualit est une exigence suffisamment cruciale pour qu'elle devienne
aussi la proccupation de chaque commanditaire d'valuation.
L'apprciation de la qualit relve notamment des co-dcideurs de chaque
programme, sous forme d'auto-apprciation pour ce qui concerne la
qualit de la commande passe, et sous forme de contrle de qualit pour
ce qui concerne le travail effectu par l'quipe d'valuation.
Les co-dcldeurs ne sont cependant pas les seuls acteurs trouver un
intrt dans la qualit des rapports (voir Encadr 44). En particulier, le
groupe de pilotage dcide si la collecte et l'analyse des donnes sont
suffisantes ou doivent tre amliores, si les conclusions sont recevables
au vu des lments de preuves recueillis, si le rapport rpond toutes les
questions du cahier des charges ou s'il doit tre complt.
En gnral, les autorits rgionales, nationales et europennes analysent
elles-mmes la qualit des valuations en fonction de leurs propres
contraintes et critres. Dans le cas d'valuations de haute technicit ou de
diffusion publique de conclusions sensibles, le commanditaire peut faire
appel un spcialiste extrieur qui se prononcera sur la qualit du
processus et qui effectuera une contre-expertise de la robustesse des
conclusions. Les critres de qualit prsents plus loin sont en grande

partie issus des standards professionnels, dvelopps dans le cadre
d'expertises de ce type.
Encadr 44 - Qui a p p r c i e la qualit des valuations ?
L'apprciation de qualit
en vue de....
peut tre faite par....

le groupe de pilotage avec le cas
chant l'aide d'un spcialiste
les co-dcideurs
du programme
les autorits nationales
et europennes
de valider le rapport final

et vrifier sa robustesse
de connatre la fiabilit des conclusions
et des recommandations
de connatre la fiabilit des conclusions
et des recommandations
ou d'amliorer le systme d'valuation
en vigueur
des experts indpendants
de garantir la sincrit des conclusions

diffuses au public
dvelopper des standards professionnels
(mta-valuation)
L'apprciation peut tre conduite dans un esprit d'assurance de la qualit

de l'ensemble du processus d'valuation. En effet, le rapport final n'est que
la rsultante d'un systme qui mobilise plusieurs personnes au sein d'un
vaste ensemble institutionnel et d'un dispositif spcialement mis en place
pour l'valuation proprement dite. Dans ce cas, I s'agit de surveiller et de
promouvoir la qualit aux grandes tapes de l'valuation. Si l'on considre
le droulement de l'valuation depuis sa commande jusqu' la production
du rapport et la diffusion des rsultats, on peut amliorer la qualit d'une
valuation en agissant sur plusieurs points, savoir sur :
La qualit du systme d'Information et de suivi.
Les termes du cahier des charges qui dfinissent ce qui doit tre valu,
les ressources budgtaires alloues et le temps Imparti.
Le choix de l'quipe d'valuation (qualifications, rfrences, expriences,
etc.).
Le contrat pass avec l'quipe d'valuation, qui dfinit notamment son
plan de travail.
La frquence et la nature des Interactions entre l'quipe d'valuation et le

groupe de pilotage.
La fourniture rapide et complte des informations disponibles de qualit.
Le mode de communication des conclusions comprenant le rapport luimme et les autres canaux de diffusion.
L'utilisation de l'valuation pour rendre des comptes aux autorits
publiques et aux citoyens.
Un systme d'assurance de la qualit porte sur l'ensemble du processus
d'valuation et Intervient donc sur tous ces points. Il peut tre schmatis
comme le montre l'encadr ci-dessous.
Encadr 45 - Schma d'un systme de contrle de qualit globale
Cahier des
charges (contrat)
Interactions avec les

commanditaires
\
Comptences de
l'quipe
d'valuation
'<
\
/
Ralisation de
l'valuation
Rapports
/
Qualit de
l'information
disponible
1r
Responsabilit
envers les parties
prenantes / public
Analyser la qualit d u r a p p o r t d ' v a l u a t i o n

Dans les textes gnraux consacrs l'valuation, la notion de qualit fait
l'objet de nombreux dbats. Il n'existe dans le monde aucun systme de
certification professionnelle Institutionnalisant des rgles et des critres de
qualit. Des grilles de critres assez disparates sont proposes en fonction
des modles d'valuation labors par les diffrents auteurs mais il n'existe
pas de consensus dans ce domaine et la nature des critres mentionns
n'apparat pas toujours clairement lorsque l'on essaie de les mettre en
pratique.
Dans le cadre de MEANS, hult critres d'apprciation de la qualit des

rapports d'valuation ont t retenus. L'apprciation globale d'une
valuation est tablie de faon synthtique aprs que le rapport final ait t
analys au regard de ces huit critres. Ils sont prsents ci-dessous en
prenant comme situation de rfrence les valuations mi-parcours. La
grille a cependant une porte plus gnrale et peut tre applique toutes
les situations d'valuation sachant que la formulation de certaines
questions et le poids relatif des critres doit tenir compte de la spcificit
de l'exercice considr. Dans la suite du texte nous avons mentionn de
telles adaptations pour l'valuation ex ante et l'valuation ex post par
rapport l'valuation intermdiaire lorsqu'elles existent.
Huit critres ont t dfinis pour apprcier la qualit des rapports d'valuation.
L'apprciation globale d'une valuation est tablie de faon synthtique aprs
que le rapport final ait t analys au regard de ces huit critres.
La satisfaction de la demande
Dans le cadre des programmes des Fonds structurels europens, les
principaux protagonistes sont les membres du groupe de pilotage. Dans
l'idal, leurs diverses demandes sont runies dans le cahier des charges.
Cependant, les questions valuatives qui y sont formules doivent tre
compltes lors de runions et d'entretiens pralables afin d'aller au-del
de ce qui est dj vident pour les commanditaires. Par consquent, on
vrifiera, d'une part, si l'valuation traite de manire adquate les questions
du cahier des charges et, d'autre part, si le rapport traite les demandes
supplmentaires d'information, ainsi que des questions nouvelles qui
seraient essentielles pour les commanditaires.
Par consquent, pour savoir si l'valuation traite de faon adquate les
demandes d'information formules par les commanditaires et correspond
au cahier des charges (Cf. la grille synthtique de l'Encadr 46 page 192)
on se posera plus particulirement les questions suivantes :
L'volution des objectifs globaux et spcifiques du programme a-t-elle
t analyse ?
Le rapport aborde-t-ll la totalit du programme ? Si tel n'est pas le cas,
la slection faite est-elle justifie au regard des priorits exprimes par
les commanditaires ?
L'valuation apporte-t-elle des informations en retour utiles pour les
gestionnaires ?
Y trouve-t-on des enseignements sur les checs et les russites qui

puissent intresser d'autres rgions ou pays ?
Pour les valuations ex post, il sera important de vrifier si les informations
ncessaires aux prochaines gnrations de programmes ont t pris en
considration. Aussi, devra-t-on regarder si l'valuation a russi trouver
un bon compromis entre les deux exigences contradictoires que sont :
obtenir rapidement des informations pour alimenter les nouveaux cycles de
programmation d'une part, et ne pas tirer de conclusions prcipites avant
que l'ensemble des impacts soit observable, d'autre part.
La pertinence du champ
Le champ de l'valuation doit couvrir les questions qui sont pertinentes du
point de vue des programmes des Fonds structurels. La description
succincte des caractristiques essentielles du programme et l'analyse de
sa stratgie pour la rgion concerne sont des pralables Indispensables
pour la comprhension de l'action value et de sa raison d'tre.
Afin de vrifier la pertinence du champ, on regardera si, premirement, les
caractristiques essentielles du programme sont bien dcrites (raison
d'tre, stratgie, objectifs, actions, ressources, ralisations etc.) et,
deuximement, si les obstacles et les succs dans la mise en uvre du
programme sont bien explicits.
De plus, les ralisations, les rsultats et les Impacts du programme devant tre
couverts par l'analyse pour juger de l'atteinte des objectifs du programme, on
vrifiera comment l'valuation les Inclue. De surcrot, on s'assurera que
l'valuation ne nglige pas d'autres rsultats ou Impacts potentiels ou futurs
ainsi que d'ventuels rsultats et effets Inattendus et significatifs.
Le champ de l'valuation dpend enfin de la cible du programme qui peut
tre dfinie en termes de zones gographiques llgibles ou de groupes
cibles non localiss (les chmeurs de longue dure, etc.). Par consquent
I s'agit de vrifier si :
les limites du champ, en termes de zones ou de groupes sociaux, sont
dfinies de manire approprie eu gard la logique de l'Intervention ;
le champ inclut des zones priphriques ou des groupes non-ligibles
mais susceptibles d'tre affects par les interventions values ;
et encore, si l'valuation considre le programme valu de faon Isole
ou Inclut ses interactions avec d'autres programmes europens et
nationaux.
Dans le cas des valuations ex ante, le rapport doit ajouter toutes les
informations nouvelles utiles l'amlioration des documents de
programmation : stratgie, cohrence interne/externe, mise en uvre des
choix. On se demandera si le rapport value avec suffisamment de dtails
les attentes des groupes cibles ainsi que la pertinence des objectifs et de
la stratgie.
L'adquation de la mthode
Ce critre essentiel a trait aux qualits techniques de l'valuation. Les choix
de mthodes doivent dcouler des questions valuatives et des
dmonstrations requises. L'valuation doit par ailleurs, faire le meilleur
usage des recherches et des tudes existantes. L'application de ce critre
(ainsi que des deux suivants) ncessite des connaissances techniques. Le
cas chant, les commanditaires pourront, prendre l'avis d'un spcialiste
de l'valuation ce stade de leur apprciation.
Dans tous les cas, trois types de question devront tre poses :
Les connaissances pertinentes et la littrature existante ont-elles t
collectes et utilises bon escient ?
La construction de la mthode et le choix des outils sont-ils vritablement
justifis pour rpondre au mieux aux questions valuatives ?
Les situations de rfrence (contrefactuelles ou similaires) choisies
talent-elles adaptes pour faire des comparaisons valables ?
Tout rapport d'valuation doit inclure une description de la mthode utilise
et dfinir clairement les sources de donnes. De mme, les limites de la
mthode construite et des outils utiliss doivent tre clairement exposes.
On regardera si :
la mthode est dcrite de faon suffisamment dtaille pour permettre
d'en juger la qualit ;
la validit des donnes collectes et des outils utiliss est clairement
indique ;
et enfin, si il y a adquation entre les donnes disponibles et les outils
utiliss.
Pour les valuations ex post, l'analyse causale des effets tant la question
la plus Importante, les mthodes d'analyse de ces relations causales sont
prioritaires dans ce type d'valuation. On regardera dans quelle mesure
l'valuation analyse suffisamment les relations de cause effet pour les

questions les plus essentielles.
La fiabilit des donnes
Les chargs d'valuation utiliseront des donnes existantes (donnes
secondaires) issues du systme de suivi et d'autres sources d'information
ou bien des donnes primaires qu'ils recueilleront. Dans ce dernier cas, le
mode de collecte des donnes (choix et application des outils utiliss
cette fin) ainsi que le traitement de celles cl seront trs Importants pour la
fiabilit et la validit des rsultats.
Afin d'apprcier la fiabilit des donnes utilises, on examinera :
si toutes les sources d'Information qui taient disponibles ont t
Identifies et si la fiabilit de ces donnes a t vrifie ;
si les sources d'informations issues du systme de suivi et des tudes
prcdentes ont t utilises de faon optimale ;
si les techniques de collecte des donnes choisies talent compltes et
adaptes pour rpondre aux questions valuatives ;
Que l'quipe d'valuation ait eu recours des techniques quantitatives ou
qualitatives ou encore une combinaison des deux, la qualit technique des
donnes collectes doit tre vrifie : dfinition des populations-mres ,
slection et chantillonnage, construction des instruments (le questionnaire,
les Indicateurs choisis), etc. On devra alors se demander si :
le mlange de donnes qualitatives et quantitatives est adapt pour faire
une analyse valide du phnomne ;
les populations utilises pour la collecte des donnes sont
correctement dfinies ;
la slection des chantillons d'enqute ou des cas tudis est effectue
en fonction de critres justifis ;
et si les principales techniques de collecte de donnes sont mises en
uvre avec leurs propres normes de qualit de manire garantir un
degr suffisant de fiabilit et de validit des rsultats.
Si l'valuation se limite aux donnes secondaires cause des contraintes
de temps (cas frquent de l'valuation ex ante), cela suppose que les
sources d'information slectionnes soient suffisamment fiables et
gnrallsables.
La solidit de l'analyse
L'analyse quantitative se traduit par l'analyse des donnes sous forme de
tableaux ou de tout autre type d'analyse statistique. L'analyse qualitative
comporte une comparaison et un recoupement systmatique des sources
d'information. Quel que soit le cas, il est ncessaire d'apprcier si les
mthodes d'analyse choisies sont pertinentes au regard du type de
donnes recueillies et, si l'analyse a t mene conformment aux
prescriptions qui figurent dans les manuels techniques.
Dans le cas des Fonds structurels, les relations de cause effet sont
complexes et constituent par consquent un dfi particulier pour
l'valuation. On devra vrifier :
si l'valuation explicite suffisamment les relations de cause effet qui
sont sous-jacentes au programme,
et dans quelle mesure l'analyse s'appuie sur des techniques adaptes.
Dans le cadre d'une valuation plus approfondie il s'agit de vrifier s'il y a
eu une comparaison avant/aprs impliquant des destinataires et un groupe
de comparaison. Il faut que l'analyse comparative se soit appuye sur une
collecte des donnes au sein du groupe de comparaison.
Par ailleurs, l'exploitation des travaux d'valuation raliss au niveau des
programmes doit permettre la Commission de prparer des synthses au
niveau europen. Cela suppose qu'il y ait une cohrence des dfinitions
(par exemple : calcul de l'effet net, etc.), une homognit des chiffres, etc.
On vrifiera si les rsultats de l'valuation permettent des comparaisons de
performances avec d'autres programmes similaires.
La crdibilit des rsultats
La crdibilit est ci dfinie comme le fait que les rsultats dcoulent

logiquement des donnes collectes et analyses et que les interprtations
sont bases sur des hypothses explicatives prsentes avec soin. Dans le
cas d'une analyse approfondie, la qualit de l'valuation tient compte du
compromis trouver entre la validit interne (prise en compte complte et
sans biais de toutes les Influences contextuelles) et la validit externe
(gnralisation possible d'autres contextes). Lorsque l'valuation comporte
des analyses approfondies sur une partie du programme (par exemple des
tudes de cas de quelques actions) et que les rsultats de ces analyses sont
extrapoles tout ou partie du programme, on devra vrifier :
si les hypothses Interprtatives et les extrapolations faites sont

justifiables et si les limites de validit ont t exposes ;
et si la slection des cas et des chantillons permet une gnralisation.
La participation des parties prenantes la discussion des rsultats permet
d'accrotre la pertinence de l'valuation et donc son utilit pour le
programme. On se posera les questions suivantes :
Les rsultats sont-ils crdibles dans le sens o ils refltent un compromis
acceptable entre la ralit du programme telle qu'elle est perue par les
acteurs et la ralit dcrite par les chiffres et les faits constats ou
estims ?
Dans quelle mesure les parties prenantes ont-elles t Impliques dans
le processus d'interprtation des observations empiriques ?
Les rsultats ont-ils t prsents de faon impartiale aux parties
prenantes ?
L'impartialit des conclusions
Les conclusions comprennent les suggestions et parfois mme des
recommandations qui vont au-del des simples rsultats. Alors que les
rsultats sont techniques et peuvent tre analyss sans trop de risque
de partialit, les conclusions et a fortiori encore plus les recommandations,
sont, quant elles, mises sur la base de jugements de valeur. Aussi, la
qualit du jugement est-elle dterminante.
Pour rpondre la question : les conclusions sont-elles justes, exemptes
de considrations personnelles ou partisanes, et sont-elles assez dtailles
pour tre concrtement mises en oeuvre ? on vrifiera si :
les lments sur lesquels sont bases les conclusions sont bien
explicits ;
les conclusions sont oprationnelles et suffisamment explicites pour
tre mises en uvre ;
et si les questions controverses sont prsentes de faon quilibre et
quitable.
La clart du rapport
La diffusion et la communication des rsultats de l'valuation auprs des
parties prenantes peuvent se faire par voie crite ou par voie orale. Le
rapport final n'est qu'un moyen de diffusion parmi d'autres ; une
communication continue des rsultats est mme souhaitable. La lisibilit du

rapport et la qualit de sa prsentation sont des lments dcisifs de la
qualit de l'valuation. On regardera :
si le rapport a t rdig de faon claire pour ses destinataires et si sa
structure est logique ;
si les concepts spcialiss sont utiliss uniquement lorsque cela est
Indispensable et s'ils sont clairement dfinis ;
dans quelle mesure la prsentation, les tableaux et les graphiques
renforcent la lisibilit et l'intelligibilit du rapport ;
et si les limites de l'valuation, en termes de porte, de mthodes et de
conclusions sont clairement exposes.
La lecture d'un rapport se limite souvent la lecture de son rsum. Par
consquent, il est essentiel que celui-ci soit clair et concis. Il doit prsenter
les principales conclusions et recommandations de faon quilibre et
Impartiale. Il doit se lire aisment sans ncessiter la lecture complte du
rapport.
On s'attachera aussi au fait que les conclusions soient claires pour les
lecteurs intresss par telle ou telle priorit europenne ou nationale, par
exemple l'Impact environnemental, l'impact sur l'emploi, l'galit des
chances, etc.
Porter une apprciation globale et quitable

L'apprciation synthtique rcapitule tous les critres de qualit. Il n'y a pas
lieu de recommander une pondration particulire des diffrents critres car
leur importance varie d'une situation l'autre. L'apprciation synthtique est
ralise avec l'aide de la grille synthtique figurant dans l'Encadr 46.
L'apprciation synthtique doit tenir compte des contraintes qui psent sur
l'valuation et l'quipe qui l'a ralise. Il faut donc nuancer la premire
conclusion laquelle on est parvenu en appliquant strictement les critres
de qualit. Par exemple, un rapport peut tre jug peu adquat non en
raison de dficiences lies aux travaux proprement dits mais parce que le
cahier des charges tait lui-mme irraliste. Il est frquent de constater que
les ressources alloues et le temps Imparti l'quipe d'valuation limitent
excessivement la porte et le degr de robustesse des conclusions. Les
contraintes contextuelles doivent donc tre prises en considration pour
juger in fine le rapport.
Conception et conduite d'une valua
Encadr 46 Grille synthtique d'apprciation de la qualit

des travaux d'valuation
Concernant ce critre, le rapport d'valuation est :
excellent
b
acceptabk
inacceptable,
1. La satisfaction des demandes : L'valuation

traitetelle de faon adquate les demandes
d'information formules par les commanditaires
et correspondelle au cahier des charges ?
D D
2. La pertinence du champ : La raison d'tre du

programme, ses ralisations, ses rsultats et ses
impacts sontils tudis dans leur totalit, y compris
ses interactions avec d'autres politiques et
ses consquences imprvues ?
3. L'adquation de la mthodologie : La conception de

l'valuation estelle adapte et adquate pour fournir
les rsultats ncessaires (avec leurs limites de validit)
pour rpondre aux principales questions valuatives ?
D D D
4. La fiabilit des donnes : Les donnes primaires

et secondaires collectes ou slectionnes sontelles
adaptes ? Offrentelles un degr suffisant de fiabilit
par rapport l'usage attendu ?
D D
5. La solidit de l'analyse : L'analyse des informations

quantitatives et qualitatives estelle conforme aux
rgles de l'art, complte et adapte afin de rpondre
correctement aux questions valuatives ?
6. La crdibilit des rsultats : Les rsultats dcoulentils

logiquement et sontils justifis par l'analyse des
donnes et par des interprtations bases sur des
hypothses explicatives prsentes avec soin ?
D D
7. L'impartialit des conclusions : Les conclusions

sontelles justes, nonblaises par des considrations
personnelles ou partisanes et sontelles assez
dtailles pour tre concrtement mises en oeuvre ?
8. La clart du rapport : Le rapport dcritIl le contexte

et le but du programme valu ainsi que son
organisation et ses rsultats de faon telle que les
informations fournies soient aisment comprhensibles ?
D D D
Compte tenu des contraintes contextuelles qui psent sur

l'valuation, le rapport d'valuation est considr comme
U D
On peut distinguer deux types de contraintes selon qu'elles relvent de la

commande de l'valuation ou de la gestion du programme valu. Les
contraintes relatives la procdure de commande sont la clart et la
prcision du cahier des charges, le volume des ressources budgtaires, le
temps allou et l'implication des commanditaires pendant la mise en uvre
de l'valuation. Les contraintes relatives au programme et sa gestion
peuvent rsulter de dfauts de clart des objectifs, d'une forte
htrognit entre les mesures et les Interventions, d'une qualit
Insuffisante des donnes gnres par le systme de suivi, ainsi que de
crises ou ruptures qui peuvent intervenir dans la mise en uvre et qui ont
des consquences sur le droulement de l'valuation.
Il incombe aux commanditaires de limiter, si ce n'est de faire disparatre, les
consquences de ces contraintes, mais aussi aux quipes d'valuation
d'anticiper les problmes techniques et oprationnels avant mme de
s'engager dans le processus d'valuation.
Assurer la russite d'une valuation
Mieux prparer l'valuation

Les programmes financs par les Fonds structurels font l'objet d'un effort
d'valuation particulirement intense. Depuis 1989, plusieurs centaines de
programmes ont t valus dans leur globalit, avant, pendant et aprs
leur mise en uvre, sans compter les valuations thmatiques
transnationales et les analyses plus approfondies qui sont ralises dans
certaines rgions. Il existe peu de cas o une pratique d'valuation se soit
rpandue de faon aussi rapide et aussi massive. Des progrs restent
cependant ralisables tant du point de vue du rapport qualit/cot que du
point de vue de l'utilisation.
Parmi les recommandations susceptibles de renforcer l'utilisation de
l'valuation, un certain nombre concernent sa prparation. La planification
plurlannuelle des diffrents exercices d'valuation doit se poursuivre. Par
ailleurs I conviendrait que les autorits commanditaires accordent une plus
grande visibilit leur dcision quand elles lancent une valuation et qu'un
investissement pralable plus important soit effectu pour la rdaction des
cahiers des charges, au besoin sous forme d'une tude d'valuablllt
lorsque des questions complexes sont traiter.
Faire une p r o g r a m m a t i o n pluriannuelle d e s valuations
Comme cela a t dcrit dans la deuxime Partie de l'ouvrage (voir
Encadr 7), la succession des programmes, priode aprs priode, est une
donne Incontournable. Les programmes se suivent sans interruption de
calendrier et le cadre rglementaire impose une succession d'valuations
chaque priode (ex ante / mi-parcours / ex post). La mise en pratique de
ces diffrentes contraintes a cr et continuera de crer des problmes
d'articulation entre les diffrents exercices d'valuation. En particulier, I
s'avre souvent difficile de dgager les leons de la mise en uvre d'un
programme un moment et dans une forme qui soit rellement adapte
aux enjeux dcisionnels. L'exprience montre qu'il est ncessaire de
rflchir un programme pluriannuel d'valuation dans le but de renforcer
des opportunits pour la rtroaction (processus qui conduit de
l'observation des rsultats et des impacts jusqu'aux dcisions de
rorientation du programme).
Afin de traiter cette difficult, nombreux sont les gestionnaires et les
quipes d'valuation qui souhaitent le dveloppement d'une valuation en
continu (on-going evaluation, rolling evaluation). Des expriences en la

matire ont t conduites en Espagne (pour les programmes oprationnels
rgionaux d'Andalousie et de la Communaut Autonome de Valence), en
Irlande (pour environ la moiti des programmes oprationnels), en France
(programmes de la rgion Bourgogne), etc. Ces tentatives mritent d'tre
tudies avec attention.
De nombreux experts sont cependant dubitatifs par rapport l'valuation
conue comme processus permanent. Ce systme cre en effet un risque
de confusion entre l'valuation, le suivi et la gestion. Il peut en rsulter une
dilution de la valeur ajoute de l'valuation. En revanche, il est possible de
recommander la mise en place d'un programme pluriannuel d'valuation
articulant une succession des travaux de diffrente nature diffrents
stades : valuation ex ante, analyses approfondies, valuation globale
mi-parcours, valuation ex post. Cette recommandation s'inspire
d'expriences australiennes et canadiennes. Elle a t reprise par la
Commission dans le cadre de son propre systme d'valuation Interne
(SEM 2000).
Un tel programme permettrait d'articuler les diffrents exercices entre eux et
de bnficier tout moment des leons tires de l'exprience passe, que
ces leons aient merg d'une priode de programmation ou d'une autre.
De plus, un tel programme permettrait de coordonner les travaux
d'valuation commands diffrents niveaux sur un mme territoire et
d'viter d'ventuelles rptitions d'enqutes auprs des mmes personnes.
Il existe plusieurs exemples o les commanditaires ont jug prfrable de
faire appel une seule quipe pour toute une succession de travaux
d'valuation dans une mme rgion ou dans un mme domaine
d'intervention. Cette formule a l'avantage d'assurer une coordination
automatique des valuations qui sont toutes ralises par le mme
prestataire. Elle ne peut cependant pas tre prolonge indfiniment sous
peine de compromettre l'indpendance des valuations.
Impliquer les d c i d e u r s t r a v e r s un m a n d a t d'valuation
Mme si l'valuation est une obligation rglementaire, la dcision d'valuer
(voir page 67) reste un acte politique qui rsulte d'une dcision du
commanditaire principal. De nombreuses expriences ont montr que cette
dcision gagne tre formalise dans un document bref, clair et visible, qui
est souvent appel mandat d'valuation . Ce document prend toute sa
valeur s'il est personnellement sign par la plus haute autorit hirarchique
concerne par l'valuation.
Le mandat prcise ce qui va tre valu (le champ de l'valuation), les
motifs pour lesquels l'valuation est lance et l'utilisation qui en est
attendue. Le commanditaire principal prcise s'il attend des
recommandations l'Issue de l'valuation ou s'il n'en attend pas. Il nonce
quelques grandes questions auxquelles l'valuation devra rpondre, ce qui
donne gnralement une premire ide des critres d'valuation. Il fixe une
date limite pour la remise du rapport et ventuellement une enveloppe
budgtaire.
En procdant de cette faon, le commanditaire fixe les limites qui lui
paraissent raisonnables et qui s'appliqueront l'ensemble du processus
d'valuation. Le mandat vite cependant de trop encadrer la libert du
groupe de pilotage et de l'quipe d'valuation. Il ne doit pas devenir un
instrument de censure prventive. Son principal avantage est au contraire
de concentrer l'valuation sur des sujets stratgiques, Intressants au plus
haut niveau, et susceptibles de favoriser l'utilisation des conclusions. Le
mandat vite aussi l'valuation de s'installer sur des terrains
politiquement mins au risque d'tre totalement rejete au moment de la
sortie des rsultats.
Le mandat vise prvenir un certain nombre de drives qui peuvent tre
numres de la faon suivante :
Les questions stratgiques sont perdues de vue et les proccupations
court terme des gestionnaires l'emportent.
Les autorits ne se sentent pas engages par les conclusions, les
responsables hirarchiques n'autorisent pas leurs subordonns
participer l'valuation.
L'quipe d'valuation dpasse son rle.
Le rapport d'valuation arrive trop tard et son utilisation est impossible.
L'valuation a tendance trop embrasser et ne peut pas arriver
conclure.
Un autre avantage du mandat est d'tablir des rgles du jeu claires et
ralistes. Dans cette perspective, l'autorit signataire confie officiellement
la responsabilit du processus d'valuation une personne, assiste de
prfrence par un groupe de pilotage. La dcision fixe la composition du
groupe de pilotage et les limites de ses missions.
Investir dans la prparation du cahier des charges

L'exprience a montr que le cahier des charges est souvent rdig
rapidement sur la base de modles ou de documents types. Cette pratique
risque de donner l'valuation un caractre bureaucratique, peu orient
vers la spcificit rgionale, peu adapt aux enjeux du programme et peu
motivant pour les gestionnaires. Aussi longtemps que la rdaction du cahier
des charges est considre comme un travail de bureau, il est difficile de
faire les choix ncessaires pour qu'elle soit vritablement adapte aux
besoins de ses utilisateurs futurs.
La situation est diffrente si le commanditaire a tabli ds le dpart un groupe
de pilotage officiellement mandat pour toute la dure de l'valuation. On
peut alors faire jouer ce groupe un rle actif dans la prparation du cahier
des charges (voir page 79). Cela suppose d'organiser une ou deux runions,
ou parfois trois, qui vont surtout permettre de formuler les questions
valuatives sans ambigut, de vrifier que des questions essentielles (ou
embarrassantes) n'ont pas t oublies, d'carter des questions qui
relveraient plutt de l'audit ou du contrle, de slectionner les questions
prioritaires, de prciser les critres et les normes de jugement. L'exprience
a montr qu'une telle tude prparatoire conduit envisager plusieurs
stratgies d'valuation diffrentes, oblige faire des choix et amliore
finalement la qualit de l'valuation. Un choix extrme, mais salutaire, peut
d'ailleurs tre celui du report ou de l'abandon de l'valuation lorsque le
groupe de pilotage anticipe qu'elle ne pourra pas tre utilise.
L'tude prparatoire ne constitue pas un travail supplmentaire mais plutt
une organisation alternative de la rdaction du cahier des charges de
l'valuation. Les deux runions que le groupe de pilotage y consacre
permettent de raliser ce qui est habituellement fait par l'quipe
d'valuation, dans le cadre de la mise en place de ses tches, comme le
montre l'Encadr 47.
Il s'agit de revenir la raison d'tre du programme et sa stratgie, de
rcapituler ses objectifs, d'afficher la hirarchie et l'articulation de ces
objectifs. A ce stade, le groupe de pilotage vrifie qu'il n'y a pas de
malentendu propos de la logique du programme, et il apporte toute
clarification qui serait ncessaire. Au cours des runions prparatoires, le
groupe de pilotage rdige avec soin les questions valuatives et slectionne
les plus Importantes. Il se prononce sur les critres de jugement et les
normes de comparaison qui seront appliqus par l'quipe d'valuation.
Encadr 47- Processus alternatif pour les tapes d'valuation

Pratique actuelle
Cahier des charges
Ralisation
conclusions
recommandations
Diffusion
utilisation
Recommandation
Commanditaire
Mandat
Groupe de pilotage
Etude prparatoire,
tude d 'valuabilit
cahier des charges
Equipe d 'valuation
Ralisation
conclusions
Groupe de pilotage
Recommandations
Commanditaire
Diffusion
utilisation
Dans le cadre de l'tude prparatoire, les responsables du programme

ralisent par eux-mmes des tches qu'ils sont les seuls pouvoir faire de
faon comptente et lgitime. Ils vitent la situation frquente o l'quipe
d'valuation reproduit, avec une perte de qualit, des informations dj
connues de l'administration. Au contraire, l'quipe d'valuation peut
concentrer son travail sur la production de donnes et d'analyses nouvelles.
L'tude d'valuabllit est un exercice voisin qui peut tre ventuellement
combin avec les runions prparatoires. Il s'agit d'une vrification technique
qui est recommande par plusieurs auteurs nord-amricains. L'tude porte
sur l'valuation dans son ensemble et sur chaque question en particulier. Elle
fait le point sur le niveau des connaissances disponibles et conclut sur le fait
que les conditions techniques et institutionnelles seront runies pour
apporter des rponses fiables et crdibles aux questions poses. Ce
diagnostic est fait en peu de temps par un mthodologue de l'valuation
(membre d'une unit d'valuation ou expert extrieur). Il conduit
abandonner certaines questions considres comme trop difficiles, ou mme
des questions pour lesquelles on s'aperoit qu'une rponse existe dj.
L'tude d'valuabilit dfinit les grandes lignes de la. mthode d'valuation,
ce qui permet de diriger l'appel d'offre vers des quipes disposant des
comptences ncessaires. Elle permet galement d'ajuster le nombre et la
difficult des questions poses aux ressources budgtaires et humaines

disponibles pour l'valuation. Ce dernier point constitue lui seul une
bonne raison d'investir dans la prparation du cahier des charges.
L'ambition excessive de certains cahiers des charges est en effet une cause
frquente d'insatisfaction pour le commanditaire et de difficult pour
l'quipe d'valuation. Il n'est pas rare de lire un cahier des charges qui
demande une tude quantitative de multiples impacts et qui fixe en mme
temps un dlai de quelques mois et une enveloppe budgtaire restreinte. A
titre de comparaison, une tude portant sur une trentaine d'analyses
d'impact ralises en Irlande a montr que le cot moyen d'un traitement
approfondi a t de l'ordre de 50 100 KEuro, et que la dure typique d'une
telle analyse est de 6 12 mois.
Ouvrir l'valuation des partenaires plus nombreux

L'utilisation concrte des valuations pourrait galement progresser grce
un meilleur quilibre entre l'Indpendance de l'valuation et son
interaction avec les responsables du programme. L'exprience a en effet
montr qu'une forte interaction entre l'quipe d'valuation et les
gestionnaires augmente la qualit et l'utilit de l'exercice.
Par ailleurs, il est frquemment souhaitable d'largir le groupe de pilotage
un plus grand nombre de partenaires pour accrotre la lgitimit et la
pertinence des conclusions. Il convient cependant de bien matriser le
nombre et le choix des personnes invites participer l'valuation, ainsi
que l'efficience du processus d'valuation. L'organisation d'une vritable
rflexion collective peut tre organise au sein d'un groupe de pilotage
largi en utilisant des modes de travail appropris.
Impliquer les gestionnaires pour favoriser l'appropriation

L'appel des quipes d'valuation externes se justifie par la ncessit de
recourir des comptences dont l'administration ne dispose pas toujours,
que ce soit propos des techniques d'valuation ou propos d'un
mcanisme d'Impact particulier. L'externalit de l'valuation a galement
l'avantage de permettre un regard nouveau, distanci, et impartial sur le
programme valu et de renforcer la crdibilit des rsultats. C'est ce
dernier avantage qui justifie l'exigence d'Indpendance rappele dans les
diffrents textes de l'Union europenne relatifs l'valuation.
Le souci d'indpendance ne doit cependant pas aboutir ce que l'quipe
d'valuation travaille dans l'isolement. Dans le domaine des Fonds
structurels europens, les expriences convergent pour montrer que
l'interaction entre l'quipe d'valuation et les gestionnaires renforce la
motivation de ces derniers, vite les problmes d'accs l'Information et
conduit une meilleure utilisation des rsultats. A contrario, la crdibilit de
l'quipe d'valuation peut tre affaiblie si son indpendance s'accompagne
d'une mconnaissance des systmes administratifs, si elle suscite de la
mfiance et donc des attitudes dfensives.
Le manque de contact avec les gestionnaires tant toujours prjudiciable,
il convient d'exiger une disponibilit suffisante de la part de l'quipe
d'valuation, et en particulier de la part des personnes qui se sont
nommment engages raliser le travail. Un temps suffisant doit

galement tre laiss pour l'interaction avec l'quipe d'valuation chaque
tape intermdiaire.
Pour aider dpasser les blocages, une rgle de bon sens consiste
mettre en place des retours d'Informations vers les gestionnaires pendant
le droulement de l'valuation. Le groupe de pilotage peut faire circuler des
notes intermdiaires et les premiers rsultats des enqutes ou analyses. La
formule a l'avantage de permettre la correction d'erreurs factuelles qui sont
aisment dtectes par les gestionnaires. Dans au moins deux cas (Land
de Brandebourg et Rgion Aquitaine), ces changes d'information sont
passs par des canaux informatiques.
Pour que l'exercice d'valuation soit peru comme plus Impartial, il est
galement possible d'largir le groupe de pilotage plusieurs gestionnaires
et/ou oprateurs du programme. Ces participants sont invits parler en
leur nom personnel, respecter la confidentialit des points de vue
exprims en runions et ne pas se comporter en reprsentant officiel
de leur institution. Cette pratique a des retombes positives en termes de
qualit et de crdibilit des travaux, dans la mesure o les personnes
invites au groupe de pilotage peuvent faire entendre les attentes et les
craintes qui s'expriment au niveau des gestionnaires. Elles peuvent aussi
tmoigner de l'impartialit des travaux d'valuation.
Une autre recommandation consiste concevoir l'valuation, non pas
comme la recherche systmatique des problmes et des checs, mais
comme un examen quilibr, attachant une importance suffisante
l'identification des succs et des bonnes pratiques, leur explication et
leur mise en valeur. C'est de cette faon que l'on fera voluer l'Image de
l'valuation.
Ouvrir le groupe de pilotage des partenaires extrieurs

Instance d'valuation pluraliste
La mise en uvre des Fonds structurels europens est caractrise par des
cofinancements
et des co-dcisions
entre plusieurs
niveaux
d'administration. Mme si la responsabilit finale de la commande incombe
presque toujours un seul niveau, l'valuation ne peut se passer des
informations dtenues aux autres niveaux, ni faire l'Impasse sur les attentes
des autres niveaux. Dans ce contexte, il serait dangereux et inutile de

considrer l'valuation comme un exercice unilatral command par un
seul dcideur pour son usage exclusif. Pour cette raison, la pratique
conduit souvent instituer un groupe de pilotage qui permet l'expression
de plusieurs points de vue (voir page 69).
A partir du moment o il existe un groupe de pilotage et que celui-ci joue
un rle Important dans l'valuation, on peut se poser la question de son
largissement. On a vu plus haut qu'il est Intressant d'largir le groupe
quelques gestionnaires et/ou oprateurs afin de rendre l'valuation
intressante et crdible pour cette catgorie de partenaires. La mme
dmarche peut-tre adopte pour procder d'autres largissements
d'autres partenaires.
Plusieurs auteurs nord-amricains recommandent d'largir l'valuation de
faon faire participer les principaux partenaires concerns. Les termes
employs sont ceux de parties prenantes, protagonistes ou porteurs
d'enjeux (stakeholders). On peut potentiellement associer l'valuation
toute personne qui est potentiellement utilisatrice des recommandations,
toute personne qui a un intrt dans les Informations produites, toute
personne qui est susceptible d'tre gagnante ou perdante dans le
processus. On devine que les protagonistes d'une valuation se comptent
en grand nombre. Pour simplifier, il est possible de les rpartir en grandes
catgories dont les plus communes sont les flnanceurs, les gestionnaires,
les oprateurs et les publics concerns.
L'largissement du groupe de pilotage une catgorie de protagonistes
prsente les mmes avantages que ceux qui ont t cits plus haut
propos de la participation des gestionnaires : les personnes invites font
entendre les attentes et les craintes qui s'expriment leur niveau, elles
amliorent la pertinence des questions poses, et leur prsence crdibilise
l'valuation. Une plus grande diversit au sein du groupe de pilotage met
en prsence un plus grand nombre de points de vue, facilite leur
confrontation, et permet d'lever le degr de consensus. Chaque
participant apporte ses questions, son systme de valeurs, ses critres de
jugement et ses normes. Sous rserve de savoir tirer parti de cette pluralit,
l'valuation aboutit des conclusions plus riches, plus crdibles et plus
utiles. La prise en compte des attentes de plusieurs partenaires permet une
meilleure acceptation des rsultats et augmente l'Intrt qui sera port
ces rsultats. Ces avantages sont synthtiss dans l'Encadr 48.
Encadr 48 - Les avantages d'une instance d'valuation largie

Constituer un Comit de pilotage de l'valuation comprenant les diffrentes
parties prenantes du programme permet d'assurer :
Une meilleure acceptation de l'valuation par les valus en crant des relations
de confiance.
Un accs plus facile aux informations et une meilleure comprhension des faits et
vnements survenus au cours du programme sont ncessaires.
Des interprtations et recommandations qui tiennent compte de l'ensemble des
points de vue importants.
Une diffusion des conclusions et une prise en compte des recommandations plus
rapide et informelle.
Les personnes associer peuvent tre recherches parmi les universitaires,
les chefs d'entreprise, les responsables d'organisations professionnelles, les
leaders d'organisations non-gouvernementales, etc. Les participants sont
toujours Invits titre personnel et promettent de respecter la confidentialit
des points de vue exprims en runion. Dans le cas d'valuations qui
visaient rendre des comptes au grand public, il a mme t dcid
d'associer des citoyens tirs au sort ou des journalistes. Si le groupe de
pilotage est largi une dizaine de personnes porteuses de points de vue
diffrents, son rle dans le processus d'valuation devient plus visible et
plus dterminant. On le dsigne alors par un autre terme qui reflte son
importance, par exemple : comit d'valuation, instance d'valuation.
Pour composer une instance d'valuation, il est important de lister les
protagonistes susceptibles d'avoir un intrt dans l'valuation et dans ses
rsultats. On peut s'aider du schma prsent dans l'encadr ci-dessous
sous le nom de sociogramme . Ce schma classe les protagonistes en
trois catgories : les responsables politiques (lus, dcideurs ou
financeurs), les acteurs de la mise en uvre (gestionnaires, oprateurs,
agences d'excution) et les publics concerns (destinataires directs ou
indirects). On veillera ce que les participants choisis soient disponibles (et
assez motivs) pour participer rgulirement et activement aux diffrentes
runions du groupe et suivre les travaux.
La composition du Comit doit tre la plus reprsentative possible des parties
prenantes tout en demeurant dtaille rduite (15 personnes maximum). Dans
le cas des programmes europens on trouvera des reprsentants des
Directions gnrales, ainsi que des instances nationales et locales de dcision
et de gestion concernes. Aux cts de ces reprsentants institutionnels, on
fera participer des reprsentants des destinataires du programme. La

question d'inclure ou non les gestionnaires et des reprsentants des
oprateurs dans cette Instance est souvent pose en termes de neutralit et
d'indpendance de l'exercice d'valuation. Il semble que les avantages de les
inclure sont suprieurs aux risques d'une prise de pouvoir par ces personnes ;
risques non ngligeables dans la mesure o elles sont Invitablement plus
motives (c'est leur raison d'tre) et plus comptentes techniquement que les
autres membres. Un quilibre numrique entre les trois catgories d'acteurs
offre des garanties cet gard. On peut en outre prendre la prcaution de
confier la prsidence un responsable politique qui n'exerce pas une tutelle
directe ou une personnalit renomme (cette dernire solution est la plus
frquente dans les situations de partenariat multiple car elle vite toute
suspicion de parti pris).
Encadr 49 - Sociogramme des personnes concernes
par l'valuation
Acteurs de
la mise en
oeuvre
Responsables
politiques
Financeurs
Dcideurs
Elus
concernes
Groupe de pilotage ]
largi,
I Instance d'valuation I
Exemple : Le classement des protagonistes de l'valuation d'un programme de

dveloppement rural
Certains acteurs peuvent se situer dans plusieurs des trois catgories
prcdemment dfinies. Les lus rgionaux par exemple ont un rle de dcideurs, ils
sont galement porte-parole des publics concerns, et eux-mmes bnficiaires de
financements. On trouve galement des acteurs qui sont la fols oprateurs et
reprsentants du groupe destinataire, comme les Chambres d'Agriculture, qui
constituent l'interlocuteur des pouvoirs publics et ont des liens forts avec les
syndicats agricoles. Les administrations locales, pour leur part, font partie des trois
catgories dcideurs, oprateurs et publics concerns.
En relation avec ce qui est prsent ci-dessus, il est intressant de s'arrter

sur la notion de partenariat, terme communment utilis dans le vocable
europen depuis une dizaine d'annes. Trs proche de l'Ide de partie
prenante, il possde, dans le contexte de l'administration des Fonds
structurels, un sens relativement spcifique en dsignant des structures
(partenaires) qui peuvent intervenir lgitimement dans la dfinition et
l'application des programmes financs par les Fonds structurels. La
distinction faite plus haut entre les partenaires verticaux et les partenaires
horizontaux est Importante dans la mesure o seuls les premiers sont
lgitimes pour dfinir le mandat d'valuation. Nanmoins, tous sont
parties prenantes au programme et sont susceptibles d'tre associs
la dmarche d'valuation, selon les modalits qu'il convient de prciser.
Organisation de la rflexion collective
Lorsque le dispositif d'valuation comprend une instance largie, son
travail est le mme que celui d'un groupe de pilotage, savoir : vrifier que
des questions essentielles n'ont pas t oublies, slectionner les
questions prioritaires, finaliser la rdaction des questions, prciser les
critres et les normes de jugement, valider le cahier des charges, ragir sur
les rapports intermdiaires de l'quipe d'valuation, commenter les
conclusions, valider les recommandations de l'quipe d'valuation et
mettre ses propres recommandations.
La diffrence entre un groupe de pilotage et une Instance d'valuation ne
rside donc pas vraiment dans la nature du travail effectu, mais plutt dans
la faon d'effectuer ce travail. A l'Inverse d'un groupe de pilotage, compos
de quelques responsables administratifs qui ont l'habitude de travailler
ensemble, une Instance d'valuation plus ouverte et plus nombreuse doit
avoir des runions trs structures pour produire un travail efficace.
Le dispositif gnralement choisi est le suivant : le commanditaire dsigne
le prsident de l'instance dans le cadre de son mandat, ainsi qu'un
mdiateur. Sous la responsabilit du prsident qui dirige les dbats, le
mdiateur assure de faon impartiale, le travail de prparation, d'animation
et de compte-rendu des runions. Le prsident et le mdiateur doivent
avoir un profil suffisamment neutre pour tre accepts par toutes les parties
prenantes. Le mdiateur doit avoir en outre une bonne connaissance
technique de l'valuation. Il peut appartenir une cellule d'valuation
interne ou tre recrut parmi les experts externes sur la base de quelques
jours de travail.
Le mdiateur prpare les runions de travail, au besoin en ralisant des

entretiens individuels avec tout ou partie des membres de l'instance. Il
structure la discussion de faon la rendre productive et conclusive. Il
constate les lments de consensus dans des comptes rendus. Le travail
d'une Instance d'valuation pluraliste comporte des phases d'exploration au
cours desquelles on privilgie l'expression des diffrences d'opinion ( propos
des questions valuatives, propos des critres de jugement, propos des
recommandations, etc.). Ces phases exploratoires ont une dimension
maeutique, car le mdiateur s'efforce de faire natre une expression de tous
les points de vue, sans censurer les opinions minoritaires.
Les phases de crativit sont suivies par des phases de recherche de
consensus qui conduisent, dans un esprit d'impartialit, la production du
travail collectif (finalisation du cahier des charges, validation des
conclusions, production de recommandations). On trouvera dans le Volume
3 de cette collection, consacr aux outils d'valuation, deux exemples de
techniques de travail en groupe (METAPLAN, vote color) qui permettent
de conduire ces deux phases de travail de faon rapide, Impartiale et
consensuelle.
Faut-ll qu'une valuation soit consensuelle dans sa totalit ? Cette
question devient Importante lorsque le processus est largi de nombreux
partenaires dont les points de vue sont diversifis. La plupart des
valuations cherchent produire une liste de conclusions acceptes par
tous les partenaires, mais cela n'occulte-t-il pas le fait que la pluralit des
points de vue et des opinions est un principe dmocratique de base ?
Dans plusieurs expriences rcentes, le processus d'valuation a t
construit de faon accepter, et mme expliciter, les divergences de
jugement entre partenaires. Une de ces expriences, conduite dans le
cadre du programme MEANS, est dcrite dans le Volume 4 de cette
collection, qui prsente plusieurs innovations techniques. Cette exprience
repose sur le principe de l'analyse multlcritre-multijuge. Comme son nom
l'indique, cette technique permet de prendre en compte plusieurs critres
d'valuation et reconnat que les membres d'une Instance d'valuation
n'accordent pas les mmes priorits aux mmes critres. Par exemple,
certains partenaires jugent mieux une mesure qui a un bon impact court
terme sur l'emploi alors que d'autres privilgient l'accroissement de
comptitivit long terme, les deux critres n'tant d'ailleurs pas forcment
opposs. Au moyen d'entretiens individuels confidentiels avec plusieurs
partenaires, l'quipe d'valuation explicite leurs arbitrages entre les critres
d'valuation. Malgr d'importants dsaccords sur les poids donner aux

diffrents critres, les partenaires Interrogs ont class les actions du
programme d'une faon en partie concordante.
En prenant le risque d'accepter des conclusions divergentes, l'valuation a
donc permis de rvler une zone de consensus, partiel mais vritable, sur
certaines actions efficaces ou inefficaces. Cette issue est peut tre
prfrable celle d'une valuation qui recherche une conclusion
compltement consensuelle, mais qui risque d'apparatre comme factice.
Consolider les techniques d'valuation

A l'heure actuelle la panoplie des outils classiques de l'valuation reste mal
adapte l'valuation des programmes socio-conomiques. Les raisons
de ces difficults techniques tiennent aux spcificits de ces programmes :
imbrication des objectifs, multiplicit des interventions, dimension
macroconomique des principaux impacts attendus, attentes de plusieurs
co-dcideurs vis vis de l'valuation.
Cette collection rcapitule et prsente une srie de progrs techniques
applicables court et moyen terme et qui devraient permettre de mieux
adapter les mthodes d'valuation au contexte de la politique europenne
de cohsion. Les principaux progrs ralisables passent par une collecte
de donnes plus fiables, un meilleur niveau d'analyse des impacts et une
plus grande capacit des quipes d'valuation dboucher sur des
conclusions.
Grer les cas d'objectifs ambigus ou imbriqus

Les programmes socio-conomiques ont gnralement des objectifs
multiples. Au stade de l'valuation ex ante, mals quelquefois aussi aux
stades suivants, l'quipe d'valuation est amene constater des
ambiguts ou des Incohrences dans ces multiples objectifs. Faut-il pour
autant prendre ce prtexte pour dclarer le programme nvaluable et
arrter le travail ce stade sur une conclusion critique ? Cette solution de
simplicit est trop souvent adopte par les quipes d'valuation avec la
permission des commanditaires.
Pour ne pas s'arrter cette limite, il faut que l'quipe d'valuation devienne
capable de juger les russites et les checs l'aide de critres d'valuation
dpassant les objectifs, lorsque ceux-ci ne sont pas dfinis assez
clairement. Une bonne solution consiste poser aux gestionnaires et aux
oprateurs la question suivante : quels impacts (positifs / ngatifs)
pensez-vous que votre action va produire ? . En rponse cette question,
on obtient une liste des "impacts attendus qui permettent de reconstruire la
logique " du programme avec de meilleures chances qu'il soit valuable.
Cette dmarche a souvent t employe avec succs en dehors du domaine
des Fonds structurels. Des travaux pilotes, ralises dans le cadre du
programme MEANS, ont permis de la tester dans le cadre de l'valuation
d'un programme de dveloppement rgional. Cette exprience est

prsente dans le Volume 4 de la Collection. Elle emploie la technique de la
cartographie conceptuelle qui permet d'associer efficacement plusieurs
dizaines de gestionnaires et d'oprateurs au travail d'expllcitatlon de la
logique du programme.
L'exprience a port sur le programme de dveloppement conomique
cofinanc et co-dcid par la Commission europenne, le gouvernement
espagnol et la rgion de Valencia. L'valuation a dbut par une srie de
runions au cours desquelles les partenaires ont identifi les impacts
attendus et les ont rassembls en groupes (ex : diversification et efficience
des ressources nergtiques). Chaque groupe d'impacts a pu ainsi tre
dfini de faon suffisamment prcise pour construire des critres
d'efficacit et pour choisir des indicateurs d'impact (ex : nombre
d'entreprises consommant du gaz naturel).
Le caractre multlsectoriel et multl-objectifs des programmes pose un autre
problme d'valuation qui est celui de la synergie. Les mesures ou les actions
d'un programme sont gnralement values comme si elles taient

indpendantes les unes des autres, sans prendre en compte le fait que les
impacts peuvent se renforcer mutuellement (effet de synergie), ou se contrarier
(effet de synergie ngative ou d'antisynergie ). La synergie est rarement
value au niveau des rsultats et des impacts pour les destinataires. Tout au
plus value-t-on des facteurs de synergie comme la coordination
administrative, la combinaison ou la superposition d'interventions.
Une proposition technique a t faite dans le cadre du programme MEANS.
Elle comporte la construction d'une matrice des Impacts croiss, la
recherche des plus fortes synergies potentielles et la vrification de ces
hypothses de synergie par enqute auprs des destinataires. Cette
dmarche est prsente dans le Volume 4 de cette collection. Elle est
conue de manire pouvoir tre conduite sans accroissement significatif
du volume du travail consacr l'valuation.
M i e u x a n a l y s e r les i m p a c t s
Renforcer la fiabilit et la pertinence des donnes
De nombreuses quipes d'valuation se sont plaintes de l'Insuffisance des
donnes de suivi, tant en quantit qu'en qualit. Des progrs sont
incontestablement ralisables en termes de consolidation des systmes de
suivi, et notamment en termes de choix et de quantification des Indicateurs.

Dans un exercice ralis ex ante ou mi-parcours, l'quipe d'valuation
joue d'ailleurs un rle important en apprciant la qualit des indicateurs de
programme et en faisant, si ncessaire, des recommandations pour les
amliorer. Le Volume 2 de la Collection entre en dtail dans les problmes
de quantification et propose une mthode d'apprciation de la qualit des
indicateurs.
Des efforts considrables ont t faits l'chelle europenne dans le sens
d'une rgionalisation des statistiques, dans la perspective de faciliter la
quantification des indicateurs de contexte. Compte tenu de l'ampleur de la
tche et des Investissements ncessaires, il sera probablement justifi de
poursuivre ces efforts pendant les annes venir. Des perspectives
particulirement prometteuses s'ouvrent avec la gnralisation des
systmes d'information gographique.
Des progrs sont galement ralisables dans le sens d'une meilleure
comprhension des rles que peuvent jouer le suivi et l'valuation dans la
collecte des donnes. Les donnes de suivi sont collectes de faon
nominative, systmatique, exhaustive et permanente. Il est attendu que ces
donnes soient compltement fiables en ce qui concerne les ressources
mobilises et les ralisations du programme. Il est plus difficile de collecter
de telles Informations propos des rsultats, et surtout propos des
impacts. Pour viter trop de lourdeur, pour obtenir des Informations plus
fiables et pour ne pas donner une Impression de bureaucratie, on prfre
souvent collecter les donnes d'impact au moyen d'enqutes ponctuelles,
anonymes et limites de petits chantillons. Cette technique de collecte
de donnes est celle que privilgie l'valuation lorsqu'elle ralise une
analyse approfondie. Il y a donc un juste quilibre trouver entre
l'amlioration des systmes de suivi, d'une part, et le dveloppement des
valuations approfondies, d'autre part.
Amliorer l'analyse des impacts macroconomiques
L'analyse des mcanismes d'impact macroconomiques peut galement
tre amliore. Ce type d'analyse est une ncessit pour l'valuation de
grands programmes dont les principaux objectifs s'expriment l'chelle
d'une rgion ou d'un pays. C'est aussi une difficult majeure car, malgr
une dcennie d'efforts, les techniques d'valuation dans ce domaine n'ont
pas encore atteint un niveau de matrise suffisant. En particulier, les
recherches et les expriences devraient se poursuivre pour schmatiser et
modliser les effets d'offre (voir page 155) qui jouent un rle essentiel dans
la production des Impacts durables en termes de dveloppement. Ces
effets sont encore mal pris en compte donc difficilement valuables, mais
font l'objet de travaux prometteurs dont on doit esprer qu'ils
dboucheront moyen terme sur des techniques gnralisables.
Dvelopper les valuations thmatiques
L'valuation tend privilgier l'analyse des Impacts qui correspondent aux
objectifs des axes et des mesures du programme. Or l'valuation ne doit
pas ngliger les attentes des autorits politiques aux niveaux suprieurs. En
ce qui concerne l'chelon europen, il convient de prendre en compte un
certain nombre de priorits communes que sont par exemple
l'environnement, l'emploi, l'galit des chances. Il est galement attendu
l'chelon europen que les succs obtenus par certains programmes dans
tel ou tel domaine d'intervention (ex : infrastructures de transport,
formation professionnelle, R&D) fassent l'objet d'valuations approfondies
dans une perspective de reproductibillt.
Des amliorations sont possibles pour intgrer davantage ces priorits,
encore trop souvent ngliges dans les rapports d'valuation. L'valuation
thmatique peut tre conue soit au niveau d'un programme et tablit alors
une synthse de l'ensemble des impacts possibles des diffrentes mesures
du programme par rapport un thme donn. Il est galement
envisageable d'analyser les Impacts d'interventions semblables et conduire
une valuation thmatique au niveau d'une rgion d'un Etat, voire de
plusieurs Etats. Le Volume 5 de la Collection propose des solutions
techniques pour la ralisation de ce type d'valuation.
Dgager des conclusions plus oprationnelles

Comparer les performances
Aujourd'hui, les quipes d'valuation manquent de repres pour dire si un
objectif est raliste ou excessivement ambitieux (cas d'une valuation ex
ante) ou pour dire si un cot par emploi cr est raisonnable ou
excessivement lev (cas d'une valuation ex post). Il en rsulte des
rapports d'valuation qui ont du mal conclure, ou dont les conclusions se
concentrent sur des dtails de mise en uvre en ludant les questions de
rsultats et d'impacts.
Les progrs ralisables dans le domaine de la rgionalisation des

statistiques et de l'harmonisation des indicateurs donnent l'espoir de
rduire, terme, l'htrognit des donnes utilises pour l'valuation
des programmes. Cela ouvrira des perspectives intressantes, quoique
encore trs nouvelles, pour multiplier les comparaisons entre programmes
et pour construire des rfrences de jugement. L'intrt de telles
perspectives mrite certainement que les efforts d'harmonisation des
indicateurs soient poursuivis, notamment propos des rsultats et des
impacts obtenus.
A plus court terme, I est galement possible de progresser travers des
cooprations inter-rgionales impliquant deux ou plusieurs rgions
europennes partenaires. Ces cooprations permettent de comparer les
instruments d'intervention employs de part et d'autre, d'apprcier les
actions selon des critres communs, de comparer l'efficacit respective
des deux rgions, et de terminer l'valuation par des conclusions claires et
acceptables. Cet exercice, qui s'apparente la technique de l'talonnage
(benchmarking) a t expriment de faon Intressante par les rgions
Emille-Romagne et Pays-de-Lolre, dans le domaine du tourisme rural.
Les comparaisons pourraient galement tre plus frquentes au sein de
chaque programme. Elles permettraient chaque valuation de conclure
plus clairement sur le fait que certaines mesures sont des succs et que
d'autres ne le sont pas. Le Volume 4 de la Collection fait plusieurs
propositions dans ce sens.
La premire proposition consiste utiliser plus frquemment les techniques
de notation. Ces techniques sont largement employes au Royaume-Uni
pour la slection des projets financer par les Fonds structurels europens.
La notation ne constitue donc pas une vritable innovation. Elle a d'ailleurs
t employe avec succs dans le cadre de nombreuses valuations, y
compris pour des programmes co-flnancs par les Fonds structurels. La
notation permet de formaliser, de faon comparable, le jugement port sur
plusieurs mesures au sein d'un mme programme. A condition de reposer
sur des critres explicites et d'tre ralise de faon impartiale, la notation
aide l'quipe d'valuation produire de vritables conclusions.
La deuxime proposition consiste employer l'analyse multicritre pour
comparer entre elles les mesures ou les actions du programme valu.
Cette proposition a un caractre plus Innovant car l'analyse multicritre est
gnralement employe pour valuer des variantes d'un projet. L'emploi de
cette technique permet de raliser un progrs dans le cas de l'valuation

d'ensemble d'un programme multi-objectifs. La dmarche a t teste
dans le cadre du programme MEANS (Voir le Volume 4 de la Collection) et
son usage pourrait tre dvelopp.
Considrer l'utilisation de l'valuation comme une priorit
L'utilisation des valuations est certainement le point qui peut faire l'objet
des plus grandes amliorations. La probabilit d'utilisation tant lie son
appropriation par les utilisateurs, des progrs sensibles pourraient
certainement tre raliss en Impliquant mieux les gestionnaires dans le
processus d'valuation et en l'ouvrant l'extrieur vers de nouveaux
utilisateurs potentiels comme cela a t propos plus haut (voir page 203).
Au-del, on peut galement envisager d'intgrer l'valuation dans une
perspective plus globale de gestion des performances des programmes. La
recherche d'une meilleure performance est une proccupation lgitime,
aussi bien au niveau de l'Union europenne qu' celui d'un Etat membre ou
au sein d'un programme. Ce point est prsent et dvelopp dans le
Volume 2 de la Collection.
Des progrs importants peuvent probablement tre faits court terme du
point de vue de l'utilisation de l'valuation comme instrument permettant
de rendre des comptes aux institutions dmocratiques et aux citoyens. A
l'Image des rapports de cohsion publis rgulirement par la Commission
europenne, chaque programme est susceptible d'utiliser les travaux
d'valuation pour rappeler quels problmes ont t traits et pour montrer
la contribution du programme leur rsolution. Cette culture dmocratique
de l'valuation, actuellement limite l'Europe du Nord, mrite
certainement de s'tendre pour mieux rpondre aux attentes des citoyens
et des contribuables, de plus en plus exigeants l'gard des pouvoirs
publics.
Annexes
Annexe 1
Processus d'valuation ex ante, mi-parcours et ex post
Les tableaux qui figurent dans cette annexe permettent d'organiser le
processus d'une valuation de A en parcourant toutes les tapes
dcrites dans ce Volume. Trois situations d'valuation sont prsentes en
parallle : valuation ex ante, valuation mi parcours, valuation ex
post.
Les considrations prsentes dans cette annexe ont un caractre gnral
et doivent tre compltes en se rfrant aux notes et guides diffuss par
les autorits nationales et europennes, lorsque de tels documents
existent.
Dcider, concevoir et lancer l'valuation

ex ante
mi-parcours
ex post
Dfinir le champ
Page 67
Page 67
Page 67
Prciser les motifs de
Page 68
Page 68
Page 68
Dcider l'valuation
revaluation et l'utilisation
prvue
Ex : amliorer la pertinence
Ex : proposer
Ex : valider les
et la cohrence
des rallocations
meilleures pratiques
du programme
budgtaires
Page 69
Page 69
Page 68
Inclure des gestionnaires
Inclure des porte-parole
de mesures et des
des publics concerns
oprateurs (Page 203)
(Page 204)
Page 198
Page 198
Prvoir la participation
des principaux partenaires
dans un groupe de pilotage
Page 198
Formaliser la dcision
d'valuer dans un mandat
Particulirement utile
et/ou un programme
pluriannuel d'valuation
pour ne pas oublier

l'valuation ex post
Rdiger le cahier des charges

Faire exprimer les attentes
Page 72
Page 72
Page 72
des partenaires, slectionner

les questions valuatives et
les critres de jugement,
prciser les questions
approfondir
Rappeler le cadre
Principalement :
Principalement : cohrence,
Principalement :
raison d'tre, pertinence
efficacit et efficience
efficacit et efficience
des rsultats et impacts
et cohrence
des premiers rsultats
Eventuellement : efficacit
Eventuellement :
Eventuellement :
potentielle, notamment
pertinence compte tenu de
volution des besoins
macroconomique
rvolution du contexte
des groupes concerns
Page 80
Page 80
Page 80
rglementaire et dcrire
le programme
Proposition
Y compris
de programme
les modifications
dcides pendant
la mise en uvre
Lister les connaissances
Page 81
Page 81
Page 81
Y compris les donnes
de suivi et l'valuation
de suivi et l'valuation
disponibles
Vrifier l'valuabilit des
ex ante
mi-parcours
Pages 75 et 81
Pages 75 et 81
Pages 75 et 81
Pages 82 et 83
Pages 82 et 83
questions et dfinir les

grandes lignes de la mthode
Fixer les rgles du jeu, le
calendrier et le budget indicatif
Pages
82
et
83
Annexes
Dcider, concevoir et lancer l'valuation (suite)

ex ante
mi-parcours
ex post
Page 86
Page 86
Page 86
Page 87
Page 87
Page 87
Page 181
Page 181
Page 181
Lancer l'valuation
Fixer les comptences
requises pour l'quipe
d'valuation, indiquer et
la structure des offres faire,
faire valider le cahier des
charges par le groupe de
pilotage, lancer l'appel d'offre
Slectionner l'quipe
d'valuation
Etablir le plan de travail de
l'quipe d'valuation avec
le souci de la qualit finale
du rapport
Raliser l'valuation
ex ante
mi-parcours
ex post
Page 93
Page 93
Examiner la logique du programme

Analyser la stratgie et
Page 93
apprcier sa pertinence,
analyser les objectifs et
apprcier leur clart,
examiner la cohrence interne
et externe des objectifs
L'apprciation de la
Examiner si la stratgie
Reconstituer les objectifs
pertinence, de la clart
est reste pertinente au vu
qui ont t poursuivi
des objectifs et de
de l'volution du contexte,
de facto
leur cohrence sont
montrer comment les
particulirement
gestionnaires et oprateurs
ncessaires
comprennent les objectifs,

faire les propositions de
clarification si ncessaire
Examiner la cohrence entre
Page 96
Page 96
Page 96
les objectifs et les modalits

de mise en uvre ;
Cet examen est
allocations budgtaires,
particulirement
modes d'interventions,
ncessaire
critres de slection
des projets, rpartition
des responsabilits
Identifier les rsultats
Page 105
Page 105
Page 105
Raliser un diagramme
Raliser un diagramme
logique des impacts
logique des impacts
(Page 99)
(Page 99)
Page 105
Page 105
Page 105
celle du systme d'indicateurs,
Cet examen se limite
L'examen du systme
vrifier que
aux principes de suivi
d'indicateurs existant
dj connus. L'examen des
est particulirement
indicateurs proposs est
ncessaire
et impacts attendus
Examiner la qualit du
systme de suivi ainsi que
particulirement ncessaire
Annexes
Raliser l'valuation (suite)

ex ante
mi-parcours
ex post
<
Page 124
Page 124
Page 124
Principalement :
expertise, littrature,
du suivi
du suivi
Page 129
Page 129
Examiner les effets du programme

Slectionner et exploiter
les informations existantes
statistiques
Raliser des enqutes
Page 129
complmentaires
Pour approfondir la
Pour approfondir la
connaissance de certains
connaissance de certains
rsultats et de certains
rsultats et impacts
mcanismes d'impact
(Page 161)
(Page 161)
Raliser des estimations
Page 132
Page 132
Page 132
de rsultats et d'impact
Principalement par
Y compris grce
Y compris grce
extrapolation partir des
l'analyse plus approfondie
l'analyse plus approfondie
impacts d'interventions
de certains rsultats et
de certains rsultats
similaires (Page 135)
mcanismes d'impact
et impacts
(Pages 116 et 164)
(Pages 116 et 164)
Eventuellement :
Eventuellement :
macro-conomqiues
macro-conomqiues
(Page 145)
(Page 145)
Formuler et valider les conclusions

Interprter les rsultats des
Page 137
Page 137
Page 137
enqutes et analyses avec

Ex : jugement sur
Ex : jugement sur la
l'ambition des objectifs
contribution des diffrentes
impartial sur la valeur
et la probabilit
mesures la russite
du programme
de les atteindre
du programme
Pages 140 et 214
Pages 140 et 214
Pages 140 et 214
Pages 142 et 181
Pages 142 et 181
Pages 142 et 181
l'aide du groupe de pilotage,

prparer un jugement
Rdiger le rapport
d'valuation de faon claire
et soigne en formulant de
relles conclusions et en
rpondant clairement aux
questions valuatives
Apprcier la qualit
du rapport et le valider
Communiquer et utiliser les rsultats

ex ante
mi-parcours
ex post
<
<
Page 177
Page 177
Communiquer les conclusions et les recommandations

Discuter les propositions de
Page 177
recommandations formules
par l'quipe d'valuation,
et les amliorer
Ex : recalibrage
Ex : amlioration
Ex : mise en exergue
des objectifs, clarification
des modalits de mise
des meilleures pratiques,
des objectifs, amlioration
en uvre, amlioration
gnralisation
du systme d'indicateurs
du systme de suivi,
des leons apprises
rallocations budgtaires
Dcider d'un plan de
Page 175
Page 175
Page 175
Page 177
Page 177
Page 177
communication ds
la validation du rapport
Organiser un sminaire de
prsentation des conclusions
et recommandations
Ex : prsentation
Ex : prsentation
aux partenaires impliqus
aux autorits responsables
dans la conception
du programme
du futur programme
Diffuser une publication
Page 178
Page 178
Page 178
et/ou une brochure, faire

un communiqu de presse
Ex : brochure de
prsentation des
meilleures russites
Suivre la prise en compt e des conclusions

Demander que l'autorit
Page 52
Page 52
se prononce explicitement
Intgrer les conclusions
Intgrer les conclusions
sur les conclusions
dans les documents de
dans la gestion du
programmation, y compris
programme, y compris
les conclusions relatives
les conclusions relatives
gestionnaire du programme
l'ambition des objectifs
aux rallocations
budgtaires, au systme
d'indicateurs et la
slection des projets
Intgrer les rsultats dans
Pages 52 et 57
Pages 52 et 57
des synthses nationales

ou europeennes
Ex : rapport national sur
Ex : rapport de la
la mise en uvre des
Fonds structurels
sur la cohsion
conomique et sociale
Annexe 2
Guide pour la prparation d'un cahier des charges
Cette annexe a pour but de donner des indications mthodologiques pour
l'laboration d'un projet d'valuation. Elles sont Issues de l'exprience des
valuations menes dans les administrations et de notre collaboration avec
le Conseil Scientifique de l'Evaluation (CSE, 1996). Elles doivent tre
adaptes chaque situation considre.
Origine d e l'valuation
Le cahier des charges prcise dans quel cadre rglementaire l'valuation
prend place, qui a t l'Initiateur du projet, et qui prend la responsabilit du
mandat politique d'valuation.
Dlimitation et description du c h a m p d e l'valuation
Le cahier des
ventuellement
programme ou
sur l'ensemble
particulier ?
charges explicite le champ couvert par l'valuation, et

les limites de ce champ. S'agit-il d'valuer l'ensemble du
seulement certains aspects ? S'agit-il d'valuer les effets
du contexte socio-conomique ou sur un groupe social
La description du champ couvre au minimum les thmes suivants :

Quels sont les objectifs du programme ? De quelle faon ont-ils t
dfinis ? Quels sont les problmes sociaux qui ont motiv, qui justifient,
l'action publique ?
Quels sont les effets recherchs ou attendus ? Quelles sont les groupes
cibles ?
Quels sont les ressources mises en oeuvre ? Selon quelles procdures ?
Si les objectifs sont mal dfinis ou devenus obsoltes, l'valuation doit-elle
reconstruire des objectifs implicites partir des diffrentes logiques qui ont
t l'oeuvre. Dans ce cas, l'valuation sera d'autant plus fructueuse
qu'une synthse pralable des objectifs, mme limite et partielle, sera
prsente dans le cahier des charges.
Il convient ce stade de tenter une modlisation de l'action publique
value, autrement dit de dcrire la thorie d'action officielle. Quels
sont les enchanements de cause effets que les responsables de la

politique value avaient anticips, ft-ce implicitement, pour prconiser
les solutions retenues ? Exemple : telle incitation financire induit tel
comportement de la part des entreprises, etc.
Le changement social que souhaite promouvoir les pouvoirs publics devra
tre dcrit selon la grille en trois points : ressources mobilises, ralisations
oprationnelles, rsultats et impacts produits. On s'efforcera de
dcomposer ce dernier point sous l'angle des objectifs immdiats de
l'action d'une part et, d'autre part, des finalits c'est--dire de la justification
ultime, l'idal que l'on n'atteint jamais directement. Si ncessaire, le cahier
des charges prcise que l'quipe d'valuation devra reconstruire la logique
du programme tel qu'il a t mis en uvre sur le terrain.
L'usage futur des rsultats de l'valuation

Dfinir les finalits de l'valuation consiste clarifier ce que l'Initiateur
attend de cette valuation, pourquoi elle lui parat opportune ou ncessaire.
Un travail pralable de rflexion et d'interaction est indispensable car le
gestionnaire direct de l'Intervention value ne dispose pas toujours du
recul ncessaire pour orienter l'valuation dans la bonne direction. La
raison principale pour laquelle l'valuation est demande doit tre
explicite. Veut-on inflchir la stratgie du programme ? Si oui, pourquoi ?
Veut-on modifier les procdures de suivi ou de slection des projets ? Veuton rallouer des ressources ?
Dans le mme esprit, il est souhaitable que le cahier des charges anticipe
les dcisions qui sont susceptibles d'tre prises l'issue de l'valuation.
Cette anticipation n'a pas pour objet de dicter les conclusions de
l'valuation ni de restreindre la capacit de l'quipe d'valuation remettre
en cause les hypothses poses dans le cahier des charges, mais plutt de
lui permettre de mieux connatre les proccupations des commanditaires,
pour viter des malentendus quant leurs attentes. Les chances des
dcisions susceptibles d'tre prises l'issue de l'valuation seront
prcises lorsque ce sera possible.
Pour accrotre autant que faire se peut l'utilit future de l'valuation, il
importe de comprendre le contexte dans lequel s'insre le programme. Le
projet d'valuation doit tenir compte des facteurs tels que : degr
d'Innovation de l'action, les conflits dont il est le sige, la familiarit des
administrations avec la dmarche d'valuation ? Les intrts et stratgies
Annexes
des diffrentes partles prenantes doivent tre recenss avec acuit pour
comprendre les ressorts de l'action et les conditions runir pour que
l'valuation soit crdible et ses conclusions acceptes par les acteurs. Les
lments cls sont :
L'action value s'inscrit-elle dans la continuit ou en rupture vis vis
des politiques passes ?
Quels sont les domaines d'incertitude et ceux pour lesquels les parties
prenantes disposent de rfrences communes ?
Qui sont les dcideurs lgitimes ? Quels sont les oprateurs qui
mettent en oeuvre l'Intervention ?
Quels sont les publics qui pourraient tre bnficiaires ou lss par
l'intervention ?
Les futurs utilisateurs de l'valuation doivent galement tre Identifis
prcisment. On veillera prciser la nature des relations entre acteurs
(coopration, concurrence, etc.) en distinguant les trois niveaux :
responsables politiques, acteurs de la mise en oeuvre et publics concerns.
Questions valuatives et critres d e j u g e m e n t

Le cahier des charges pose de faon claire et concise un petit nombre de
questions auxquelles l'quipe d'valuation devra rpondre dans ses
conclusions.
Dans la mesure du possible, chaque question evaluative Intgre un critre
de jugement comme dans les questions suivantes :
Est-ce que l'action se justifie au regard des besoins ou problmes
sociaux rsoudre ? (pertinence) :
Y a-t-il des consquences inattendues, positives ou ngatives ? ;
Pourrait-on produire plus d'effets bnfiques en adoptant d'autres
dispositions de mise en oeuvre ? (efficacit) ;
Pourrait-on produire plus d'effets bnfiques avec les mmes ressources
ou pourrait-on obtenir les mmes rsultats en utilisant moins de
ressources ? (efficience) ;
Peut-on trouver une meilleure complmentarit (cohrence) ou peut-on
produire plus de synergie au sein du programme et par rapport des
interventions publiques connexes ?
Connaissances et donnes disponibles

Le cahier des charges mentionne quelles sont les sources d'Informations
existantes, si l'on connat dj des systmes d'explication des impacts ou
des rfrences de comparaison. Il prcise sous quelle forme se trouvent les
connaissances disponibles (donnes brutes, informations structures dans
une base de donnes Informatique, donnes dj analyses). Il prcise
galement qui a la responsabilit de runir l'information (information mise
la disposition de l'quipe d'valuation par tel ou tel acteur, Information
runir par l'quipe d'valuation elle mme).
Mthodes
Sans fixer les dtails de la mthode employer, le cahier des charges
fournit les informations indispensables pour que les quipes candidates
puissent faire des propositions mthodologiques raisonnables. Il prcise
par exemple :
Quel est le niveau souhait pour l'approfondissement
d'Impact ?
de l'analyse
Quelle est l'importance accorde la crdibilit des conclusions, la

possibilit de gnraliser les rsultats, l'appropriation de ces rsultats
par les acteurs ?
SI ncessaire, quels sites ont dj t choisis pour raliser des enqutes
ou tudes de cas et pour quelles raisons ?
Quels sont les Indicateurs les plus importants du point de vue du
commanditaire ?
Il convient galement de prsenter les principales
d'interprtation utilisables dans l'analyse de causalit :
hypothses
Pourquoi telle intervention semble-t-elle tre une russite ou un chec ?

Quels sont les facteurs d'environnement ou facteurs exognes (politiques
connexes, contextes locaux...) prendre en compte pour interprter les
effets observables ?
Dispositif d'valuation
Il s'agit d'expliciter les rles respectifs du commanditaire, du groupe de
pilotage et de l'quipe d'valuation. Le cahier des charges prcise
galement la composition du groupe de pilotage et ses modalits de
fonctionnement (composition, prsidence, animation, secrtariat).
Annexes
Le cas chant, le cahier des charges prcise s'il est attendu que l'quipe
d'valuation fasse des propositions pour largir le groupe de pilotage et
joue un rle d'animation des runions de ce groupe largi.
Calendrier
Le cahier des charges fixe les diffrentes modalits de restitution des
travaux de l'quipe d'valuation (note intermdiaire sur une question
particulire, sminaire, rapport final), ainsi que la date limite de remise de
ces documents.
R e s s o u r c e s alloues
Une enveloppe budgtaire prvisionnelle est tablie par le commanditaire.
Le cas chant, le montant de cette enveloppe est communiqu toutes
les quipes candidates qui seront principalement juges sur la qualit et la
pertinence de leurs propositions mthodologiques. Dans le cas contraire, le
cahier des charges comporte des propositions mthodologiques dtailles
et la slection accorde une plus grande Importance au prix.
Qualifications requises
Le cahier des charges prcise les connaissances et l'exprience qui doivent
tre runies dans l'quipe d'valuation. Le cas chant, il hirarchise les
qualifications par ordre d'importance.
Structure de la proposition
Pour faciliter la slection de l'quipe d'valuation, le cahier des charges
impose aux quipes candidates de prsenter leurs propositions selon une
structure type, par exemple :
Elments du champ et du contexte de l'valuation que le candidat
considre comme essentiels.
Rappel des questions poses et interprtation ventuelle de ces
questions.
Mthode d'valuation propose.
Calendrier de travail dtaill.
Composition nominative de l'quipe propose, modalits de rpartition

du travail et de coordination au sein de l'quipe, rfrences Individuelles
des membres de l'quipe.
Prix.
Rfrences techniques, juridiques et financires de
contractante.
l'organisation
Annexe 3
Rfrences bibliographiques
Boyle, R., Lemalre, D. (eds), Bullding Evaluation Capacity, New Brunswick
Publishers, ( paratre).
Commission europenne (1998), Les Fonds structurels en 1997. Neuvime
rapport annuel, Luxembourg: Office des publications officielles des
Communauts eurpennes, ainsi que les rapports prcdents.
Commission europenne (1996), Premier rapport sur la cohsion
conomique et sociale, Luxembourg: Office des Publications
officielles des Communauts europennes.
Commission europenne (1998), Evaluating EU Expenditure Programmes. A
guide for Ex post and Intermediate Evaluation, Luxembourg: Office
des Publications officielles des Communauts europennes.
Conseil Scientifique de l'Evaluation (1996), Petit guide de l'valuation des
politiques publiques, Paris :CSE.
Cook, T.D., Levitn, L.C. and Shadlsh, W.R. (1985) 'Progam Evaluation' in :
Lindzey G. and Aronson E. (Eds.), Handbook of Social Psychology,
Vol. I. (3rd ed.), New York : Random House.
European Commission (1995), Common Guide for Monitoring and Interim
Evaluation of CSFs, SPDs and operations, European Commission
Structural Funds.
GAO (1991), Designing Evaluations, Program Evaluation and Methodology
Division, Washington
Guba, E.G., Lincoln, YS. (1989), Fourth Generation Evaluation, Newbury
Park: Sage Publications.
Monnier, E, (1992), Evaluations de l'action des pouvoirs publics,
CPE-Economica.
Owen,
M.O., Rogers, P. (1998), Program Evaluation:

Approaches, London: Sage Publications.
Forms
Paris:
and
Rieper, O., Toulemonde, J. (Eds) (1997), Politics and Practices of

Intergovernmental
Evaluation,
New Brunswick: Transaction
Publishers.
Rist, R.C., Segsworth, R.V., et al. (1990), Program evaluation & the
management of government : patterns and prospects across eight
nations, New Brunswick : Transaction publishers.
Rossi, P., Freeman, H.E. (1993, 5th ed.), Evaluation : A systematic
Newbury Park, CA : Sage Publications.
Approach,
Vedung, E.(1997), Public Policy and Program Evaluation, New Brunswick:

Transaction Publishers.
Index
Index
additionnante 32
analyse approfondie 213
analyse cotavantages 57, 139
analyse cotefficacit 138
analyse de rgression 135, 167
analyse deductive 164, 167
analyse des donnes 189
analyse inductive 164
analyse multicritre 9, 139, 215
analyse structurellersiduelle 155
analyse SWOT 96, 139
apport instrumental 25
apprciation 56
apprentissage 25
apprentissage en double boucle 25
apprentissage en simple boucle 25
arbre dobjectifs 98, 99, 158
attractivit 153
avantage comptitif 150
avantage concurrentiel 150
base conomique 153

besoin 25, 72, 91, 94, 137
bienfond 93
bote noire 160
budget indicatif 83
cadre logique 158, 164

cahier des charges 70, 79, 81, 200
calendrier 82
capital humain 151
cartographie
conceptuelle
des
impacts 9, 212
champ 67, 199
codcislon 27
coefficient 123
coefficient d'extrapolation 135

cohrence 75
cohrence externe 100, 105
cohrence interne 97, 105
collecte de donnes 131
comit de suivi 69
comit d'valuation 21,206
conclusions de l'valuation 141, 173
contrle 63, 72
critre de jugement 73
critre de slection 104
cycle de programmation 32, 91
dmocratique 20, 21, 26, 47

destinataire 129, 131, 206
dveloppement endogne 154
dveloppement exogne 153
diagramme logique des impacts 99,
159,160
diffusion de l'valuation 173
dispositif d'valuation 69, 208
donne primaire 125, 129, 132, 188
donne secondaire 125, 132, 188
durabillt 75
chelle de notation 9
effet attendu 211
effet brut 118
effet d'aubaine 118, 120, 136
effet de demande 156
effet de dplacement 118
effet de rseau 154
effet de stigmatisation 165
effet de substitution 119
effet d'offre 156, 214
effet fournisssur 145
effet inattendu 164
effet multiplicateur 145
effet structurant 147, 156

efficacit 73, 137
efficience 73, 137
employabilit 152
endoformative 26, 179
entretien de groupe 131, 163
entretien individuel 163
environnement productif 151
quit 75
talonnage 138, 215
tape 31
tude de cas 134
tude d'valuabilit 75, 87, 201
tude prparatoire 200
evaluanda 67
valuateur 20
valuation mi-parcours 32, 37, 38,
52, 55, 73, 74, 85, 92, 97, 100,
102,104,105,108,110,113,133,
136, 157
valuation dmocratique 21
valuation d'ensemble 124, 131
valuation ex ante 32, 36, 37, 38, 52,
68, 71, 73, 92, 93, 94, 97, 102,

104, 105, 108, 109, 113, 135, 180
valuation ex post 32, 53, 55, 71, 74,
92, 97, 102, 110, 133, 136, 157,
214
valuation externe 203
valuation manageriale 20
valuation pluraliste 21
valuation rcapitulative 53, 179
valuation transversale 140
valuation thmatique 9, 59, 62, 157
externante 108, 154
extrapolation 127, 135
facteur concurrent 127, 164

facteur exogne 164, 167
finalit 80
gestionnaire du programme 129

grand projet 57, 61, 104
groupe de comparaison 117, 120,
135, 166
groupe de contrle 117
groupe de pilotage 69, 70, 71, 205
groupes apparis 166
H
hirarchie des objectifs 97
I
impact 25, 62, 72, 91, 106, 135, 186
impact attendu 107
impact Intermdiaire 160
impact spcifique 107
indpendance 20, 44, 85, 203
indicateur 8, 40, 64, 138, 213
indicateur de contexte 109, 126, 215
indicateur de programme 109
instance d'valuation 204
instrument de mesure 137
logique du programme 91, 158

logique reconstruite 211
M
macroconomique 57, 132, 145
maeutique 209
mainstreaming 9, 59
mandat 198
matrice des impacts croiss 9, 101,
137, 212
mdiateur 139, 208
Index
mesure 61
mta-valuation 182
METAPLAN 139,209
mthode d'valuation 81, 187
mthodologue 201
microconomique 57, 132, 145
mise en uvre 101
motifs 68
N
norme 137
notation 138, 215
objectif 91
objectivit 20
oprateur 129, 207
outil 84
partenariat 32, 42
partie prenante 205, 208
pertinence 73, 94, 137
plan de communication 176
politique 31
porteur de projet 129
principe de concentration 103
priorit communautaire 53, 59
priorits 185
programme 31, 186, 189
programme de dveloppement socioconomique 6
programme plurlannuel d'valuation
54, 55, 197
projet 31
promoteur de projet 129
prospectif 31
protagonistes 205
public 61
public concern 22
qualit de l'valuation 181, 184

question evaluative 72, 75, 76, 200
raison d'tre 24, 93

rapport d'valuation 140, 142
rapporteur 7
ralisation 91, 106
recommandation 68, 141
rendre compte 17, 26, 53
reproductibilit 75
responsable 26
ressource 91, 102, 105
ressources humaines 151
rsultat 25, 26, 63, 72, 91, 106
rtroaction 197
rtroaction directe 25
rtroaction indirecte 25
rtrospectif 31
situation contrefactuelle 116, 146,

166
sociogramme 206
sources statistiques 126
stade 31
stratgie 91, 94
subsidlarit 25
suivi 38, 63, 72, 188
synergie 56, 61, 75, 136, 212
systme de suivi 109
systme d'information gographique
133,213
termes de rfrence 79
thorie d'action 159
thorie explicative 167, 177
transparence 26, 35, 37, 53
transversal 62
u
utilisateur 173
utilisation cognitive 177
utilisation conceptuelle 177

utilisation normative 179
utilit 73
V
valeur ajoute communautaire 26
validit de construction 121
validit externe 61, 122, 123, 128
validit interne 121
viabilit 75
Remerciements
La prparation de ce Volume s'est tale sur plusieurs annes, de 1993 1998. Les
travaux prparatoires ont comport les tapes suivantes :
Plusieurs ateliers ont runi des experts, en majorit europens, sur les thmes
suivants valuation des effets structurants , organisation des valuations
intermdiaires et < apprciation de la qualit des valuations .
Ces trois ateliers ont donn lieu la publication de cahiers dont le contenu est en
partie repris dans ce Volume.
Prs de trois cents fonctionnaires de la Commission europenne ont particip
des sminaires de formation. Le contenu de ces formations a progressivement
volu en fonction des attentes des participants. Ce Volume est construit sur la
base du contenu de cette formation.
Deux rapports ont t produits en forme d'aide mmoire pour la ralisation d'une
valuation ex ante et d'une valuation ex post. L'annexe 1 de ce Volume en
reprend l'essentiel.
La coordination des travaux de ce volume a t assure par Philippe Goybet et
Anastassios Bougas (D.G. XVI.G.2 : Coordination de l'valuation) et a impliqu
plusieurs Directions Gnrales de la Commission Europenne, notamment les D.G.
Il, V, VI, XIV et XVI et en particulier Miguel Benito Alonso, Andrea Mairate, David
Sweet et RenLaurent Ballaguy (ENA).
Ce Volume a t rdig par le Centre Europen d'Expertise en Evaluation,
notamment avec la participation de Pascale Ambrais et Cline Fontaine.
Les auteurs souhaitent remercier toutes celles et tous ceux qui ont contribu, soit
directement, soit indirectement, la production de ce Volume et en particulier les
experts dont les noms suivent : H. Aalbu (Nordlands Forskning), J. Bachtier (EPRC,
Glasgow), A. Blalock (Admiralty Inlet Consulting, Seattle), R. Boyle (Institute of Public
Administration, Dublin), J. Bradley (ESRI, Dublin), R. Brancatti (Ministerio del Bilancio,
Rome), E. Caldern (Universidad Politechnica, Madrid), E. Chelimsky (American
Evaluation Society), Hagens J. (TERR Amersfoot), P. Nijkamp (Vrije Universiteit,
Amsterdam), . Perret (Conseil Scientifique de l'Evaluation, Paris), O. Rieper (AKR
Copenhague), L. Senn (Universit Bocconi, Milan), E. Stern (Tavistock Institute,
Londres), L.I. Strm (SIR, stersund).
valuer es programmes socioconomiques

Luxembourg: Office des publications officielles des Communauts europennes

1999 239 p. 14,8 21 cm
ISBN 9282866270
Venta Salg Verkauf Sales Vente * Vendita Verkoop Venda Myynti Frsljning
HELGIQUE'BLJGIE
STERREICH
HRVATSKA
Jean De Lannoy
Avenue du Roi 202/Koningslaan 202
B1190 BruxollesvBrussal
Tl. (322) 538 43 08
Fax (322) 538 08 41
Email: Jean.da.lannoy in!oboard bo
URL: http : //www. jeande lan n oy.be
Manx sehe Verlags u n d

Universitatsbuchhandlung GmbH
Kohlmarkt 16
A1014 Wien
Tel (431)53 1611 00
Fax (431) 53 16 1 1 67
EMail: bestelleniimanz.co.al
URL: http://www.manz.at/index.hlm
Med istrado Ltd

Pavia HaLza I
HR10000 Zagreb
TGI (3851)481 94 11
Fax (3851)431 94 i l
La librairie europenne/
De Europese B o e k h a n d e l
Rua de la Loi 2 44 /We 1st raat 241
B1040 BnjxellesBrussel
TUI. (322)295 26 39
Fax (322) 735 08 60
Email: maila libeurop.be
URL: tiIlp://wwrw.libeurop be
Moniteur beige/Belgisch Staatsblad
Rue do Louvain 404 2/Lo uven so weg 4042
B10O0 Briixeles/Brussel
Tel [322)552 22 11
Fax [322) 511 0 1 8 4
DAN MARK
__
J. H. Schulte Information A/S

Hersledvang 1012
DK2620 Albertslund
Tlf. (45) 43 63 23 00
Fax (45)43 63 19 69
Email: schulte schulLz.dk
URL: htlp://www.schultz.dk
DEUTSCHLAND
Bundesanzeiger Verlag GmbH
Vertriebsabteilung
Amsterdamer Slralio 192
D50735 Kln
Tel (49221) 97 66 80
Fax (49221) 9 7 S 6 B 2 78
EMail: veririebbundasanzeiger.de
URL: h ttpJAvww. b ndesanzeiger.de
EAAAAA;GREECE
G. C. Eleftheroudakls SA
International Bookstore
Pan e pi s ti miou 17
GH10564 Ainina
Tel. (301) 331 41 80/1.'2/3'5
Fax (301) 323 98 21
Email: elebooks@ netor.gr
ESPANA
Boletn Oficial del Estado
Trafalgar, 27
E28071 Madrid
Tel. (34) 915 38 21 11 (Libros),
9 1 3 8 4 17 15(Suscrip.)
Fax (34) 315 38 21 21 (Libros),
913 64 17 14{Suscnp.)
Email: clientescom.boe.es
URL: http://www.boo.es
Mundi Prensa Libros, SA
Caslell. 37
E28001 Madrid
Tel. ( 3 4 ) 9 1 4 3 6 37 00
Fax ( 3 4 ) 9 1 5 7 5 39 98
Email: libreriamundiprensa.es
URL. httpy/www.mundiprensa.com
FRANCE
Journal officiel
Service des publications des CE
26. rue Dosaix
F75727 Pans Cedex 15
Tl. (33) 140 58 77 31
Fax (33) 140 58 77 00
URL: http:/i\vwW)Ournalo1ficiel.youv.1i
IRELAND
Government Supplies Agency
Publications Section
45 Harcourl Road
Dublin 2
Tel. (3531)661 31 11
Fax (3531) 475 27 60
ITALIA
Licosa SpA
Via Duca di Calabria. 1/1
Casella postale 552
150125 Fironze
Tel. (39)055 64 83 1
Fax (39)055 64 12 57
Email: licosal!bcc.il
URL: http://www.ftbcc.it/licosa
PORTUGAL
Distribuidora de Livros Bertrand L d . '
Grupo Bertrand, SA
Rua das Torras dos Vales. 4A
Apaado 60037
P270O Amadora
Tel (3511)495 90 50
Fax (3511)496 02 55
Imprensa NaclonalCasa da Moeda, EP
Rua Marqus S da Bandeira. 16A
P1O50 Lisboa Codex
Tel. (3511)353 03 99
Fax (3511)353 02 94
Email: del.incm@ mail.le4epac pi
URL: httpv/ivww.incm.pt
SUOMI/FINLAND
Keskuskatu 1 /Centralgatan
PL/PB 128
FIN00101 HelsinkuHelsinglors
P./tln (3589) 121 44 18
F,'fax (3589) 121 44 35
Shkposti: akatilaustakaleeminin com
URL: hitp:/'/www aka1eeminen.com
SVEHIGE
BTJ A B
Traktorvager 11
S221 82 L i n d
Ttn (4646) 18 00 00
Fax (4646) 30 79 47
Epost: btioupubabtj.se
URL: http://www.bti se
UNITED KING DOM
The Stationery Office L t d
International Sales Agency
51 Nino Elms Lane
London SW8 5DR
Tel. (44171)873 90 90
Fax (44171)873 84 63
Email: ipa.enquiriestheso.co.uk
URL: http://www.tfiestationeryo1ficeco.uk
ISLAND
Bokabud Larusar Blonda)
Sklavrduslig, 2
IS101 Reykiavik
Tel. (354)551 56 50
Fax (354)552 55 60
NORGE
Swets Norge AS
Ostenjoveien I
Boks 6512 Erterstad
N0606 Oslo
Tel. (4722)97 45 00
Fax (4722) 97 45 45
SCHWEIZ/SUIS SE; SVIZZERA
Euro Info Center Schweiz
c/o OSEC
Stamplenbactistrae 5
PF 492
CH8035 Znch
Tel. (411)365 5315
Fax (411)365 54 11
Email: eicsosec.cti
URL: http//www.osee CtVeics
BLGARUA
Europress Euromedia Lid
59. bivd Vitosha
BG1000 Solia
Tel. (3592)980 37 66
Fax (3592) 9B0 42 30
Email: Milenambox.Cit bg
CESK REPUBLIKA
I.UCYAfJORSZAG
Euro Info Service
Europa Haz
Margitsziget
PO Box 475
H13S6 Budapest 62
Tel (361)350 80 25
Fax (361)350 90 32
Email: euroinfoma.mata/ hu
L"RL hllp://v..vw euro.nio Liu/index Mm
Miller Distributors Ltd

Malta International Airpon
PO Box 25
Luqa LQA 05
Tel. (356) 66 44 8B
Fax (356) 67 G7 99
Email: gwirthSusa net
POLSKA
Ars Polona
Krakowskie Przedmiescie 7
Skr. pocztowa 1001
PLOO950 Warszawa
Tel (45221 826 12 01
Fax (4822) 826 62 40
Email: ars. polbevy lisn ccm.pl
ROMANIA
Euromedia
Sir Gral Berthelot N r 4 1
RO70749 Bucuresti
Tel (401)315 44 03
Fax (401)31422 86
Tel (972-3)649 9169

Fax (9723)648 60 39
Email: royiienetvision riet.il
URL hnp/.'wwwroyint.coil
Subagont tor tho Palosiin.a n A
Index Information Services
PO Box 19502
Jerusalem
Tel (9722)627 16 31
Fax 19722)627 12 19
JAPAN
PSIJspan
Asani Sanbancno Plaza 06
71 Sananrno. Chiyodaku
Tokyo 102
Tel [813132 34 6 9 2 1
Fax (813)32 34 69 15
Ema.l: Ljoohsftpsijapan co ip
URL: ntip:fv7wrn.psjapan corn
MALAYSIA
EBIC Malaysia
Lev! 7. Wisrns Hong Loong
18 Jalan Perak
50450 Kuala Lumpur
Tet <e03) 262 62 9
Fax (6031262 61 98
Email: ebickl9mol.nei.my
ROSSI YA
CCEC
60leliya Oktyabrya Av 9
117312 Moscow
Tel (7095)135 52 27
Fax (7095) 1 35 52 2?
SLOVAKIA
Centrum VTI SR
Nam Slobody, 19
SK81223 Bratislava
Tel (421715441 83 64
Fax (4217)5441 83 64
Email e u r o p t t b b i sl1k.sluba.sk
URL: http:i7www.sltk.stuba.sk
SLOVENA
Gospodarski Vestnik
C'unajskacesia
SLO1000 Ljubljana
Tel (386)61309 1640
Fax (386)613 09 16 45
Email: europ*Sgvestnik.si
URL: http:.'/www.gves1mk.si
TURKIYE
__________
Di.".y .i Infolel AS
100. Yii Mahailessi 34440
TR80050 Bagcilar Istanbul
Tel. (90-212)629 46 89
Fax (90212) 629 46 27

Email: nfoteldunyagazete com li
Hund Prensa Mexico, SA de CV

Rio Panuco No 141
Colonia Cuauhtemoc
MX06500 Mexico. DF
Tel. (5251 533 56 58 .
Fax (525) 514 67 99
Email: 101545.236*. < CompuServe, com
PHILIPPINES
EBIC Philippines
191h Floor. PS Bank Tower
Sen. GH J. Puyat Ave cor. Tmdato Si.
Makali City
Metro Manilla
Tol <63-2) 759 66 80
Fax (63-2) 759 66 90
Email eccpcormg globe cem pri
URL: http:.'.wwv cccp.com
EBIC Sri Lanka

Tra..s Asia Hoe!
115 Sir chittampalam
A Gardiner Malattia
Colombe 2
Tel (941)074 71 50 7B
Fax (941 [ 4 4 87 79
Email ebicslitmin com
AU5TRALIA
Hunter Publications
PO Box 404
3067 Abbotsford, Victoria
Tel. (613)94 1 7 5 3 6 1
Fax (613) 94 19 71 54
Email: pdaviesozomail com.au
CANADA
Les ditions La Libert Inc.
3020, chemin SamteFoy
G1X 3V SamieFoy, Qubec
Tal. (1418)658 37 63
Fax (1 800) 567 54 49
Email: liberte mediom.qc.ca
Benouf Publishing Co. Ltd
5369 Cnemin Car.otek Road Unit 1
K U 9J3 Ottawa. Ontano
Tel (1613)745 26 65
Fax (1613)745 76 60
Email: oruer.dept renoutbooks corn
URL: http : Itvwtto renoutbooks com
Messageries d u livre SARL

5, rue Raifl etsen
L2411 Luxembourg
Tl. (352)40 10 20
Fax (352) 49 06 61
Ernail: mail mdI. lu
U R L l.,tp;//www.mdl.lu
CYPRUS
The Middle Eest Observer

41 Sheril Sireet
Cairo
Tel (202)392 69 19
Fax (202) 393 97 32
Email. matouaaOmeobservar.com.eg
URL: http://www.mecbserver.com.eg
NEDERLAND
EESTI
INDIA
SDU Servicecentrum Uitgevers

Criristoffel Planlijnstraat 2
Postbus 20014
2500 EA Den Haag
Tel, (3170)378 93 80
Fax (3170) 378 97 83
Email: sdusdu.nl
URL: http7/www.sdu.nl
Eesti KaubanduBTostuskoda (Estonlai

Chamber of C o m m e r c e and Industry)
ToomKooi 117
EEO001 Tallinn
Tol. (372)646 02 44
Fax (372)646 02 45
Email: einrokoda ee
URL: http://www.koda.ee
EBIC India
3rd Floor, . Chavan Centre
Gen. J. Bhosale Uarg.
400 021 Mumbai
Tel (9122)202 60 64
Fax (9122) 285 45 64
Email: ebicgiasbm0t.vsnl.net.in
URL: http:/rwww.ebicindia.com
EGYPT
Cyprus Chamber of Commerce and Industry
PO Box 1455
CY1509 Nicosia
Tel (3572) 66 95 00
Fax (3572) 66 10 44
Email: demetrapccci.org.cy
41. Mishmar Hayarden Strom

PO Box 13056
61130 Tel Aviv
MALTA
SIS
NtSpiodejna
Havelkova 22
CZ130 0 0 P r a h a 3
Tel. (4202)24 23 14 86
Fax (4202) 24 23 I I 14
Email: nkpospdec niscz
URL; htip://usiscrcz
LUXEMBOURG
ROV International
EBIC Thailand
_9 Vanissa Building. Bth Floor
S a Clvdlom
Ploenchit
10330 Bangkok
Tel (65-2)656 06 27
Fax (66-2) 655 06 28
mai;: s.'b:=c**.iksc15.thcom
URL: http^www obcbktt.org
UNITED STATE5 OF AMERICA
Beman Associates
161 I F Assembly Dnve
Lanham MD20706
Tel (1800)274 44 47 (toll Iree telephone)
Fax (1 800) 865 34 50 (loll Iree lax)
Email qu G ry t l bernan.com
URL: rirtpj'i'viw/.barnan ecun
Bitte wenden Sie sich an oln Bro Ihrer

Wahl/ Please c o n i a c i the sales office
of your chotee/ Veuillez * o u s adresser
au bureau de vente d votre choix
2. rua M J' ..
L2985 Luxembourg
Tel (352)29 29^2455
Fax 1352) 29 2942758
E m a i l into.intoWopoce.cec.be
URL: hnp_Veuropeu.int
La collection MEANS :
"valuer les programmes socio-conomiques"
Cette collection en six volumes met la disposition d'un public largi les
enseignements du programme MEANS, lanc par la Commission europenne
en vue d'amliorer et de promouvoir les mthodes d'valuation. Cette publi
cation rpond au besoin de plus en plus manifeste de disposer de rfrences
solides pour traiter de faon efficace les problmes d'valuation rencontrs
dans la mise en uvre de l'action publique en gnral et en particulier dans le
domaine des Fonds Structurels.
De ce point de vue, cet ouvrage constitue un guide mthodologique original
qui fournit des solutions des problmes techniques et organisationnels
rencontrs par l'valuation auxquels la littrature existante apporte peu de
solutions.
La collection s'adresse non seulement aux valuateurs professionnels pour
qui elle constituera un vade-mecum prcieux, mais aussi aux non-spcialistes
et en particulier aux autorits de gestion et aux membres des comits de suivi
des programmes structurels.
Chaque volume est conu de manire tre lu Indpendamment des autres,
mais tous sont complmentaires et traitent conjointement la totalit des
aspects de l'valuation des programmes socio-conomiques :
I. Conception et conduite d'une valuation
II. Choix et utilisation des indicateurs pour le suivi et l'valuation
III. Principales techniques et outils d'valuation
IV. Solutions techniques pour valuer dans un cadre de partenariat
V. Evaluation transversale des impacts sur l'environnement, l'emploi et les
autres priorits d'intervention
VI. Glossaire de 300 concepts et termes techniques
op
OFFICE DES PUBLICATIONS OFFICIELLES

DES COMMUNAUTS EUROPENNES
L-2985 Luxembourg
Evaluer les programmes socio-conomiques
Choix et utilisation des indicateurs

pour le suivi et l'valuation
Collection
MEANS
Volume 2
Choix et utilisation des indicateurs

pour le suivi et l'valuation
Volume 2

Coordination-evaluation@fmb.dg16.cec.be

Luxembourg:
ISBN 92-828-6627-0
tion de la source.
Printed in Italy
Prface
SEM2000
(Sound
and
Efficient
d'valuation ds 1988, tout au long du cycle des interventions structurelles
tme de suivi et, enfin, l'issue de celles-ci afin de tirer les enseignements
C'est pourquoi, il y a quatre ans, l'initiative de la Direction Gnrale de la
des innovations mthodologiques dans le contexte des Fonds Structurels.

cette dmarche.
l'engouement que suscitent ces nouvelles techniques, il m'appartient d'in
mieux des intrts des citoyens de l'Union. Les enjeux de la Cohsion
mthodologique du programme MEANS. Il s'agit de : E. Chelimsky (USA),
ex-Prsidente de 'American Evaluation Association ; K. Kennedy (IRL),
of the Ministery of Finance ; L. I. Strom (SV), Statens Institut fr
E. Landaburu
La Collection MEANS :
La dmarche d'valuation des interventions structurelles
de l'Union europenne est entre dans une phase de
maturit ainsi qu'en atteste l'extension prise par les
travaux raliss tant par les Etats membres que par la
Commission. Les obligations rglementaires issues des
dcisions du Conseil ont largement contribu rpandre
la pratique de l'valuation et ont galement stimul le
dveloppement mthodologique.
Pendant ces dix dernires annes, la Commission s'est
employe promouvoir et amliorer les mthodes
d'valuation des interventions des Fonds structurels. Les
principaux enseignements mthodologiques ont t
dbattus et diffuss dans le cadre du programme
MEANS initi par la Commission ds 1991. Les acquis
sont maintenant suffisamment substantiels pour nourrir
une publication complte et accessible pour un public
plus large : une Collection de six ouvrages traitant tous
les aspects de l'valuation des programmes socioconomiques. Ces ouvrages sont rdigs dans une
perspective plus large que celle du strict cadre
administratif actuel. En effet, celui-ci est amen voluer
priodiquement alors que les standards professionnels
ont une plus grande stabilit.
De manire gnrale, la Collection s'adresse des
lecteurs non-spcialistes dsireux de disposer des
informations
indispensables
l'valuation
des
programmes de dveloppement socio-conomiques.
Ces programmes ont une multiplicit d'objectifs, une
dimension de partenariat et un contenu multisectoriel,
plusieurs caractristiques qui appellent des mthodes
d'valuations adaptes et des solutions que n'offre pas
encore la littrature technique internationale. La
Indicateurs pour le suivi et l'valuation
Collection complte comprend 6 Volumes conus pour

tre complmentaires et fournir les lments
indispensables au professionnel qui souhaite dvelopper
de faon autonome ses pratiques d'valuation. Chaque
Volume a t construit de telle manire qu'il puisse tre
lu et compris indpendamment des autres.
Le premier Volume de la Collection MEANS s'intitule
Conception et conduite d'une valuation . Il a une
fonction de porte d'entre dans la Collection, ainsi que
dans le domaine de l'valuation des programmes socio
conomiques. Il permet au lecteur de comprendre les
enjeux de l'valuation et de savoir ce qu'il peut ou ne
peut pas attendre d'une valuation un moment et dans
un contexte donns. Il apporte les lments ncessaires
pour piloter une valuation de A : rpartir les
responsabilits de l'valuation, dfinir sa finalit et les
grandes lignes de sa mthode, fixer son calendrier et son
budget, apprcier la qualit des travaux et enfin grer
l'utilisation de ses conclusions.
Le second Volume porte sur te choix et l'utilisation des
indicateurs pour le suivi et l'valuation . Il traite des
indicateurs utiliss pour le suivi et l'valuation. Il montre
programmes.
L'ouvrage
propose
un
cadre
mthodologique et un guide pratique d'utilisation des
indicateurs dans ces diffrentes situations.
Le troisime Volume prsente une slection des
Principales
techniques
et outils d'valuation
applicables l'valuation des programmes socio
conomiques. Ces outils sont Issus des disciplines
scientifiques pertinentes : conomie, sociologie,
management, gographie, etc. Chacun des 23 outils
prsents est dcrit sous forme d'une fiche comprenant
sa description gnrale, les principes de sa mise en
uvre, une liste de ses points forts et faibles pour
La collection MEANS
l'valuation des Fonds structurels, un exemple

d'application et une bibliographie des ouvrages de
rfrence.
Plusieurs mthodes adaptes l'valuation des
programmes socio-conomiques font l'objet d'une
description plus complte dans le quatrime Volume
intitul Solutions techniques pour valuer dans un
cadre de partenariat . Plusieurs valuations pilotes du
programme MEANS ont permis de concevoir et de tester
des techniques nouvelles dont le mode d'emploi est
dcrit en dtail : cartographie conceptuelle d'impact,
matrice d'impacts croiss, chelles de notation et
analyse multicritre.
des impacts sur l'environnement, l'emploi et les autres
priorits d'intervention de l'Union Europenne et des
Etats membres. Il aborde entre autres la question des
impacts en termes d'galit des chances hommesfemmes ou de comptitivit des PME. Le Volume offre
les lments ncessaires l'analyse de ces impacts qui
ne figurent pas ncessairement parmi les objectifs
explicites de toutes les actions values.
Enfin, le dernier Volume est constitu d'un glossaire
des concepts et termes techniques . La mise au point
de la Collection a en effet Impos un travail rigoureux
d'homognisation et de dfinition des termes
employs. Chacun des cinq premiers volumes est suivi
d'un index dont les termes sont repris parmi les
centaines de dfinitions rassembles dans le glossaire.
Table des matires
Introduction
Terminologie
15
La notion d'indicateur et ses dclinaisons
17
Le systme d'indicateurs d'un programme
23
Applications diffrents types d'interventions structurelles
41
II Champs d'application
Quelques repres pour la lecture des fiches
49
51
Indicateurs pour sept domaines

Infrastructures de transport
Infrastructures d'nergie
Formation
Tourisme
Pche
Recherche et Dveloppement Technologique
Agriculture et dveloppement rural
53
53
65
73
81
89
99
111
Indicateurs pour cinq priorits

Egalit des chances
Environnement
Socit de l'information
Comptitivit des PME et des entreprises en gnral
Dveloppement urbain
121
121
125
135
147
159
Indicateurs pour trois objectifs majeurs

Dveloppement conomique
Emploi
Qualit de la vie
169
169
179
187
III Modes de production et d'utilisation des indicateurs
195
Conclusion
227
Annexes
229
Annexe 1 : Bibliographie gnrale
231
Annexe 2 : Leons de l'exprience internationale
235
Annexe 3 : Indicateurs des programmes de la priode 1994-99 :

un tat de l'art
245
Annexe 4 : Grille d'apprciation de la qualit d'un systme

d'indicateurs
249
Annexe 5 : Liste des exemples
253
Index
257
Introduction
Introduction
L'exprience internationale
L'exprience internationale en matire d'indicateurs est vaste et ancienne.
Elle prend son origine dans le succs des grands indicateurs
macroconomiques qui jouent prsent un rle majeur dans les dcisions
politiques aussi bien que dans les mdias. Il suffit de rappeler le rle qu'a
rcemment jou la mesure des dficits publics des pays candidats l'euro
pour se rendre compte de l'Importance que peut revtir un Indicateur. Ds
les annes 70, le succs des indicateurs conomiques a suscit de
nombreux efforts de dveloppement d'indicateurs sociaux. A l'heure
actuelle, I n'est pas un domaine politique qui ne fasse l'objet de travaux
internationaux visant crer et quantifier des indicateurs. Cette
dynamique touche notamment des domaines comme l'ducation^ la
science, la technologie, l'environnement, la sant, la qualit de vie ou la
socit de l'information.
Les indicateurs ont longtemps t associs aux travaux statistiques, leur
vocation tant alors de dcrire le contexte d'une politique par rfrence au
contexte d'autres rgions ou d'autres pays. Dans cette perspective,
l'OCDE ou EUROSTAT produisent d'Intressantes sries d'annuaires
touchant de multiples domaines.
Depuis quelques annes, l'effort de construction des indicateurs s'est
galement orient vers la mesure et la gestion de la performance des
actions publiques. Le Royaume-Uni est le pays europen qui s'est le plus
avanc dans cette direction, allant jusqu' tablir des liens directs entre les
performances mesures et l'attribution des ressources publiques. La
France, elle aussi, a fait des efforts importants ces dernires annes.
Outre le clbre exemple des critres de convergence macroconomiques,
l'Union europenne utilise des indicateurs dans un grand nombre de
domaines, la plupart de ces donnes quantifies tant accessibles au
public par l'intermdiaire d'Eurostat. C'est notamment dans le domaine de
la science et de la technologie que les efforts sont les plus importants. Ils
mobilisent une quipe de plusieurs personnes Bruxelles ainsi qu'un
rseau d'organisations dans les Etats membres. Le recueil des indicateurs
de la science et de la technologie est publi tous les deux ans sous forme
d'un rapport (Rapport europen sur les indicateurs scientifiques et
technologiques, Luxembourg : Office des publications officielles des
Communauts europennes).
Indicateurs et pratiques communautaires

Dans le domaine des Fonds structurels, les indicateurs sont employs dans
deux types de situations :
Un certain nombre d'indicateurs globaux sont utiliss l'chelle
europenne et ont gnralement reu des dfinitions rigoureuses et
harmonises (ex : PIB par tte, emploi, taux d'activit, taux de chmage).
Ces indicateurs de type statistique ont fait l'objet d'importants efforts de
rgionalisation depuis de nombreuses annes. Ils Interviennent dans les
dcisions politiques majeures telles que la rpartition des enveloppes
budgtaires et la dfinition des zones ligibles. Ils sont galement employs
pour rendre compte de l'usage des Fonds structurels dans le cadre de
rapports destins aux institutions europennes (ex : le rapport de
cohsion triennal).
Depuis la rforme de 1988, la Commission a incit les autorits nationales
et rgionales dvelopper des indicateurs pour quantifier les objectifs des
programmes, pour suivre la mise en uvre et pour estimer les effets
obtenus.
Des listes d'indicateurs ont t proposes certains pays par les services
de la CE, mais les autorits gestionnaires ont gnralement construit par
ellesmmes des systmes d'information adapts leurs programmes, de
faon dcentralise. Cette libert de choix, associe la multiplicit et
l'htrognit des programmes, a donn naissance une multitude
d'indicateurs, dont beaucoup sont spcifiques un domaine d'intervention
(ex : nombre de visites touristiques, nombre d'heures stagiaires, nombre
de logements desservis par les systmes d'assainissement des eaux uses).
Il apparat que l'utilisation des Indicateurs dans la gestion des programmes
doit encore faire des progrs sensibles. Dans le cadre du suivi et de
l'valuation, l'effort de quantification doit tre poursuivi, notamment pour
les indicateurs relatifs aux impacts des programmes. Pour la troisime
priode de programmation des Fonds structurels (20002006), I est attendu
que la Commission assure un encadrement mthodologique plus rigoureux
des systmes d'indicateurs par champ d'intervention.
Ce deuxime Volume de la Collection MEANS propose ainsi des pistes de
rflexion et un guide pratique pour l'utilisation des indicateurs. Comme les
cinq autres Volumes, il est destin aux professionnels impliqus dans
l'valuation des Fonds structurels europens : concepteurs et
Introduction
gestionnaires des programmes socio-conomiques, quipes d'valuation.

Son ambition est de montrer qu'il est possible de dfinir, de choisir et de
quantifier des indicateurs utiles, tout en restant pragmatique. Les
propositions contenues dans ce Volume sont en continuit avec l'approche
dcentralise qui a t suivie jusqu' ce jour par la Commission, c'est-dire qu'il s'agit plus d'clairer les choix possibles que de vouloir imposer un
systme contraignant. Cependant, l'autonomie reconnue aux autorits
responsables des programmes ne devrait pas conduire de trop grandes
disparits dans les concepts et dans les dmarches, ni empcher
l'harmonisation des principaux indicateurs. Bien qu'il ne prtende pas
fournir des systmes d'indicateurs cl-en-main, cet ouvrage n'en a pas
moins une vocation crer un cadre mthodologique rigoureux, partag
par tous les gestionnaires de programmes et capable de faciliter
l'interaction entre tous les acteurs de la politique europenne de cohsion
conomique et sociale. Ses intentions sont donc de :
proposer un cadre conceptuel cohrent et rigoureux ;
montrer l'oprationnalit de ce cadre pour le suivi et l'valuation des
programmes ;
proposer des
d'Indicateurs ;
critres
pour
apprcier
la qualit
les
systmes
montrer l'Intrt de la comparabilit et faire des propositions dans ce

sens ;
suggrer des faons d'employer
performance des programmes ;
les Indicateurs
pour grer
la
et enfin, suggrer des liens possibles entre le niveau micro (les

ralisations, les rsultats et les impacts spcifiques aux mesures) et le
niveau macro (les impacts globaux en termes de cohsion et de priorits
communautaires).
Une place particulirement importante a t consacre des exemples
d'indicateurs appliqus diffrents champs d'intervention des programmes
socio-conomiques. Ces exemples sont la disposition des concepteurs
et des gestionnaires de programme. Ils ont t dvelopps par des experts
qualifis dans les champs concerns. Ils proposent des indicateurs
pragmatiques et utiles pour suivre les ralisations et les rsultats ainsi que
pour valuer les impacts. Ils suggrent galement des voies nouvelles pour
mieux relier les systmes d'information l'objectif global de cohsion
La dernire partie du Volume est entirement consacre la mesure de la

performance des programmes. Elle contient de nombreuses propositions
pour dvelopper l'emploi
des indicateurs dans cette perspective. En
particulier, elle propose une liste d'indicateurs cls pour dvelopper des
comparaisons et la communication l'chelle europenne.
Encadr 1 - C o m m e n t utiliser c e guide
Pour le non-spcialiste qui souhaite avoir une vue d'ensemble
indicateurs
des
La section I (Terminologie) fournit des informations sur les diffrents types

d'indicateurs et leur utilisation dans le cadre des Fonds structurels. Elle dfinit
galement un cadre standard de dfinitions destin rduire le risque d'erreur
d'Interprtation. La section II (Champs d'application) prsente des exemples
concrets sur l'utilisation des indicateurs. Une lecture rapide permettra par
exemple de se concentrer sur certains champs d'application uniquement, tels
que : infrastructure de transport, galit des chances et dveloppement
conomique. La section III (modes de production et d'utilisation des indicateurs)
et les annexes seront lues par le lecteur qui souhaite approfondir l'information
obtenue dans les sections I et II.
Pour le spcialiste et le non-spcialiste qui souhaitent approfondir certains
champs d'application
Ces lecteurs se dirigeront d'abord vers les fiches spcifiques de la section II. Les
nombreux exemples collects pour chaque champ d'application, en collaboration
avec des spcialistes, illustrent concrtement l'utilisation des indicateurs dans ce
champ. La consultation de la section I permettra alors au lecteur d'largir sa
connaissance des Indicateurs et d'tablir une terminologie standard. La section III
et les annexes seront lues par le lecteur qui souhaite approfondir l'information
obtenue dans les sections I et II.
Pour les dcideurs, gestionnaires de programme, etc.
La section III constitue un point de dpart essentiel pour ceux qui sont
directement concerns par la gestion des programmes, la commande
d'valuations, etc. Dans le cas d'valuations thmatiques, il est galement
essentiel de lire la fiche correspondante dans la section II . Des annexes, ainsi
qu'une bibliographie, permettent d'approfondir encore le sujet. La section I sert
ici faciliter la communication en fournissant une terminologie standardise.
I
Terminologie
La notion d'indicateur et ses dclinaisons
La notion d'indicateur
Un indicateur peut se dfinir comme la mesure d'un objectif atteindre,
d'une ressource mobilise, d'un effet obtenu, d'un lment de qualit ou
d'une variable de contexte. Un indicateur produit une information quantifie
en vue d'aider les acteurs de l'intervention publique communiquer,
ngocier ou dcider. Dans le cadre de l'valuation, les Indicateurs les plus
importants sont relis aux critres de russite de l'intervention publique. Un
indicateur peut mesurer un fait ou une opinion, la mesure donne tant le
plus souvent approximative. Un indicateur peut tre construit
spcifiquement pour une valuation (indicateur ad hoc) mais il peut aussi
tre tir d'un systme de suivi ou de donnes statistiques.
Qu'est ce qu'un bon indicateur ?
Un indicateur fournit une information chiffre sur un lment considr
comme pertinent pour suivre ou valuer un programme. Par exemple :
1200 chmeurs de longue dure ont reu une formation finance par le
programme ou 75% des participants aux stages se dclarent satisfaits
ou trs satisfaits .
Les qualits ncessaires (mais en aucun cas suffisantes) d'un bon
indicateur sont qu'il donne une information simple, facilement
communicable et comprise de la mme faon par le fournisseur et
l'utilisateur de l'information. Des indicateurs qui se comprennent
spontanment sont, par exemple : le taux de consommation budgtaire, le
pourcentage des entreprises rgionales qui ont t aides, le nombre
d'emplois nets crs, le nombre de chmeurs dans la zone eligible.
Un indicateur peut prendre plusieurs valeurs selon l'tat de la variable
quantitative qu'il s'agit de mesurer. Ainsi l'indicateur de taux de chmage
peut avoir une valeur Initiale, une valeur d'objectif atteindre moyen
terme, une valeur constate mi-parcours, etc.
Indicateurs et donnes quantitatives
Toute donne statistique ou autre information quantitative n'est pas
automatiquement un indicateur. Dans ce Volume, on considre que le terme
Indicateur s'applique seulement une information que les

responsables du programme considrent comme pertinente et ncessaire
pour les aider dans leurs dcisions, dans leurs ngociations ou dans leur
communication. Dans le cadre du suivi et de l'valuation, les indicateurs les
plus Importants sont relis aux critres de russite du programme, par
exemple : tat d'avancement des projets, objectif atteindre, effet
bnfique obtenir, lment de qualit, progrs raliser, etc.
La mesure donne par un indicateur peut tre complte ou partielle. Ainsi
l'indicateur taux de consommation budgtaire mesure toutes les
ressources financires utilises par le programme (cet indicateur peut se
calculer aussi bien pour les dpenses publiques aux niveaux
communautaire, national et local que prives). Au contraire, l'Indicateur
nombre de kilomtres d'autoroute achevs est une mesure partielle des
ralisations. Pour obtenir une mesure complte, il faudrait tenir compte non
seulement de la longueur de la section construite, mais aussi d'autres
lments importants comme le nombre de voies de l'autoroute ou sa
vitesse de rfrence.
Certains indicateurs mesurent une variable bien dfinie comme, par
exemple, le nombre de P.M.E. aides par le programme . Par contre,
d'autres indicateurs s'appliquent des concepts abstraits et contribuent
les dfinir en mme temps qu'ils les mesurent. C'est le cas, par exemple,
de l'indicateur proportion des entreprises aides qui ont dvelopp de
nouvelles activits dans des secteurs o la demande s'accrot . Cet
indicateur mesure l'impact du programme sur le redploiement sectoriel et
il fournit en mme temps une dfinition du redploiement sectoriel.
Les indicateurs constituent une partie essentielle du systme d'information
d'un programme ct d'autres formes d'information plus qualitatives. Le
systme d'information d'un programme produit notamment des tableaux
de bord, des bilans, des rapports d'activit et des rapports d'valuation.
Indicateurs et donnes qualitatives
Ce Volume est uniquement ddi aux indicateurs, c'est--dire des
mesures quantitatives. Pour ce qui ressort des mesures qualitatives, on
utilisera plutt le terme descripteur . Comme exemples de descripteurs,
on peut citer les noncs suivants : les autorits rgionales ont
transform leur mode de gestion l'occasion de la mise en uvre du
programme ou l'autoroute n'a pas dtrior le paysage . Ce Volume
ne traite pas non plus de la notation. Comme exemples de note, on peut

citer l'nonc suivant l'Impact du projet sur l'environnement se situe au
niveau 2 sur une chelle gradue de 3 +3 et reprsentant tous les
niveaux d'impact possible depuis le plus ngatif jusqu'au plus positif .
Dans ce Volume, on considre qu'une note n'est pas un indicateur.
La notation et les descripteurs sont prsents dans le Volume 4 de la
Collection MEANS. Ces techniques se combinent souvent avec l'usage des
indicateurs. Par exemple, la Banque Mondiale ralise le suivi et l'valuation
de ses projets l'aide d'un systme de notation qui fonctionne en parallle
avec des Indicateurs. L'administration britannique assure la gestion de ses
subventions de recherche l'aide de panels d'experts qui utilisent la fois
des systmes de notation et des indicateurs.
Ce volume prsente plusieurs typologies d'indicateurs rsumes dans
l'encadr cidessous. Ces typologies sont cohrentes avec le document
Orientations Communes pour le Suivi et l'Evaluation (Commission
Europenne, 1995, Luxembourg : OPOCE). Elles ont fait l'objet d'une
discussion et d'un affinement avec l'aide d'une trentaine d'experts,
notamment au cours d'un sminaire organis Bruxelles le 23 janvier 1997.
Encadr 2 Principales typologies d'indicateurs
> en fonction du traitement de l'information :
Indicateurs lmentaires, drivs, composs (voir cidessous)
> en fonction de la comparabilit de l'information :
Indicateurs spcifiques ou gnriques, indicateurs cls (voir 21)
> en fonction de la porte de l'information :
Indicateurs de contexte, de programme (voir 24)
> en fonction des stades d'aboutissement du programme :
Indicateurs de ressources, de ralisations, de rsultats, d'impacts
(voir 29)
> en fonction des critres d'valuation :
Indicateurs de pertinence, d'efficience, d'efficacit, de performance
(voir 35)
> en fonction du mode de quantification et de l'usage de l'information :
Indicateurs de suivi et d'valuation (voir 36)
Indicateurs lmentaires, drivs et composs

Cette premire distinction spare les Indicateurs en fonction du traitement
plus ou moins labor de l'information fournie.
Un indicateur lmentaire est une information de base partir de laquelle
peuvent se construire d'autres indicateurs plus complexes. Par exemple, le
nombre de chmeurs est un indicateur lmentaire partir duquel on peut
calculer un taux de chmage (nombre de chmeurs / population active)
puis un pourcentage d'augmentation du taux de chmage, etc. Comme
autres exemples d'indicateurs lmentaires, on citera le nombre de
kilomtre de routes construites, le nombre d'entreprises aides, le nombre
de plages respectant les normes de baignade.
Un indicateur driv (ratio ou taux) se construit par le calcul du rapport
entre deux Indicateurs lmentaires. Par exemple, un indicateur d'efficacit
peut tre obtenu en divisant deux valeurs du mme indicateur d'impact
(impact estim / impact attendu). Un indicateur d'efficience peut tre
obtenu en divisant les valeurs de deux indicateurs lmentaires (rsultat
constat / consommation budgtaire).
Un indicateur compos est une somme pondre de plusieurs indicateurs
lmentaires ou drivs. Une pondration est attribue chaque indicateur
pour reflter son importance par rapport un ensemble d'indicateurs.
L'indicateur jug le plus important a donc le plus grand poids et celui jug
le moins important a le moindre poids. La valeur de l'indicateur compos
est la somme de toutes les valeurs ajustes de ces indicateurs. Par
exemple, l'Index de qualit de vie des Nations Unies combine trois
indicateurs lmentaires : revenu (PIB), esprance de vie et taux de
scolarisation. Un index de dotation globale d'quipement a t calcul par
la DG XVI pour toutes les rgions europennes en 1986. Cet index est la
somme pondre de 41 ratios de dotation rgionale d'quipement. Les
quipements considrs vont des routes (dotation exprime en km / km2)
aux parcs naturels (dotation exprime en ha / hab.). Chaque ratio rapporte
la dotation rgionale d'un quipement donn celui de la rgion
europenne la mieux dote.
La dcomposition d'un indicateur
Inversement tout Indicateur, qu'il soit lmentaire driv ou composite, peut
tre dcompos selon diffrentes dimensions de la variable mesure
comme dans les exemples qui suivent : consommation budgtaire

annuelle dcompose par catgories d'intervention, chiffre d'affaires des
entreprises aides dcompos par secteur d'activit, nombre de chmeurs
dcompos par tranches d'ge.
On emploie le terme dcomposition lorsque l'indicateur est rparti en
catgories diffrentes, par exemple : agriculture - Industrie - service,
employs - chmeurs ; hommes - femmes. Au contraire, on emploie le
terme dsagrgation lorsque l'indicateur est rparti en catgories
similaires, par exemple : rpartition des budgets entre zones au sein d'une
rgion aide, rpartition du nombre de stagiaires entre organismes de
formation. La quantification d'un indicateur procde souvent par comptage
au niveau infrieur puis par addition pour produire un indicateur agrg.
Indicateurs spcifiques et gnriques, indicateurs cls

Une caractristique des programmes socio-conomiques est la diversit
des interventions dont ils sont composs. Un mme programme comprend
souvent plusieurs dizaines d'Interventions diffrentes et deux programmes
comprennent rarement la mme combinaison d'interventions. Cette
diversit a tendance multiplier les indicateurs utiliss et les rendre non
comparables. Il est donc particulirement utile de distinguer les indicateurs
selon la comparabilit de l'information.
Un indicateur spcifique sert dans le cas d'une intervention et n'a pas
vocation permettre des comparaisons. Par exemple, la proportion de
stagiaires appartenant la minorit catholique est un bon indicateur pour
un programme de formation en Irlande du Nord, mais cet indicateur n'a
aucune utilit dans une autre rgion, ni pour une autre intervention.
Un indicateur gnrique permet d'effectuer des mesures comparables sur
plusieurs interventions de nature diffrente au sein d'un mme programme.
La comparaison est interne et permet l'agrgation des donnes au sein du
programme sous forme de somme ou de moyenne. On citera comme
exemples d'indicateurs gnriques qui s'appliquent tout le programme le
taux de consommation budgtaire et le taux de ralisation. Certains
indicateurs gnriques ne s'appliquent qu' une partie du programme :
nombre d'innovations (pour toutes les composantes qui favorisent le
dveloppement technologique), proportion des P.M.E. parmi les
destinataires (pour toutes les composantes qui bnficient des
entreprises), cot par emploi cr (pour toutes les composantes qui crent
directement ou indirectement des emplois), pourcentage de la surface des

zones protges dans la superficie totale des zones qui mritent protection
(indicateur gnrique pour les actions lies la biodiversit, aux ressources
en eau et la qualit des sols). Les Indicateurs gnriques sont
relativement difficiles dfinir et quantifier lorsque les composantes d'un
programme sont htrognes. Des mthodes existent pour faciliter cette
tche. Elles sont exposes dans le dernier chapitre de ce Volume.
Les indicateurs cls sont ceux qui se prtent la fois des comparaisons
internes entre interventions diffrentes et des comparaisons externes
avec d'autres programmes. Ils peuvent permettre d'tablir des rfrences
telles qu'une performance moyenne europenne ou des cas d'excellentes
performances imiter. Le principal enjeu des indicateurs cls est de faire
en sorte qu'ils soient quantifis dans plusieurs programmes en respectant
des dfinitions harmonises de faon ce que l'information produite puisse
tre mise en commun. Les indicateurs cls peuvent alors servir des
agrgations l'chelle europenne. Parmi les exemples d'indicateurs cls
proposs dans cet ouvrage, on mentionnera le taux de consommation
budgtaire, le taux d'avancement des ralisations, le cot par emploi cr,
etc. Les indicateurs cls font l'objet d'un dveloppement spcial dans le
dernier chapitre de ce Volume.
Le systme d'indicateurs
d'un programme
P r o g r a m m e s d'interventions structurelles
Les Indicateurs sont utiliss ds le dbut du cycle de programmation pour
aider la dlimitation des territoires ligibles aux aides europennes,
l'analyse du contexte rgional, au diagnostic des problmes conomiques
et sociaux rsoudre, l'apprciation des besoins que le programme doit
satisfaire. A ce stade, des indicateurs tels que le taux de chmage ou les
disparits d'quipements jouent un rle dterminant.
Le choix et la validation de la stratgie d'intervention constituent une
seconde tape du cycle de programmation. A ce stade les concepteurs du
programme doivent dfinir prcisment les objectifs et les quantifier. Les
indicateurs sont insparables de la quantification et ils sont galement trs
utiles pour clarifier les objectifs. Par exemple, les stratgies de soutien la
comptitivit des PME comportent souvent des mesures de conseil dont
les objectifs sont fixs en nombre d'entreprises devant recevoir tel ou tel
type de conseil. L'indicateur sert non seulement quantifier l'objectif, mais
galement dfinir la prestation de conseil qui est attendue. Par exemple,
le nombre de PME aider ne doit prendre en compte que les missions de
conseil significatives (5 jours de conseil par exemple).
Une fois dfinie et adopte, le programme est mis en uvre et fait l'objet
d'un suivi ainsi que d'une valuation mi-parcours. Ici encore, les
indicateurs sont indispensables pour faire circuler, de faon simple et
condense, les informations dont les autorits gestionnaires ont besoin.
Par exemple, des indicateurs permettront de suivre le rythme de
consommation des budgets, le taux de respect des dlais de ralisation, la
part de la population eligible atteinte, le taux de satisfaction des
destinataires, le nombre d'emplois crs, etc.
Le cycle de programmation se termine par une valuation ex post dont une
des principales fonctions est de rendre des comptes sur les rsultats du
programme et sur le niveau d'atteinte de ses objectifs. A ce stade, l'usage
des indicateurs est particulirement recommand dans la mesure
o il permet de communiquer des informations simples et immdiatement
comprises par un large public, comme par exemple le cot

emploi cr ou le taux de placement des chmeurs aids.
par
La plupart des programmes socio-conomiques adoptent des stratgies

intgres, c'est--dire qu'ils cherchent rsoudre l'ensemble des
problmes qui affectent un territoire donn et qu'ils utilisent tous les
Instruments disponibles pour intervenir sur ce territoire. Cette
caractristique entrane ncessairement une multiplication des besoins en
matire d'indicateurs, multiplication qui tournerait la confusion si les
programmes n'taient pas fortement structurs. En ce qui concerne les
programmes financs par les Fonds structurels europens, la structuration
qui a t adopte comporte normalement trois niveaux :
le niveau d'ensemble du programme auquel est associ son objectif
global, par exemple le dveloppement conomique ou l'emploi. Ce
niveau comprend les axes prioritaires, dont le nombre est rduit (moins
d'une dizaine) et qui dcline l'objectif global dans ses principales
dimensions stratgiques ;
le niveau des mesures (une plusieurs dizaines), qui correspond l'unit
de base de la gestion du programme, chaque mesure faisant l'objet d'un
dispositif de gestion particulier (le niveau des actions, qui correspond la
plus petite composante homogne du programme, chaque action
regroupant des projets similaires, est confondu avec le niveau des
mesures) ;
le niveau des projets (souvent plusieurs centaines), qui est l'unit de mise
en uvre du programme, chaque projet tant le point d'articulation entre
le programme et ses destinataires.
Indicateurs de contexte et de programme

Les indicateurs de contexte s'appliquent l'ensemble d'un territoire, d'une
population ou d'une catgorie de population. Un exemple d'Indicateur de
contexte est le taux de raccordement au tlphone numrique du territoire
eligible. Dans le cadre d'une valuation ex ante, l'intervention du
programme peut tre justifie par un retard de la rgion en termes de taux
de raccordement. Le mme indicateur peut ensuite montrer, dans le cadre
d'une valuation mi-parcours, que le retard a t combl et que
l'Intervention a perdu sa raison d'tre. Dans ce cas, l'indicateur de contexte
n'informe pas sur l'efficacit du programme car le retard rgional a pu tre
combl spontanment par le jeu du march. Un Indicateur de contexte ne

s'applique pas la mise en uvre du programme et ses effets. Il
s'applique toujours l'ensemble du territoire eligible ou du public vis sans
faire de distinction entre ceux qui ont t atteints par le programme et ceux
qui ne l'ont pas t.
A l'inverse, les indicateurs de programme concernent seulement la partie
ou la catgorie du public ou la partie d'un territoire qui a t effectivement
atteinte. Les indicateurs de programme cherchent suivre la trace ies
effets du programme, directs et indirects, aussi loin que possible. Par
exemple, ils mesurent l'atteinte d'un public prioritaire ou l'obtention d'un
avantage durable par les destinataires directs.
Dans le cadre du suivi et de l'valuation, un indicateur de programme peut
montrer que telle Intervention est un succs ou que telle autre est un chec.
A l'Inverse, un indicateur de contexte peut montrer que telle intervention
reste pertinente ou que telle autre a perdu sa raison d'tre. Il existe toujours
une relation entre les indicateurs de programme et les Indicateurs de
contexte et cette relation s'exprime de la faon suivante :
Etat initial du contexte
+ Ensemble des effets du programme
+ Changement du contexte d d'autres facteurs
= Etat final du contexte
Cette relation est plus facile dcrire en thorie qu' utiliser en pratique. En
effet, un programme a toujours de nombreuses consquences, positives et
ngatives, directes et indirectes, immdiates et lointaines. Les indicateurs
de programme peuvent rarement mesurer la totalit de ces consquences.
Par ailleurs, l'articulation entre des indicateurs de contexte et de
programme est galement problmatique par le fait qu'une partie des
volutions constates dans le contexte s'explique par des facteurs
concurrents (aussi appels facteurs exognes). Les techniques
d'analyse de causalit tentent de dpartager les effets du programme et
ceux des facteurs concurrents. En se reportant au Volume 3 de la Collection
MEANS qui prsente ces techniques, on constatera qu'elles peuvent
fournir une estimation mais jamais une mesure complte des Impacts.
L'Encadr 3 montre la relation thorique entre indicateurs de contexte et de
programme, et les difficults qui apparaissent dans la mise en pratique de
cette relation.
Encadr 3 -
L'articulation thorique entre indicateurs de contexte

et de programme
Facteurs concurrents
ou exognes
Evolution globale du contexte

(situation prsente - point zro)
\
..' - / ,
IncHcateurs
de
Effets indirects
du programme
/
,'
/
'
Effets directs
du programme
/
Mise en oeuvre
du programme
;
\
f~
'
---''
Indicateurs de
programme
.
Difficults de rencontre entre
<vj- les indicateurs de contexte et
*** de programme
L'volution globale du contexte est mesure, par des Indicateurs de

contexte. L'information fournie par un indicateur de contexte comporte
normalement une valeur l'anne de base aussi appele tat initial ou point
zro et une valeur courante. On citera comme exemples d'indicateurs de
contexte : nombre d'habitants de la rgion raccords l'assainissement
des eaux uses (dotation d'quipement), taux rgional de raccordement
Internet, en pourcentage de la moyenne europenne (disparit),
pourcentage des chefs d'entreprise qui considrent que l'accessibilit par
avion pose un problme majeur (besoin).
Les changements qui affectent le territoire ou la population eligible peuvent
s'expliquer par le programme, mais aussi par d'autres facteurs concurrents.
Les indicateurs qui mesurent l'volution de ces facteurs permettent
d'interprter ou de nuancer l'Information donne par les indicateurs de
contexte lorsque ceux-ci montrent un succs ou un chec qui peut tre
plus apparent que rel. Les exemples qui suivent illustrent des indicateurs
de facteur concurrent et leur utilisation : l'accroissement naturel de la
population active peut expliquer une augmentation du chmage rgional

alors mme que le programme a pourtant cr des emplois ; la baisse des
cours mondiaux peut expliquer le dclin d'une production traditionnelle
locale alors que le programme a pourtant favoris sa commercialisation.
Mme si l'articulation entre les indicateurs de programme et de contexte
est problmatique, il est souvent utile de les mettre en relation comme
l'illustre l'exemple de l'encadr suivant. Dans le cadre d'une intervention
de conseil aux entreprises pour les aider dvelopper leurs exportations,
I est relativement facile de construire les premiers indicateurs de
l'Intervention. On dfinira les informations relatives ses effets directs et
immdiats : nombre d'entreprises ayant obtenu un conseil, nombre
d'heures de conseil obtenues, nombre de projets d'exportation concerns
par les conseils. Il est un peu plus difficile d'estimer les effets
intermdiaires comme : nombre de nouveaux contacts internationaux
gnrs par les conseils, pourcentage de ces contacts qui se sont
concrtiss commercialement. Les effets suivants peuvent encore tre
estims, bien que difficilement, par enqute auprs des chefs
d'entreprises, par exemple : chiffre d'affaires annuel ralis avec les
clients contacts grce au conseil (aprs deux ans).
Au-del d'une certaine limite, il n'est plus crdible de vouloir suivre les
effets par des Indicateurs de programme. Par exemple, il serait vain de
demander aux chefs d'entreprise combien d'emplois ont t crs grce au
conseil reu. C'est ce stade qu'il devient indispensable d'utiliser les
indicateurs de contexte. Par exemple, on peut connatre le chiffre d'affaires
et l'emploi de l'ensemble des entreprises industrielles de la rgion. Ces
indicateurs peuvent servir calculer un ratio de chiffre d'affaires moyen par
emploi et, par extrapolation, l'estimation du nombre d'emplois gnrs par
les nouvelles exportations. Cet exemple illustre bien le fait que les
indicateurs de programme sont les plus utiles lorsqu'on s'intresse la
mise en uvre du programme et ses premiers effets, et que la priorit est
donne aux indicateurs de contexte au fur et mesure que l'on s'intresse
des effets de plus en plus lointains.
La distinction entre indicateurs de contexte et de programme sera rappele
et applique systmatiquement l'aide d'une cinquantaine d'exemples,
tout au long de cet ouvrage (voir liste des exemples page 253). Comme le
suggre l'encadr suivant, les deux types d'Indicateurs s'articulent tous
les stades du programme, depuis sa mise en uvre jusqu' ses effets les
plus lointains. Cette distinction croise donc la typologie prsente plus loin
et ses catgories de ralisation, rsultats et impacts. Par exemple, il existe
un point d'articulation entre l'Indicateur de capacit des stations
d'puration construites grce au financement communautaire (indicateur
de programme / catgorie des ralisations) et l'indicateur de dotation
rgionale d'quipement (indicateur de contexte / catgorie des
ralisations). Lorsque l'on hsite classer un indicateur selon la typologie
contexte / programme , il suffit de se rappeler qu'un indicateur de
programme concerne de faon limitative les personnes ou les organisations
qui ont particip au programme ou qui ont t touches par le programme.
A l'inverse, un indicateur de contexte concerne l'ensemble du public vis,
l'ensemble de l'conomie rgionale, l'ensemble de l'environnement naturel,
y compris les personnes ou les units conomiques qui ne sont pas
atteintes par le programme.
Encadr 4
Exemple d'artic ulation entre indicateurs d e c o n t e x t e

et de p r o g r a m ni e
Indicateurs de programme
(relatifs l'intervention
et ses effets)
Indicateurs de contexte
(relatifs l'ensemble
de la zone eligible)
Nombre d'entreprises
ayant obtenu un conseil
pour l'exportation
dans la zone eligible
Nombre de nouveaux
contacts internationaux
% d'entreprises
exportatrices
I
Exportations gnres
Exportations totales
J
!
Emplois rsultant des

exportations gnres
Emplois
Chiffre d'affaires par emploi
Les indicateurs de ressources, de ralisations, de

rsultats et d'impacts
Un programme met en place des ressources (moyens budgtaires, humains
et techniques) en vue d'atteindre un objectif global (cohsion socioconomique). Pour suivre et valuer le programme, on est oblig de
dcomposer cette logique trs globale et de distinguer une succession
d'objectifs qui s'articulent entre eux comme le montre l'encadr suivant.
Cette typologie est inspire de la technique du cadre logique qui est
employe depuis plusieurs dcennies dans le champ de l'aide au
dveloppement. Les indicateurs sont classs en cinq catgories :
ressources, ralisations, rsultats, impacts spcifiques et impacts globaux.
Cette typologie sera la plus utilise par la suite.
Encadr 5 - D1inition des indica teurs par niveaux c 'objectifs

Niveau
d'objectif
Type
d'indicateur
Dfinition
Acteurs-cls
Ressource
Moyen mis
disposition par les
financeurs et utilis
par les oprateurs
pour leurs activits
Financeurs et
oprateurs
Objectif
oprationnel
Ralisation
Produit de l'activit
des oprateurs
Oprateurs
Objectif
spcifique
immdiat
Rsultat
Effet immdiat pour

les destinataires
directs
Destinataires
directs
Objectif
spcifique
durable
Impact
spcifique
Effet durable pour

les destinataires
directs
Destinataires
directs
Objectif
stratgique
Finalit
Impact global
Effet global pour

l'ensemble de
la population
concerne
(destinataires
directs et indirects)
Destinataires
directs
et indirects
Cet encadr montre qu'aux diffrents niveaux d'objectif sont associes

diffrentes catgories de personnes (ou d'organisations) concernes par le
programme. Il est important de dfinir clairement ces catgories.
Les financeurs du programme sont les personnes ou les organisations qui

dcident de sa mise en uvre et qui attribuent les ressources ncessaires.
Les oprateurs sont ceux qui utilisent les ressources au plus prs du
terrain. Ils sont les derniers maillons dans la chane de la mise en uvre du
programme. Ils sont la source de l'information qui alimente le systme de
suivi. On citera comme exemples d'oprateurs : une administration locale
qui distribue des aides directes aux entreprises, un groupement
d'entreprises qui rpartit les aides entre ses membres, une socit prive
qui construit et qui gre un rseau tlphonique, une socit prive qui
construit une route pour le compte d'une autorit rgionale, un institut de
formation qui accueille des stagiaires financs par le programme.
L'ensemble
acteurs du
acteurs du
rgulire et
des financeurs et des oprateurs constitue la catgorie des

programme. Quel que soit le niveau o ils interviennent, les
programme doivent rendre compte de leur activit de faon
complte sous forme de rapports d'activit.
Les destinataires du programme comprennent, de faon large, toutes les

personnes ou organisations qui reoivent des avantages ou subissent des
inconvnients du programme de faon directe ou indirecte. La raison d'tre
d'une action est de produire un changement positif pour ses destinataires 1 .
Certains individus ou organisations sont destinataires directs en ce sens
qu'ils reoivent ou utilisent personnellement les prestations ou des aides du
programme. On citera comme exemples de destinataires directs :
l'automobiliste qui emprunte une route construite grce au programme, la
famille qui utilise un rseau tlphonique amlior grce au programme,
l'entreprise qui a reu une subvention d'investissement, le stagiaire qui a
bnfici d'une formation aide.
Parce que les destinataires d'un programme ne tirent pas toujours un avantage de
ce programme, le terme bnficiaires n'a pas t utilis. D'ailleurs, la
Commission a choisi d'utiliser le terme bnficiaire dans un autre sens : Le
terme bnficiaire final est employ dans les textes rglementaires (et les
dispositions d'excution financire) des Fonds structurels pour dsigner les
oprateurs publics ou privs responsables de la commande de travaux ou de la
distribution des aides publiques (voir article 91-J de la proposition de rglement
portant dispositions gnrales sur les Fonds structurels, Journal Officiel du
9/6/1998). Le bnficiaire final est tenu faire des comptes-rend us rguliers et
systmatiques. Il est donc oprateur du programme au sens dfini dans cet
ouvrage. Au contraire, certains manuels consacrs l'valuation dfinissent les
bnficiaires comme les individus, les groupes ou les organisations qui reoivent
les services ou les aides du programme, c'est--dire les destinataires directs au
sens du prsent ouvrage.
Les destinataires indirects sont des individus ou organisations qui sont

touchs par le programme sans avoir particip directement ses activits.
Les destinataires indirects peuvent tre atteints par l'Intermdiaire d'un
destinataire direct, par exemple l'entreprise qui a embauch un stagiaire
form par le programme. Les destinataires indirects peuvent aussi tre
atteints sans intermdiaire, par exemple les habitants d'un quartier
avoisinant une friche urbaine restaure grce au programme, ou les
citoyens sensibles la dtrioration de l'environnement naturel aux abords
d'une autoroute.
L'objectif stratgique d'un programme est d'apporter un avantage global
ses destinataires directs et indirects mais il peut arriver que certaines
personnes ou organisations soient perdantes. Les inconvnients que ces
destinataires subissent sont le plus souvent non dsirs (ex : faillite d'une
entreprise locale due une distorsion de concurrence en faveur d'une
entreprise aide). Les inconvnients peuvent aussi tre lis aux objectifs
mmes du programme (ex : substitution d'un chmeur de longue dure
un autre demandeur d'emploi).
Encadr 6 La mise en uvre du programme et ses effets
Mise en oeuvre du programme
Environnement conomique social

et naturel
Acteurs
Destinataires
Financeurs
> Oprateurs
Destinataires
directs
', Destinataires
;
indirects
Parmi les personnes et organismes concerns par le programme, l y a une

diffrence fondamentale entre les acteurs et les destinataires. Les acteurs
sont l'intrieur du systme oprationnel de la mise en uvre alors que les

destinataires sont l'extrieur de ce systme (toutefois, il peut arriver que
les oprateurs soient aussi les destinataires, dans le cas des
investissements routiers par exemple). Comme le montre l'encadr 6, la
frontire est celle qui spare le programme de son environnement
conomique, social et naturel. Cette frontire spare les oprateurs des
destinataires directs (il peut cependant arriver parfois que les oprateurs
soient en mme temps des destinataires, dans le cas des investissements
lis au rseau routier par exemple). Ces deux catgories qui jouent un rle
dterminant dans la dfinition des indicateurs de ressources, ralisations,
rsultats et impacts.
Les indicateurs de ressources informent sur les moyens financiers,
humains, matriels, organisationnels ou rglementaires utiliss par les
oprateurs pour la mise en uvre du programme. Les ressources sont sous
la responsabilit conjointe des financeurs qui les attribuent et des
oprateurs qui les mettent en uvre. La plupart des indicateurs de
ressources sont quantifis de faon permanente par le systme de suivi. On
citera comme exemples d'indicateurs de ressources : budget total
programm (quantit des ressources), consommations budgtaires
annuelles (taux d'absorption des ressources), pourcentage de
dpassements du cot prvu, pourcentage du financement europen dans
le financement public total, nombre de personnes travaillant la mise en
uvre, nombre d'organismes intervenant dans la mise en uvre.
Les indicateurs de ralisations reprsentent le produit de l'activit des
oprateurs. Plus prcisment, on considre comme une ralisation tout ce
qui est obtenu en contrepartie de la dpense publique. Citons deux
exemples dans le domaine des services de conseils aux PME qui
dmontrent le principe d'une ralisation et aident distinguer une ralisation
d'un rsultat. D'un ct, un oprateur peut recevoir une aide financire
dtermine pour financer la cration d'un service de conseils aux PME.
Dans ce cas, la dpense a achet la mise en place d'un service de
conseils qui est considr comme la ralisation. D'un autre ct, un
oprateur peut se voir allouer un budget de 400 000 euros pour un projet qui
prvoit de dlivrer 5 000 heures de conseil aux PME. Cependant, si le projet
ne devait finalement dlivrer que la moiti des heures de conseil prvues,
l'oprateur ne recevrait que 200 000 euros. En d'autres termes, si une
ralisation n'aboutit pas, l'aide n'est pas verse. Dans ce cas, la ralisation
serait les 2 500 heures de conseil effectivement dlivres. Les ralisations
sont sous l'entire responsabilit des oprateurs qui doivent en rendre

compte de faon permanente par l'intermdiaire du systme de suivi. On
citera comme exemples d'Indicateurs de ralisations : kilomtres de routes
construites, taux d'avancement des travaux de construction d'une route,
hectares de friches urbaines rhabilites, capacit des stations d'puration
construites, nombre de stagiaires dont la formation a t paye par le
programme, pourcentage de ces formations dont la qualit est certifie.
Les indicateurs de rsultats reprsentent les avantages immdiats du
programme (ou exceptionnellement les inconvnients immdiats) pour les
destinataires directs. Un avantage est immdiat s'il apparat pendant que le
destinataire est directement en contact avec le programme. Les rsultats
peuvent tre constats en totalit au moment o l'oprateur termine son
action et solde la dpense. Etant facilement connus des oprateurs, les
indicateurs de rsultats sont gnralement quantifis de faon exhaustive
dans le cadre du suivi.
Les indicateurs de rsultats informent sur les changements qui interviennent
pour les destinataires directs, par exemple : gain de temps des usagers
d'une route, diminution du prix des communications tlphoniques,
qualification acquises par des stagiaires, nouvelle activit touristique cre
par un agriculteur, nouvelle capacit de production installe par un
industriel, satisfaction des entreprises qui ont reu un conseil.
C'est au moment o les destinataires reoivent l'aide ou les prestations du
programme que l'on peut quantifier les rsultats. On procde alors par
mesure directe (par exemple, par comptage du nombre de stagiaires tant
embauch en cours de formation) ou en demandant aux destinataires
directs de dclarer les avantages qu'ils ont obtenus (par exemple, au
moyen d'un questionnaire de satisfaction la fin d'une mission de conseil).
Les indicateurs d'impacts reprsentent les consquences du programme
au-del de son interaction directe et immdiate avec les destinataires. Une
premire catgorie d'impacts est donc constitue des consquences qui
apparaissent ou qui perdurent moyen terme chez les destinataires directs
du programme (impacts spcifiques) Par exemple, la circulation sur une
route un an aprs son ouverture, le placement des stagiaires au bout de
douze mois, les emplois durablement crs dans un tablissement industriel
construit avec l'aide du programme, la survie des entreprises cres avec
l'aide du programme. Certains impacts peuvent tre inattendus (retombes)
mais on dveloppe rarement des indicateurs pour les impacts inattendus.
Une seconde catgorie d'impacts est constitue de toutes les

consquences qui affectent, court ou moyen terme, des personnes ou
organismes qui ne sont pas destinataires directs. Ces impacts peuvent tre
proches (par exemple : l'amlioration de la qualit de vie pour le voisinage
d'une friche industrielle rhabilite, l'amlioration de la qualit des plages
au voisinage d'une nouvelle station d'puration). Ils peuvent au contraire
s'tendre des personnes ou des organisations trs loignes, comme
dans le cas des impacts macroconomiques.
Les mcanismes de propagation des impacts sont souvent distingus en
deux catgories : les effets marchands (par exemple l'Impact sur les
fournisseurs ou sur les sous-traitants des entreprises aides) et les effets
non-marchands (par exemple l'impact positif d'une amlioration de l'image
de la rgion ou l'impact ngatif d'une dtrioration de l'environnement).
Les effets non-marchands, ou externantes n'tant pas reflts dans le
systme de prix sur lequel les acteurs socio-conomiques individuels se
basent pour prendre leurs dcisions prives, et parce que ces dcisions
ont des consquences conomiques sur d'autres auteurs, il est
particulirement utile de tenir compte de ces effets dans le contexte d'un
programme public.
En raison de leur dcalage dans le temps ou de leur caractre indirect, les
impacts ne peuvent pas tre facilement connus des oprateurs dans le
cadre de leur gestion quotidienne. Les indicateurs d'impacts sont donc
seulement quantifis de temps en temps, le plus souvent l'occasion des
travaux d'valuation. Une des faons de connatre les Impacts est de
raliser une enqute auprs des destinataires directs, par exemple un an
aprs leur sortie du programme. Les questions poses concernent alors
des faits (ex : quelle a t l'augmentation du nombre d'emplois depuis
l'obtention de l'aide ?) ou des opinions (ex : combien d'emplois auraient
t perdus en l'absence de l'aide obtenue ?).
Dans ce Volume, on appellera effet tout changement provoqu par la
mise en uvre du programme, que ce changement soit direct ou indirect,
immdiat ou terme. Les effets regroupent donc les rsultats et les impacts.
Dans tous les cas, les enqutes permettent d'observer des effets apparents
(effets bruts) et non pas les effets rels du programme (effets nets). L'effet
brut est presque toujours surestim, soit parce que les faits constats sont
en partie dus des facteurs concurrents soit parce que les opinions
recueillies sont trop optimistes. En particulier, les personnes qui rpondent
une enqute ont tendance oublier ou ngliger ce qu'elles auraient fait
si elles n'avaient pas reu l'appui du programme. Il arrive qu'un destinataire

ait dj pris une dcision dfinitive (ex : investir, se former, crer une
entreprise) au moment o il apprend que le programme va l'aider. Dans ce
cas, le destinataire profite de l'aide (effet d'aubaine), mais l'effet rel du
programme est nul. Les effets d'aubaine doivent tre, si possible, estims et
dcompts des effets bruts
Pour obtenir une estimation des effets nets, il importe aussi que les effets
de substitution (dans le cas d'interventions visant les individus ou groupes
d'individus) ou de dplacement (dans le cas d'interventions visant les zones
gographiques) soient pris en compte. L'effet de substitution apparat
lorsqu'un rsultat est obtenu en faveur d'un destinataire direct au dtriment
d'une personne ou d'une organisation qui ne sont pas ligibles
l'Intervention publique. Quand cet effet n'est pas dsir, il est considr
comme ngatif et soustrait des effets bruts.
L'effet de dplacement se produit lorsqu'un rsultat obtenu en faveur de
destinataires est accompagn d'effets sur des non-destinataires qui se
trouvent dans la zone du programme. En gnral, l'effet de dplacement
n'est pas dsir et doit tre soustrait des effets bruts.
Indicateurs de pertinence, d'efficacit, d'efficience

et de performance
Les indicateurs les plus Intressants pour l'valuation sont ceux qui sont
associs un critre de jugement tel que la pertinence, l'efficacit ou
l'efficience.
Les indicateurs de pertinence mettent en rapport les objectifs du
programme avec les besoins satisfaire. Par exemple, le nombre de places
de stage que le programme va pourvoir, rapport au nombre de chmeurs de
longue dure dans la rgion, ou encore, l'objectif d'une mesure de conseil
dans le domaine de l'exportation, exprim en nombre de missions prvues,
rapport au nombre d'entreprises rgionales qui n'ont jamais export.
Les indicateurs d'efficacit mettent en rapport ce qui est obtenu et ce qui
tait attendu. Un indicateur d'efficacit peut donc se calculer en divisant
deux valeurs d'un mme indicateur de ralisation, de rsultat ou d'Impact,
c'est--dire la valeur constate une date donne et l'objectif initialement
fix. Lorsque l'on parle d'efficacit, il est prfrable, pour plus de clart, de
prciser s'il s'agit de l'efficacit des ralisations, de l'efficacit des rsultats
ou de l'efficacit des impacts. On citera comme exemples d'indicateurs

d'efficacit : les ralisations sont en avance de 5% sur l'objectif, le nombre
d'entreprises cres est gal 85% de l'objectif, le taux de placement des
stagiaires aprs un an est de 10% plus lev que celui qui tait escompt.
Les indicateurs d'efficience mettent en rapport ce qui a t obtenu et les
ressources qui ont t mobilises. Un Indicateur d'efficience est donc le
ratio de deux indicateurs : mesure de ce qui a t obtenu / mesure des
ressources mobilises pour l'obtenir. L'efficience peut se calculer partir
d'un indicateur de ralisation, de rsultat ou d'Impact. Lorsque l'on parle
d'efficience, il est prfrable, pour plus de clart, de prciser s'il s'agit de
l'efficience des ralisations, de l'efficience des rsultats ou de l'efficience
des impacts. L'efficience des ralisations est souvent appele cot unitaire.
L'efficience des impacts est souvent appele rapport cot / efficacit. On
citera comme exemples d'indicateurs d'efficience : le cot moyen d'un
kilomtre d'autoroute construit a t de 6 millions d'euros, le cot moyen
de formation d'un chmeur de longue dure a t de 2 000 euros, le cot
moyen d'un emploi net cr a t de 30 000 euros.
Les indicateurs de performance, selon la dfinition propose dans cette
collection, englobent l'efficacit et l'efficience des ralisations, des
rsultats et des impacts. En effet, il existe de trs nombreux emplois
diffrents du mot performance . Dans ce contexte, il y a un certain
rapprochement entre la notion d'indicateur de programme et celle
d'indicateur de performance. Dans certains contextes, le terme
performance est utilis dans le cadre d'une rorientation de
l'administration vers les rsultats, la qualit des services et la satisfaction
des usagers (USA - Government Performance and Resuit Act). Dans
d'autres contextes, le terme performance s'applique surtout la gestion
des ressources et des ralisations. C'est le cas par exemple la Banque
Mondiale (World Bank, 1997 Operation Evaluation Department, Lessons
and Practices, 1997 / 10). Ici encore, le vocabulaire n'tant pas stabilis, il
est bon de redfinir ce qu'est la performance chaque fois que l'on parle
d'Indicateur de performance.
Indicateurs d e suivi et d'valuation
La quantification des indicateurs de suivi est ralise par les oprateurs au
moment o ils mettent le programme en uvre et o ils sont en contact
avec les destinataires. Avec l'aide des nouvelles technologies
informatiques, il est maintenant possible de construire un systme de suivi

donnant une information sur la consommation des ressources, les taux de
ralisation et le nombre de destinataires (stagiaires, entreprises aides...). Il
est mme souvent possible de conserver une base de donnes avec
l'identit des destinataires directs (nom des stagiaires, n de tlphone de
la personne-contact dans les entreprises aides). On peut aussi connatre
facilement ce que les destinataires dclarent au moment o ils sont en
contact avec le programme (ex : investissements raliss par les
entreprises aides, satisfaction des stagiaires la fin de leur formation).
On peut aussi demander aux oprateurs de quantifier des indicateurs
d'impact dans le cadre du suivi, en particulier pour ce qui concerne les
Impacts durables sur les destinataires directs. En effet, il est techniquement
possible de tlphoner ou d'crire systmatiquement tous les
destinataires directs, par exemple un an aprs leur participation au
programme. En pratique, il arrive qu'un suivi renforc ce point suscite une
raction de rejet de la part des destinataires qui le jugent bureaucratique et
de la part des oprateurs qui ressentent une telle charge comme anormale
dans l'exercice de leur activit. A vouloir obtenir trop d'information au
moyen du systme de suivi, on court le risque que cette information perde
en qualit et en fiabilit. L'exemple de l'encadr suivant montre les limites
d'une collecte d'information exhaustive auprs des destinataires.
Encadr 7 -
Collecte d'information auprs des destinataires :

suivi ou valuation ?
Irlande - Programme Oprationnel Ressources Humaines Objectif 1, 1994-99

Un Programme Oprationnel de Ressources Humaines a t mis en uvre en
Rpublique d'Irlande pour la priode 1994 - 1999. De nombreux organismes de
formation publics et privs ont particip ce programme. Dans un premier temps,
il a t exig que chaque organisme indique le nombre de personnes ayant trouv
un emploi aprs le stage. Pour respecter cette obligation d'information, les
organismes ont ralis des enqutes exhaustives par courrier ou par tlphone
auprs de leurs stagiaires.
Aprs quelque temps de fonctionnement de ce systme, l'unit d'valuation du
programme a constat que les donnes n'talent pas homognes ni fiables. En
particulier, l'emploi tait mesur selon les cas entre 8 et 18 mois aprs le stage.
Par ailleurs, les organismes de formation se sont plaints du caractre lourd et
bureaucratique de ce systme. Il a t dcid d'abandonner la collecte
exhaustive et de quantifier l'Indicateur de taux de placement au moyen
d'enqutes par sondage organises l'chelle du programme.
Les indicateurs d'impacts sont plutt des indicateurs d'valuation.

L'valuation produit des informations sur les impacts l'aide d'enqutes ou
d'tudes approfondies. Les techniques de collecte font appel
l'chantillonnage, ce qui permet de limiter le nombre de personnes
interroges et d'viter l'impression de bureaucratie. Par ailleurs, l'valuation
n'est pas normalement ralise par l'oprateur et n'alourdit pas
excessivement son travail.
Les indicateurs de suivi et d'valuation se distinguent galement par leurs
implications en termes de partage des responsabilits. Les indicateurs de
suivi, et en particulier les Indicateurs de ressources et de ralisations
permettent aux oprateurs de rendre compte de l'utilisation des moyens
qui leur sont allous ainsi que des activits dont ils sont pleinement
responsables, par exemple : construire un quipement sans retard ni
dpassement de cot.
Les indicateurs de rsultats relvent tantt du suivi ou tantt de l'valuation
selon le degr de dcentralisation adopt dans la gestion du programme.
Si le programme est trs dcentralis (gestion par les rsultats), les
oprateurs ont la possibilit et la responsabilit d'adapter continuellement
et rapidement leur activit en fonction des rsultats obtenus. Par exemple,
ils peuvent tre amens constater que les conseils apports aux
entreprises ne donnent pas satisfaction, et dcider de modifier fortement le
systme d'aide au conseil. Dans ce cas, les oprateurs suivent
attentivement les indicateurs de rsultats pour tre ractifs et pour exercer
leurs responsabilits de gestion du programme. Au contraire, si les
oprateurs n'ont pas la libert d'adapter les rgles de mise en uvre, ils
n'ont pas un intrt personnel suivre les indicateurs de rsultats, et ceuxci relveront plutt de l'valuation. En pratique, toutes sortes de situations
intermdiaires co-existent entre ces deux modles.
L'Information apporte par les indicateurs d'valuation correspond des
lments dont les oprateurs ne sont pas pleinement responsables. Par
exemple, on ne peut pas demander aux oprateurs de ragir en temps rel
par rapport des indicateurs d'impacts. Les indicateurs d'valuation sont
destins une audience largie incluant les financeurs et les oprateurs. Ils
sont utiliss de faon relativement peu frquente pour prendre des dcisions
qui conduisent, soit changer le programme pour mieux atteindre les
objectifs, soit rviser les objectifs pour tenir compte de l'exprience.
L'encadr suivant prcise le rle des diffrents types d'indicateurs du point
de vue de l'exercice de la responsabilit des oprateurs.
Encadr 8 - Les indicateurs et la responsabilit des oprateurs

Ressources
Ralisations
Rsultats
Les oprateurs
...sont directement responsables

de leurs ralisations (suivi)
... sont indirectement responsables des rsultats

car ils en ont facilement connaissance
... ne contrlent pas les impacts (valuation)
Impacts
Applications diffrents types d'interventions structurelles
Applications des quipements, des services

et des subventions
Lorsque le programme produit des ralisations physiques, par exemple des
quipements, la typologie en quatre catgories s'applique facilement. Ainsi,
dans le premier exemple de l'Encadr 9, l'oprateur amnage un site
Industriel et les entreprises qui viennent s'y installer sont les destinataires.
On comprend facilement que les ralisations se limitent ce qui est sous la
responsabilit de l'oprateur (la surface amnage). Les rsultats
reprsentent l'Intrt de l'amnagement, selon le point de vue des
destinataires (l'attractivit du site industriel par rapport d'autres sites
concurrents). Les impacts apparatront en mme temps que la demande
des destinataires (l'occupation progressive du site par des entreprises).
Dans le second exemple, l'oprateur qui a construit une route (ralisation)
peut connatre immdiatement le gain de temps et d'accessibilit pour les
destinataires (rsultat). Il lui faudra attendre une ou plusieurs annes pour
constater le nombre de vhicules qui circulent sur la route et il lui faudra
lancer une enqute onreuse pour connatre le nombre de passagers dans
ces vhicules, l'origine et la destination de leur voyage, les changements
provoqus par l'usage de la route (impacts).
Le troisime exemple de l'encadr montre le cas d'une municipalit qui a
t aide rhabiliter une friche industrielle (ralisation). Cet exemple est
difficile traiter parce qu'il n'y a pas de destinataires directs. Les habitants
de la ville sont des destinataires indirects et l'oprateur n'a aucun contact
personnel avec ceux qui profitent du projet (habitants du voisinage,
passants). Il est donc difficile de construire des indicateurs de rsultat. Par
convention, on a propos ci-dessous de retenir comme destinataires
directs, les habitants situs dans un rayon de 1 km Au-del, le projet
amliore globalement la qualit de vie des habitants de la ville qui seront
plus satisfaits d'y habiter et auront moins envie de dmnager (impacts).
La distinction en quatre catgories devient moins facile quand le
programme offre des services (ex : formation, conseil). Non seulement le
terme ralisation physique devient inappropri puisque le service est
immatriel mais en outre, la notion mme de ralisation pose problme. En
effet, il n'est pas possible de produire

celui qui le reoit.
Encadr 9
le service indpendamment de
Exemples d'indicateurs dans le cas d'quipements

Site industriel
Route entre A et
Rhabilitation
d'une friche urbaine
Ressources
Cot
d'amnagement
Cot de
construction
Cot du projet
Ralisations
Surface
amnage
Longueur construite
Surface traite
Rsultats
Attractivit du site
par rapport
des sites voisins
Gain d'accessibilit
Evolution du nombre
d'habitants (et leur
composition socio
professionnelle),
dans un rayon
de 1 km
Impacts
Surface achete
par les
entreprises
clientes aprs
1 an
Nombre de
vhicules circulant
sur la route aprs
1 an
Pourcentage des
habitants de la ville
qui souhaitent
continuer d'y
habiter (contexte)
Evolution de
l'emploi dans
les entreprises
clientes
Pourcentage des
entreprises
rgionales satisfaites
de leur accessibilit
(contexte)
La production du service (ralisation ou offre) devient donc pratiquement

synonyme du fait que le destinataire en profite (rsultat ou demande). Dans
le cas d'un programme qui offre des services, la logique voudrait donc que
les ralisations et les rsultats soient confondus. Cependant, on a conserv
la distinction en admettant la convention de langage suivante : le service
financ par l'oprateur est considr comme une ralisation. La catgorie
des " rsultats est limite aux autres avantages immdiats retirs par le
destinataire. Cette dfinition s'applique comme indiqu dans l'Encadr 10.
Applications des interventions structurelles
Encadr 10
Exemples d'indicateurs dans le cas d e services

Formation de
chmeurs de
longue dure
Cration d'une
filire de formation
dans une industrie
mergeante
Conseil aux RM.E.
Ressources
Budget
consomm pour
la formation
Budget consomm
Budget consomm
pour l'action de
conseil
Ralisations
Nombre
de journes
de formation
finances
Nombre de places
de stage offertes
dans la nouvelle
filire
Nombre d'heures
de conseil
finances
Rsultats
Nombre de
stagiaires ayant
acquis une
qualification
Pourcentage des
places de formation
offertes dans les
secteurs en
croissance
Taux de
satisfaction
des PME ayant
reu le conseil
Impacts
Nombre de
stagiaires
ayant trouv
un emploi aprs
un an
Nombre de stagiaires
recruts dans la
nouvelle filire
aprs un an
Pourcentage des
P.M.E. qui dclarent
avoir augment leur
activit grce au
conseil aprs un an
La typologie en quatre catgories devient encore plus difficilement

applicable quand le programme alloue des subventions. On ne parle pas ci
d'une subvention attribue un oprateur du programme (ex : subvention
une autorit locale pour crer une station d'puration ou subvention un
organisme de formation pour offrir des stages), mais bien des subventions
attribues aux destinataires directs. Dans ce cas, il y a simultanit
complte entre la ressource (le programme absorbe le montant de la
subvention), la ralisation (l'oprateur accorde la subvention) et le rsultat
(en contrepartie de la subvention, le destinataire investit dans son projet et
en obtient des avantages immdiats). Dans le cas d'un programme qui offre
des subventions, la logique voudrait donc que les ressources, les
ralisations et les rsultats soient confondus. Dans cet ouvrage, on a
adopt la convention de langage suivante : les ressources sont les
subventions accordes ; les ralisations reprsentent les lments cls du
projet subventionn (ceux qui doivent absolument tre obtenus sous peine
de nonpaiement de la subvention, par exemple la cration effective de
l'entreprise ou le maintien d'une entreprise existante) : les rsultats sont

tous les autres effets immdiats sur le destinataire, Ces conventions
s'appliquent comme dans l'Encadr 11.
E n c a d r 11 - E x e m p l e s d'indicateurs dans le c a s
de subventions
Installation
d'un agriculteur
Dsarmement d'un
bateau de pche
Cration
d'entreprises
Ressources
Montant de
subvention
Montant de
subvention
Montant de
subvention
Ralisations
Montant
d'investissement
des agriculteurs
installs
Tonnage de
bateaux dsarms
Nombre
d'entreprises cres
Rsultats
Pourcentage des
agriculteurs
installs qui
travaillent avec
un label rgional
de qualit
Pourcentage des
travailleurs des
bateaux dsarms
qui sont demandeurs
d'emploi
Pourcentage des
entreprises cres
dans les secteurs de
haute technologie
Impacts
Nombre d'emplois
gnrs aprs
un an dans les
exploitations
cres
Diminution de la
capture d'espces
halieutiques
menaces (T / an)
dans la zone de
pche concerne
Nombre d'emplois
dans les entreprises
cres aprs un an
Valeur ajoute brute

(VAB) cre aprs
un an dans les
exploitations cres
Valeur ajoute brute

(VAB) dans les
entreprises cres
aprs un an
Application des domaines, des priorits et des finalits

La section II prsente une srie de systmes d'indicateurs dans quinze
champs d'application couverts par les Fonds structurels communautaires.
Les quinze champs ne correspondent pas la classification des interventions
des Fonds structurels qui a t ralise par la Commission 2 . Si cette
classification tait suivie, l'ouvrage aurait la structure suivante :
!
Cette typologie provient d'une note de travail interne de la Commission portant sur
un projet de codification des domaines d'intervention des Fonds structurels.
Environnement productif
Agriculture, sylviculture et dveloppement rural
Pche
Aides aux grandes entreprises
Aides aux PME et l'artisanat
Tourisme
Recherche et dveloppement technologique (RTD)
Ressources humaines
Assistance aux personnes
Assistance aux structures et systmes
Infrastructures de base
Infrastructures de tlcommunications et socit de l'information
Infrastructures dans le domaine des nergies
Infrastructures environnementales
Amnagements et rhabilitations
Infrastructures de sant
La classification de la Commission europenne cre des secteurs
d'interventions exclusifs l'un de l'autre. Au contraire, les champs tudis
dans cet ouvrage comportent des zones de recouvrement ; la notion de
champ utilise ci se rapprochant de celle du thme dans le cinquime
Volume de la Collection MEANS. Certains champs correspondent des
secteurs d'interventions proches des catgories de la Commission,
d'autres correspondent au contraire aux finalits des Fonds structurels.
D'autres enfin ont un statut intermdiaire, certains rejoignant les priorits
politiques de la Commission.
La premire srie de champs est centre sur les ralisations des
interventions structurelles dans sept domaines : les transports, l'nergie, la
formation, le tourisme, la pche, la recherche et le dveloppement
technologique, l'agriculture et le dveloppement rural. Les domaines
d'activit sont situs en amont de la chane de causalit des impacts socioconomiques qu'ils doivent produire. Les indicateurs pertinents dans cette
catgorie tendent donc se centrer sur les rsultats et les ralisations des
interventions. Quant aux indicateurs sectoriels au niveau des impacts, ils se
concentrent sur des Impacts spcifiques, c'est--dire sur les impacts qui se
produisent en amont de la chane de causalit et qui peuvent tre attribus

aux rsultats des interventions.
La deuxime srie de champs est consacre cinq thmes qui sont pour
la plupart des priorits communautaires : l'environnement, la socit de
l'information, la comptitivit des entreprises et des PME, l'galit des
chances et le dveloppement urbain. Les thmes ont tendance se placer
plus en aval de la chane de causalit que les secteurs. Dans bien des cas,
un thme est associ un mlange d'interventions, qui sont pour certaines
en rapport avec le thme au stade des ralisations (par exemple, les
rseaux de tlcommunications sont associs au thme socit de
l'information), tandis que d'autres sont associes au thme une tape
ultrieure de la chane de causalit (par exemple l'aide aux entreprises de
haute technologie).
Encadr 12 - Structure en quatorze champs
et finalits
transport, nergie,
formation, tourisme,
pche, Recherche
et dveloppement
technologique
agriculture et
dveloppement rural
ralisations
environnement,
comptitivit
des entreprises et
des PME,
galit des chances,
dveloppement urbain,
socit de l'information
rsultats
domaines, priorits
dveloppement
conomique, emploi,
qualit de la vie
Impacts spcifiques
impacts globaux
Trois champs enfin refltent la raison d'tre gnrale des interventions

structurelles, savoir la promotion du dveloppement conomique, de
l'emploi et de la qualit de la vie. Les indicateurs dans cette catgorie
informent donc sur les impacts globaux. Comme le montre l'encadr 12, le
prsent Volume tente d'tablir des liens rtrospectifs entre les indicateurs
d'impacts globaux, les indicateurs d'impacts spcifiques, les indicateurs de

rsultats et de ralisations et les indicateurs de ressources. Ces tentatives
constituent une nouvelle faon d'aborder le problme de passage entre le
niveau micro et le niveau macro, en reliant la gestion quotidienne des
oprations l'objectif global de la politique.
Champs d'application
Quelques repres pour la lecture des fiches

Chaque fiche prsente dans ce chapitre est construite selon un format
standard.
Introduction
Une introduction prsente brivement le champ couvert par la fiche dans le
cadre des Fonds structurels.
Interventions dans le champ
La prsentation des indicateurs pour les interventions qui se situent dans le
champ tudi suit la chane de causalit depuis les indicateurs de
ressources jusqu'au indicateurs d'impacts. Une srie d'exemples concrets
d'Interventions prsente des indicateurs de ralisation, de rsultat et
d'Impact.
Les indicateurs de programme sont systmatiquement proposs tous les
niveaux. Au niveau de l'impact, ils couvrent la fois les impacts lis
directement aux rsultats des Interventions et les impacts intermdiaires
qui lient les Interventions aux impacts globaux apparaissant au niveau
macro et reflts par les indicateurs de contexte appropris.
Tandis que les indicateurs de programme se rapportent toutes les tapes
de la chane de causalit, le rle cl des Indicateurs de contexte est de
fournir des informations sur l'volution de la situation macroconomique
globale. Cependant, tant donne l'utilit des informations fournies par les
indicateurs de contexte, ceux-ci ont t inclus au niveau des ralisations et
des rsultats chaque fois que cela tait pertinent.
Autres interventions ayant un impact dans le champ
Une intervention peut avoir un impact dans plusieurs champs. Cette
section examine les interactions possibles entre les champs et fournit le cas
chant des exemples significatifs.
Disponibilit et collecte des donnes
Cette section traite des questions portant sur la collecte des donnes dans
le contexte spcifique du champ tudi.
Indicateurs cls
Cette section mentionne un certain nombre d'indicateurs cls qui se
prtent la comparaison et l'agrgation.
Pour en savoir plus...
Bibliographie destine au lecteur
connaissances dans le champ.
qui
souhaite
approfondir
ses
Indicateurs pour sept domaines
Infrastructures d e t r a n s p o r t
Dans le domaine des infrastructures de transport, les interventions
englobent les routes, ponts et autoroutes, les lignes et les gares ferroviaires
(grandes lignes ou banlieue), les mtros, aroports, ports, plates-formes
ntermodales, etc. Les interventions concernent aussi bien la construction
que l'amlioration. Les projets llgibles sont essentiellement limits
l'infrastructure et ne comprennent gnralement pas les quipements
mobiles tels que trains, ferries et avions. L'essentiel du financement des
infrastructures de transport est canalis via le FEDER vers les zones
d'Objectif 1, souvent en parallle avec des prts de la BEI. Les Interventions
prennent diverses formes : grands projets, programmes oprationnels
(spcifiques au transport) ou mesures de transport dans le cadre de
programmes rgionaux.
Les infrastructures de transport possdent un certain nombre de
caractristiques spcifiques qui dterminent les systmes d'indicateurs
utiliss pour valuer les interventions dans le champ. Les projets sont
souvent importants, relativement peu nombreux et mis en uvre sur
plusieurs annes. Certains projets sont utiliss directement par les
destinataires (routes), tandis que d'autres (lignes de chemin de fer)
ncessitent un oprateur et des investissements complmentaires avant
d'atteindre les usagers. Enfin, un projet d'infrastructure de transport fait
partie d'un rseau : c'est le rseau qui fournit des avantages aux
utilisateurs, et non pas le projet en lui-mme.
Indicateurs de ressources
Si la ncessit de suivre le cot d'un programme et la mise en uvre d'un
projet est commune tous les projets, le risque de dpassement en termes
de budget et de planning inhrent aux grands projets d'infrastructures
confre une importance particulire au suivi de leur excution. Au niveau du
programme, les ressources peuvent tre efficacement suivies avec un seul
indicateur : la conformit au cot du projet , qui peut tre dfini comme
la dernire estimation du cot total du projet par rapport au cot
apparaissant dans le document de programmation . L'avancement du

projet peut tre suivi en comparant la dure relle du projet par rapport
celle qui a t planifie, et les cots rels par rapport ceux planifis (Voir
Encadr 13).
Indicateurs de ra lisa tion
Sans prjudice de l'information dtaille requise aux niveaux de gestion
infrieurs, l'information ncessaire pour le suivi du programme doit
simplement intgrer le taux de ralisation . Afin de calculer le taux de
ralisation , les grands projets doivent tre dcomposs en de
nombreuses tches, chaque tche tant pondre avec son cot prvu. Le
taux de ralisation est le pourcentage pondr des tches acheves. Il
est facile de calculer un taux de ralisation moyen pondr de tous les
projets d'Infrastructures au sein d'un programme. L'inconvnient du taux
de ralisation est que sa signification est trs proche de celle d'un
indicateur de consommation budgtaire, du moins quand il n'y a pas de
dpassement de cot.
Encadr 13 Suivi de l'excution d'un projet
#
"
Calendrier prvu
Calendrier rel
Cots en cours
Dpense prvue
10
20
30
52
^
\s>
40
50
60
% de ralisation
D Dbut de l'anne
Maintenant
Dans cet exemple, le projet, qui tait trs en retard sur le planning prvu en dbut
d'anne, a pratiquement rattrap le pourcentage de ralisation planifi (les deux
histogrammes du haut). Le dpassement de cot observ au dbut de l'anne a
galement t lgrement rduit au fur et mesure que le projet avanait au
cours de l'anne (les deux histogrammes du bas).
Afin de mieux reflter les ralisations, il est intressant de calculer un

indicateur de conformit avec le calendrier prvu ou taux de respect
des dlais. Pour faciliter le jugement et les comparaisons, il est essentiel
que le calendrier du projet soit prsent avec ses deux valeurs : initiale et
en cours. Il est galement trs Important que les donnes temporelles et
financires soient prsentes en parallle, dans la mesure o un projet peut
la fols prsenter des dpassements de budget en raison de surcots et
une sous-utilisation due des retards, auquel cas le solde financier est
pratiquement nul. Dans ce cas, la prise en compte de la seule dimension
financire pourrait suggrer, tort, que tout va bien (Voir Encadr 13).
Les indicateurs de ralisations peuvent tre utilement associs au stock
d'infrastructures rgionales. Les nouvelles routes et les nouvelles voies
ferres sont susceptibles d'augmenter la dotation rgionale mesure en
termes de km/km 2 ou km/habitant.
Indicateurs de rsultat
Sur la route, la plupart des voyageurs utilisent l'infrastructure avec leur
propre quipement (automobile). Pour les autres modes de transport, les
destinataires utilisent les services d'oprateurs de transport, et sont donc
dpendants non seulement de la qualit et de la capacit de
l'infrastructure, mais galement de la gamme de services mis leur
disposition par ces oprateurs et de l'adquation de ces services leurs
besoins. Cette diffrence fondamentale a des consquences non
seulement sur le choix des indicateurs qui doivent tre slectionns pour
l'valuation des investissements dans les diffrents modes de transport,
mais galement pour la rapidit de diffusion et le rayonnement
gographique des avantages de chaque projet. Cela s'explique parce que
les infrastructures routires sont disponibles ds le premier jour de mise en
service et s'intgrent facilement dans le reste du rseau routier, alors que,
par contre, les autres modes de transport requirent souvent des
investissements complmentaires de la part des oprateurs qui peuvent
avoir acheter des quipements supplmentaires et amliors,
rorganiser leurs services et les commercialiser.
Indicateurs
d'impact
Les impacts spcifiques des infrastructures de transport sont associs

la circulation sur le nouvel quipement. Les utilisateurs rels de la
nouvelle infrastructure peuvent tre comptabiliss au plus tt un an aprs
l'ouverture. A cette date, les utilisateurs finals peuvent galement faire

l'objet d'enqutes sur la destination des trajets, le gain de temps sur la
dure du trajet, le cot de transport, etc. Le deuxime type d'impacts
devant tre pris en compte est associ l'quilibre de la concurrence
intermodale. L'ouverture d'une nouvelle Infrastructure de transport est
susceptible de modifier les parts de march des diffrents modes de
transport. Mais il existe galement de nombreux cas de
complmentarit, o la circulation supplmentaire concernant un mode
sur une partie du rseau sera transfre sur un autre mode pour couvrir
une autre partie du trajet dans la mme chane logistique.
C'est toujours l'amlioration du dynamisme et de la comptitivit d'une
rgion qui justifie l'existence et l'ampleur des projets d'Infrastructures de
transport des Fonds structurels. De nombreuses tudes ont rvl que ces
impacts sont toujours trs difficiles valuer. Il est quelquefois pertinent
d'appliquer les Indicateurs d'Impact conomique au systme de transport
dans sa globalit. Souvent, l'inverse, l'utilisation d'indicateur d'impact
conomique un seul projet n'a pas de sens.
La sophistication croissante de certains types d'infrastructures de transport
a provoqu une hausse des cots d'investissement qui a tendance crer
des discontinuits dans les rseaux de transport et des ingalits en termes
d'accessibilit. L'valuation doit donc tenir compte non seulement des
gains associs l'utilisation des services amliors, mais galement des
questions de distribution associes aux personnes et aux rgions non
bnficiaires.
Des impacts externes significatifs des investissements dans les transports
sont galement observs dans le secteur de l'environnement.
Malheureusement, on accorde beaucoup d'attention aux impacts de la
construction d'infrastructures mais beaucoup moins aux impacts du
fonctionnement des systmes et des dcisions politiques (ou de l'inaction)
qui peuvent galement avoir un trs fort impact sur l'environnement.
Les emplois court terme lis la construction posent un problme
spcifique de comptabilisation. Dans la mesure o ils font partie des
ressources humaines investies dans la mise en uvre du programme, ils
devraient thoriquement tre comptabiliss au niveau des ressources.
Cependant, en pratique, la cration d'emploi lie la construction est
considre comme un impact par la plupart des quipes d'valuation.
Exemple 1 Nouvelle section d'autoroute assurant la connexion

entre A et
(en lien avec l'intervention et ses effets) '
(en lien avec la zone aide)
Indicateurs de ralisation
Avancement
Conformit avec la dure du projet

Taux de ralisation
Quantit
km de nouvelle autoroute
km de nouvelles voles
km d'autoroute par million

d'habitants dans la zone (dotation)
E.S.S.1" entre A et
tous les centres urbains
E.S.S. moyenne de et vers

concerns de la zone
Circulation
Circulation12' des vhicules utilisant

la nouvelle Infrastructure aprs un an
Circulation dans la zone

(vhicule km / an / habitant)
Gain de temps(3)
Gain de temps de trajet total des

utilisateurs (heures vhicules
nombre moyen de passagers par
vhicules) aprs un an
Scurit
Nombre d'accidents'4 sur l'autoroute

aprs un an d'utilisation
Systme de transport
% de la circulation entre A et
utili isant la nouvelle Infrastructure
Indicateurs de rsulteIt
Vitesse
Indicateurs d'impact
% de chefs d'entreprises de la zone

dclarant que l'accessibilit routire
est une contrainte majeure pour
leur entreprise151
Effet conomique indirect
Environnement
Accidents de la route dans la zone

(nombre / an / million d'habitants)
Nombre de logements subissant

le bruit de la circulation161
Hectares de sites naturels touchs
Nombre de logements dans la zone

Hectares de sites naturels dans
la zone
(1) E.S.S. (Equivalent Straight Line Speed) signifie Vitesse Equivalente vol d'oiseau et mesure la facilit
d'accs d'un point un autre, quels que soient la distance entre ces points et le chemin emprunt.
Elle est calcule en divisant la distance en ligne droite entre deux points par la dure du trajet le plus
rapide entre ces deux points.
(2) Le trafic est exprim en nombre moyen de vhicules par jour. Dans la mesure du possible, un camion
est compt comme deux voitures.
(3) Le gain de temps doit tre mesur la fois pour les trajets interurbains et ntraurbains.
(4) Les accidents sont exprims en nombre d'accidents avec blesss par an. Si possible, les accidents
provoquant des morts sont compts double.
(5) La contrainte d'accessibilit est quantifie au moyen d'une enqute auprs des chefs d'entreprises
de la zone. Elle est exprime en pourcentage de personnes Interroges exprimant leur accord avec
la phrase suivante : l'accessibilit par vole routire (ferroviaire, arienne, maritime...) est une
contrainte majeure pour le dveloppement de mon entreprise .
(6) Les maisons touches par les nuisances sonores doivent tre comptabilises en fonction des
niveaux de bruit acceptable dans chaque pays. L'indicateur s'applique aux riverains de l'autoroute
et des autres axes routiers joignant A et B.
Indicateurs pour le suivi et l'valuatio
Exemple 2 A mlioration d'une ligne de chemin de fer entre A et

B, permettant la circulation de trains grande vitesse
(en lien avec l'Intervention et
ses effets)
Avancement
Voir Exemple 1
Quantit
Km de voie ferre grande vitesse
km de voie ferre grande vitesse

par million d'habitants
Vitesse
E.I.S.S."> entre A et
E.I.S.S. moyenne entre les

centres urbains concerns de
la zone
Trafic
Trafic21 de passagers entre A et
Trafic de et vers la zone
aprs un an
(passagers km/an)
Gain de temps
Temps de trajet total gagn par

les utilisateurs (heures passagers)
aprs un an
Systme de
transport
% du trafic total entre A et

reprsent par les trains grande
vitesse
Effet conomique
indirect
Environnement
% de chefs d'entreprises de
la zone dclarant que
l'accessibilit ferroviaire est
une contrainte majeure
Voir Exemple 1
Voir Exemple 1
(1) E.I.S.S. (Equivalent Interval Straight line Speed) est la Vitesse Equivalente Vol d'oiseau par
Intervalles. C'est un indicateur facile comparer. Il est conu pour mesurer la facilit d'accs d'un
point un autre, pour un service discontinu, quels que soient la distance entre ces deux points et le
chemin emprunt. Elle est calcule en divisant la journe en intervalles jugs adquats pour la
distance en question (par ex. des intervalles de 2 heures), puis en calculant la meilleure E.I.S.S. pour
les dparts de chaque intervalle et en calculant une moyenne de ces rsultats sur la priode de la
journe pertinente (par ex. de 7h00 22h00. S'il n'y a pas de dpart pendant un intervalle donn,
('E.I.S.S. correspondante est gale zro et saisie c o m m e telle dans le calcul. Le calcul des valeurs
d'E.I.S.S. doit tenir c o m p t e non seulement des heures d e dpart relles, mais galement des
possibilits de correspondance et des horaires, quand il n'y a pas de liaison directe entre les deux
points (avec un dpart au moins dans l'intervalle considr).
(2) Le trafic est exprim en passagers / an.
Exemple 3 - Extension d'un aroport rgional

(en lien avec l'intervention et
ses effets)
Avancement
Voir Exemple 1
Capacit
Nombre maximum de passagers

paran
Nombre maximum de passagers

par an par millions d'habitants
Indicateurs de resultiIt
Destinations
Vitesse
Nombre de destinations avec au

moins dix vols directs par semaine'''
E.I.S.S. par voie arienne entre le
E.I.S.S. moyenne par tout mode
centre urbain le plus proche et
de transport entre tous les centres
les destinations les plus pertinentes
urbains de la zone et les
(liaisons directes + indirectes)
destinations les plus pertinentes

(liaisons directes + indirectes)
Cot pour les
Modifications des taxes d'aroport
utilisateurs
Trafic
Trafic arien121 de l'aroport zoneal
Trafic arien de et vers la zone
aprs un an
Effet conomique
indirect
Environnement
% de chefs d'entreprises de la
zone dclarant que l'accessibilit
arienne est une contrainte
majeure
Voir Exemple 1
Voir Exemple 1
(1) Le nombre de destinations desservies par un service rgulier d'au moins deux vols quotidiens en
semaine.
(2) Le trafic arien est exprim en nombre de passagers et en tonnes de fret par an.
Exemple 4 - Amlioration d'un terminal de conteneurs

de port maritime
ses effets)
Avancement
Voir Exemple 1
Capacit
Nombre maximum de conteneurs

soulevs par des grues par heure
et par an
Indicateurs de rsulteit
Temps d'attente et
de dchargement
Temps d'attente des navires avant

mise quai (en heures)
Temps de dchargement des navires
Ponctualit
% des services programms

arrivant temps
Destinations
Nombre de compagnies
maritimes utilisant le port
Temps de
manutention
Temps de sjour moyen

des importations''
Temps de chargement/dchargement
des vhicules routiers
Trafic
Trafic du terminal de conteneurs

(TEU|2' / an) aprs un an
Effet conomique
indirect
(1) Temps moyen que les units importes passent dans le port.
(2) TEU - Twenty-foot Equivalent Units.

(TEU / an)
% de chefs d'entreprises
de la zone dclarant que
l'accessibilit maritime est
une contrainte majeure
Exemple 5 - Amlioration d'une ligne ferroviaire pour des activits

de fret
ses effets)
Avancement
Voir Exemple 1
Quantit
Nombre de km amliors
Qualit
% de la ligne permettant des vitesses

au moins gales une valeur de seuil
souhaite (100 km/h)
% de longueur de ligne permettant
le transport des charges standard
les plus lourdes
Indicateur de rsultat
Vitesse
Vitesse commerciale type des trains
Vitesse moyenne sur les lignes
de marchandise sur cette ligne
rgionales
Trafic de marchandises sur cette
ligne (Tonnes / an) aprs un an
(Tonnes / an)
Trafic
Systme de
Trafic du fret qui aurait t transport
transport
par la route s'il n'y avait pas eu la

nouvelle Infrastructure (Tonnes / an)
% de chefs d'entreprises de la
zone dclarant que l'accessibilit au
fret ferroviaire constitue une
contrainte majeure
Effet conomique
indirect
Exemple 6 - Construction d'une plate-forme intermodale (rail / route)

(En lien avec l'intervention et
ses effets)
(En lien avec l'ensemble du public
vis)
Indicateurs de ralisa tion

Avancement
| Voir Exemple 1
I n d i c a t e u r s de rsultat
Vitesse
Vitesse commerciale type des

marchandises transitant par le centre
Trafic
Trafic de fret dans le centre
Systme de transport
Voir Exemple 5
(en tonnes / an)

(en tonnes / an)
Les autres interventions ayant un impact dans le domaine

Alors que les Interventions dans le domaine des Infrastructures de transport
ont des impacts externes importants et de grande porte dans de nombreux
autres champs, l'inverse est moins vrai. Les impacts provoqus sur les
infrastructures de transport par des interventions hors du champ des
transports sont gnralement trs indirects. Lorsque ces impacts se
produisent, ils sont le plus souvent gnrs par des interventions qui ont
pour but d'aider le dveloppement conomique et les entreprises. Les
Interventions dans ces domaines sont susceptibles d'affecter les indicateurs
d'impacts du systme de transport travers une augmentation de l'activit
conomique. De mme, les interventions cibles sur l'environnement ou le
tourisme peuvent avoir un impact sur le systme de transport (rduction ou
augmentation de l'utilisation des vhicules particuliers).
Les gestionnaires des chantiers sont tenus de fournir des donnes de
ralisation synthtiques (taux de ralisation et taux de respect des dlais)
tous les six mois.
Les oprateurs, dans le cadre de leur activit de gestion normale doivent
quantifier des indicateurs de rsultat et d'impact spcifiques (trafic, vitesse
moyenne). En principe, les indicateurs de rsultats sont quantifis une fois
par an.
La quantification des indicateurs d'impact complexes (composante
rgionale du trafic, par ex.) exige en gnral la mise en place d'une tude
ou d'une enqute ad hoc. Par exemple, ces tudes peuvent Impliquer des
enqutes auprs d'entreprises ou auprs d'individus utilisant le systme
d'infrastructures amlior. Ces tudes sont coteuses et ne peuvent pas
tre rptes chaque anne. Une bonne mthode consiste raliser une
premire tude juste avant l'achvement des travaux et une deuxime trois
ans aprs.
Les indicateurs de contexte sont associs au systme de transports et la
rgion dans son ensemble et beaucoup d'entre eux peuvent driver de
sources statistiques. Certaines statistiques europennes sont disponibles
au niveau rgional comme l'indique l'Encadr 14.
D'autres donnes peuvent tre disponibles pour diffrents types d'impacts
(environnement, parts de march par modes de transport, productivit
industrielle) si une collecte rgulire est effectue pour des sries

temporelles par les offices statistiques nationaux ou par des organismes
rgionaux.
Encadr 14 - Eurostat : Infrastructures de transport et scurit
routire - Statistiques rgionales (NUTS II)
Routes : total (en km)
Dont autoroutes (en km)
Rail : total (en km)
Dont double voie ou plus (en km)
Dont lignes lectrifies (en km)
Routes : densit du rseau (en km/km2)
Rail : densit du rseau (en km/km 2 )
Dcs provoqus par des accidents de la route (nb/million d'hab./an)
Indicateurs cls
Les indicateurs cls prsents ci-dessous se prtent la fois des
comparaisons entre diffrentes interventions et avec d'autres programmes,
Ils peuvent donc faire l'objet d'agrgation l'chelle europenne.
Niveau
Indicateur cl
Ressources
Taux de consommation budgtaire (% des fonds allous)

% de budget consacr des mesures d'attnuation pour
l'environnement (1 '
Ralisations'2'
Taux de ralisation du projet (% de l'objectif)

Taux de respect des dlais
Rsultats
Vitesse moyenne entre principaux centres conomiques*3'
Impact
% de chefs d'entreprises de la zone dclarant que

l'accessibilit constitue une contrainte majeure pour leur
entreprise
(1) Les mesures d'attnuation rduisent ou liminent l'impact environnemental des projets aids.
(2) Afin de mesurer les ralisations avec prcision et de reflter la dimension du projet, ils doivent
tre affins par des dtails complmentaires. Ces dtails ne doivent toutefois pas tre
distingus des indicateurs cls.
(3) Ceci donne une indication de l'accessibilit globale offerte par 'es investissements dans des
infrastructures de transport. La base de calcul est l'E.S.S. (Equivalent-Straight-line Speed)
entre les dix principaux centres conomiques de la zone en utilisant le mode de transport le
plus efficace.

Burmeister, ., Colletis-Wahl, . (1996), T.G.V. et fonctions tertiaires :
grande vitesse et entreprises de services Lille et Valenciennes'
in : Revue Transports Urbains, Volume 93.
Button, . (1995), 'What can Meta-Analysis tell us about the implications of
Transport' in : Regional Studies, Volume 29(6), 507-517.
European Commission (1997), EU transport in figures. Luxembourg : Office
for Official Publications of the European Communities.
Rephann, T.J. (1993), 'H ighway Investment and Regional Economic
Development : Decision Methods and Empirical Foundations' in :
Urban Studies, Volume 30(2), 437-450.
Les interventions structurelles dans le domaine de l'nergie sont cibles
soit sur la production d'nergie (centrales lectriques), soit sur la
distribution de l'nergie (rseaux de distribution d'lectricit, gazoducs
pour le mthane ou d'autres gaz). Elles impliquent la construction de
nouvelles infrastructures ou l'agrandissement et le renforcement de celles
existantes. Les interventions structurelles peuvent galement avoir les
conomies d'nergie pour objectif. On citera par exemple la mise en service
de systmes permettant la rcupration de la chaleur gnre par diffrents
processus de production, ou la production d'lectricit partir de sources
d'nergies renouvelables ou de la biomasse.
L'objectif spcifique des interventions est la fourniture d'nergie la
population et l'Industrie. La fourniture d'nergie destine la
consommation finale par des particuliers constitue une contribution
l'amlioration des conditions de vie. La fourniture d'nergie aux industriels
et aux institutions publiques doit tre concurrentielle en termes de quantit,
de qualit et de cots. Deux autres objectifs cruciaux, troitement associs
au dveloppement conomique et la qualit de la vie, sont galement
concerns : (1) la rduction de la dpendance nergtique vis--vis de
l'tranger par l'exploitation de sources d'nergie nationales et locales et (2)
la rduction de l'impact de la production et de la distribution de l'nergie
sur l'environnement par l'exploitation de ressources alternatives et, si
possible, renouvelables.
Dans le domaine de l'nergie, il est particulirement pertinent de distinguer
les interventions au niveau national et au niveau local. Dans le premier cas,
les interventions consistent gnralement en de grands projets
d'infrastructures assurant la fourniture d'nergie aux destinataires via des
rseaux de distribution complexes. En d'autres termes, les destinataires
bnficient des projets, non pas directement, mais par l'intermdiaire des
rseaux de distribution auxquels ils sont raccords. Les interventions
locales, par contre, sont de taille plus rduite, plus nombreuses et ont
souvent pour objectif de produire ou d'conomiser l'nergie dans l'intrt
du producteur lui-mme. Les projets relatifs l'nergie exigent
gnralement plusieurs annes de mise en uvre. Ils bnficient souvent
de prts de la B.E.I. et de banques nationales en complment de l'aide des
Fonds structurels.

Au niveau du programme, les ressources peuvent tre suivies en utilisant
des Indicateurs de conformit avec le cot du projet : c'est--dire les
Informations les plus rcentes disponibles sur le cot total des projets par
rapport au cot figurant dans le document de programmation.
L'avancement des travaux est souvent vrifi par un simple suivi des tats
de dpenses. Dans les cas des grands projets (tels que la construction ou
l'amlioration de centrales lectriques), la vrification de l'tat
d'avancement peut tre estime par rapport la date d'achvement prvue
(date des derniers essais). Pour les projets de plus faible envergure (tels que
la construction ou l'augmentation de la capacit de rseaux de distribution
d'lectricit), il est galement possible de quantifier la progression physique
des travaux en termes de pourcentage de km de rseau achevs une
date donne par rapport au nombre total de km de rseau raliser .
En ce qui concerne la ralisation finale de l'intervention, le principal
indicateur est la puissance des units de production (kW ou MW pour
l'lectricit). La puissance installe en kW/MW est une mesure applicable
pratiquement toutes les infrastructures d'nergie, mais la rgle est de
fournir une ventilation par source d'nergie (centrales au charbon, au gaz
ou au fuel, centrales hydrolectriques ou ollennes, etc.).
Les principaux rsultats des Interventions structurelles dans le domaine de
l'nergie concernent principalement le cot et la qualit du nouveau
service fourni ainsi que les conomies types gnres pour les utilisateurs
finals.
Indicateurs
d'impact
Les impacts spcifiques sont en rapport avec la consommation d'nergie

(lectricit, gaz) Ils sont quantifis aprs au moins un an. Les indicateurs
de programme sont les suivants : quantit d'lectricit et de gaz
consomme suite aux interventions, nombre d'utilisateurs raccords aux
rseaux achevs, et degr de satisfaction des consommateurs ( suivre et
valuer essentiellement travers des enqutes spcifiques auprs des
utilisateurs ; ces donnes peuvent galement tre obtenues partir des

informations dont disposent les oprateurs propos de la qualit du
service fourni). D'autre part, des emplois temporaires sont galement
crs pendant la phase d'investissement (mesurs en emploi ans). Les
Impacts dont I faut tenir compte sont : la valeur ajoute gnre par le
fonctionnement de la nouvelle infrastructure (production et distribution
d'lectricit et de gaz), l'emploi cr pour l'exploitation de l'infrastructure
et la rduction de la dpendance nergtique. Dans la mesure o la
production nergtique et l'environnement sont troitement associs, les
indicateurs fournissant des Informations sur l'appauvrissement des
sources d'nergie non renouvelables (par exemple la quantit d'nergie
renouvelable produite) ou sur la pollution de l'air (par exemple la quantit
de combustibles fossiles utilise et les missions produites) doivent tre
utiliss autant que possible. La plupart de ces Impacts peuvent tre
positifs ou ngatifs, en fonction de la finalit des projets (production
d'nergie ou conomie d'nergie).
Exemple 7 - Nouvelle usine lectrique utilisant les gaz fossiles

(en relation avec l'intervention
(en relation avec la zone aide)
et ses effets)
Avancement

Taux de ralisation
Capacit
Puissance installe en kW
Capacit de production
d'lectricitglobale au niveau
national (en MW), ventile par
source d'nergie
Rendement de
Cot unitaire d'investissement
Cot unitaire par kW de
l'investissement
par kW de puissance installe
puissance installe pour des

investissements similaires
Nombre estim d'utilisateurs sur la
Consommation nergtique
base des coefficients moyens de

consommation nergtique pour
moyenne par habitant

et par an
Indicateurs de rsulte t
Population servie
un usage domestique et de la
production annuelle de la centrale
(en kWh)
Qualit du service
Nombre et dure des coupures

d'lectricit pour l'utilisateur moyen

d'lectricit pour l'utilisateur
raccord au rseau aliment par
moyen au niveau national
la nouvelle centrale
Cot pour
les utilisateurs
finals
Rduction estime en cot unitaire

d'achat de l'nergie,
exprime en euro/kWh
Cot unitaire moyen de l'nergie

au niveau national exprim en
Valeur ajoute gnre par

la centrale (en euro/an)
Valeur ajoute annuelle du

secteur de la production et de
euro/kWh
Valeur ajoute
la distribution (() au niveau national

Emploi permanent
Emploi permanent cr par le

fonctionnement de l'usine acheve
(ETP)
Effet conomique
% des chefs d'entreprises de la
indirect
zone dclarant que le cot ou la

disponibilit de l'nergie est un
problme majeur pour leur activit.
Appauvrissement des
ressources de
Moyenne annuelle de la quantit de

combustible fossile ncessaire pour
combustibles fossiles
faire fonctionner la centrale
naturels
(en Tonnes Equivalent Ptrole)
(1) classe 40.10 de la NACE (Nomenclature statistique des Activits conomiques dans la Communaut
Europenne).
Exemple 8 - Construction ou amlioration d'un rseau

de distribution d'lectricit
(En lien avec l'Intervention et
(En lien avec la zone assiste)
ses effets)
Avancement
Voir Exemple 7
ventiles par catgories de puissance
Longueur globale du rseau du

secteur, ventile par catgories
de puissance
Efficience de
Cot unitaire de l'investissement
Cot unitaire par km de nouvelle
l'investissement
par km de nouvelles lignes
ligne pour des Investissements
Quantit
km de lignes nouvelles / amliores,
similaires
Population desservie
Nombre d'utilisateurs raccords

au nouveau rseau (ou la nouvelle
portion du rseau), ventils par
units domestiques / conomiques
Qualit du service

d'lectricit pour l'utilisateur moyen
raccord au nouveau rseau ou
la nouvelle partie du rseau
Valeur ajoute
Voir Exemple 7
Voir Exemple 7
Emploi permanent
Voir Exemple 7
Voir Exemple 7
Consommation
Consommation annuelle globale
Consommation d'lectricit
d'lectricit par des utilisateurs
annuelle moyenne au niveau
raccords au nouveau rseau
national (en kWh /rsident
d'lectricit pour l'utilisateur

national moyen
(en kWh) aprs un an

raccord, kWh /emploi raccord).

Voir Exemple 7
Exemple 9 - Amlioration d'un rseau de distribution de gaz

(En lien avec la zone aide)
ses effets)
Avancement
Quantit
Rendement de
l'investissement
Voir Exemple 7
Km de canalisations
Longueur globale du rseau
cres / amliores, ventiles
dans la zone, ventil par
par catgories de diamtres
catgories de diamtres
Cot unitaire de l'Investissement

par km de nouvelle canalisation
Cot unitaire par km de canalisation

neuve pour des investissements
similaires
I n d i c a t e u r s d e r e s u l t iIt
Population desservie
Voir Exemple 7
Consommation
Consommation annuelle globale

de gaz par des utilisateurs
raccords au nouveau rseau
(m3)
Qualit du service
Consommation annuelle
moyenne de gaz au niveau
national (m 3 / rsident raccord,
m 3 / emploi raccord).
Nombre et dure des interruptions
Nombre et dure des interruptions
de fourniture de gaz pour l'utilisateur
de fourniture de gaz pour l'utilisateur
pour l'utilisateur moyen raccord
moyen au niveau national
au nouveau rseau
Indicateurs d ' i m p a c t
Valeur ajoute
Voir Exemple 7
Valeur ajoute moyenne dans le

secteur de la production et de la
distribution de gaz m au niveau
national
Emploi permanent
Voir Exemple 7
Voir Exemple 7

(1) classe 40.20 de la NACE.
Voir Exemple 7
Les autres interventions qui ont un impact dans le champ

Toutes les Interventions structurelles ont pour finalit d'augmenter l'activit
conomique, directement ou indirectement. Par consquent, elles
contribuent l'augmentation de la demande en nergie (particulirement en
lectricit) et donc l'expansion du secteur de l'nergie. Toutefois, dans la
mesure o aucune de ces consquences ne constitue un effet voulu des
Fonds structurels, elles ne ncessitent pas de suivi ou d'valuation par des
indicateurs spcifiques.
Encadr 15 - Principales donnes statistiques fournies par Eurostat
au niveau rgional (NUTS II)
Capacit de production d'lectricit totale
Capacit de production d'lectricit par source
Capacit installe brute totale
Capacit Installe brute par source
Production d'nergie par source
Production d'lectricit par source
Production de gaz
Production de coke, de lignite, de ptrole
Consommation totale d'lectricit
Consommation d'lectricit par secteur
Comptes des socits dans le secteur de l'nergie
Statistiques CORINAIR au niveau national et, dans certains pays, un niveau
infrieur.
Les oprateurs de la nouvelle Infrastructure sont les premiers fournisseurs
d'information permettant de quantifier les indicateurs (pendant la priode
de construction, au moment de l'achvement du projet, pendant la gestion
de la nouvelle Infrastructure).
Les enqutes spcifiques auprs des destinataires ne sont pas frquentes
dans le secteur de l'nergie dans la mesure o I est difficile de dterminer
quels sont les consommateurs bnficiant des nouveaux investissements
lorsqu'il s'agit de rseaux interconnects complexes.
Des statistiques intressantes peuvent tre fournies par les organismes

nationaux et rgionaux grant les centrales lectriques et des rseaux de
distribution de gaz et d'lectricit, en plus de celles des Instituts
spcialiss. Comme l'indique l'encadr 15, les statistiques disponibles
fournissent des donnes permettant de calculer la plupart des Indicateurs
de contexte prcdemment identifis.
Indicateurs cls
Les indicateurs cls, prsents ci-dessous, se prtent la fols des
comparaisons entre interventions diffrentes et des comparaisons avec
d'autres programmes. Ils peuvent donc facilement faire l'objet d'agrgation
l'chelle europenne.
Niveau
Indicateur cl
Ressources
Taux de consommation budgtaire (% des fonds allous)

% du budget consacr des mesures d'attnuation pour
l'environnement
Ralisations

Rsultats
Nombre d'utilisateurs
raccords
aux
nouvelles
infrastructures, ventils en units
domestiques
conomiques
Impacts
% de chefs d'entreprises dclarant que le cot ou la

disponibilit de l'nergie constitue un problme majeur
pour leur activit
Emplois nets crs ou maintenus (ETP)

EPA (1996), Joint EMEP I CORINAIR Atmospheric
Guidebook. Copenhagen : EPA.
Emission
inventory
Eurostat (diffrentes annes), Energy - yearly statistics. Luxembourg :

Eurostat.
Eurostat, Renewable energy sources statistics
Eurostat.
1989-94. Luxembourg :
Eurostat, Energy balance sheets 1993-94. Luxembourg : Eurostat.
Formation
Les interventions structurelles dans ce champ visent promouvoir
l'employabilit des individus dans toute l'Union europenne, en adaptant et
modernisant les systmes d'ducation, de formation et d'emploi des Etats
membres.
On constate en effet que les travailleurs qui sont rests longtemps dans un
secteur d'emploi particulier ont du mal s'adapter au nouveau march du
travail du fait de l'obsolescence de leurs qualifications. Les restructurations
industrielles et, plus gnralement, les licenciements massifs ont laiss de
ct beaucoup de chmeurs de longue dure. La ncessit d'associer la
formation et la recherche d'un nouvel emploi est ainsi rendue trs claire.
Les jeunes sortis de formation initiale connaissent aussi des difficults,
surtout ceux qui sortent avec peu de comptences ou de qualifications
reconnues. Ils affichent un taux de chmage trs suprieur la moyenne
des adultes.
La formation peut prendre de multiples formes. Elle peut tre initiale ou
continue, acadmique ou professionnelle, en alternance ou non. Elle peut
aussi tre dispense dans le cadre de dispositifs d'aide l'insertion sociale
et professionnelle des jeunes ou des chmeurs. Dans tous les cas, elle vise
donner des comptences, des qualifications, des savoir ou des savoirfaire aux individus pour qu'ils puissent les ngocier sur le march du
travail.
Quelle que soit leur nature et leur public, toutes les actions de formation
peuvent faire l'objet du calcul des mmes indicateurs. En revanche, la
finalit du programme cre des diffrences dans les Indicateurs retenir.
Interventions dans le champ de la formation
Les indicateurs de ressources doivent faire trs clairement apparatre la
rpartition des cofinancements publics europens, nationaux, rgionaux et
locaux. Les programmes de formation sont trs souvent cheval sur deux
annes civiles, ce qui ncessite un dcompte financier prcis.
Les indicateurs de ralisation sont spcifiques aux types de formations
dlivres : surface des centres de formation, nombre de formateurs,
nombre de stages offerts, nombre de stagiaires entrs en formation

(permettant de suivre le taux de remplissage des programmes ouverts),
volume de formations fournies (si le financement de l'intervention porte
directement sur le nombre d'heures de formation et le nombre de
participants). Ces Indicateurs sont relativement faciles quantifier en tant
qu'indicateurs de programme. Le nombre de participants peut tre exprim
en proportion des personnes ligibles (taux d'atteinte du public eligible).
Les indicateurs de contexte sont difficiles obtenir parce que l'offre de
formation n'est pas toujours transparente. Elle peut en effet provenir
d'oprateurs peu visibles comme des petites entreprises, des associations
ou des institutions qui ne recourent pas des fonds publics et ne dclarent
pas systmatiquement toutes leurs actions de formation contrairement
ceux dpendant directement des grands acteurs publics qui occupent
largement le terrain en matire d'affichage de leurs actions.
Les destinataires des aides la formation sont les individus qui suivent la
formation et qui augmentent leur qualification, leurs comptences et leur
employabilit immdiate. L'indicateur le plus adapt est le nombre de
participants aux formations sortis avec le niveau requis . Pourtant, peu
d'tudes s'intressent l'achvement des priodes de formation.
Nanmoins, le taux de sortie permet d'avoir un indicateur robuste du
nombre de personnes qui ont suivi le stage de formation jusqu'au bout ;
quoiqu'un abandon en cours de route puisse correspondre une
embauche. Enfin, on peut encore aller au-del et proposer de tenir compte
du taux de participation pendant la formation pour valuer
l'absentisme.
L'employabilit serait un bon indicateur de rsultat s'il tait possible de la
quantifier. En thorie, l'employabilit est la capacit trouver un emploi ou
la capacit d'Insertion professionnelle. Elle dpend des aptitudes
personnelles, et notamment de celles qui ont t acquises ou renforces au
cours de la formation. Elle dpend aussi de la probabilit d'existence d'une
offre d'emploi correspondant aux capacits acquises. Cette seconde
dimension de l'employabilit est trs difficile dfinir et mesurer. A ce
jour, il n'existe aucune mthode reconnue pour le faire, ni mme aucune
dfinition harmonise de l'employabilit.
Formation
Indicateurs
d'impact
L'indicateur qui a reu le plus d'attention dans bon nombre de pays est le
taux d'emploi aprs une priode de formation , taux de placement ,
ou dure moyenne du chmage aprs la formation . Toutefois ces
indicateurs ne suffissent pas eux seul pour valuer l'Impact en terme de
retour vers l'emploi puisque les meilleurs lments entrent souvent dans les
formations les plus efficaces (effet d'crmage). On peut donc difficilement
dire si le passage vers l'emploi l'issue d'une formation est rellement un
impact de la formation elle-mme. Cela peut tout aussi bien tre un simple
effet de la qualit intrinsque du stagiaire qui sort de formation. La
quantification du taux d'Insertion en emploi doit tre effectue un horizon
suffisamment loign (6, 12 ou 18 mois aprs la fin de la formation) et doit
tenir compte de la durabilit de l'emploi. En toute hypothse, on ne peut
jamais garantir que la formation a t la cause directe et unique de
l'insertion professionnelle. Inversement, dans une situation de pnurie
d'emplois, le fait de ne pas trouver un emploi suite une formation ne doit
pas tre interprt comme un chec du programme.
Une formation qui a un faible taux de placement peut cependant avoir un
impact intermdiaire significatif en terme d'insertion des stagiaires dans
des formations plus qualifiantes. Cet impact peut tre suivi par un
indicateur de taux de transition qui recense tous les stagiaires qui ont
connu une amlioration de leur situation (insertion en termes de travail ou
d'ducation) l'issu de la formation.
Beaucoup de travaux ne s'intressent qu' l'effet sur l'insertion mais il
existe d'autres champs considrer comme la socialisation au travail ou
l'acquisition de rythmes et d'attitudes de travail.
Certains effets sont parfois loigns des objectifs initiaux. On cherche par
exemple Insrer des chmeurs et on obtient que de nombreux inactifs se
portent sur le march du travail (effet d'appel). Il en rsulte un
accroissement du taux de chmage, mais l'effet sur l'emploi peut, en fait,
se rvler positif.
Un impact important intervient pour les entreprises ou les autres
organisations (destinataires indirects) qui embauchent les Individus forms
et chappent ainsi tout ou partie des cots de formation Internes inhrents
au recrutement d'une personne non forme. Les impacts ultimes pour les
entreprises sont difficiles mesurer. On peut les concevoir de manire
thorique : meilleure recherche et dveloppement, meilleures dmarches
de qualit, meilleure performance, croissance de la valeur ajoute, etc. mais

il est impossible de suivre aussi loin la trace des effets d'une formation.
Dans le contexte de la formation, un bon indicateur peut tre analys par
des graphiques et des rapprochements. Une rpartition des individus dans
les programmes par sexe, par diplme ou par situation professionnelle en
dit trs long sur le succs d'une formation et l'intrt qu'elle suscite auprs
des diffrentes catgories de publics. L'volution de la proportion des
chmeurs dans la cohorte des stagiaires sortants est un bon indicateur
trop souvent oubli au profit d'indicateurs plus rapidement disponibles.
Exemple 10 Financement de l'apprentissage d'un nouveau mtier
pour des chmeurs de longue dure
(en lien avec l'intervention
(en lien avec l'ensemble du
et ses effets)
public vis)
Offre
Nombre de places de stage offertes

(dont destines aux femmes)
Nombre de formations
(mtiers) offertes
Volume de
Nombre d'heures de stage
formation
dlivres (heures stagiaires)
Nombre de
stagiaires entrs
Nombre de stagiaires entrs

(dont femmes)
Taux de couverture
Nombre de stagiaires entrs en
Nombre de chmeurs de
longue dure
pourcentage du nombre de chmeurs

de longue dure dans la zone
Taux de succs
Pourcentage de stagiaires sortis avec
Taux de placement
Taux d'embauch en cours de
immdiat
formation (dont femmes)
la capacit requise (dont femmes)
Taux de transition
% de stagiaires qui ont accd

une formation d'un niveau plus
lev, aprs 12 mois
Taux de placement
% de stagiaires employs aprs
Taux annuel de sortie du
12 mois
chmage de longue dure">
Taux de placement
durable
% de stagiaires employs aprs

12 mois et qui sont toujours
dans leur emploi aprs 24 mois
(dont femmes)
(1) Le chmage est de longue dure s'il a dur plus de 18 mois.
Formation
Exemple 11 -Programme de certification pour des jeunes

de faible niveau de qualification* 1 )
(en lier avec l'Intervention et
(en lien avec l'ensemble du
ses effets)
public vis)
Offre
Nombre de places de formation

proposes par le programme
Adaptation de la
formation
Taux de russite
Pourcentage des places offertes
Pourcentage des jeunes qui
qui correspondent des secteurs
sont forms pour des secteurs
en croissance
en croissance
Nombre de diplms / nombre

de stagiaires entrs (dont femmes)
forms
Nombre de stagiaires forms

(dont femmes)
Nombre de jeunes ayant un

faible niveau de qualification
Salaire des stagiaires
Salaire mensuel moyen des
Salaire mensuel moyen des
embauchs
stagiaires employs aprs
jeunes
12 mois, (moyenne
femmes / hommes)
(1) Une personne jeune a moins de 25 ans. Elle a un niveau de qualification faible si elle n'a
aucune des diplmes qui peuvent normalement s'obtenir l'ge de 18 ans. On peut aussi se rfrer
la classification internationale des qualifications utilise dans les enqutes force d e travail .
Exemple 12 -Aide aux entreprises pour l'adaptation

des comptences de leurs salaris
et ses effets)
Activit de l'oprateur
Nombre de projets prpars
Nombre d'entreprises ayant un plan
avec des entreprises candidates
de formation dans la zone aide
aides
Nombre d'entreprises ayant

reu une aide la formation
Nombre de formations
Nombre de salaris ayant reu
Pourcentage annuel des salaris qui
finances
une formation de plus de 10 jours
bnficient d'une formation interne

dans la zone aide
Qualifications acquises
Nombre de salaris ayant acquis

une qualification dans des mtiers
en croissance
Maintien de l'emploi
Nombre ou % d'Individus non-licencis
Nombre de licenciements
aprs 12 mois parmi ceux qui ont suivi
dans la zone / an
la formation (dont % de femmes)

Progression
professionnelle
Nombre ou % d'individus promus aprs

12 mois parmi ceux qui ont suivi la
formation (dont % de femmes)

Certaines interventions mlent leurs effets ceux de la formation, ceci tant
particulirement vrai au niveau national (par exemple : rduction de
charges sociales pour les employeurs, amnagements fiscaux, prime
forfaitaire l'embauche ou toute combinaison de ces trois mesures
financires en faveur de l'entreprise). La formation peut aussi se concevoir
en lien plus troit avec la croissance de la socit de l'information Ainsi, une
zone trs priphrique peut accder des formations professionnelles
grce aux moyens de communication lectronique.
Disponibilit et collecte de donnes
Seules les donnes de suivi - temporelles - qui permettent d'observer les
Individus dans le temps peuvent permettre la construction d'indicateurs
cohrents. Aucune action de formation ne peut tre uniquement value par
des indicateurs instantans pendant ou immdiatement aprs la formation.
Des donnes de ce type sont ingalement accessibles et couvrent des
Formation
priodes ingalement longues suivant les pays mais, pour tre pragmatique,
il faut bien reconnatre que le cot de leur collecte est proportionnellement
trs faible par rapport au cot de la formation elle-mme.
En fonction de la complexit et de l'htrognit du programme, les
autorits responsables doivent faire un arbitrage entre une quantification
exhaustive demande aux oprateurs et une quantification ralise sur la
base d'enqutes. L'Encadr 16 illustre le cas trs spcifique o il est possible
de collecter l'essentiel de l'information par l'intermdiaire des oprateurs.
Encadr16 - Formation et e n q u t e : proposition d'un s c h m a
d e collecte a d a p t
Un schma de collecte d'Information consiste faire remplir un questionnaire lors
de l'entre en formation. On peut mme concevoir d'associer ce questionnaire
la procdure d'inscription ou d'enregistrement lorsqu'il y en a une. On peut alors
poser toutes les questions qui concernent le parcours jusque l et notamment les
motivations et les aspirations des destinataires. Ces variables seront essentielles
pour juger de la capacit de la formation faire atteindre aux destinataires leur
objectif.
En outre, il est capital de faire remplir un autre questionnaire aux destinataires
juste au moment de la sortie de formation. Cela permet de poser des questions
sur le droulement de la formation mme si on pense que peu de choses peuvent
tre tires de ces Informations souvent empreintes d'enthousiasme si la formation
s'est bien passe ou de rancur sinon. Si un diplme est dlivr en fin de
formation, on peut mme faire remplir ces questionnaires avant l'examen final.
Cela permet surtout de vrifier si les aspirations des destinataires ont chang.
Au cours de la troisime phase de l'enqute : 6 24 mois aprs la sortie de
formation, les indicateurs d'impact peuvent tre quantifis, ventuellement sur la
base d'un chantillon d'anciens participants.
On peut noter que cette enqute est longitudinale par construction mais que
seule la troisime interrogation un cot important. On utilise le mieux possible
le fait que les destinataires sont captifs durant la phase de lancement de la
formation et lorsqu'ils arrivent au bout. Toutes les questions d'opinion ont, en
outre, du sens parce qu'elles sont poses au prsent et les personnes Interroges
n'ont pas eu le temps de rationaliser leurs choix.
Indicateurs cls
Un
certain
nombre
d'indicateurs
cls
se
prtent
la f o i s
des
c o m p a r a i s o n s entre interventions diffrentes et des c o m p a r a i s o n s avec

d'autres p r o g r a m m e s . Ils peuvent d o n c faire l'objet d'agrgation l'chelle
europenne.
Niveau
Indicateur cl
Ressources
Taux de consommation relle des crdits (% des crdits

allous)
Ralisations
Nombre de formations directement finances (,) (dont

femmes) Taux d'atteinte du public eligible'2',
Heures de prestations, de formation, reues par les
destinataires (dont femmes)13'
Rsultats
% de stagiaires qui font partie d'un public prioritaire (par

exemple, les jeunes sans emploi)
Impacts
Taux de placement durable*4' (% des destinataires qui sont

employs aprs 12 mois, dont femmes)
Taux de transition (% des destinataires dont l'insertion
sociale s'est amliore aprs 12 mois dont femmes)
(1) Nombre d'entres en stage ou nombre de stagiaires sortis.

(2) Cet indicateur, galement appel taux de couverture, permet de montrer si l'effort de formation a t
significatif ou non par rapport au problme rsoudre. Par exemple, on mesurera le pourcentage des
individus qui taient chmeurs de longue dure au dbut de l'anne et qui ont t forms pendant
l'anne.
(3) Le volume de formation reue (nombre d'heures stagiaires) permet de comparer l'Importance relle
de l'effort de formation qui a t financ.
(4) Le taux de placement durable est la mesure la plus frquente, quoique trs imparfaite, du succs des
formations dlivres. En vue de faciliter les comparaisons, la date de quantification doit tre homogne.

European Commission (1997), Key Figures on Vocational Training in the
European Union. Luxembourg : Eurostat and CEDEFOR
Grubb, W.N. and P. Ryan, (1997), Plain Talk on the Field of Dreams : The
Roles of Evaluation for Vocational E ducation and Training, Geneva :
International Labour Office, Training Policies Branch.
1RES (La revue de), 1995. 'Comparaison europenne des dispositifs
d'insertion professionnelle des jeunes' in : La revue de TIRE S,
numro 17, hiver.
Schmidt, G., O'Reilly, J., Schmann, Eds (1996) International Handbook of
Labour Market Policy and Evaluation. Edward Elgard Publishing Ltd,
Cheltenham.
Werquin, P. (1997), 'Dix ans d'intervention sur le march du travail des
jeunes en France, 19861996' in : conomie et Statistique, Volume
4 / 5, 121306.
Tourisme
Les trois Fonds structurels interviennent dans le champ du tourisme sous la
forme d'Infrastructures, d'aides la cration ou l'amlioration de
l'hbergement touristique, de formation aux mtiers du tourisme, ainsi que
d'agro-tourisme dans les zones rurales. La plupart des programmes
rgionaux et certaines initiatives communautaires (LEADER par exemple ont
un volet tourisme). Par ailleurs, les routes et les aroports participent
l'attrait touristique d'un territoire. D'autres interventions communautaires
notamment toutes celles qui concourent l'amlioration de l'environnement
et du dveloppement durable contribuent aux dynamiques touristiques.
Beaucoup de territoires en dclin rural ou Industriel ont dvelopp des
stratgies d'investissement en matire touristique. L'impact conomique de
ces stratgies est quelquefois incertain et mrite d'tre valu avec
attention. En particulier, il faut tenir compte du poids rel des diffrentes
composantes de l'investissement touristique, l'hbergement reprsentant
de loin la plus forte contribution l'conomie rgionale (en moyenne 75%
des Investissements touristiques raliss et 90% des emplois touristiques
crs).
L'intervention des Fonds structurels dans le champ du tourisme comporte
des spcificits qu'il est important de rappeler. Les oprations aides
(hbergement, quipement, emploi) sont normalement petites, ce qui
provoque un important parpillement des actions. Les zones ligibles sont
souvent des zones non urbaines o le nombre de sites aids est important.
Les oprateurs peuvent avoir des statuts trs diffrents : particuliers,
entreprises, autorits locales, organisations parapubliques.
Interventions dans le champ du tourisme
L'indicateur standard de consommation relle des crdits est
applicable au champ du tourisme. Lorsque cela est pertinent, il convient de
faire apparatre la rubrique tourisme dans les dcompositions
sectorielles des indicateurs de ressources. Cela est galement valable pour
les indicateurs des catgories qui suivent. Ce poids relatif de
l'Investissement propos dans le programme en matire de tourisme peut
tre compar au poids relatif du tourisme dans les activits du territoire.
Indicateurs
de ralisation
Un programme d'amlioration de l'offre d'hbergements ou de gtes

touristiques peut se raliser sur l'Initiative des particuliers ou d'une
municipalit. Dans le premier cas, le particulier est le destinataire. Il reoit
une aide publique par l'intermdiaire d'un oprateur du programme. La
construction du gte est une dcision du destinataire. Dans le second, on
peut considrer la municipalit soit comme un oprateur - si elle attribue les
aides d'autres organismes ou des particuliers - soit comme un
destinataire - si elle intervient directement comme constructeur. Quel que
soit le cas, la construction du gte est ce que le programme finance. Il en
rsulte que celui-ci est une ralisation.
Un indicateur de ralisation est le nombre d'aides accordes . Cet
indicateur est ventuellement dcompos en particuliers pluriactifs et
professionnels du tourisme, eux-mmes dcomposs en individuels,
petites entreprises et grandes entreprises. Le terme entreprise devant se
comprendre comme unit conomique , quel que soit son statut.
D'autres indicateurs de ralisation sont le montant des investissements
effectus par les destinataires ainsi que la capacit de ces investissements
(par exemple, le nombre maximum de visiteurs / jour). Ces indicateurs sont
importants car le tourisme s'apparente une industrie lourde o
l'amortissement des quipements ncessite plus de 15 ans en gnral.
Les aides tant toujours attribues par des oprateurs, les indicateurs de
ralisation comprennent l'activit de ces oprateurs (ex : nombre d'tudes
de march effectues, nombre de destinataires potentiels contacts, taux
de slection des projets).
Indicateurs
de rsultat
Les Indicateurs de rsultat portent sur l'augmentation de la qualit de l'offre

touristique suscite par une intervention. La qualit se mesure, par
exemple, par le respect de normes tablies et la certification des gtes.
Dans les rgions agricoles le nombre d'agriculteurs dont la part de CA d
au tourisme est au moins gale 30% reflte la modification de la
structure de l'offre travers la diversification des activits des agriculteurs.
Indicateurs
d'impact
Les indicateurs d'impact spcifiques mesurent la frquentation touristique

des quipements ou hbergements aids (nombre de nuites par an,
Tourisme
nombre de visites par an, taux de remplissage selon les priodes de

l'anne). La frquentation doit tre mesure aprs un temps suffisant
(12 mois parat tre un minimum). Les indicateurs de frquentation doivent
tre interprts avec prcaution car, sur les marchs du tourisme, les
clientles sont fluctuantes. Le contexte gnral conomique, le temps,
l'volution des loisirs, les concurrences des destinations lointaines et bon
march, tout concourt rendre le march instable. Il peut tre Intressant
de dcomposer la frquentation selon l'origine des visiteurs (origine Intra ou
extra nationale) afin d'apprcier la contribution du programme
l'attractivit touristique de la rgion.
L'Indicateur de valeur ajoute (en pratique la valeur ajoute est la somme
des salaires et des bnfices) peut s'appliquer aux units conomiques
aides dans le champ du tourisme. Il s'agit gnralement de la valeur
ajoute brute gnre par le projet en euros / an. L'indicateur de valeur
ajoute est Intressant car il mesure ce qui relve vritablement du
dveloppement conomique. Il permet donc d'Insister sur ce qui est
susceptibles de faire basculer le territoire d'une activit touristique vers une
conomie touristique.
L'Indicateur de nombre d'emplois crs / sauvegards s'applique au
tourisme sous rserve de prendre en compte le caractre saisonnier de
l'activit (estim en termes d'emploi-jour par exemple). La qualification des
emplois crs mrite galement d'tre value car l'conomie touristique
exige un personnel form et adaptable. Le cadre naturel, les sites ne
suffisent plus, l'cart avec les territoires concurrents se fait et se fera de
plus en plus par rapport au niveau de formation des structures d'accueil.
Les indicateurs de valeur ajoute et d'emploi peuvent tre rapprochs des
indicateurs de contexte tels que la valeur ajoute moyenne par emploi dans
le secteur touristique.
Indicateurs pour le suivi et l'valuat
Exemple 13 - Aide la cration et l'amlioration des hbergements

et ses effets)
Activit de
l'oprateur
Nombre de contacts avec

les destinataires potentiels
Nombre de
destinataires
Nombre d'units
conomiques aides
Capacit
Nombres de lits crs, amliors
Nombre total d'units

d'hbergement touristique
Indicateurs de rsulte it
Qualit
% des lits crs ou amliors

qui bnficient d'un label
Diversification
Nombre d'agriculteurs dont la part de

CA d autourismeest au moins gale
30%
% des lits qui bnficient d'un label
Frquentation
Nombre de nuites par an et

par Ht dans les hbergements
aids aprs un an
Evolution des consommations

d'lectricit sur le territoire
durant la priode touristique
Attractivit
touristique
Pourcentage des nuites ralis

avec des touristes trangers
la zone
Nombre de vols charters dans les

aroports rgionaux
Dure des sjours
Nombre de nuites pour un

sjour moyen dans les
hbergements aids
Nombre de nuites pour un sjour

moyen sur le territoire
Valeur ajoute
Valeur ajoute gnre en

euros / an / lit aprs un an
Valeur ajoute moyenne en

euros / an / lit
Emplois crs
Nombre net d'emplois crs

(dont % occup par les femmes)
Nombre d'emplois touristiques
Tourisme
Exemple 14 -Aide la cration d'quipemt nts (muses,

parcs d'attraction etc.)
et ses effets)
Voir Exemple 13
Nombre de destinataires
Voir Exemple 13
Capacit
Nombre maximum de visiteurs / jour
Nombre total d'quipements

touristiques
Indicateurs de rsulte It
Dure de visite
Temps de visite normale

de l'quipement (en heures)
Cot de visite
Cot moyen de visite de l'quipement

(en euros par personne)
Frquentation
Nombre de visites par an

dans les quipements aids
Attractivit touristique
% des visites ralis avec des

touristes trangers la zone
Valeur ajoute
Valeur ajoute gnre en euros / an
Valeur ajoute gnre dans

le secteur touristique en euros / an
Emplois crs
Voir Exemple 13
Voir Exemple 13
Les autres interventions ayant un impact dans le champ

Parmi les multiples interventions qui peuvent avoir un impact en matire de
tourisme, on citera : la dpollution, le nettoyage des rivires et des plages,
l'amlioration de la qualit de l'eau et de l'air, l'levage dans les zones de
montagne qui entretient les prairies, l'entretien des chemins, l'levage
extensif oppos l'levage intensif plus polluant, l'amlioration des
btiments d'levage, l'entretien des zones marachres, le nettoyage des
friches industrielles, la reconqute par le vgtal des anciens sites miniers
et sidrurgiques, la restauration du patrimoine urbain et rural", les
oprations de dsenclavement, l'amlioration des liaisons avec les rgions
priphriques, les routes, voies ferres, voies maritimes et aroports, les
infrastructures portuaires, les rseaux locaux de transport, les interventions
en matire culturelle de type RAPHAEL, KALEIDOSCOPE. L'exemple qui
suit appartient au champ de la formation.
Exemple 15 Financement de formations aux langues

(en lien avec l'Intervention
et ses effets)
Indicateurs de ralisation (champ de la formation)
Quantit
Nombre de places proposes
Nombre de stagiaires entrs
entrs
(dont femmes)
Volume de formation
Nombre d'heures de formation

dlivres (heures stagiaires)
Nombre d'emplois touristiques
Indicateurs de rsultat (champ de la formation)
stagiaires forms
Nombres de stagiaires sortis avec la

capacit requise (dont femmes)
Taux de satisfaction
% des stagiaires satisfaits
Nombre de
ou trs satisfaits
Utilisation
Proportion des stagiaires qui utilisent

les capacits acquises dans une
activit touristique de la zone aprs
un an
Disponibilit et collecte de donnes sur la formation

Les statistiques pour les indicateurs de contexte sont collecter auprs
des organismes et des autorits publiques locaux, rgionaux et nationaux.
Dans l'avenir, le principal effort devrait porter sur la recherche des lments
permettant de mieux mesurer les dimensions conomiques du tourisme,
par exemple, en observant les volutions de chiffres d'affaires des activits
directement ou indirectement rattaches cette activit. C'est le cas
actuellement dans les regroupements en centres de gestion des hteliers.
Le tourisme est un secteur d'activit o beaucoup de statistiques ne sont
pas comparables sans un travail d'analyse des conditions de la collecte des
donnes. Par exemple, en matire de frquentation touristique ,
l'hbergement utilise la notion de sjour vendu ou de nuite , les
offices de tourisme le nombre de personnes qui sont rentres dans leurs
locaux, les parcs naturels le nombre de vhicules dans le parc obtenu par
comptage routier et multipli par un nombre moyen de personnes par
voiture.
Pour cet indicateur il faudrait proposer tous les territoires concerns une
grille d'analyse et des critres dfinissant la frquentation.
Tourisme
Indicateurs cls
Un certain
nombre
d'indicateurs
cls se prtent
la fois des

d'autres programmes. Ils peuvent donc faire l'objet d'agrgation l'chelle
europenne.
Niveau
Indicateur cl
Ressources
Taux de consommation relle des crdits (% des crdits

allous)
Ralisations
Nombre d'units conomiques qui ont reu une aide

directe ou une prestation grce au programme (dont
grande, moyenne, petite, individuelle)
Nombre d'units conomiques nouvelles (cres depuis
moins d'un an) qui ont reu une aide directe ou une
prestation grce au programme (dont grande, moyenne,
petite, individuelle)
Impacts
Valeur ajoute gnre (euros / an / salari)

Emplois nets crs ou maintenus (en quivalant temps
plein dont % occup par les femmes)

Ministre du Tourisme (1996), 'Prospective et Tourisme' \n : Les cahiers
espaces du Ministre du Tourisme France, Dcembre.
Guesnier, B. (1996), Le patrimoine, une valorisation touristique haut
risque. Paris: Institut de Prospective du Tourisme et Fondation
Auguste Escoffier.
Pche
Les interventions structurelles dans le domaine de la pche visent
renforcer le secteur qui traverse une longue priode de restructuration
rsultant de la ncessit accrue de rduire une pche excessive par rapport
aux rserves naturelles. L'objectif global est d'acclrer l'adaptation
structurelle de l'industrie de la pche et de permettre l'mergence d'une
industrie de la pche europenne viable.
Les interventions sont finances par l'Instrument financier d'orientation de
la pche (IFOP), cr en 1993. Cet instrument a t conu dans le but de
rassembler toutes les mesures structurelles orientes vers la pche, et en
particulier celles concernant la promotion et la commercialisation des
produits de la pche et de l'aquaculture. Les interventions dans ce champ
incluent le soutien financier la restructuration de la flotte de pche, telle
que les aides au dsarmement de bateaux de pche, la reconversion ou
la retraite anticipe des pcheurs. D'autres interventions directement
associes la pche sont notamment la modernisation des flottes et des
installations portuaires.
L'initiative communautaire PESCA, qui a pour objectif d'attnuer les
consquences sociales et conomiques de la restructuration en favorisant
la diversification des activits conomiques, constitue une autre source de
financement. La diversification est encourage travers des subventions
soutenant l'Investissement productif, la fourniture de services aux PME
(gestion, transfert de technologie, marketing, contrle qualit, etc.) et des
aides au tourisme (attractions touristiques, navigation de plaisance et
autres activits de loisirs).
Les indicateurs de ressources standard peuvent tre dtaills pour fournir
des informations sur les interventions visant : la rduction de la capacit de
pche, l'amlioration des conditions de traitement et de commercialisation,
le dveloppement de l'aquaculture, la modernisation des installations
portuaires et les mesures d'aide la reconversion, la cration de
nouvelles entreprises, etc.
Pour les subventions cibles sur la rduction de la taille de la flotte, les
indicateurs de ralisation standard sont focaliss, en premier lieu, sur les
activits des oprateurs (par exemple nombre de runions d'information
avec les propritaires de chalutiers, nombre de sessions de conseil avec les
pcheurs, etc.). Dans un deuxime temps, ils estiment les consquences
tangibles de l'aide, en particulier le tonnage des bateaux de pche
dsarms. Le nombre d'anciens pcheurs recevant une aide compensatoire
est galement un indicateur de la rduction des activits de pche. En ce
qui concerne l'aide directe aux investissements, les ralisations peuvent tre
mesures physiquement (par exemple la surface d'installation de stockage
basse temprature construite ou amliore, la capacit de production
supplmentaire dans le secteur de l'aquaculture, etc.).
Les indicateurs de contexte fournissent des informations sur la capacit de
pche nationale ou rgionale : la taille de la flotte de pche et son taux de
dsarmement.
Les rsultats des interventions conues pour rduire la capacit de pche
et la main d'uvre peuvent tre estims en fonction des prises des bateaux
dsarms au cours de leur dernire anne de service et de la reconversion
des pcheurs (le nombre d'anciens pcheurs travaillant dans les secteurs
de l'aquaculture et du tourisme, par exemple).
Pour la modernisation des infrastructures portuaires, les Indicateurs doivent
se concentrer sur les facteurs qui augmentent le potentiel d'activit la fois
ct navire (meilleure manutention, meilleur temps de dchargement, etc.)
et ct port (plus grande capacit et meilleure qualit de l'entreposage,
chambres froides, etc.)
Les indicateurs de contexte fournissent des informations telles que la taille
des quota nationaux de pche et le nombre total de prises ventiles par
espces dans les diffrentes zones de pche correspondantes.
Indicateurs
d'impact
Le type d'indicateurs d'impact utiliser dpend de l'objectif de

l'intervention. Lorsque les mesures visent la diversification de l'conomie
de base locale, la reconversion des anciens pcheurs ou la modernisation
des infrastructures, elles ncessitent l'utilisation d'indicateurs socio-
Pche
conomiques couvrant les emplois crs ou maintenus (en ETP), les

entreprises cres, l'emploi des anciens pcheurs reconvertis, le chiffre
d'affaires, la valeur ajoute (les paies et les salaires plus les bnfices), etc.
Les interventions visant directement les activits de pche et la
prservation des ressources se concentrent sur l'importance des prises,
ventiles par espces de poissons.
Dans le cas des interventions visant moderniser les infrastructures
portuaires, les Indicateurs d'Impacts doivent saisir les effets des
amliorations sur les niveaux de trafic, les prises et les conditions du port
(meilleure hygine, rduction du nombre d'accidents, etc.).
Selon l'objectif de l'Intervention, la zone pertinente retenir pour les
Indicateurs de contexte peut tre soit le port, soit la zone ou la rgion
eligible (pour les Indicateurs socio-conomiques tels que les emplois ou la
valeur ajoute) soit la zone de pche (pour les indicateurs d'environnement
tels que la prservation des rserves de poissons).
Exemple 16 - Subventions pour les exploitations aquacoles

(En lien avec l'Intervention
et ses effets)
Nombre d'exploitations recevant

des subventions
Capacit de production
Capacit supplmentaire
Production totale dans la zone
des exploitations aides (tonnes / an)
(tonnes / an)
Indicateurs de rsult It
Effet de levier
Investissement complmentaire par

les exploitations destinataires
Reconversion
Nombre d'anciens pcheurs

investissant dans l'aquaculture
Production
Production supplmentaire
des exploitations destinataires
aprs 12 mois (tonnes / an)
Prise d'espces similaires

dans les champs de pches
concerns (tonnes / an)
Valeur ajoute
Valeur ajoute dans les exploitations
Valeur ajoute gnre dans la
destinataires aprs 12 mois
rgion / secteur
Productivit de
la main d'uvre
Valeur ajoute des exploitations

par employ aprs 12 mois
Valeur ajoute moyenne par employ
Emploi direct
Nombre d'emplois nets maintenus
Nombre d'emplois dans la zone /
ou crs dans les exploitations
dans le secteur
destinataires aprs 12 mois
dans la zone / dans le secteur
Pche
Exemple 17 - Subventions pour le dsarmement des bateaux

de pche
(En lien avec l'intervention
et ses effets)
(En lien avec la zone de
pche concerne)
Nombre de propritaires de
navires contacts
Tonnage de la flotte
Tonnage des bateaux de pche

dsarms
Tonnage de la flotte de pche dans

la zone de pche concerne
Prises des bateaux dsarms

au cours de leur dernire anne
d'activit (tonnes / an / espces)
Total des prises par espces capacit

dans les zones de pches
concernes (tonnes / an)
Rduction de la
de pche
Stocks de poissons
Stock estim dans la (les) zone(s) de

pche concerne(s) (milliers de
tonnes par espce)
Durabllit
% de stocks pchs au-dessus du

MBAL(,)zone de pche concerne
(1) Le MBAL (Minimum Biological Acceptable Level, niveau biologique acceptable minimum) est une
estimation du niveau de stock adulte d'une espce. En de de ce niveau, il y a un risque accru
d'effondrement du potentiel de reproduction de l'espce. Des pourcentages levs de stocks pchs
sous le MBAL Indiquent un risque accru d'appauvrissement des ressources.
Exemple 18 - Modernisation d'un port de pche

(En lien avec l'Intervention
et ses effets)
Avancement

Taux de ralisation
Capacit
Capacit portuaire construite ou

rhabilite (en nombre de bateaux et
de tonnes)
Indicateurs de rsulteIt
Rotation
Dure moyenne de rotation des navires
Trafic
Tonnage des bateaux utilisant le port

aprs un an
Prise
Prises ramenes terre

lionnes / an / espce)
Activit commerciale
Surface terrestre (en m21 d'units

portuaires achetes ou loues par
des courtiers, grossistes, etc.
Amlioration de
l'hygine
Rduction du nombre d'incidents

associs un non-respect de
la rglementation sur l'hygine
Valeur ajoute
Valeur ajoute gnre dans la zone

portuaire
Valeur ajoute associe l'Industrie

de la pche dans laville / zone
Emploi
Nombre d'emplois crs ou maintenus

dans la zone portuaire (en ETP, dont
ceux occups par des femmes)
Nombre totale d'emplois dans

l'industrie de la pche (en ETP, dont
ceux dtenus par des femmes)

De nombreuses interventions lies d'autres champs sont susceptibles
de produire des effets dans le champ de la pche et de l'aquaculture.
Une station d'puration, par exemple, qui met fin au rejet direct des eaux
uses sur la cte, contribuera la qualit des plages et donc facilitera les
efforts de diversification de l'conomie locale vers le tourisme. Elle peut
galement contribuer la diversification des activits conomiques en
permettant le dveloppement de l'aquaculture (mytiliculture, etc.). On
peut galement citer la mise en place de systmes d'change de
donnes reliant les propritaires de chalutiers, les usines d e
transformation et les grossistes pour amliorer l'efficacit du march
local. De mme, la construction d'une nouvelle liaison routire avec le
rseau autoroutier national peut avoir un impact sur les cots de
Pocho
transport des entreprises locales qui transforment le poisson rceptionn

au port ou amliorer l'accs touristique d'une rgion auparavant mal
desservie. L'exemple cidessous est celui de formations partiellement
utilises pour la reconversion des pcheurs. Ces formations peuvent tre
cibles sur l'acquisition de comptences ncessaires pour se mettre
son compte (plans d'entreprise, comptabilit, fiscalit, subventions, etc.).
Exemple 19 Formations suivies par des pcheurs en reconversion
et ses effets)
I n d i c a t e u r s de ralisation (dans le c h a m p d e la f o r m a t i o n )
Qualit
Volume de formation
Nombre de qualifications reconnues

disponibles
Nombre d'heures de stage (heures
stagiaires)
Couverture
Nombre d'anciens pcheurs suivant

les cours de formation
Nombre total de stagiaires potentiels
Indicateurs de rsultat (dans le champ de la formation)

Taux de russite
% de stagiaires terminant la formation
% de stagiaires satisfaits ou trs

satisfaits de la formation reue
Reconversion
% de participants anciens pcheurs

occupant un emploi dans un secteur
% d'anciens pcheurs au chmage

dans la zone
autre que la pche aprs 12 mois

Comme pour les autres champs examins dans le prsent ouvrage, les
donnes de ralisations et de rsultats doivent tre systmatiquement
collectes par les oprateurs via leurs systmes de suivi. Lorsqu'il y a
cofinancement des projets d'Investissement, les oprateurs doivent
s'efforcer de collecter les donnes sur les investissements de leurs
partenaires du secteur priv afin de mesurer les effets de levier potentiels.
Les donnes relatives aux impacts doivent tre collectes par des enqutes
impliquant les destinataires et, plus largement, la population. Alors que le
suivi des destinataires qui quittent la rgion aprs avoir bnfici d'une
reconversion peut poser certains problmes, les impacts d'autres
interventions sont gnralement trs localiss gographiquement.
En ce qui concerne les Indicateurs de contexte relatifs aux ressources de la

pche, les estimations de stocks de poissons et le MBAL sont raliss par
le Conseil International pour l'Exploration de la mer (CIEM). Elles sont
bases sur les donnes disponibles sur les prises internationales, sur
l'effort de pche et sur les estimations de bateaux de recherche sur le
niveau des stocks. Les ministres de l'agriculture et de la pche des
diffrents pays fournissent les donnes nationales sur les prises. Eurostat
publie un rapport annuel statistique consacr la pche.
Indicateurs cls
europenne.
Niveau
Indicateur cl
Ressources
Taux de consommation budgtaire (% des crdits allous)
Ralisations
Nombre d'heures de service (formation, conseil) reues

par les destinataires
Nombre d'individus recevant une assistance ou des
services directs suite au programme (dont homme /
femme)
Nombre d'units conomiques (entreprises, propritaires
de bateaux de pche, exploitations aquacoles, etc.)
recevant des services ou une aide directe suite au
programme
Nombre de nouvelles units conomiques recevant une
aide directe ou des services suite au programme
Rsultats
Taux de satisfaction (% de destinataires satisfaits / trs

satisfaits par les services fournis)
Taux de russite Immdiate (% de destinataires n'ayant
plus besoin de services aprs avoir particip au
programme)
Impacts
% de destinataires ayant un emploi aprs 12 mois

% de nouvelles entreprises aides toujours actives aprs
12 ou 36 mois
Valeur ajoute brute (aprs 12 mois en termes d'euro / an
/ employ)
Pche

Commission europenne (1994), Erude comparative et intgration des
donnes socio-conomiques dans le secteur de la pche et de
l'aquaculture
dans la Communaut. Luxembourg: Office des
publications officielles des Communauts europennes.
Department of the Environment (1996), Indicators of
Sustainable
Development for the United Kingdom. London: HMSO.
European Commission (1994), Employment impact assessment in the
fishing industries of UK, Denmark and Portugal. Luxembourg:
Official Publications Office of the European Commission.
Eurostat (1997), Pche - Statistiques annuelles. Luxembourg: Eurostat.
OECD (1997), Review of Fisheries in OECD Countries 1995. Paris: OECD.

Les interventions structurelles dans le champ de la Recherche et du
Dveloppement Technologique (RDI) comprennent l'aide aux activits de
RDT dans les entreprises, en particulier les PME, travers la mise en place
de parcs scientifiques et technologiques, les aides et les prts au
dveloppement de nouveaux produits et procds, la fourniture de services
tels que des audits technologiques, les conseils d'experts et la cration de
sources de donnes partages (par exemple pour donner aux entreprises
la possibilit de trouver des partenaires adapts dans d'autres pays
europens). Elles concernent galement la cration ou le renforcement
d'instituts de recherche, de structures universitaires et de laboratoires
publics, l'aide des projets de recherche, le financement de chercheurs
individuels et la formation ou la reconversion de travailleurs. Plus
rcemment, afin de favoriser le transfert de technologie vers l'industrie, les
interventions tendent de plus en plus encourager les liens entre les
organisations de recherche et les entreprises, et dvelopper la capacit
des PME acqurir et utiliser au mieux les nouvelles technologies.
La finalit des interventions dans ce champ est de promouvoir la croissance
conomique et l'emploi par le dveloppement de nouvelles activits bases
sur un progrs technologique durable. Durable signifie ici capable de crer
une dynamique positive et qui s'auto-intensifie entre la capacit
d'innovation, la comptitivit et la croissance conomique. Pour cela, les
interventions ont gnralement pour but d'aider les entreprises et les
travailleurs d'une zone s'adapter aux opportunits offertes par l'volution
technologique et en tirer parti. Ceci implique de crer et d'adapter les
infrastructures ncessaires, de fournir une aide la formation et
l'enseignement, de promouvoir la collaboration entre chercheurs quand
cela est possible et d'encourager les acteurs conomiques d'une rgion
faire un pas vers la production de services et de produits de haute
technologie et forte valeur ajoute.
SI le FEDER est la principale source de financement, tous les Fonds
structurels sont aussi impliqus dans le financement des interventions de
RDT. Ces interventions sont galement soutenues par la plupart des
initiatives communautaires, dans la mesure o le dveloppement
technologique reprsente une condition pralable majeure pour atteindre
leurs diffrents objectifs.
La RDT prsente diffrentes particularits qui dterminent les systmes
d'indicateurs utiliss pour valuer les interventions. Premirement, la
capacit de RDT est fortement concentre dans un petit nombre

d'entreprises, de laboratoires et d'universits qui ont tendance tre
regroups dans et autour des capitales et de quelques ples rgionaux
prsentant un fort dynamisme conomique. En outre, la RDT est polarise,
sur le plan international, sur un petit nombre de nations industrielles. La
russite de la RDT dpend en grande partie de la coopration entre
entreprises, y compris transfontalire, entre instituts et entreprises et entre
instituts. La diffusion des rsultats et le transfert de technologie doivent
avoir lieu si l'on veut que la RDT ne bnficie pas uniquement aux instituts
et aux entreprises qui la ralisent, mais galement la rgion dans laquelle
ils se trouvent. Les rsultats de la RDT ne concernent pas uniquement les
produits et les services, mais aussi les connaissances et les savoir-faire,
dont les chercheurs et les quipes de chercheurs sont les principaux
dpositaires. Ces lments intangibles sont galement des intrants
dans le processus de RDT. Enfin, une grande partie de la RDT est ralise
par des organismes publics (essentiellement des centres de recherche
universitaires et des laboratoires publics) et constitue gnralement un
apport pour la RDT industrielle des entreprises.
La distribution des ressources financires entre les projets du secteur priv et
du secteur public donne une indication sur la capacit des entreprises d'une
rgion absorber le financement de la RDT. Si le secteur priv n'utilise qu'une
faible partie de ce financement, cela peut signifier que les entreprises n'ont
qu'une capacit limite pour raliser leur propre RDT ou bnficier de la RDT
ralise par les centres de recherche universitaires, les laboratoires et les
institutions associes. La part des ressources financires consacres des
projets innovants qui ne sont pas des projets de transfert de technologie
institut-entreprise ou internationaux / inter-rgionaux donne une indication
de la capacit des entreprises acqurir des technologies externes. Les
indicateurs de ressources doivent tre conus de faon reflter cette ralit.
Les ralisations des Interventions de RDT peuvent tre des infrastructures, des
services aux entreprises ou une aide la recherche. Dans le premier cas, le
suivi est centr sur les indicateurs physiques informant sur le nombre et la
surface des parcs de dveloppement de haute technologie ouverts ou sur la
surface d'installations spcialises, gnralement fournies pour les petites

entreprises de haute technologie. Dans le secteur public, les Indicateurs
concernent la surface au sol des laboratoires et des centres de recherche, la
quantit d'quipements impliqus (par exemple le nombre d'ordinateurs, etc.).
En ce qui concerne les services, les Indicateurs sont associs la fois
l'lment physique du service (par exemple le nombre d'experts certifis et
de conseils fournissant des audits de technologie, des diagnostics et
d'autres services aux entreprises, etc.), au niveau de l'activit de service
(par exemple le nombre de contacts entre les oprateurs et les destinataires
d'un programme) et au volume de services fournis (par exemple le
nombre d'heures passes sur des audits technologiques , etc.).
La plupart des avantages rsultant de la RDT n'apparaissent qu'aprs
plusieurs mois, voire des annes. Pour cette raison, il n'est pas facile de
concevoir des indicateurs de rsultats mesurant les effets Immdiats.
Dans le cas d'Infrastructures de RDT tels que les parcs scientifiques, les
indicateurs de rsultats peuvent Informer sur le rapport qualit/cot des
quipements, du point de vue des utilisateurs potentiels. En ce qui
concerne les services, les indicateurs de rsultats mesurent la satisfaction
des destinataires. Il est galement intressant d'valuer dans quelle mesure
le service fourni correspond aux besoins des entreprises locales. Le
montant des fonds privs investis dans les projets aids (effet de levier)
constitue un indicateur de l'intrt des entreprises locales. La proportion de
destinataires qui lancent leur premire activit de RDT avec l'aide du
programme est galement un indicateur intressant.
L'un des problmes des interventions structurelles dans le champ de la
RDT est que les ressources tendent se concentrer sur les organismes de
recherche publics, parce que le faible niveau de dpart des entreprises en
matire de RDT limite leur capacit lancer des projets de RDT pour
absorber les fonds disponibles. Ceci creuse encore le foss qui peut exister
entre l'offre et la demande de technologie. Le rapport BERD / GERD3 est
un indicateur de contexte de l'Intensit de la RDT industrielle qui reflte la
capacit du secteur priv entreprendre la RTD ou absorber son
3
Business Expenditure on Research and Development, (dpenses de recherche &

dveloppement des entreprises) Gross Domestic Expenditure on Research and
Development, (dpenses intrieures brutes de recherche & dveloppement)
financement. Le nombre de chercheurs (total, priv, public) pour 1 000

employs (ETP) fournit des informations contextuelles quivalentes. Il
existe d'autres indicateurs de contexte, tels que la RDT exprime en
pourcentage des exportations et en pourcentage du PIB.
En ce qui concerne l'aide au transfert de technologie, le nombre
d'entreprises aides achetant des brevets, des licences ou participant
des oprations de R&D en collaboration avec des entreprises trangres
est un indicateur des transferts de technologie transfrontaliers formels.
Le pourcentage de projets parvenant un stade relativement proche de la
commercialisation (c'est--dire un an ou moins) peut donner une indication
de la proportion d'avantages conomiques potentiels du programme.
En matire
individuelle
chercheurs
programme
de recherche publique, les rsultats des interventions d'aide

aux chercheurs peuvent tre mesurs partir du nombre de
de troisime cycle universitaire qui mnent bien leur
de recherche et / ou obtiennent un doctorat.
Indicateurs
d'impact
Dans le champ de l'valuation de la RDT des institutions publiques, l'usage

est de se concentrer sur des indicateurs tels que le nombre de doctorats et
sur des mesures bibllomtriques, notamment les publications et les citations,
pour mesurer la production de connaissances. Toutefois, les interventions
structurelles dans le champ de la RDT mettent prsent de plus en plus
l'accent sur le dveloppement de la capacit de RDT de l'industrie rgionale
plutt que sur l'aide la recherche mene plus en amont par les instituts. En
outre, les connaissances produites par les instituts de recherche et les
universits enrichissent le stock mondial de connaissances du domaine
public et ne contribuent pas directement au dveloppement conomique de
la rgion et la cohsion sociale. Compte tenu de ces circonstances, les
Indicateurs refltant une logique universitaire plutt qu'Industrielle sont d'un
usage limit. Les indicateurs d'impact des interventions structurelles qui
soutiennent rellement les activits en amont doivent par consquent se
concentrer sur des domaines tels que le dveloppement des ressources
humaines, la collaboration industrie-universit et la production de produits et
de services potentiellement commercialisables. Le nombre d'accords de
coopration de R&D entre institutions et entreprises et le nombre de
diplms du troisime cycle employs dans les entreprises sont des
indicateurs de l'effort de collaboration. Les impacts des projets publics et
des projets de collaboration aids peuvent tre mesurs partir du nombre

de prototypes ou d'units de prsentation produites et du nombre de brevets
et de licences vendus.
En ce qui concerne l'aide la RDT industrielle, les interventions sont
orientes vers l'Innovation et l'acquisition de technologie, qui peuvent tre
mesures en utilisant le nombre de nouveaux produits ou procds
commercialiss par l'entreprise destinataire qui intgrent la technologie
acquise.
Les impacts directs sur l'emploi peuvent tre estims en utilisant le
nombre de postes de R&D crs ou maintenus dans l'entreprise et la
proportion de personnel de R&D par rapport la main d'uvre totale
(ETP) . Compte tenu de la longueur des dlais de ralisation entre la
recherche, le dveloppement et la commercialisation d'une innovation, les
indicateurs d'impacts doivent souvent tre bass sur les prvisions des
destinataires.
Exemple 20 - Aide un parc scientifique et technologique

pour les PME
et ses effets)
Quantit
Surface (ha) de parc S&T"1

Surface au sol disponible (m2)
sur le parc
Surface totale (ha) des parcs

S&T de la zone
Surface au sol disponible
(m2) des parcs S&T
Cot
Cot d'installation d'une petite

entreprise de haute technologie121
(euro / an Im2)
Attrait scientifique
Nombre de chercheurs travaillant

proximit131 du parc
Occupation
Nombre de petites entreprises de

haute technologie installes dans
le parc aprs un an/trois ans
Nombre d'instituts de recherche
dans le parc (dont provenance
extrieure la zone)
Travall en rseau
Nombre de projets de collaboration

Impliquant au moins deux occupants
du parc aprs un/trois ans
Emploi direct
Nombre de postes de R&D crs

par des occupants du parc aprs
un/trois ans (ETP dont ceux occups
par des femmes)
Nombre de petites
entreprises de haute
technologie dans la zong
Nombre de postes de RDT

dans la zone pour 1 000 employs
(1) scientifique et technologique

(2) S'il n'existe pas de dfinition unifie de l'entreprise de haute technologie, on peut la dfinir
gnralement comme une entreprise active dans un secteur de haute technologie. On peut Identifier
un secteur de haute technologie par des dpenses de R&D sensiblement suprieures la moyenne
en proportion du chiffre d'affaires, ou par un taux d'emploi de scientifiques et d'Ingnieurs
sensiblement suprieur la moyenne. L'OCDE a galement tabli une typologie des secteurs utilisant
la classification ISIC, classant les secteurs en haute, moyenne, moyenne basse et basse
technologie.
(3) La proximit peut tre dfinie comme une < distance Infrieure 5 km . Cette dfinition peut tre
adapte la situation pratique.
Exemple 21 - Aide financire et informationnelle l'acquisition

de technologie par les PME
(En lien avec la zone
et ses effets)
aide)
I n d i c a t e u r s de ralisation
Nombre de PME recevant de l'aide
Volume de services
Heures de conseil et de formation
techniques fournis
dispenses
Nombre de PME
I n d i c a t e u r s de rsulta t
Effet de levier
Investissements sous forme
Ratio BERD/GERD'1'
d'acquisition de technologie par

les entreprises destinataires de
l'aide financire
Transfert de technologie
Interne121
Nombre d'accords de collaboration

entre Institutions de recherche et
entreprises aides aprs un an
Transfert de technologie
Nombre d'entreprises aides achetant
externe131
des brevets, des licences ou concluant

des accords de collaboration avec des
entreprises trangres aprs un an
Acquisition de
technologie
Impact conomique
Nombre de nouveaux produits ou

procds intgrant la technologie
acquise commercialiss par les
entreprises aides aprs
un an/trois ans
% de chefs d'entreprises aides
aux nouvelles technologies
% de chefs d'entreprises de la zone

dclarant que l'accs aux nouvelles
technologies constitue une
contrainte majeure
Valeur ajoute gnre aprs
Valeur ajoute gnre dans la zone
un / trois ans en euro / an
par les PME
dclarant que l'intervention a soulag

des contraintes en termes d'accs
Valeur ajoute
(1) BERD - Business Expenditure on Research and Development, Dpenses d e recherche et de

dveloppement des entreprises ; GERD - Gross Domestic Expenditure on Research and
Development, Dpenses intrieures brutes de recherche et de dveloppement.
(2) Le transfert de technologie Interne fait rfrence des transferts au sein d'une zone ou d'un pays,
gnralement entre Instituts d e recherche et entreprises.
(3) Le transfert de technologie externe concerne l'acquisition d e technologies rsultant d'activits de
RDT par des entreprises extrieures la zone ou au pays.
Exemple 22 - Aide la recherche universitaire

et ses effets)
Activit de recherche
Nombre d'tudiants chercheurs

aids (dont femmes)
Nombre de chercheurs dans la

zone pour 1 000 employs
Nombre de projets de recherche

employant des chercheurs aids
Qualifications
Travail en rseau
Nombre de chercheurs aids menant
Nombre annuel de doctorats
bien des programmes de recherche du

troisime cycle et obtenant un doctorat
dans la zone
Nombre de contacts et de collaborations

avec des entreprises de la zone
impliquant des chercheurs aids
% de diplms du troisime cycle aids
recruts par des entreprises de la zone
Innovations potentielles" 1
Nombre de brevets dposs pour Oes
Nombre de brevets dposs par
innovations potentielles en cours de
des entreprises de la zone
dveloppement avec des partenaires

du secteur priv, rsultant d'une
recherche de chercheurs aids
- aprs un/trois ans
(1) Les innovations potentielles comprennent les prototypes, les units de dmonstration et les services
en cours de dveloppement.

L'objectif central des interventions structurelles dans le champ de la RDT
est d'encourager une plus grande activit de RDT dans des rgions o elle
est faible et donc de rduire le foss technologique entre ces rgions et des
rgions plus dynamiques. Toutefois, la dynamique de la RDT est telle que
les disparits, en termes de capacit, perdurent et que l'activit de RDT
reste regroupe autour de certains ples gographiques. Les interventions
soutenant le dveloppement de rseaux d'information et de systmes de
tlcommunications amliors (voir Socit de l'information) peuvent aider
lutter contre cette tendance, dans la mesure o elles permettent aux
instituts de recherche et aux entreprises loignes gographiquement de
concevoir des collaborations effectives et amliorent gnralement les
possibilits de travail en rseau.

Les donnes de ralisations et de rsultats obtenues par le suivi des projets
peuvent tre compltes par des donnes sur la satisfaction des
destinataires fournis par les oprateurs. Les informations sur les entreprises
doivent comprendre leur taille, en nombre d'employs ou en chiffre
d'affaires, dans la mesure o l'amlioration de la capacit d'acquisition de
technologie et d'investissement en RDT des PME est un objectif majeur des
interventions. Les donnes doivent galement fournir des informations sur
les dpenses des entreprises en termes de RTD, de faon pouvoir estimer
les effets de levier des interventions.
Comme pour les interventions plus gnrales visant les entreprises, les
donnes relatives aux impacts pour les entreprises doivent tre collectes
au moyen d'enqutes sur des chantillons et extrapoles pour permettre de
tirer des conclusions gnrales. Etant donn que les impacts en RTD se
produisent trs long terme, il faut se baser dans une certaine mesure sur
les projections des entreprises quant aux impacts estims des
interventions. Dans ce cas, les rponses des entreprises interroges auront
tendance surestimer plutt qu' sous-estimer les impacts potentiels
d'une intervention.
Les indicateurs de contexte sont en relation avec l'tat du systme
scientifique et technologique d'une ou de plusieurs rgions (par exemple
nombre de doctorats, chercheurs post-doctorat, BERD, GERD, nombre
d'employs en R&D, etc.). Les donnes renseignant les Indicateurs de
contexte sont gnralement disponibles au niveau national, et des
statistiques jour sont galement disponibles sur les dpenses de R&D et
les applications de brevets au niveau national et au niveau rgional, pour
l'UE et l'Espace conomique europen (EEE).
Indicateurs cls
europenne.
Niveau
Indicateur cl
Ressources
Ralisations
Taux de slection (1> (% de projets accepts en termes

financiers)
Nombre d'heures
de conseil
expert
reues
par les
destinataires
Taux de satisfaction (% de destinataires satisfaits/ trs
Rsultats

Effet de levier(2) (dpenses du secteur priv dcoulant du
programme en consquence du programme et en relation
avec l'aide financire reue)
Impacts
Valeur ajoute / ventes gnres (aprs 12/36 mois en

termes d'euro/an/ e m p l o y p ( 5 )
Emploi net(4) cr (ETP, dont ceux occups par des
femmes) aprs 12/36 mois
(1) Le taux de slection d'un projet fournit des Informations sur la qualit des demandes d'aide et permet
de tirer des conclusions sur la capacit d'absorption des rgions faibles en RDT.
(2) La stimulation de l'investissement du secteur priv est souvent un objectif implicite de certains types
d'interventions, particulirement pour la RDT.
(3) Compte tenu des dlais de ralisation importants des projets de RDT, les changements de valeur
ajoute et de chiffre d'affaires aprs 36 mois sont susceptibles d'tre limits.
(4) L'emploi cr par les interventions de RDT est plus facilement mesurable en termes de scientifiques
et de techniciens. Les impacts sur l'emploi dans des domaines qui ne sont pas directement associs
la RDT sont susceptibles de se produire plutt sur le moyen long terme, et sont donc plus difficiles
mesurer.
(5) Compte tenu des dlais de ralisation importants des projets de RDT, le nombre d'innovations
rsultant d'une intervention est susceptible d'tre limit, mme aprs 36 mois.

Archibugi, D. and Pianta, M. (1996), 'Innovation surveys and patents as
technology indicators : the state of the art' in : Innovation,
Patents
and Technological Strategies. Paris : OCDE.

Commission
europenne
indicateurs
(1998),
scientifiques
2me
Rapport
et technologiques
europen
1998.
sur
les
Luxembourg :
Office des publications officielles des Communauts europennes.

Eurostat (1997), R&D Annual Statistics
Lundvall, B.-A. (ed.) (1992), National
1997. Luxembourg : Eurostat.

Systems
of innovation
: Towards a
Theory of Innovation and Interactive Learning. London : Pinter.
OECD (1994), The Measurement of Scientific and Technological Activities :

Proposed Standard Practice for Surveys of Research and
Experimental Development - Frascati Manual 1993. Paris : OCDE.
OST (1996), Science & Technologie : Indicateurs 1996. Pahs : Economica.

Les interventions structurelles dans le champ de l'agriculture et du
dveloppement rural sont trs htrognes. De nombreuses mesures
recoupent des mesures d'autres champs mentionns au prsent Volume.
Quatre types d'interventions sont toutefois spcifiques ce champ : (1)
l'Infrastructure rurale (par exemple rhabilitation de village, etc.), (2) la
diversification des exploitations agricoles (par exemple agrotourisme, vente
la ferme, nouveaux produits fermiers, labels, formation et conseil), (3) la
rationalisation de la production (par exemple, Investissement dans les
exploitations, aide aux jeunes agriculteurs, retraite, transformation et
commercialisation de produits agricoles), (4) l'aide la production agricole
peu intensive (par exemple reboisement, utilisation de terres favorable
l'environnement). Les interventions dans ce champ sont finances par le
Fonds europen d'orientation et de garantie agricole (FEOGA) et le FEDER.
Les destinataires des interventions sont les agriculteurs, les anciens
agriculteurs et d'autres units conomiques des zones rurales. Les aides au
secteur agricole et aux zones rurales se justifient pour plusieurs raisons. La
demande de nourriture est stable alors que les taux levs de
dveloppement technologique ont entran une baisse de la population et
de la densit rurales. Des alternatives doivent tre mises en place et
dveloppes, en matire de revenu et d'emploi, pour les agriculteurs ainsi
que pour les entreprises et leurs employs, dans les secteurs artisanaux et
commerciaux associs.
Dans le champ de l'agriculture et du dveloppement rural, les projets, pris
individuellement, sont gnralement trs petits en termes de volume
d'investissements et trs nombreux. Les interventions sont souvent des
mesures complexes construites sous forme de programmes locaux
Incluant diffrents types de projets publics et privs.
Les ressources peuvent tre suivies l'aide d'un indicateur de
consommation budgtaire. Il arrive que la contribution nationale soit
beaucoup plus Importante que ce qui tait prvu dans le document de
programmation. Dans ce cas, il est ncessaire de procder un suivi
spar des ressources selon leur origine europenne, nationale, rgionale.
Les ralisations des interventions dans le domaine des infrastructures
peuvent tre mesures en units physiques : nombre d'usines de
transformation et d'emballage construites, surface des villages rhabilits,
etc. En raison de la grande htrognit des projets, il est difficile de
consolider les indicateurs un niveau plus lev que celui des mesures,
sauf utiliser un taux de ralisation agrg.
Dans le cas gnral des subventions et des primes, les principaux
Indicateurs sont le nombre d'units conomiques aides et le nombre
de mnages aids . Ces indicateurs peuvent tre combins avec les
ressources financires et ventils en catgories d'exploitations agricoles ou
de mnages, et notamment groupes de revenus.
Les destinataires peuvent gnralement tre identifis sans grandes
difficults (habitants raccords un nouveau systme de collecte des eaux
uses, ou riverains d'une route rhabilite, par exemple).
La proportion d'exploitations agricoles et de foyers aids dans la zone ou
le groupe dfini indique le degr de pntration du programme dans le
nombre total d'exploitations ou de foyers de la zone ou du groupe dfinis.
Le montant des dpenses prives supplmentaires engages par les
exploitations et les mnages ruraux en relation avec l'aide reue
constitue un autre indicateur supplmentaire. Cet indicateur mesure l'effet
de levier . En raison du plafonnement de l'aide, les investissements rels
des agriculteurs peuvent tre plus levs que ceux indiqus sur les
formulaires de demande.
Les indicateurs de contexte sont cibls, par exemple, sur la diversification
des revenus des agriculteurs ou la composition de la population locale en
termes d'ge et de sexe.
Indicateurs
d'impact
A la diffrence des grands projets dans d'autres champs, les Impacts sur le
dveloppement rural sont concentrs sur des territoires de petite taille. La
diversification des activits a un impact direct sur les agriculteurs, en aidant
fournir de l'emploi nouveau et des opportunits de revenus proches de
celles du secteur agricole. L'aide aux investissements destins amliorer
la transformation et la commercialisation des produits agricoles a un impact
indirect sur les exploitations. Toutefois, en raison du degr lev de
concurrence dans le secteur alimentaire, elle n'entrane pas

ncessairement une augmentation des prix la production ou des parts de
march. Associs cette aide, les contrats de fourniture peuvent participer
la rduction des risques sur les revenus des agriculteurs.
Les mesures en faveur des infrastructures rurales ont un impact sur l'attrait
rsidentiel de la zone eligible. L'aide peut galement avoir des impacts
supplmentaires sur le tourisme rural.
La dure des impacts varie d'un an (pour un impact sur l'agro-tourisme)
dix ans ou plus (pour un impact sur la densit de la population).
Outre les impacts des programmes des Fonds structurels, les zones rurales
dpendent largement d'autres politiques (essentiellement de la Politique
Agricole Commune) Les revenus des agriculteurs dpendent galement en
grande partie des conditions naturelles et climatiques.
Exemple 23 - Aide financire l'installation de jeunes agriculteurs
ses effets)
Nombre de jeunes agriculteurs
Nombre total de jeunes agriculteurs
aids (dont femmes)
Effet de levier
Investissements totaux des jeunes

agriculteurs aids (ventils par
type d'exploitation01)
Capital moyen par exploitation
Restructuration
Nombre de jeunes agriculteurs

aids121 remplaant des
agriculteurs partant la retraite
Nombre de dpart en retraite

d'agriculteurs
Rpartition par ge de la population
agricole par an
Rapport entre les agriculteurs qui
s'installent et les agriculteurs qui
partent en retraite
Taux de survie
Emplois crs
Revenu de l'exploitation
Taux de survie121 des exploitations des

jeunes agriculteurs aprs deux ans
Taux de survie des entreprises dans

le secteur agricole de la rgion
Nombre d'ETP dans l'exploitation
Nombre d'ETP dans le secteur
aprs deux ans
agricole de la rgion
Croissance du revenu en %
deux ans aprs l'investissement
Revenu moyen par agriculteur
(1) Le type d'exploitation est la production principale de l'exploitation, par exemple polyculture, vaches
laitires, horticulture.
(2) Un jeune agriculteur est dfini c o m m e une personne reprenant ou crant une exploitation agricole et
ge de moins de 40 ans (35 ans dans certains pays).
Exemple 24 - Investissement aid dans les usines de transformation

de produits agricoles
ses effets)
Capacit de
transformation
Tonnes / m 2 de capacit (ventilation

selon diffrents produits)
Effet de levier
Investissements complmentaires
par les destinataires
Structure
d'approvisionnement
local
Nombre de contrats
d'approvisionnement fixs
avec les exploitants locaux
Emploi direct
Valeur ajoute
Effet indirect
Nombre d'emplois nets crs dans les

entreprises bnficiaires aprs
deux ans (en ETP, dont ceux occups
par des femmes)
Augmentation des prix la production
deux ans aprs l'Intervention
% de produits agricoles rgionaux
achets par les entreprises
destinataires aprs 2 ans
Nombre d'emplois dans l'Industrie

agro-alimentaire
Hausse des prix agricoles

la production rgionaux
Exemple 25 - Rhabilitation de village - projets publics et privs

et ses effets)
Quantit
m 2 de places de village rhabilits

km de routes de village rhabilits
Nombre de logements rhabilits'11
Population
Nombre d'habitants vivant

proximit des zones rhabilites"1
Satisfaction
Pourcentage d'habitants satisfaits

ou trs satisfaits des travaux
Nombre d'habitants vivant

dans des zones de faible
densit de population
Attrait rsidentiel
% d'habitants des villages rhabilits

rpondant Non la question
Souhaitez-vous rester dans le
Migration totale partir de la zone
secteur au cours des 5 prochaines
Cot moyen d'une maison
annes ?
Prix moyen des maisons dans
dans la zone
les villages rhabilits

(1) La proximit correspond moins d'1 k m " . Cette dfinition doit toutefois tre adapte aux situations
pratiques
Exemple 26 - Aide la cration d'hbergement touristique

dans les fermes
et ses effets)
Nombre d'exploitations
Nombre de projets bnficiant

d'une aide
Capacit
Nombre de lits crs
Nombre total de lits

d'hbergement la ferme
Diversification
Pourcentage de destinataires
dmarrant une activit agro-touristique
suite au programme
Nombre de personnes
hberges
Nombre de nuites dans les fermes des
Nuites de touristes
destinataires par an et aprs deux ans
Revenu
Augmentation du revenu des

agriculteurs destinataires
Revenu par exploitation
Valeur ajoute
Valeur ajoute brute gnre par le

le secteur agricole
programme (en euro / an) aprs un an

Les agriculteurs, et plus encore les mnages ruraux, font souvent partie
d'autres groupes cibles dans d'autres champs. L'aide aux entreprises a
des impacts sur les opportunits d'emplois pour les mnages ruraux et
fournit des possibilits de revenus alternatifs ou complmentaires pour les
agriculteurs, contribuant ainsi l'volution structurelle du secteur
agricole.
De mme, les Interventions dans le champ du transport ont des impacts sur
le cot du transport des produits agricoles achets et vendus et amliorent
l'accs des mnages ruraux des opportunits d'emplois l'extrieur de
leur secteur.
Les interventions structurelles dans le champ du tourisme sont dans
certains cas associes aux attractions touristiques dans les zones rurales.
Les visiteurs peuvent ressentir l'intrt de visiter d'autres attractions
touristiques moins importantes ou sjourner dans ces zones plus
longtemps pour profiter d'activits de loisirs. L'offre de spcialits agricoles
rgionales par les agriculteurs enrichit encore le potentiel du tourisme rural.
La formation, en particulier aux technologies ncessaires dans les

entreprises situes en zones rurales, augmente la capacit des personnes
vivant en milieu rural trouver un emploi.
La plupart des donnes lies aux ralisations et aux rsultats devraient tre
disponibles auprs des oprateurs des projets financs par les Fonds
structurels, qui devraient tre tenus de collecter rgulirement des donnes
simples, par exemple sur le nombre, la taille et le type des exploitations
agricoles aides.
Les donnes associes aux impacts doivent tre collectes directement
auprs des destinataires au moyen d'enqutes spcifiques. A l'Instar
d'autres types d'interventions, l'implication d'quipes externes pour
collecter cette Information peut tre utile pour garantir la fiabilit des
rponses. Il est important d'utiliser des enqutes auprs d'chantillons et
d'extrapoler, dans la mesure o le nombre global de projets est lev et le
cot d'une enqute auprs de tous les destinataires prohibitif.
Les impacts sur les mnages ruraux et sur l'attrait de la rgion peuvent tre
examins au moyen d'enqutes dtailles. Dans certains cas, il est
possible de s'appuyer sur des analyses antrieures de mesures. En ajustant
les coefficients avec les indicateurs de rsultats ou de ralisations et en
calculant les impacts possibles de l'aide, il est possible d'obtenir des
estimations suffisamment fiables un cot raisonnable. Cette mthode est
souvent utilise pour identifier les effets d'emploi temporaires de la
rhabilitation de villages, ou pour calculer les effets d'emploi de l'agrotourisme (en ETP).
Les donnes qui renseignent les indicateurs de contexte peuvent tre
obtenues partir d'archives, de statistiques et d'enqutes europennes,
nationales et parfois rgionales. Eurostat a dvelopp une base de donnes
spciale de statistiques rgionales annualises, fournissant des donnes
comparables pour toute l'Europe. L'agriculture et le dveloppement rural
posent certains problmes de couverture statistique. Les activits la
ferme petite chelle, telles que l'agrotourisme, ne sont pas couvertes par
les statistiques. Les donnes agricoles sur la structure des exploitations
agricoles de la rgion, telles que l'ge des exploitants, la taille et le type
d'exploitation, ne sont disponibles qu'aprs un long dlai, ce qui limite les
possibilits de suivi du contexte du programme.
Indicateurs cls pour agrger et comparer les effets

d'interventions
Les Indicateurs cls prsents ci-dessous se prtent la fois des
d'autres programmes. Ils peuvent donc facilement faire l'objet d'agrgation
l'chelle europenne.
Niveau
Indicateur cl
Ressources

% de projets (en termes financiers) concernant les zones
rurales les plus dfavorises
Ralisations
Taux de slection (% de projets accepts en termes

financiers)
Nombre d'individus recevant une aide directe ou des
services dans
le cadre du programme
(dont
femmes/hommes)
Nombre d'units conomiques (exploitations, etc.)
recevant des services ou une aide directe dans le cadre du
programme (grand, moyen, petit, individuel)
Nombre de nouvelles units conomiques (hbergement
et attractions touristiques, nouvelle exploitations, etc.)
recevant des services ou une aide directe dans le cadre du
programme
Couverture (% de destinataire, par exemple de jeunes
agriculteurs, par rapport au nombre total de destinataires
potentiels)
Rsultats
% de destinataires situs dans les zones les plus

dfavorises
Effet de levier (dpenses par des destinataires
accompagnant l'aide financire reue)
Impacts
% de nouvelles activits aides (exploitations diversifies,

campings, exploitations reprises par de jeunes
agriculteurs, etc.) encore actives aprs 24/36 mois
Valeur ajoute brute gnre (aprs 12 mois, en
euro/an/employ)
Emploi net cr ou maintenu (en ETP dont ceux occups
par des femmes) aprs 12 mois
Attrait rsidentiel (% d'habitants souhaitant rester dans le
secteur)

Grajewski, R., Schrader,
H., Tissen, G. (1995), Vorschlge
Wirkungsanalyse und Bewertung
von Mabnahmen zur
fr
die
Anpassung
der Agrarstruktur und zur Entwicklung der lndlichen Rume in den

neuen Bundeslndern gemb Ziel 5a und 5b der Reform der EGStrukturfonds (1991-1993). Braunschweig.
Riedel, J., Scharr, F., Knig, M. et al. (1997), IFO, Institut fr
Wirtschaftsforschung Niederlassung Dresden (Hrsg.) : Die
Europischen
Strukturfonds
in den neuen
Bundeslndern.
Zwischenbewertung des Mitteleinsatzes von 1994 bis 1996.
Dresden.
Tissen, G., Toepel, K. (1998), Europische Strukturpolitik im lndlichen
Raum. Zwischenbewertung des Ziel-5b-Programms SchleswigHolstein. Frankfurt am Main.
Young, N., Isla, M., Schrader, H. et al. (1991), Monitoring and Evaluation of
Objective 5b Regions. Report Wye for the European Commission.
Indicateurs pour cinq priorits
Egalit des chances

L'aide apporte par les politiques structurelles peut virtuellement avoir des
effets sur toute la population, mais ces effets ne sont gnralement pas
uniformes sur l'ensemble des groupes sociaux et peuvent en fait accentuer
les dsavantages de certaines catgories, et en particulier des femmes.
C'est la raison pour laquelle la dimension d'galit des chances doit tre
systmatiquement intgre dans les valuations des effets d'emploi.
La priorit europenne de promotion de l'galit des chances entre
hommes et femmes est troitement, mais pas exclusivement, associe aux
questions d'emploi. Il ne semble pas pertinent de dvelopper de nombreux
indicateurs spcifiquement pour cette priorit. Par contre, l'galit des
chances doit tre considre comme une question intgrer dans tout le
systme d'indicateurs, ce qui signifie qu'un maximum d'indicateurs doivent
faire apparatre une ventilation entre femmes et hommes.
Encadr 17 - Le principe d'intgration (gender
mainstreaming)
La priorit europenne en faveur de l'galit des chances entre les femmes et les
hommes devrait tre systmatiquement intgre dans tous les programmes,
mesures et projets. Le terme gender mainstreaming signifie que la situation
respective et les besoins des femmes et des hommes sont activement et
ouvertement pris en compte tous les stades du cycle de programmation, depuis
le diagnostic ex ante jusqu' l'valuation ex post.
Afin d'appliquer ce principe d'intgration, les concepteurs des systmes
d'indicateurs devraient, chaque fois que cela est possible, ventiler les chiffres
en catgories femmes/hommes.
Le principe d'intgration peut galement tre appliqu d'autres priorits
politiques, telles que la comptitivit des PME.

Les interventions dont l'objectif principal est la promotion de l'galit des
chances sont relativement rares. En fait, l'enjeu est suffisamment important
pour que la promotion de l'galit entre les sexes affecte tous les secteurs
et ne se limite pas un nombre restreint de mesures spcifiques.

L'exemple qui suit est tir du champ du dveloppement urbain, mais aurait
pu tre en rapport avec n'importe quel autre champ reprsent dans cet
ouvrage. En termes d'galit des chances, les indicateurs les plus
pertinents se situent au niveau des impacts, par exemple la proportion
d'emplois crs ou maintenus occups par des femmes. Toutefois, pour
aborder la question de faon plus adquate, les indicateurs doivent aller
plus loin en fournissant des Indications sur le nombre de femmes chefs
d'entreprise et dcisionnaires ainsi qu'en examinant leur niveau de
rmunration par rapport ceux des hommes.
Selon le principe d'intgration (mainstreaming), tous les indicateurs doivent
tre ventils entre femmes/hommes pour tenir compte des questions lies
au sexe. Pratiquement, cela implique que le pourcentage de femmes sera
systmatiquement pris en compte dans tous les indicateurs pertinents,
commencer par les indicateurs d'impacts et en remontant jusqu'aux
indicateurs de rsultats et de ralisations, voire mme de ressources.
L'application de ce principe est illustre dans l'exemple suivant.
Exemple 27 - Cr ation ou rhabilitation de maisons de quartiers

ses effets)
Indicateurs de ralisa tion

Installations
Capacit
Btiments achets, construits

ou rnovs en m 2 (dont surface
consacre aux besoins des
femmes, crche/balte-garderie, etc..)
Nombre maximum d'utilisateurs
pouvant tre servis (dont le nombre
des crches/halte-garderle de la zone
maximum d'utilisateurs des ressources

spcifiquement destines aux femmes)
Indicateurs de result:It
Satisfaction
% d'utilisateurs satisfaits ou trs

satisfaits du projet (dont
femmes/hommes)
Emploi
Nombre d'utilisateurs occupant un
% des travailleurs de la zone utilisant
emploi permanent (dont
les services d'une crche
femmes/hommes)
Egalit des chances

Le type d'informations contenues dans les systmes de suivi devrait tre
amlior pour permettre, chaque fois que cela est pertinent, une ventilation
des indicateurs en fonction du sexe.
Les rapports d'tude et de recherche sur le march du travail (y compris les
rsultats des prcdentes valuations d'interventions) fournissent un stock
d'informations quantitatives et qualitatives qui peuvent tre utilises pour
estimer les indicateurs de contexte d'galit des chances. Par exemple,
des enqutes sur la main d'uvre fournissent, au moins annuellement, des
chiffres ventils entre femmes et hommes, la fois pour l'UE dans son
ensemble et pour les Etats membres individuellement.
Si le systme de suivi fournit des donnes trop faibles (voire aucune
donne) sur les situations respectives des femmes et des hommes, on peut
dcider de collecter ces donnes au stade de l'valuation en examinant un
chantillon de projets afin de ventiler les indicateurs de ralisations, de
rsultats et d'impacts.
Indicateurs cls
europenne.
Niveau
Indicateur cl
Ressources
Nombre de personnes mobilises pour mettre en uvre

les interventions en annes-emploi (dont ceux occups
par des femmes)
Ralisations
Nombre de destinataires (dont femmes)
Rsultats
Nombre de personnes immdiatement recrutes pendant

le projet (dont femmes)
Impacts
Emplois crs ou maintenus aprs 12 mois (en ETP, dont

ceux occups par des femmes) - % d'emplois permanents
(dont % occup par des femmes)

European Commission (1998) One hundred words for equality - a glossary
of terms on equality between women and men. Luxembourg:
OOPEC.
Environnement
Les interventions structurelles en rapport avec l'environnement peuvent
comprendre des projets d'infrastructures associs l'environnement (par ex.
la construction ou l'amlioration d'installations de traitement des dchets
mnagers), le soutien aux investissements associs l'environnement (par
exemple une aide l'installation de nouvelles socits fournissant des
services environnementaux), ou des projets conus pour dvelopper des
comptences environnementales (par exemple former les responsables
des techniques de production plus respectueuses de l'environnement, ou
former les chmeurs des comptences relatives au recyclage).
Une grande attention est galement apporte pour garantir que les
programmes aids par les Fonds structurels gnrent un dveloppement
durable, c'est--dire qui ne soit pas nuisible pour l'environnement et qui
n'appauvrisse pas les ressources limites (permettant ainsi de satisfaire les
besoins prsents sans compromettre ceux des gnrations futures). Dans
le Cinquime Programme d'Action sur l'Environnement adopt par le
Conseil en 1993, la notion de durabilit est dfinie comme le reflet d'une
politique et d'une stratgie visant assurant un dveloppement
conomique et social continu sans prjudice pour l'environnement et les
ressources naturelles dont dpendent l'activit humaine et le
dveloppement futur. Ces efforts visent avant tout attnuer les effets
ngatifs d'une activit sur l'environnement (par des mesures qui vitent,
rduisent ou annulent les impacts ngatifs sur l'environnement, ou qui
produisent une nette amlioration, assurant ainsi la durabilit).
Au niveau du programme, les ressources consacres une activit qui a un
objectif environnemental explicite peuvent tre suivies en utilisant des
indicateurs de conformit au cot du projet (c'est--dire les
informations disponibles les plus rcentes sur le cot total des projets par
rapport au cot apparaissant sur le document de programmation).
Les indicateurs de ralisations sont par exemple : la capacit et les normes
des nouvelles installations de traitement des eaux uses, le nombre et le
niveau des cours de formation financs sur les sujets spcifiques, etc. Ces
indicateurs sont essentiellement utilisables sous forme de suivi des taux de

ralisation et des taux de respect des dlais.
Certains indicateurs de ralisations peuvent tre associs des indicateurs
de dotation. Ainsi, par exemple, la capacit des nouvelles stations
d'puration peut tre associe la dotation rgionale en termes de
capacit de traitement des eaux uses.
Indicateurs
de rsultat
Les avantages immdiats pour les destinataires sont facilement mesurables

en ce qui concerne la formation et l'aide l'investissement priv. Les
indicateurs de rsultats mesurent alors, par exemple, les nouvelles
comptences.
En ce qui concerne les infrastructures, les indicateurs de rsultats mesurent
les amliorations dans la qualit des services (par exemple le respect des
normes europennes pour l'alimentation en eau potable) et/ou la baisse du
prix factur aux usagers.
Indicateurs
d'impact
Quel que soit le type d'activit aide, son impact sur l'environnement
intervient aprs plusieurs mois ou plusieurs annes de fonctionnement
effectif. Une installation de recyclage n'aura sur l'environnement qu'un effet
proportionnel son degr d'utilisation. De mme, les nouvelles coindustries n'affectent l'environnement que dans la mesure o elles survivent
et se dveloppent. Une formation aux pratiques respectueuses de
l'environnement n'a d'influence dans les entreprises que si un nombre
suffisant de stagiaires met en pratique ces nouvelles comptences.
Les types d'impacts des interventions structurelles sur l'environnement sont
extrmement divers et leur identification doit se faire lors de la phase de
programmation. Cette Identification se fait par rfrence, soit aux objectifs
environnementaux explicites de l'Intervention, soit aux rglementations et
aux normes tablies en matire de gestion environnementale. Il convient
d'tre attentif au fait que les impacts environnementaux peuvent apparatre
court ou long terme et tre lgers ou cumulatifs.
Dans une communication de 1994, la Commission remarquait qu'il est
difficile d'attribuer une intervention publique telle ou telle part des
changements qui apparaissent dans le contexte environnemental global.
Environnement
Par contre, il est plus facile de distinguer la pression exerce par les
activits conomiques sur l'environnement.
En d'autres termes,
l'environnement subit une telle varit d'influences qu'il est souvent tout
simplement impossible, dans la pratique, d'tablir un rapport empirique
entre les ralisations et les rsultats d'un programme, d'une part, et les
impacts mesurs en termes de modification de l'environnement, d'autre
part. Par exemple, il est difficile de faire un lien clair entre les niveaux
gnraux de polluants de l'air ou des rivires et les projets Individuels,
mme consquents.
Les problmes lis la dfinition des indicateurs d'impacts sur
l'environnement sont moins difficiles en pratique qu'ils ne pourraient l'tre,
tant donn que les objectifs d'une intervention structurelle dans le champ
de l'environnement sont souvent exprims en termes de changements de
pressions sur l'environnement. Dans le cas des sources ponctuelles de
contamination, un indicateur d'impact simple est fourni par la mesure de la
diminution de pression (c'est--dire la rduction d'un polluant spcifique
partir de la source en question). Les indicateurs d'impacts exprims en
termes de rduction des pressions sur l'environnement peuvent ensuite
tre vrifis l'aide d'indicateurs de contexte obtenus partir de sries de
donnes tablies et galement exprims en termes de pression.
Encadr 18 - Le modle Pression-Etat-Rponse
Le cadre Pression-Etat-Rponse est l'un des modles dvelopps pour
analyser les politiques environnementales (citons galement le modle Force
Motrice-Etat-Rponse, qui permet galement de prendre en compte les liens
agro-environnementaux et l'agriculture durable). Il n'est pas loign du modle
Rsultat-Impact-Contexte qui constitue la base du prsent document.
Les pressions sont les forces motrices qui modifient l'environnement (pollution,
utilisation de l'eau).
L'tat de l'environnement un moment donn rsulte de l'action combine de
trois forces : les forces naturelles qui gouvernent le systme environnemental, les
pressions des activits socio-conomiques et les rponses des politiques
envi ronnementales.
Les pressions sur l'environnement et l'tat de l'environnement peuvent tre
dcrites au moyen d'indicateurs de contexte.
Les rponses sont les rsultats et les impacts des interventions qui ont un objectif
environnemental. Elles peuvent galement tre les rsultats ou les Impacts de
l'attnuation de projets non-environnementaux.
Les projets environnementaux peuvent galement avoir des impacts

conomiques. Par exemple, un projet assurant la protection d'un important
site naturel est lanc en relation avec un nouveau muse qui attire un flux
supplmentaire de visiteurs et cre des emplois directs et indirects. Dans ce
cas, une valuation conomique du projet environnemental permet de suivre
la chane des effets successifs travers une srie d'indicateurs d'impacts
tels que : le nombre de visiteurs du muse, le nombre de visiteurs
supplmentaires dans la rgion, la cration d'emplois directs et indirects.
Exemple 28 - Amlioration du systme de distribution d'eau
et ses effets)
Avancement

Taux de ralisation
I n d i c a t e u r s d e rsulte t
Couverture
Qualit du service
Nombre de foyers potentiellement
% de foyers desservis par
servis par des rseaux neufs/amliors
des rseaux de distribution d'eau
Nombre de jours de fourniture

d'eau de qualit ou en quantit
Insuffisante (nombre moyen de
jours par an pour 1 000 foyers)
% de foyers de la zone
subissant une distribution
d'eau de qualit ou en
quantit Insuffisante
Volume d'eau consomm via

les rseaux neufs/amliors
(en m3 / an) aprs un an
Consommation d'eau moyenne

par personne et par an
Consommation
Nombre d'units conomiques

(entreprises, exploitations agricoles,
etc.) dclarant que le nouveau
systme de distribution d'eau a
soulag une contrainte majeure
pesant sur leur dveloppement
Effet conomique
Indirect
Environnement
Prlvement en m 3 par personne
Disponibilit annuelle de la
paran
ressource en eau
Environnement
Exemple 29 - Construction de stations d'puration.

et ses effets)
Avancement
Voir Exemple 28
Capacit
Nombre de stations d'puration

construites
Dbit annuel maximum (en m3)
Qualit du traitement
% d'eaux uses subissant

un traitement primaire
% d'eaux uses subissant
un traitement secondaire1"
Consommation
Volume d'eaux uses traites

Nombre de foyers/entreprises
raccords aux stations d'puration
par programme aprs un an
Effet conomique
indirect
Environnement
% d'eaux uses traites

% de foyers/entreprises raccords
aux stations d'puration
Voir exemple 28
% d'chantillons d'eaux uses prlevs

sur des sources ponctuelles avec
un niveau spcifi de rduction de
polluants identifis
% des km de rivires contrles pour

lequel la pollution excde une norme
spcifie
(1) Les normes de qualit des eaux uses sont dfinies dans la directive de la CE 76 / 464 / CEE et
dans les directives associes. Le traitement primaire est mcanique et permet la sparation physique
des effluents ; le traitement secondaire est biologique et implique l'utilisation de microorganismes.
Exemple 30 - Amlioration d'installations de traitement

des dchets mnagers
et ses effets)
Avancement
Capacit
Voir Exemple 28
Quantit maximum traite par an
(en tonnes)
Couverture
Nombre de foyers potentiellement

couverts par les services de collecte
et de recyclage des dchets
Volume collect
Quantit (en tonnes/an) aprs un an
Quantit de dchets produits

dans la zone (en tonnes/an)
Volume recycl
% de dchets collects dans les zones

des projets aids qui sont recycls
aprs un an
Effet conomique
indirect
Environnement
% de dchets recycls dans la zone
Voir Exemple 28
% de dcharges non autorises
Nombre de dcharges non autorises
fermes/rhabilites dans les
dans la zone
zones des projets aids
% de sources souterraines pollues

par des dchets enterrs
Environnement
Exemple 31 -Aide aux nouvelles PME fournissant des biens

et services environnementaux.'1)
et ses effets)
Volume de services
d'aide
Briefings avec des experts assurant

un conseil environnemental dans
le cadre du programme (en heures)
Nombre d'entreprises recevant

un conseil environnemental d'experts
(au moins 10 jours ou 3 500 euros)
Diversification
Certification
Nombre d'entreprises aides ayant
Nombre d'entreprises de la zone
dvelopp une activit dans le secteur
ayant une activit dans le secteur
environnemental
de l'environnement
% d'entreprises aides certifies en

termes de normes environnementales
Activits associes
l'environnement
Volume d'activit des entreprises

aides dans le secteur de
l'environnement aprs deux ans
(valeur ajoute par an)
Innovations
associes
l'environnement
Nombre de nouveaux produits/procds

lancs par les entreprises aides dans
le champ de l'environnement aprs
deux ans
Volume de biens et services associs

l'environnement en % du total
des biens et services de la zone
(1) Il ne semble pas exister de dfinitions standard d e bien ou service environnemental.

Au niveau des ressources, un problme spcifique apparat lorsque l'on
tente de mesurer le cot environnemental d'un projet donn, autoroute ou
aroport par exemple. Il n'est pas possible, avec les systmes comptables
standard, de mesurer les efforts d'attnuation en faisant une estimation
spare des cots. Le cot environnemental doit tre estim deux fois : ex
ante l'tape de slection de projet et ex post l'tape de l'valuation du
programme.
Tandis que les indicateurs de ralisations et de rsultats sont spcifiques
d'autres champs (par ex. km d'autoroutes, nombre de passagers), leur suivi
constitue une base pour mesurer la pression sur l'environnement et pour
quantifier les indicateurs d'impacts.
Il ne faut pas oublier que les impacts sur l'environnement peuvent tre dus
la fols aux consquences immdiates de l'activit aide (les dommages aux
habitats naturels causs par la construction d'une infrastructure importante
telle qu'une autoroute, par exemple) et par les consquences moyen terme
de ces actions ou d'autres actions (par ex. l'augmentation significative de la
pollution de l'air due l'augmentation du trafic sur l'autoroute).
Outre les Impacts dommageables sur l'environnement d'interventions non
environnementales, on peut galement observer des impacts positifs sur
l'environnement, par exemple dans le cas de la construction d'une liaison
ferroviaire Interurbaine.
Exemple 32 - Construction d'une liaison interurbaine entre A et


et ses effets)
Indicateurs de ralisation dans le champ de l'inf rastructure de transport

Quantit
| km de rseau
Indicateurs de rsultat dans le champ de l'infrastructure de transport

Vitesse
E.I.S.S. entre A et
E.I.S.S. moyenne entre tous les

centres urbains concerns de la zone
Indicateurs d'impact dans les champs de l'inf rastructure et de l'environnement

Trafic
Nombre de passagers utilisant la ligne

(km passagers et par an) aprs un an
Systme de transport
% de passages dclarant qu'ils

utiliseraient une voiture particulire
si ce train n'existait pas
Rduction en volume du trafic
des voitures particulires
(vhicule km par an) aprs un an
Environnement
Rduction des missions totales

de N0 2 & de composs organiques
volatils (COV) (Kg / an)
Emissions de N0 2 & de composs

organiques volatils (COV) (K / an)
Moyenne nationale des missions
par vhicule km

Les informations relatives aux ralisations ne sont souvent pas disponibles
sous forme synthtique pour les mesures ayant un objectif
environnemental. De fait, il peut tre ncessaire de synthtiser les donnes
sous forme de taux de ralisation et de taux de respect des dlais.
Dans certains cas, les rsultats peuvent tre quantifis relativement
facilement par des indicateurs de demande (par exemple consommation
nergtique dans l'agriculture, consommation d'eau par personne). Dans
Environnement
d'autres cas (par exemple une rduction de la consommation d'nergie des

entreprises rsultant de la mise en uvre d'audits), des enqutes ad hoc
auprs des utilisateurs finals doivent tre ralises.
Dans certains cas, les systmes de suivi peuvent comprendre des
informations sur l'Impact environnemental d'un programme en termes de
modification des pressions (par exemple rduction de la production de
polluants partir de sources ponctuelles). Toutefois, en raison de la nature
relativement complexe et nouvelle de l'valuation des impacts sur
l'environnement, il peut tre ncessaire, dans bien des cas, d'effectuer des
enqutes ad hoc ou des tudes personnalises sur les rsultats de projets
spcifiques (en particulier lorsqu'un impact grande chelle ou concentr
est prvisible). Les donnes concernant les pressions sur l'environnement
peuvent tre disponibles partir de sries statistiques nationales ou mme
rgionales.
Les indicateurs de contexte, quant eux, se rfrent la qualit gnrale
de l'environnement dans la rgion. Les sries temporelles renseignant ce
type d'indicateurs sont de plus en plus harmonises, dtailles et
compltes. Eurostat fournit au niveau de chaque Etat membre de l'Union
europenne un nombre croissant de donnes, sous forme imprime et sous
forme lectronique. L'Agence europenne de l'environnement, rcemment
cre, commence galement produire des donnes utiles. Au niveau
national, les services statistiques des diffrents Etats membres disposent
d'informations trs abondantes. Toutefois, les sries temporelles tablies
tendent tre moins disponibles et moins dtailles au niveau rgional.
Indicateurs cls
Les indicateurs cls prsents en page suivante se prtent la fois des

europenne.
Niveau
Indicateur cl
Ressources

% du budget consacr des mesures d'attnuation
environnementale
Ralisations

financiers)
Taux de ralisation de projet (% de l'objectif)
Nombre de raccordements potentiels (mnages / units
conomiques) aux rseaux de services de base (par
exemple station d'puration)
Rsultats
% de mnages/d'units conomiques recevant un niveau

de service conforme aux normes europennes via le
rseau (ex. : eau potable)
Impacts
Nombre
d'utilisateurs
raccords
aux
nouvelles
infrastructures, ventils en mnages/units conomiques
(par exemple station d'puration) aprs un an
Emploi net cr ou maintenu (en ETP, dont ceux occups
par des femmes)

Department of the Environment (1993L Environmental Appraisal
Development Plans, A good practice guide. Londres : HMSO.
Agence europenne pour l'environnement (1995), Environment
European Union, Report for the Fifth Environmental
Programme. Copenhague : EEA.
Eurostat (1996), Indicators
Eurostat.
Eurostat (1996), Statistiques
Eurostat.
of Sustainable
Development.
de l'environnement
of
in the
Action
Luxembourg :
1996. Luxembourg :
OECD (1997), Environmental Indicators for Agriculture. Paris : OECD.
Les interventions structurelles concernant la socit de l'Information
comprennent : des projets d'infrastructures (tels que le dploiement et
l'amlioration de rseaux de tlcommunications et tlmatiques), l'aide
financire directe (par exemple pour la cration de nouvelles entreprises
dans l'Industrie du multimdia), des projets visant la cration de
conditions permanentes pour le dveloppement d'applications des
Technologies de l'Information et de la Communication (TIC) (centres de
tltravail ou de tlmdecine, par exemple) et des projets de
dveloppement de ressources humaines (initiatives de formation
concernant de nouvelles technologies, par exemple).
Les interventions d'infrastructures et d'applications des TIC sont
sensiblement diffrentes. En ce qui concerne les infrastructures des TIC (la
modernisation d'un rseau tlphonique, par exemple), les interventions
sont largement comparables aux interventions d'infrastructures dans
d'autres champs, tels que les transports, mme si les services fournis par
les nouvelles infrastructures de communication, et en particulier les
services avancs (les services multimdia interactifs, par exemple) ne sont
pas aussi faciles identifier. Cela signifie que les indicateurs de rsultats,
et particulirement les indicateurs d'impacts, sont souvent peu significatifs.
Les interventions dans le domaine du dveloppement des applications des
TIC (c'est--dire le tltravail, le tl-enseignement et la tlmdecine)
visent gnralement des oprations exprimentales et non pas une
diffusion grande chelle. Il est donc relativement difficile d'valuer le
programme en rfrence son contexte. Les projets de tltravail, par
exemple, sont actuellement mens de faon exprimentale et n'Impliquent
le plus souvent qu'un nombre limit de travailleurs. En consquence, les
indicateurs de contexte (dans ce cas, le pourcentage de tltravailleurs en
fonction du nombre total d'employs d'une zone gographique et/ou d'une
industrie donne) ne sont en gnral pas significatifs et n'ont pas besoin
d'tre suivis. On peut toutefois fournir une valuation de la contribution
potentielle d'un projet spcifique au contexte gnral (niveau d'emploi pour
le tltravail, niveau de qualification pour la formation professionnelle en
ligne, etc.), au moins en termes de qualit.
Tous les indicateurs des interventions dans le champ de la socit de
l'information ne sont pas pleinement accepts, en raison du caractre
immatriel des services bass sur les TIC, du dveloppement rapide des
nouvelles technologies et de l'incertitude quant leur impact

organisationnel sur les systmes complexes que sont l'enseignement ou la
sant publique. Le suivi et l'valuation de ces projets se placent donc dans
une logique d'exprimentation.
Indica teurs de ressources
Compte tenu de la distinction entre les Interventions d'infrastructures de
tlcommunications et les interventions d'applications (voir cidessus), les
indicateurs de ressources peuvent comprendre la conformit avec le cot
du projet pour les interventions d'infrastructures, alors que dans le cas
des interventions d'applications, l'utilisation des ressources financires
peut fluctuer en raison de facteurs de demande, tels que, par exemple, une
participation des destinataires des initiatives suprieure ou infrieure aux
estimations.
Indicateurs de ra lisa tion
Les interventions fournissant des infrastructures de tlcommunications
peuvent tre facilement suivies au moyen d'indicateurs physiques,
associs la fois au projet aid (les kilomtres de fibre dploys ou le
nombre de centraux tlphoniques quips de dispositifs bass sur les
nouvelles technologiques) et au contexte des TIC dans la rgion considre
(par exemple le pourcentage de rseau amlior). Si la fourniture de
services est comprise dans le projet, un Indicateur de ralisations assurant
la mesure des services fournis (par exemple le nombre de chanes de
tlvision cbles, les heures de programmes ou toute autre mesure des
services disponibles) est ncessaire.
Les ralisations des interventions d'applications peuvent tre suivies en
mesurant la gamme de services offerts, avec une srie d'indicateurs
dpendant strictement de l'application spcifique : nombre de postes de
tltravail dans un centre de tltravail, nombre de cours en ligne fournis,
nombre de services fournis via un rseau (le terme service doit tre
dfini avec prcision en fonction du projet spcifique).
Indica teurs de rsulta t
Les avantages immdiats pour l'utilisateur final de l'infrastructure de
tlcommunication peuvent tre dcrites en termes de performances de
rseau (dbit, nombre d'incidents). Les rsultats d'interventions

d'applications peuvent tre suivis au moyen d'indicateurs de programme,
tels que le nombre de destinataires impliqus dans le programme (par
exemple le nombre de personnes formes aux nouvelles technologies), le
taux d'exploitation des installations (par exemple le taux d'exploitation de
postes de tltravail dans un centre de tltravail) et le taux de
satisfaction des destinataires impliqus . Il n'est en principe pas cohrent
d'appliquer les Indicateurs de rsultats au contexte, compte tenu de la
nature exprimentale des programmes d'application et du nombre limit de
destinataires impliqus.
Indicateurs
d'impact
Le nombre de connexions aux nouveaux rseaux ou aux rseaux amliors

aprs un an, ainsi que le taux d'utilisation des rseaux sont des indicateurs
d'impacts
pour
les Interventions
sur
les infrastructures
de
tlcommunications. Le nombre de connexions peut tre facilement
appliqu la fois au programme et au contexte (afin de mesurer, par
exemple, la pntration des TIC dans les mnages). L'utilisation d'un rseau
dpend en fait du type de services fournis sur le rseau (la tlvision cble,
par exemple, sera ou non une alternative la tlvision traditionnelle, en
fonction des stratgies de marketing des oprateurs. Observer l'volution
du taux d'utilisation n'a de sens que quand le nouveau rseau (et/ou les
services qu'il fournit) peut tre compar au rseau prexistant. En outre, le
lien entre le rseau et son utilisation doit tre examin en dtail. Par
exemple, une connexion plus rapide Internet (fournie par un rseau large
bande) peut entraner une rduction de la dure d'utilisation (grce une
interactivit plus efficace et plus rapide) ou une augmentation de la dure
totale d'utilisation (en raison d'un nombre Important de nouveaux utilisateurs
attirs par de meilleures conditions de connexion). Ces liens doivent tre mis
en vidence avant tout dveloppement d'indicateurs appropris.
Les impacts des Interventions d'applications peuvent tre valus par des
indicateurs de survie centrs sur le nombre de destinataires encore
impliqus dans le projet aprs une priode donne (dfinie en fonction du
projet spcifique). Ce type d'indicateurs donne une mesure crdible de la
faisabilit du projet. Ils peuvent galement tre valus par des indicateurs
objectifs relatifs aux finalits du projet spcifique (par exemple la
rduction des temps de transport pour les tltravailleurs, les crations
d'entreprises virtuelles etc.).
Par contre, dans le cas des interventions d'applications, les indicateurs

d'impacts de contexte ne sont gnralement pas significatifs, compte tenu
du nombre limit de destinataires impliqus dans l'exprience. Dans ce
cas, une valuation qualitative de la contribution potentielle de l'application
spcifique (par exemple un centre de tltravail) au contexte (par exemple
l'augmentation ou la rduction de l'emploi dans une rgion donne) doit
tre fournie.
Exemple 33 - Dploiement d'un rseau large bande
hybride fibre coaxial (HFC)
ses effets)
Avancement

Taux de ralisation
Quantit
Nombre de km de HFC installs
% de km de HFC sur le rseau total

(dans la zone considre)
Nombre de btiments et / ou
% de btiments/foyers
desservis
Capacit
appartements desservis
Performances
Capacit du dbit binaire
du rseau
Nombre d'incidents sur le rseau
Services fournis
Nombre de services
Nombre de chanes TV
Heures d'missions fournies
(via le rseau)
Connexions
Utilisation de la TIC
Nombre de mnages ayant connect
Pntration des PC et/ou de la TV
leurs quipements (TV, PC) au rseau
cble |2) dans les mnages de
HFC (aprs 6 mois)
la zone considre
Nombre d'abonnements aux
Taux d'adoption des tlservices
tlservices ( "
dans la zone considre
Total des heures de connexion/mois

(1) La classification des principaux tlservices peut tre tire des enqutes sur la TCI les plus
pertinentes au niveau europen (par exemple Measuring Information Society 1997, ISPO).
(2) Tlvision cble ou CATV.
Exemple 34 -Amlioration d'un rseau existant bande troite

avec la technologie ADSL(1)
et ses effets)
Avancement
Voir Exemple 33
Quantit
Nombre de centraux
tlphoniques quips
de dispositifs ADSL
Capacit
Nombre de logement
% de logements potentiellement
potentiellement servis par
servis par les centraux quips
les nouveaux centraux
dans la zone considre
% de centraux quips de
dispositifs ADSL dans la zone
considre
tlphoniques quips
Performances du rseau
Voir Exemple 33
Fourniture de services
Nombre de services fournis

(chanes de TV interactive,
fourniture d'accs Internet)
Connexions
Nombre de mnages ayant
% de mnages ayant demand
demand un raccordement
un raccordement ADSL dans la
ADSL (aprs 6 mois)
zone considre
Nombre d'abonnements
aux services (aprs 6 mois)
Total des heures de
connexion/mois (aprs 6 mois)
(1 ) ADSL (Asymmetrical Digital Subscriber Loop) signifie ligne numrique asymtrique d'abonn.
Indicateurs pour le suivi et l'valuati
Exemple 35 -Installation d'un centre de tltravail en dehors

d'une agglomration
et ses effets)
Capacit
Nombre de postes de (tl)

travail installs
Qualit des services
fournis
Nombre d'heures d'ouverture/semaine

Nombre de services d'aide fournis
(formation, aide au secrtariat, e-mail,
hbergement web, etc.)
Participation
Nombre d'entreprises participant

l'initiative (aprs 6 mois)
Nombre de tltravailleurs stables /
mobiles"1 hbergs (aprs 6 mois)
Utilisation
Exploitation des postes de (tl)travail,

c'est--dire temps d'utilisation
(aprs 6 mois)
Temps de transport
Rduction des temps de transport

pour les tltravailleurs concerns
Temps total perdu dans les

embouteillages en zones
urbaines
Dmarrage
d'entreprises
Nombre.de dmarrage de
nouvelles entreprises virtuelles
Nombre de nouvelles entreprises

installes dans la zone par an
Emploi
Nombre d'emplois (en ETP, dont ceux

occups par des femmes) crs par
les entreprises virtuelles
Nombre d'emplois (en ETP, dont ceux

occups par des femmes) crs par
les nouvelles entreprises dans la rgion
(1) Les tltravailleurs stables sont des employs dont le poste de travail est situ dans un centre de
tltravail (au mois 3 jours/semaine, selon la dfinition convenue du tltravail) ; le poste de tltravail
est gnralement lou sous contrat par une socit. Les tltravailleurs mobiles sont des travailleurs
qui utilisent les installations de tltravail la demande, pour une dure limite (d'1 heure 1 jour).
Des expriences rcentes ayant valu qu'un centre de tltravail n'est pas rentable s'il se limite aux
activits associes au tltravail, la plupart des centres de tltravail fournissent galement des
installations pour des activits traditionnelles, tels que les cours de formation sur site et l'aide
commerciale (voir Emploi). La gamme de services fournis par chaque centre dpend de la nature de
l'activit commerciale et de la structure du march de l'aide commerciale dans la zone, et ne peut
pas tre value avec prcision l'aide d'indicateurs structurs et gnraux.
Exemple 36 Projet de formation professionnelle en ligne'1'

(En lien avec l'intervention et ses effets)
Activit des oprateurs
Nombre de formations en ligne offertes

% de formation en ligne dans le
catalogue de formations
Volume de formation
fourni
Nombre d'heures de formation

en ligne assures (heures stagiaires)
Nombre d'individus forms

(dont femmes)
Nombre total annuel de stagiaires

dans la zone
Indicateurs de rsulta t
Qualification
Nombre de stagiaires diplms, par

rapport au nombre total de participants
Accessibilit
% de participants dclarant qu'ils

n'auraient pas pu suivre une formation
traditionnelle pour des raisons
d'lolgnement
Flexibilit
% de participants dclarant qu'ils

n'auraient pas pu suivre une formation
traditionnelle pour des contraintes
d'horaires
Satisfaction des
destinataires

satisfaits par la formation
Abandons
Taux d'abandon des formations en ligne
Taux d'abandon des formations

traditionnelles
% de participants ayant trouv un

emploi aprs 12 mois (dont femmes)
Taux annuel de remploi de chmeurs

dans la rgion
Placement
(1) L'enseignement en ligne se rfre en principe des utilisations des TIC plus ou moins Intenses, dans
le cadre de la formation, qui vont du cours complet en ligne une aide complmentaire en ligne aux
cours dispenss sur site. Une certaine proportion de cours sur site est souvent ncessaire, pour
permettre aux participants de se connatre et faciliter l'apprentissage de groupe en ligne par la suite.
Le panachage entre la formation en ligne et sur site dpend de chaque sujet, de la mthode
d'enseignement (personnel ou interaction du groupe) et des technologies adoptes (l'utilisation de la
vidoconfrence, par exemple, limite les besoins en cours sur site). Ces lments sont gnralement
spcifis dans la documentation du projet, et peuvent donc tre contrls.

Les interventions dans d'autres champs qui comprennent des applications
des TIC (sans tre centres sur cette technologie) peuvent avoir un impact
considrable sur le dveloppement de la socit de l'information.
Un exemple type est l'utilisation des TIC comme alternative pour fournir des
informations ou contacter des destinataires potentiels (par exemple en
crant un site web). De nombreux types de soutiens aux entreprises

comprennent des services immatriels tels que l'information, l'orientation et
la formation, qui pourraient tre fournis, au moins partiellement, via Internet.
Le mme concept pourrait tre appliqu pour fournir des informations sur
la circulation dans les projets de contrle du trafic urbain et dans d'autres
interventions similaires. L'utilisation des rseaux tlmatiques pour
amliorer les communications entre les sujets impliqus dans un projet
constitue un autre exemple (ainsi, des projets d'pidmiologie pourraient
utiliser la tlmatique pour rassembler des donnes auprs de mdecins
gnralistes).
Pour de tels cas, l'valuation peut tre ralise en utilisant des indicateurs
de ralisations pour mesurer le niveau d'innovation technologique de la
fourniture de service (par exemple le nombre de services d'aide aux
entreprises fournis par l'intermdiaire d'un site internet). Les indicateurs de
rsultats doivent mesurer l'utilisation de la technologie dans le projet par les
destinataires (par exemple pour accder l'information, pour contacter des
oprateurs ou pour envoyer des donnes, comme indiqu dans les
exemples ci-dessus).
Les indicateurs d'impact doivent enfin mesurer l'impact du projet sur
l'acceptation gnrale, l'intrt et l'utilisation des TIC ( par exemple
pourcentage de destinataires dclarant tre devenus plus confiants aprs
avoir utilis la technologie de l'information au cours du projet).
Les informations relatives aux ralisations sont gnralement disponibles
ou peuvent tre facilement obtenues sous forme concise auprs des
gestionnaires des projets financs.
La plupart des indicateurs de rsultat doivent tre quantifis par les
oprateurs, qui assurent le suivi des destinataires, bien que tous les
indicateurs ne soient pas totalement stabiliss, en particulier ceux faisant
rfrence aux applications les plus innovantes (telles que le tltravail).
Les donnes relatives aux impacts doivent tre collectes auprs des
destinataires au moyen d'enqutes spcifiques ou d'tudes de cas. Ces
informations sont gnralement Intressantes pour les oprateurs, qui sont
donc motivs et impliqus dans la collecte des donnes. Les tudes de cas
peuvent fournir des informations de meilleure qualit et plus prcises que
les enqutes, en particulier pour les interventions concernant le
dveloppement d'applications des TIC, qui sont souvent spcifiques et

exigent une analyse approfondie. Ceci confirme que les donnes
qualitatives restent prdominantes par rapport aux donnes quantitatives
dans le champ des TIC comme dans de nombreux champs de politiques
innovantes.
Les indicateurs de contexte pour les interventions dans ce champ se
rapportent au contexte gnral des TIC de la rgion ou des rgions en
question. En ce qui concerne les interventions de dveloppement
d'applications des TIC, comme prcdemment indiqu, les indicateurs de
contexte sont essentiellement qualitatifs et doivent tre inclus dans les
rsultats des tudes de cas. Les indicateurs de contexte pour les
interventions d'infrastructures de tlcommunications peuvent tre tirs
des enqutes europennes (telles qu'ISPO et Eurostat) et nationales.
Indicateurs cls
Les Indicateurs cls prsents en page suivante se prtent la fois des
europenne.
Niveau
Indicateur cl
Ressources
Ralisations

Nombre de raccordements potentiels (professionnels/
privs) aux rseaux de services de base'1'
Nombre d'heures de formation (en ligne) reue par les
participants aux cours (dont hommes/femmes)
Rsultats
Nombre d'units domestiques/conomiques recevant un

niveau de service conforme aux normes europennes
grce au rseau
Taux de satisfaction (% des destinataires des formations
en ligne)
Taux de russite immdiat (nombre de destinataires
diplms la fin de la formation )
Impacts
Nombre
d'utilisateurs
raccords
aux
nouvelles
infrastructures, ventils
en
units
domestiques/
conomiques (par ex. rseau HFC)
Valeur ajoute brute gnre (aprs 12 mois, en termes
d'euro/an/employ
Emploi net cr ou maintenu (en ETP, dont ceux occups
par des femmes)
(1) Pour les comparaisons entre pays, il convient de tenir compte de certains lments spcifiques
chaque pays, tels que le niveau de numrisation des rseaux tlphoniques nationaux ou la
prexistence de rseaux de tlvision cble dans certaines zones. Il faut galement tenir compte de
la lgislation applicable la TIC (accs universel, environnement rglementaire, loi sur la
confidentialit des donnes, etc ).

Eurostat (1997), Information and Communication Services
Statistics 1980-1995. Luxembourg : Eurostat.
Annual
Spectrum Strategy Consultants, DTI (1996,), Development of the

Information Society - An International Analysis. London : HMSO.
Jackson, P.J. and Van der Wielen (1998), Teleworking
Perspectives. London : Routledge.
International
Smith, C. (1995), 'Measuring the usability and effectiveness of advanced

learning technologies' in : Held, P. & Kugemann, W. F (eds)
Telematics for Education and Training, Proceedings of the
Telematics for Education and Training Conference, Dsseldorf /

Neuss, 24-26 November 1994. Amsterdam : IOS Press.
Thorpe, M. (1993), Evaluating Open and Distance Learning, 2 edition.
Harlow (UK) : Longman.

Les Interventions structurelles dans le champ des entreprises englobent la
fourniture de sites industriels, l'aide financire directe et l'aide sous forme
de services aux entreprises. Les services aux entreprises comprennent
l'assistance, l'Information, le conseil et la formation, assurs directement
par les organismes de dveloppement ou indirectement par des
consultants, des experts, etc. Le FEDER et le FSE sont tous deux
comptents en la matire. Les Interventions concernant les entreprises
peuvent galement tre finances par le FEOGA et l'IFOR
Les destinataires des interventions sont essentiellement les PME et les
microentreprises, avec une priorit aux entreprises d'origine locale. Les
grandes entreprises peuvent galement bnficier d'aides, mais leurs
conditions d'ligibilit sont beaucoup plus restrictives que celles des PME.
Le principe de l'assistance spcifique aux PME se justifie par diffrentes
considrations. En premier lieu, les PME sont plus exposes aux
fluctuations conomiques que les grandes entreprises, en raison de leur
base plus troite de ressources financires et humaines et de leur
focalisation sur de plus petits marchs. Elles sont galement confrontes
de plus grandes difficults pour obtenir des financements extrieurs,
pntrer des marchs trangers et acqurir des comptences managriales
et autres, ce qui peut justifier un besoin plus grand de conseil, d'orientation
et de formation. Elles font gnralement appel une main d'uvre plus
importante, crent plus d'emplois par unit de production et peuvent tre
plus innovantes, adaptable et flexibles que les grandes entreprises.
La comptitivit des entreprises tant une priorit politique pour l'Union
europenne, les systmes d'indicateurs doivent spcifiquement enregistrer
la situation des PME cet gard. Selon le principe d'intgration
(mainstreaming, voir Encadr 17), les Indicateurs de ralisations, mais
galement les indicateurs de rsultats et d'impacts, voire les indicateurs de
ressources, doivent tre ventils en grandes/moyennes/petites entreprises.
Le suivi et l'valuation de l'aide aux entreprises prsentent des spcificits
critiques qui dterminent les systmes d'indicateurs. Premirement, le
niveau d'aide est souvent faible par rapport aux activits de l'entreprise
destinataire, ce qui rend difficile l'apprhension de ses consquences,
mme pour le gestionnaire. Certaines interventions apportent une aide
indirecte un groupe (un rseau) d'entreprises, ce qui entrane une perte de
contact avec les destinataires. En outre, l'volution d'une entreprise dans
indicateurs pour le suivi et l'valuation
un environnement concurrentiel est largement dtermine par le contexte,

ce qui rend difficile le suivi des consquences spcifiques des interventions
publiques. Enfin, le territoire d'action d'une entreprise n'a souvent aucun
rapport avec la zone eligible.
Indicateurs
de ressources
De nombreux services d'aide aux entreprises sont stimuls par la demande,

de sorte que l'Indicateur de consommation financire correspondant peut
fluctuer au fil du temps en fonction de facteurs tels que le cycle
conomique et les conditions macroconomiques.
Les ralisations des interventions de fourniture d'infrastructures physiques
peuvent tre suivies au moyen d'un indicateur physique tel que la surface
(en m2) de locaux fournis ou rnovs .
Toutefois, de nombreux types d'aide aux entreprises sont des services
(information, conseil et formation) et non pas des produits physiques
(routes ou btiments industriels). Les indicateurs de ralisations peuvent
donc mesurer l'activit effectue, l'chelle des services fournis (par
exemple le nombre de conseillers commerciaux, le nombre de guichets
uniques crs), et le volume de services financs.
Dans le cas gnral de l'aide financire ou des services, le principal
indicateur de ralisations est le nombre d'entreprises aides . Il s'agit
d'un Indicateur relativement basique qui ne possde en soi qu'une valeur
limite. Toutefois, associ au niveau de ressources financires consacr
l'aide, il donne une indication utile de l'intensit de l'aide, qui prsente un
intrt pour tablir des comparaisons. Cet indicateur peut tre ventil en
diffrentes catgories, telles que la taille moyenne et la taille prvue des
entreprises aides (par exemple en termes de nombre d'employs) ou le
secteur d'activit actuel ou futur des entreprises aides (par exemple en
termes de marchs en croissance ou en dclin).
Indicateurs
de rsultat
Les indicateurs de rsultats renseignent sur les changements immdiats

des structures de production en termes de cration d'entreprise et de
diversification.
Comptitlvit des PME et des entreprises en gnral
Le montant de dpenses (investissements ou dpenses d'une nature

comparable) engag par les entreprises en rapport avec l'aide reue est
un indicateur qui mesure l'effet de levier .
La proportion d'entreprises aides dans la zone ou le groupe dfini est
galement un indicateur pertinent pour les Interventions dans ce champ. Il
mesure le degr de pntration du programme sur l'ensemble des
entreprises de la zone, du groupe ou du secteur dfini.
La proportion de destinataires satisfaits constitue un autre indicateur,
qui devra tre bas sur le suivi des destinataires lorsque leur contact avec
le programme prend fin.
Indicateurs
d'impact
Les interventions relatives la fourniture d'infrastructures physiques

produisent des impacts spcifiques qui peuvent tre mesurs au moyen
d'un indicateur physique tel que la surface (en m2) des locaux achets ou
lous par des entreprises destinataires aprs un/trois ans .
L'aide aux entreprises peut avoir un impact sur les attitudes et les
comportements des employs de ces entreprises et sur diffrents aspects
des performances de leurs activits. Elle peut dvelopper les
connaissances et les comptences de leurs propritaires/grants et
employs, ou amliorer la planification commerciale, la gestion, le
marketing, les produits et les systmes de production et de distribution.
L'objectif final est d'aider les socits se dvelopper et gagner des
parts de march (ou ne pas en perdre), du chiffre d'affaires, de la valeur
ajoute et enfin de crer des impacts sur l'emploi.
Les indicateurs d'Impact doivent Intgrer la dure sur laquelle la mesure
produit ses effets (normalement entre un et trois ans aprs l'intervention). Il
convient de noter qu'il est probable que ces priodes dpassent la dure
de vie globale du DO CUP/program m e rgional, ce qui peut crer des
difficults.
L'aide peut galement avoir des effets indirects sur les performances des
fournisseurs (augmentation de leur production), des clients (amlioration de
la qualit et/ou des prix) et des concurrents (baisse des ventes). Ces effets
doivent tre pris en compte lors de l'valuation de l'impact net global des
interventions. Il peut galement y avoir des effets multiplicateurs plus
vastes dcoulant de l'emploi et du revenu cr dans les entreprises aides.
L'objectif principal de la plupart des entreprises est d'augmenter leurs

bnfices et rares sont celles qui font de l'emploi leur objectif premier. Dans
la plupart des cas l'emploi est une demande drive dcoulant de la
ncessit d'employer des gens pour raliser un travail. Les entrepreneurs
peuvent ressentir une antinomie entre l'emploi et les bnfices, compte
tenu des cots salariaux.
Dans certains cas (par exemple l'aide l'innovation technique, ou
l'amlioration des systmes de gestion et de production), l'aide peut
amliorer l'efficience et la rentabilit de l'entreprise, sans pour autant crer
d'emplois supplmentaires, en particulier court terme. On espre
gnralement que ces amliorations de comptitivit gnrent des
avantages conomiques plus importants long terme.
Les conditions contextuelles sont galement importantes : dans un
environnement conomique dprim, le mme niveau d'aide aura un
impact considrablement plus faible sur la production et l'emploi que dans
un environnement prospre. Il est important d'tre conscient de ces
circonstances lors de l'valuation et du suivi des programmes.
La russite de certaines entreprises est base sur des prix bas obtenus
grce une rduction des cots (y compris de main d'uvre), voire grce
un non-respect des rglementations sur l'environnement, tandis que
d'autres russissent grce l'innovation, la diffrenciation et la
spcialisation des produits, des comptences et une productivit leves.
Les diffrentes combinaisons d'indicateurs d'impacts doivent dtecter ces
diffrences.
Exemple 37 - Aide aux crateurs d'entreprises' 1 '

Nombre d'oprateurs
Nombre de guichets uniques
Volume de services
Nombre d'heures de conseil-expert
fournis
reues par les destinataires

souhaitant lancer une nouvelle activit
Indicateurs de resultiit
Cration d'entreprise
Nombre de nouvelles entreprises

lances la suite de l'aide
dispense (dont celles appartenant
% de destinataires satisfaits ou trs
des femmes)
Taux de cration d'entreprise en

nombre d'entreprise/an/1 000
habitants (dont celles cres par
des femmes)
satisfaits des services d'aide fournis
Survie des entreprises
cres
Taux de survie121 des entreprises aides

aprs 18/24/36 mois d'existence
(dont celles cres par des femmes)
Emploi direct
Nombre d'emplois nets131 dans les

entreprises cres aprs 18 mois
d'existence (en ETP, dont ceux occups
par des femmes)
Taux de survie aprs 18/24/36 mois
(1) Les nouvelles entreprises sont dfinies c o m m e des entreprises commerciales d e diffrente nature (y
compris les travailleurs indpendants) qui ont commenc leur activit et ont t aides au dmarrage
dans le cadre du programme. Elles ne comprennent pas les personnes qui faisaient partie du
programme mais ont abandonn, ou qui n'ont pas encore dmarr.
(2) Le taux d e survie est la proportion de nouvelles entreprises encore en activit aprs 18 mois. Cette
priode dpasse la priode d'aide standard et suffit juger si l'entreprise est viable ou non.
(3) L'emploi doit tre mesur en termes d'quivalents temps plein (ETP) gnrs par l'aide fournie dans
le cadre du programme. Les emplois temps partiel peuvent tre convertis en ETP sur la base de
deux temps partiels pour un temps plein. Les emplois peuvent tre dfinis c o m m e permanents s'ils
se poursuivent au-del de l'intervention o s'ils perdurent aprs l'Intervention pendant une dure
prdfinie.
Exemple 38 -Aide informationnelle aux PME pour la promotion

des exportations
Nombre de destinataires | Nombre de PME aides111121
Nombre de PME de la zone eligible

satisfaits des services d'aide
Diversification
gographique
Nombre de PME devenant exportateurs

Nombre de PME exportant vers de
nouveaux marchs
Exportations131
% du chiffre d'affaires l'exportation

des PME aides aprs 18 mois
Exportations des PME de la zone en

proportion du PIB
Valeur ajoute
Valeur ajoute gnre aprs 18 mois

dans la zone
Emploi direct
Nombre d'emplois nets

crs/maintenus aprs 18 mois (en
ETP, dont ceux occups par
des femmes) dans les entreprises
Nombre total de chmeurs dans la

zone aide
(1) La Commission europenne a convenu d'une dfinition standard des PME : ce sont des entreprises
employant moins de 250 personnes, dont le chiffres d'affaires annuel est infrieur 40 millions
d'euros ou dont les actifs sont Infrieurs 27 millions d'euros, et indpendantes, ou dont 25%
maximum du capital sont dtenus par une grande entreprise. Les petites entreprises sont dfinies
comme suit : elles emploient moins de 50 personnes, ont un chiffre d'affaires Infrieur 7 millions
d'euros ou des actifs infrieurs 5 millions d'euros et sont Indpendantes . Les microentreprises
emploient moins de 10 personnes.
(2) Une dfinition minimale de l'aide est ncessaire pour viter que des conversations de 5 minutes avec
des entreprises soient considres comme des aides. Dans le cadre des programmes de l'objectif 2
au Royaume-Uni, l'aide est un minimum de 5 jours d'aide ou de son quivalent financier
( 3 500 euros).
(3) Les ventes l'exportation sont dfinies comme la valeur de toutes les ventes et contrats des
entreprises aux consommateurs, socits et organisations en dehors de la rgion concerne. La
valeur des ventes l'extrieur du pays peut constituer un autre indicateur.
Exemple 39 -Infrastructures subventionnes pour l'installation

d'entreprises
Quantit
Hectares de sites industriels mis
Surface totale des sites industriels
la disposition des entreprises
de la zone
Nombre de projets aids (dont PME)
Effet de levier
Investissements par les entreprises

destinataires
Valeur ajoute
Voir Exemple 38
Voir Exemple 38
Emploi direct
Nombre d'emplois nets crs (en
Voir Exemple 38
ETP dont ceux occups par

des femmes) aprs 18 mois
Effets indirects
% des entreprises de la zone parmi

les fournisseurs des entreprises
aprs 18 mois

Des interventions dans d'autres champs tels que la RDT et les transports
sont susceptibles d'avoir un impact sur la comptitivit des PME et des
grandes entreprises. Les impacts des interventions dans le champ des
transports sont souvent indirects et sont la plupart du temps provoqus par
des mcanismes macroconomiques. Il est donc trs difficile d'en effectuer
le suivi, ou mme de les valuer, au moyen d'Indicateurs. Les indicateurs
ont plus de chance d'tre utiles dans le cas des interventions de RDT. Il est
frquent qu'une Intervention soit cible sur les centres de recherche, afin de
renforcer indirectement la capacit d'innovation des entreprises de la
rgion et d'augmenter par voie de consquence la comptitivit de la
rgion. Dans ce cas, il est possible d'utiliser des indicateurs d'impacts
spcifiques dans le cadre d'une tude d'valuation.
Exemple 40 - Aide aux projets de centres de recherche rgionaux

I (En lien avec l'intervention et ses effets)
Indicateurs de ralisation dans le champ de la RDT

Nombre de projets aids
Nombre de projets de recherche aids
Nombre de centres de recherche de

la zone
Indicateurs de rsultat dans le champ de la RDT

Avancement du projet
% de projets mens bien avec

publication dans un journal de rfrence
Travail en rseau
Nombre d'entreprises de la zone

impliques dans les projets de
recherche en collaboration (dont PME)
Indicateurs d'impact dans le champ des entreprises

Avantages conomiques
Nombre d'entreprises rgionales ayant

t impliques dans des projets de
recherche aids et qui dclarent
des retombes positives aprs
18 mois (dont PME)
Valeur ajoute1'1
Valeur ajoute totale dcoulant des

projets de recherche aids
(1) La valeur ajoute dcoulant d'un projet de recherche est susceptible d'tre gnre sur une longue
priode. Pour synthtiser les dclarations de plusieurs entreprises, la valeur ajoute annuelle doit tre
pondre en utilisant un taux d'actualisation. L'indicateur de valeur ajoute gnre doit galement
tre pondr en utilisant des coefficients de probabilit pour la prise en compte de retombes futures.

La plupart des donnes de ralisations et de rsultats doivent tre fournies
par les gestionnaires des projets financs par les Fonds structurels. Les
gestionnaires doivent tre tenus de collecter rgulirement des donnes
simples, par exemple sur le nombre, la dimension et le type d'entreprises
aides, et le niveau de satisfaction par rapport aux services fournis. Ceci
s'applique galement aux entreprises qui ont t aides de faon indirecte
par une fourniture de locaux Industriels ou par une aide des rseaux
d'entreprises. Des ventilations standard doivent tre systmatiquement
appliques, au moins pour la taille des entreprises (de 0 10 employs, de
11 50, de 51 250, plus de 250) et pour le secteur (demande
croissante/en dclin).
Les donnes sur les impacts doivent tre collectes directement auprs
des entreprises au moyen d'enqutes spcifiques. Il peut tre utile
d'Impliquer des quipes extrieures pour collecter ces informations, pour
garantir la fiabilit des rponses. Des enqutes compltes peuvent tre

extrmement coteuses, et il est donc important de raliser des enqutes
auprs d'chantillons et d'extrapoler, sans oublier toutefois que
l'extrapolation prsente un risque d'erreur. Les questions relatives la
causalit et l'attribution des effets tant complexes et sensibles, les
entretiens de groupe et les entretiens individuels avec les reprsentants des
entreprises sont plus susceptibles d'approcher la vrit que des
questionnaires postaux. Les entretiens par tlphone sont un compromis. Il
est important que les dcisions sur les techniques d'enqute soient prises
localement en fonction de leur adquation culturelle (Voir Volume 3 de la
Collection).
Les indicateurs de contexte se rfrent, selon les cas, au contexte national
ou rgional. Ils peuvent tre tirs des donnes statistiques et des enqutes
europennes et nationales (ralises par exemple pour les services
fiscaux). Eurostat a dvelopp une base de donnes spciale de
statistiques industrielles rgionales, regroupant des donnes annuelles
depuis 1994.
Indicateurs cls
europenne.
Niveau
Indicateur cl
Ressources
Ralisations
Nombre de contacts entre oprateurs et destinataires

(dont PME)
Nombre de demandes d'aide (dont celles par des PME)
financiers dont % de projets proposs par des PME)
Taux de slection de projets dans des secteurs en
croissance rapide (par rapport au taux de slection
moyen, et avec le % de projets proposs par les PME)
Nombre d'heures de services experts reues par les
destinataires (par exemple pour crer une entreprise)
Nombre d'entreprises recevant une aide directe ou des
services en rsultat des programmes (dont PME)
Rsultats
% d'entreprises destinataires actives dans des secteurs

en croissance rapide (dont PME)
% d'entreprises destinataires impliques dans des projets
de haute technologie (dont PME)
Taux de satisfaction (% de destinataires satisfaits/trs
Effet de levier (dpenses du secteur priv gnres par le
programme en rapport avec l'aide financire reue)
Impacts
% de nouvelles entreprises aides encore en activit aprs

18, 24 et 36 mois
Valeur ajoute gnre (aprs 18 mois en termes d'euro / an
/ employ)
Emploi net cr ou maintenu (en ETP, dont ceux dans des
PME/dont ceux occups par des femmes)
Effets indirects sur la zone (entreprises rgionales, dont PME,
en % de fournisseurs des entreprises aides aprs 18 mois)

Bachtler, J. and Michie, R. (1995), 'A new era in EU policy evaluation? The
appraisal of the Structural Funds' in : Regional Studies, Volume 29,
745-751.
Foley, P. (1992), 'Local Economic Policy and Job Creation : A Review of
Evaluation Studies' in : Urban Studies, Volume 29.
HM Treasury (1991), Economic Appraisal in Central Government : A
Technical Guide for Government Departments. London : HMSO.
McEldowney, J. (1991), 'Evaluation and European regional policy' in :

Regional Studies, Volume 25, 261-268.
Turok, I. (1997), 'Evaluating European Support for Business Development :
Evidence from the Structural Funds in Scotland' in Entrepreneurship
and Regional Development, Volume 9, 335-352.
Dveloppement urbain
L'expression dveloppement urbain employe dans cet ouvrage se
dfinit comme l'ensemble des activits qui affectent le bien tre individuel
et social par des modifications dans la nature et l'intensit de l'occupation
des sols dans les zones urbaines, et la rglementation de ces
modifications . Dans le cadre des Fonds structurels, ces Interventions ont
quatre objectifs majeurs.
Le premier objectif est de gnrer un impact conomique sous forme
d'emploi et de dveloppement des entreprises, bas sur le principe que
tout individu doit pouvoir participer une activit gnratrice de revenu et
trouver un emploi rmunr. Le deuxime objectif est donc de gnrer un
impact social. Chaque individu doit avoir un accs quitable aux
possibilits de soins et d'ducation, quelles que soient ses origines
sociales et ethniques ou son sexe. Le troisime objectif est de gnrer un
impact sur l'environnement dans le sens o les activits urbaines ont un
effet (1) sur l'environnement naturel et les constructions dans les zones
urbaines et (2) sur l'utilisation des ressources naturelles. Le dveloppement
des activits urbaines aides par une intervention doit tre durable, c'est-dire qu'il doit respecter l'environnement naturel et construit et ne pas
entraner une diminution des ressources naturelles. Les ventuels impacts
ngatifs sur l'environnement doivent faire l'objet de mesures d'attnuation.
Enfin, le quatrime objectif est que les interventions doivent gnrer un
impact civique, en permettant aux individus de participer activement aux
processus qui faonnent leur vie et leur environnement urbain. La logique
du dveloppement urbain mlange souvent ces quatre dimensions, et les
indicateurs bass sur une approche trop sectorielle ne sont alors pas
pertinents.
Certaines interventions des Fonds structurels ciblent spcifiquement le
dveloppement urbain. C'est le cas de l'initiative URBAN et des Projets
pilotes urbains, ainsi que de nombreuses mesures des programmes
d'Objectif 2.
Les interventions de dveloppement urbain ont souvent une double
finalit : favoriser le dveloppement des villes aides et rduire les carts au
sein de ces villes entre quartiers pauvres et favoriss. Ces deux objectifs
sont souvent considrs comme complmentaires plutt que concurrents.
Pour un objectif de dveloppement global l'chelle d'une ville, les
Interventions ont essentiellement une dimension conomique et sociale.
Lorsque le programme cible l'intgration de zones dfavorises dans la

ville, la plupart des Interventions tendent dvelopper les activits sociales
et la citoyennet.
La plupart des interventions structurelles, qui peuvent sembler sans grand
rapport avec les questions de dveloppement urbain au premier abord,
peuvent parfois avoir un impact significatif sur les zones urbaines. Ainsi, par
exemple, les ajustements structurels dans les secteurs de la pche et de
l'agriculture peuvent affecter sensiblement la situation de grandes villes
ctlres et de communes importantes en zone rurale.
Le suivi et l'valuation de l'aide au dveloppement urbain possdent des
caractristiques spcifiques. Premirement, le dveloppement urbain
concerne souvent des territoires qui ne correspondent aucune
subdivision administrative ou statistique. Deuximement, le dveloppement
urbain englobe des buts et des activits trs divers, depuis les plus
techniques (tels que la fourniture de locaux aux nouvelles entreprises)
jusqu'aux plus politiques (telles que le dveloppement de la citoyennet
dans les zones en difficult).
Les indicateurs de consommation budgtaire doivent tre ventils en
dpenses engages pour les diffrentes villes et dpenses engages pour
les zones dfavorises. Toutefois, si cette ventilation n'a pas t prvue ds
le dbut du programme, elle ne sera pas quantifie par le systme de suivi
et une estimation devra tre fournie au moyen d'une tude spcifique au
stade de l'valuation.
Les indicateurs de ralisations, tels que les taux de ralisation et de
conformit avec le calendrier du projet, sont utiles pour les projets
physiques tels que la rhabilitation des friches urbaines ou des logements.
Les indicateurs de ralisations comprendront par exemple une mesure
physique du projet, telle que le nombre de logements rhabilits ou les
hectares de friche rhabilits .
De nombreuses Interventions axes sur le dveloppement urbain offrent
des services (ducation, logement, formation). Pour ces types
Dveloppement urbain
d'interventions, le dveloppement urbain est suivi au moyen d'indicateurs

cibls sur l'activit de l'oprateur et le volume de services fournis (par
exemple le nombre de sessions de conseil heures).
Certains indicateurs de ralisation peuvent tre suivis au niveau du
programme : par exemple, le taux d'une ralisation donne obtenue en
zones urbaines ou dans les zones dfavorises au sein des villes aides.
Cependant, de nombreux indicateurs de ralisations ne peuvent pas
distinguer de faon probante la partie urbaine d'un programme de
dveloppement. Par exemple, un programme de formation organis dans le
centre d'une ville peut recruter des stagiaires dans les quartiers les plus
dfavoriss.
Indicateurs de rsulta t
En ce qui concerne les projets de rnovation urbaine, la distinction entre
destinataires directs et indirects peut poser problme. Par exemple, la
rhabilitation d'une friche industrielle ou d'une zone d'habitation de
mauvaise qualit amliore l'environnement urbain des habitants du
voisinage immdiat. C'est pour cette raison que les habitants situs une
certaine distance (souvent estime 1 km) du projet sont considrs
comme destinataires d'une intervention. Le nombre d'habitants du
voisinage est donc un indicateur de rsultat.
Indicateurs
d'imp
a ct
Il est relativement facile de construire des indicateurs pour l'impact

spcifique d'une mesure. On peut demander, par exemple, aux
destinataires d'estimer leur sentiment de sgrgation ou la qualit de leur
environnement. Cependant, les programmes de dveloppement urbain
sont typiquement constitus de nombreuses mesures de faible envergure
(voire d'un simple regroupement de projets) senss produire un
changement global du contexte plutt que des impacts spcifiques sur les
destinataires, ce qui peut engendrer des difficults. En consquence, il
convient d'tre attentif au choix des indicateurs d'impacts, qui peuvent tre
lis la fois au programme et au contexte urbain.
Exemple 4 1 - Cration d'associations d'aide aux personnes

surendettes et de programmes de crdits locaux

ses effets)
des zones urbaines aides)
(En lien avec l'ensemble
Nombre d'associations et de
programmes recevant une aide
Cot du crdit
Taux d'Intrt moyen offert en %

des taux commerciaux standard
Utilisation
Nombre d'habitants du quartier
Nombre d'habitants des quartiers
utilisant les services de conseil et
aids
les programmes de crdit locaux

par an aprs un an
Endettement
% d'utilisateurs parvenus supprimer

leur dette aprs un/trois ans
Dveloppement urbain
Exemple 42 - Rhabilitation d'une zone urbaine dgrade

(En lien avec l'ensemble
et ses effets)
des zones urbaines aides)
Quantit
Nombre de logements rnovs ou

construits
Nombre de construction de
nouveaux logements dans la zone
Nombre de commerces rnovs ou

construits
Indicateurs de resulti t
Qualit de
Nombre estim de rsidents dans le
l'environnement urbain
voisinage(1)de la zone rnove
Nombre d'habitants de la zone
Nombre d'habitants achetant ou louant

les logements
Nombres d'entreprises s'installant dans

des locaux neufs ou rnovs
(aprs 1 an)
Valeur ajoute
Emploi
Attrait rsidentiel
Sant
Valeur ajoute gnre dans les
Valeur ajoute totale des zones
entreprises locales aprs un/trois ans
urbaines aides
Nombre d'emplois crs ou maintenus

dans la zone locale (en ETP, dont ceux
occups par des femmes) aprs
un/trois ans
Nombre d'emplois crs dans la zone

(en ETP dont ceux occups par des
femmes) aprs un/trois ans
% des rsidents de la zone urbaine
aide dclarant vouloir y rester au
cours des 5 prochaines annes
soufrant de maladies associes
l'Insalubrit des logements
(1) Pour les zones rsidentielles, la proximit peut tre dfinie par une distance Infrieure
1 kilomtre . Cette dfinition peut toutefois tre adapte aux situations pratiques rencontres dans
les zones rsidentielles.
Exemple 43 - Aide aux associations de quartier

(En lien avec l'ensemble des zones
et ses effets)
urbaines aides)
Nombre d'associations
Nombre d'associations de quartier
destinataires
dont le projet a t accept (dont

celles avec moins de 5, de 5 25
et plus de 25 bnvoles)
Centrage sur les zones
moins favorises
% d'associations aides situes

dans des quartiers trs dfavoriss
ou dont les membres vivent dans
des quartiers trs dfavoriss
Activit des associations
de quartier
Nombre d'adultes actifs dans les

associations de quartier aides
aprs un an
Participation civique
Nombre d'adultes de la zone urbaine

actifs dans au moins une
association de quartier
% d'lecteurs ayant vot au dernier
scrutin local
Sgrgation/exclusion
% d'adultes actifs dans les associations

de quartier dclarant ressentir un
sentiment de sgrgation/exclusion
% de tous les citoyens dclarant

ressentir un sentiment de
sgrgation/exclusion

Les programmes de formation pour jeunes chmeurs constituent un
exemple type d'intervention extrieure au champ du dveloppement urbain
crant des impacts dans ce champ. La premire srie d'impacts peut
gnralement tre value au moyen d'un indicateur du nombre de
destinataires ayant trouv un emploi aprs un temps donn . Cependant,
la plupart des impacts ultrieurs qui affectent directement le
dveloppement urbain (une augmentation des revenus des destinataires
entranant une augmentation des dpenses de logement dans la zone cible,
par exemple) ou indirectement (l'effet d'exemplarit par lequel les
employeurs ont une mage moins ngative des jeunes chmeurs, par
exemple) ne se prtent pas une quantification au moyen d'indicateurs.
Pour des raisons pratiques, le suivi sera normalement limit aux rsultats et
aux impacts spcifiques. Dans de nombreux cas, seules des tudes
d'valuation approfondies et qualitatives permettront d'analyser les
deuximes et troisimes sries d'Impacts et d'valuer si les objectifs de
dveloppement urbain ont t atteints.
Dveloppement urbain
Exemple 44 - Programmes de formation pour chmeurs

de longue dure<1)
I n d i c a t e u r s d e ralisation d a n s le c h a m p de la f o r m a t i o n
Nombre d'individus forms
Nombre de chmeurs de longue

dure dans les quartiers dfavoriss
Indicateurs de rsultat dans le champ de la formation

Qualification
Nombre de stagiaires validant leur

formation
Satisfaction des
destinataires
satisfaits de leur formation
Indicateurs d'impact dans le champ du dveloppement urbain

Chmage
Pauvret
Nombre de stagiaires vivant dans

des quartiers dfavoriss et qui ne
sont plus chmeurs aprs un an
(dont femmes)
Nombre de stagiaires vivant dans
Proportion moyenne de chmeurs

de longue dure qui trouvent un
emploi aprs un an
% de mnages des zones urbaines
des quartiers dfavoriss ne recevant
recevant ou moins une forme d'aide
plus d'aide sociale slective aprs
sociale slective
un an (dont femmes)
(1) La longue dure est dfinie c o m m e une priode d'au moins douze mois. Exemples d'aide sociale
slective : RMI en France, Minimex en Belgique.

Le concept de ville correspond cinq bases statistiques : les localits
urbaines (dfinies par les limites administratives de la ville ou par son statut
juridique), les zones suburbaines (souvent dfinies par les organismes de
statistiques), les agglomrations urbaines ou les units urbaines (englobant
les centres urbains en construction permanente faisant partie d'une unit
ou d'un groupe d'units administratives), les rglons urbaines (comprenant
une ville centrale et sa zone d'influence ou son bassin d'emploi, souvent
dfinie en termes de migration pendulaire), et les rglons urbaines
polynuclaires, ou conurbations (qui peuvent tre en volution permanente
mais comprennent plusieurs centres sur lesquels les activits sociales et
conomiques se polarisent).
Dans la plupart des pays, un de ces niveaux est slectionn pour collecter
au moins une partie des donnes statistiques sur les activits de
dveloppement urbain, en fonction de leur finalit. Il est rare que les
oprateurs adoptent spontanment des dfinitions communes des zones
urbaines pour la collecte des donnes. Les gestionnaires de programmes

doivent donc, s'ils veulent dvelopper des indicateurs de suivi du
dveloppement tre trs attentifs leur coordination. Un indicateur de
dveloppement urbain ne doit pas tre cit sans prciser clairement quelle
dfinition a t choisie. Dans la mesure du possible, les zones urbaines
doivent tre dfinies en fonction des units administratives, puisque les
statistiques collectes sont gnralement plus Importantes pour ces units.
De plus, ces limites sont reconnues par les autorits qui participent aux
interventions structurelles et aux initiatives politiques locales.
Lorsque les donnes d'valuation sont collectes au moyen d'enqutes
spcifiques, il est facile de concevoir des units territoriales ad hoc. Les
possibilits de correspondance avec les units statistiques doivent
toutefois tre strictement respectes pour pouvoir comparer les donnes
de l'enqute aux indicateurs de contexte.
Les statistiques nationales et rgionales sont une source d'indicateurs de
contexte. Par exemple, un club de 30 villes allemandes a dvelopp une base
de donnes statistiques sur le dveloppement urbain, comprenant des
indicateurs trs pertinents tels que des opinions sur l'intgration sociale et
ethnique. Il existe galement de nombreux tableaux de classement des villes et
des localits europennes selon une gamme trs large d'indicateurs.4 Les
publications officielles contiennent une vaste gamme d'indicateurs de contexte.
Les sources d'indicateurs sont notamment : Eurostat5, les publications de la
DGXVI, l'Unit d'environnement urbain et la base de donnes de durabilit
locale de la DGXI (DGXI : http://cities21.com/europractice), et l'Agence
europenne pour l'environnement.
La DGXVI a dmarr un Audit urbain , bas sur ces travaux, qui
comparera un grand nombre de villes europennes. Ce type de travail va
constituer une nouvelle ressource pour l'talonnage des conditions de vie
dans les villes europennes et pour l'valuation des impacts des
interventions structurelles. L'tude pourra servir de passerelle pour relier les
Impacts des projets des Impratifs plus larges (voir Encadr 19).
Ces classements comprennent le travail ambitieux de Paul Cheshire, Dennis Hay
et Gianni Carbonaro, qui examine 103 rgions urbaines fonctionnelles, avec une
base de donnes de 200 variables regroupes en quatre indices de revenu, de
chmage, de migration et de trajet. Francfort, Munich et Venise sont en tte de
classement, Glasgow, Sunderland et Liverpool occupent les dernires places.
Les sources cls d'Eurostat sont notamment le Portrait des rgions et RegioMap.
Dveloppement urbain
Encadr 19 - Indicateurs d e l'audit urbain

Thmes
Question
Exemples d'indicateurs
Aspects socioconomiques
Niveaux de revenus
PIB total de la
urbaine/population
rsidente totale
Structure du chmage
% de la population au
chmage sans emploi
depuis plus de 6 mois
Implication civique
Participation aux lections
Taux de participation aux

dernires lections
Niveaux de
formation
et de scolarisation
Comptences
professionnelles
% de chmeurs entamant
une formation
professionnelle
Accs aux structures de

garde d'enfants
Nombre d'enfants de
18 mois l'ge scolaire
Nombre de places en
crches, publiques et
prives
Plans de circulation
% de la main d'uvre se
rendant au travail en
voiture, par transports
publics (bus, tram, train)
pied et bicyclette,
Zones vertes et densit

de population
Population rsidentielle
totale/surface totale en
hectares
Bibliothques publiques
% de rsidents locaux
inscrits dans les
bibliothques
Environnement
Loisirs et culture
zone
Indicateurs cls
europenne.
Niveau
Indicateur cl
Ressources

% de projets (en termes financiers) concernant les zones
les plus dfavorises
Ralisations

financiers)
Taux de ralisation (% de l'objectif)
Nombre d'heures de services (formation, conseil, etc.)
reues par les destinataires
Nombre d'individus recevant une aide directe ou des
services suite au programme (dont hommes/femmes) dont
ceux vivant dans les quartiers dfavoriss
Rsultats
Taux de satisfaction (% de destinataires satisfaits/trs

Impacts
% de destinataires n'ayant plus besoin des services aprs

18 mois
% de destinataires employs aprs 18 mois (emploi stable
long terme)
Attrait rsidentiel (% d'habitants souhaitant rester dans la
zone)

Bentham, C.G.(1985), 'Which Areas Have the Worst Urban Problems ?' In :
Urban Studies, Volume 22 , 119-131.
Coombes, M. Raybould, S. and Wong, C.(1992), Developing Indicators to
Assess the Potential for Urban Regeneration, Department of the
Environment Inner Cities Research Programme. London : HMSO.
European Commission (1997), Community
involvement
in urban
regeneration. Luxembourg : Official Publications Office of the
European Community.
European Commission (1997), Europe's Cities : Community Measures in
Urban Areas. Luxembourg : Official Publications Office of the
European Community.
Healey and Baker (1997), Business Base Across the World. London : Healey.
Robson, B., Bradford, M., Deas, I., Hall, E., Harirson, E., Parkinson, M.,
Evans, R. Garside, P. Harding, A. & Robinson, E (1994), Assessing
the Impact of Urban Policy. London, HMSO.
OECD (1997), Better Understanding
Indicators, Paris : OCDE, 84p.
Our Cities:
The Role of
Urban
Indicateurs pour trois objectifs majeurs
L'un des objectifs majeurs des interventions structurelles est de promouvoir
le dveloppement conomique rgional et local. Les interventions
finances par les Fonds structurels poursuivent galement des objectifs
globaux tels que la cration d'emploi et la rduction des disparits en
termes de qualit de la vie. Ces objectifs tant toutefois considrs comme
la fois conomiques et sociaux, ils font l'objet de sections distinctes.
L'objectif final du dveloppement conomique est en fait la croissance du
revenu gnral de la population des zones aides. Selon diffrentes
hypothses, dont certaines seront discutes plus loin, la croissance du
volume de l'activit conomique rgionale (c'est--dire le dveloppement
de l'conomie) fournit une approximation de la croissance du revenu de la
population.
Les mesures de nature conomique dominent la plupart des programmes.
Quant aux mesures non conomiques, elles sont souvent guides, elles
aussi, par des considrations conomiques aux stades de la conception et
de la mise en uvre. Cette focalisation sur la dimension conomique en
tant que principal catalyseur du dveloppement rgional confre un statut
particulier aux indicateurs du dveloppement conomique. Les
contributions les plus directes au dveloppement conomique ont lieu dans
des champs tels que les infrastructures de transport, l'nergie, la socit de
l'information, la formation, la RDT, les entreprises, le tourisme, l'agriculture
et la pche. Nombre des champs couverts par le prsent ouvrage
interagissent avec la sphre conomique et font intervenir diffrents
facteurs qui dterminent les performances conomiques (par exemple
l'attrait, l'accessibilit, etc.). Par consquent, la plupart des indicateurs
associs sont abords sparment dans les sections correspondantes du
prsent cahier.
La prsente section est donc centre sur les indicateurs conomiques
stricto sensu, qui comprennent les revenus, le PIB, la valeur ajoute,
l'investissement, les exportations, etc. Dans la mesure o les effets sur le
dveloppement conomique rgional et local sont produits au niveau des
impacts par des interventions dans d'autres champs, la section
Interventions dans le champ n'est pas applicable.
Impacts sur le dveloppement conomique

Indicateurs
d'impact
Les indicateurs qui mesurent le dveloppement conomique sont

essentiellement centrs sur les impacts, et particulirement sur les impacts
les plus indirects de nature macroconomique.
Pour valuer les performances comparatives d'une rgion, un grand
nombre d'indicateurs de contexte sont disponibles aux niveaux sousrgional, rgional, national et europen. Le principal indicateur permettant
d'apprcier le dveloppement conomique est le PIB par habitant, qui
mesure la valeur ajoute totale gnre par les units conomiques d'une
rgion en fonction du nombre d'habitants. Dans la mesure o la valeur
ajoute est finalement distribue sous forme de salaires, d'intrts,
d'impts, etc., le PIB est considr comme une approximation du revenu
rgional. Il est galement important de tenir compte des transferts sociaux
Interrgionaux, et du fait qu'une partie des actionnaires, et, dans une
moindre mesure, des employs des entreprises rgionales, ne rsident pas
ncessairement dans la rgion.
Encadr 20 - Valeur ajoute : un indicateur d'impact central
La valeur ajoute est un indicateur d'impact central dans la mesure o elle reflte
la richesse gnre pour la zone locale via les interventions structurelles. Elle peut
galement tre utilise pour valuer la qualit des opportunits d'emploi. La
valeur ajoute peut tre dfinie de diffrentes faons et diffrents niveaux. Par
exemple, au niveau d'une unit conomique individuelle, elle peut tre mesure
en tant que :
- diffrence entre le revenu gnr par la vente des produits et la valeur des
ressources autres que la main d'uvre (matires premires, services et biens
intermdiaires) consommes pour gnrer ce produit ;
ou en tant que :
- combinaison des rmunrations des facteurs de production utiliss. Ceci
comprend les salaires et traitements pays la main d'uvre plus les profits
gnrs pour les propritaires, plus les loyers pays pour l'utilisation des terrains.
En pratique, la valeur ajoute est souvent mesure en termes de traitements et
salaires plus bnfices.
L'agrgation de la valeur ajoute sur tous les secteurs de production d'une
conomie rgionale aboutit au Produit Intrieur Brut ( condition que tous les
paiements aux facteurs soient rgls au sein de la rgion) et constitue un
indicateur de richesse rgionale.
Le PIB tant une agrgation de la valeur ajoute des units conomiques

individuelles, l'utilisation des deux indicateurs cre des correspondances
intressantes entre les impacts de programme et le contexte rgional. Cet
indicateur de valeur ajoute gnre par les projets aids peut tre
considr comme la contrepartie microconomique du PIB rgional.
Cependant, la correspondance micro-macro est sujette certaines
rserves.
Les diffrentes faons de mesurer la valeur ajoute sont prsentes dans
l'Encadr 20.
L'impact prvu peut se produire longtemps aprs l'intervention, dans la
mesure o les effets structurants constituent un processus d'adaptation
long terme impliquant une dynamique sociale, technologique et
conomique. L'effet sur la cration de richesses ne peut tre enregistr
qu'aprs transformation effective des processus de production. Par
exemple, l'impact conomique d'une subvention d'investissement ne se
matrialisera qu'aprs la mise en route effective de l'Investissement aid,
processus qui peut durer plusieurs annes. De plus, la performance
conomique dpend largement des conditions macroconomiques. Les
interventions seront plus efficaces pendant les priodes de croissance
conomique soutenue que pendant les priodes de rcession. Par
exemple, il est probable que l'effet de levier des investissements
subventionns soit plus Important quand le niveau de demande est lev
ainsi que lorsque la demande est en dclin ou faible.
Il est utile de rappeler que les impacts quantitatifs indirects sont
gnralement plus importants que les impacts directs. On peut prvoir que
les subventions et les services financs par les Fonds structurels
gnreront un chiffre d'affaires supplmentaire, qui contribuera crer de
la valeur ajoute et gnrer des revenus supplmentaires dans la rgion,
lesquels bnficieront aux entreprises rgionales et donneront naissance
un nouveau cycle de dpenses dans l'conomie rgionale. Si l'aide des
Fonds structurels conduit des commandes pour des sous-traitants
rgionaux (effet indirect), cette demande gnrera galement de la valeur
ajoute. Ce processus, par lequel une injection de dpenses cre des
vagues successives d'investissements et de consommation, est appel le
multiplicateur Keynsien . Seuls des modles conomtriques ou
l'analyse entres-sorties permettent d'valuer les liens entre la valeur
ajoute gnre par le programme au niveau micro et le PIB au niveau
macro. Ce type d'analyse tant long et coteux, les indicateurs qui y sont
associs ne peuvent pas tre quantifis de faon rgulire.
Le dveloppement des conomies rgionales tant influenc par une
grande varit de pressions extrieures, l'analyse de leurs performances
absolues ne permet pas de tirer beaucoup de conclusions bien dfinies. Il
vaut mieux utiliser des indicateurs permettant de comparer l'volution
relative des disparits rgionales (voir Encadr 21).
Encadr 21 - Disparits rgionales
Comment des indicateurs peuvent-ils donner une vision claire des performances
conomiques globales d'une rgion ? Les rgions tant soumises une grande
varit de pressions extrieures (climat conomique, concurrence internationale,
rglementations nationale et supranationale et dcisions politiques...) l'analyse
des performances absolues ne permet pas de tirer des conclusions solides. La
construction d'indicateurs en termes relatifs est plus approprie. Le niveau des
performances conomiques d'une sous-rgion (par exemple une rgion NUTS 3
eligible l'Objectif 2), peut tre mesur par rfrence la rgion (par exemple la
rgion NUTS 2 correspondante), au pays et l'Europe. Pourquoi est-il ncessaire
de prendre en compte autant de rfrences ? Cette procdure permet, par
exemple, aux observateurs de voir si la sous-rglon est peu performante par
rapport aux conomies nationale et europenne, tout en tant plus performante
que la rgion dont elle fait partie. Au contraire, dans une sous-rgion en situation
plus difficile, le PIB par habitant et la croissance du PIB sont infrieurs la fois
ceux de la rgion, de l'Etat et de l'Europe. Si l'on constate, aprs la mise en uvre
d'un programme de dveloppement, une rduction de la disparit vis--vis de la
rgion, mais pas vis--vis de l'Etat et de l'Europe, cela indique qu'une premire
tape a t ralise avec succs.
Indicateurs
de rsultat, de ralisation et de
ressources
La correspondance entre les impacts microconomiques et les impacts

macroconomiques pose un problme difficile. Ce problme peut tre trait
de faon oprationnelle avec la proposition suivante. Au lieu d'additionner
les impacts individuels pour parvenir des niveaux de plus en plus macro,
on peut adopter une approche Inverse base sur le principe de l'intgration
(mainstreaming). Ce principe a t appliqu dans le champ de l'galit des
chances. Son utilisation implique que l'intrt soit centr en premier lieu sur
une priorit politique donne (par exemple, une priorit stratgique pour le
dveloppement rgional). Les indicateurs sont ventils en fonction de la
priorit chaque fois que cela est possible. Les indicateurs de contexte
tiennent compte de la priorit au niveau macro tandis que les indicateurs
de programme considrent la priorit au niveau micro. Dans l'exemple de
la promotion de la diversification conomique (illustr dans l'Encadr 22),
les activits qui se situent dans des secteurs croissance rapide sont
systmatiquement identifies travers une ventilation des donnes
chaque tape de la chane de causalit. Ainsi les ressources consacres
aux interventions dans des secteurs croissance rapide sont clairement
identifiables, ainsi que les ralisations, les rsultats puis les impacts.
E n c a d r 22 - Application du principe d'in tgration (mainstreaming) :
E x e m p l e d e la priorit straf g i q u e d e diversification
conomique
Impacts

un an (dont secteurs en
croissance rapide)
% des secteurs en
croissance rapide dans le
PIB rgional
Rsultats
Effet de levier (dont secteurs

en croissance rapide)
Ralisations
Nombre d'units
conomiques aides (dont
secteurs en croissance rapide)
Ressources
Dpenses budgtaires totales

(dont l'aide aux secteurs en
croissance rapide)
En fonction des stratgies de dveloppement conomique slectionnes

par diffrents concepteurs de programme, le principe d'intgration
(mainstreaming) ) peut s'appliquer diffrentes priorits. Les trois priorits
les plus frquemment cites sont prsentes ci-dessous.
De nombreux programmes sont construits sur une stratgie de
diversification conomique. L'aide financire des Fonds structurels vise un
allgement du poids des secteurs en dclin en proportion de l'activit
conomique rgionale. Dans ce cas, il est utile de ventiler les principaux
indicateurs du programme entre secteurs en croissance et secteurs en
dclin (par exemple le montant des aides, le nombre de bnficiaires, le
montant d'investissement priv supplmentaire). L'un des inconvnients de
cette approche est qu'il n'existe pas de typologie standard permettant de
distinguer les secteurs en croissance et les secteurs en dclin. Le

classement est dlicat compte tenu de la complexit de la segmentation
des marchs et de la nature cyclique de certaines activits. Autre problme
pos : il existe toujours des niches en croissance rapide l'intrieur des
marchs en dclin. Pour les indicateurs de programme, il semble possible
de dfinir des catgories de projets aids en utilisant les questions
suivantes : quel est le march le plus pertinent pour le projet ? , ce
march s'est-il dvelopp de faon significative au cours des 5 dernires
annes ? et ce march est-il susceptible de se dvelopper au cours
des cinq prochaines annes ? .
Les programmes de dveloppement conomique comprennent galement
une gamme de mesures ciblant la promotion des initiatives locales et
l'attraction de nouvelles activits de production. Un degr lev
d'investissement externe, comparativement aux projets locaux, augmente
la dpendance conomique des activits rgionales qui sont de plus en
plus gres partir de centres de dcisions situs l'extrieur de la rgion.
En consquence, l'conomie rgionale est susceptible de devenir plus
sensible aux chocs extrieurs. La stimulation de l'esprit d'entreprise local
est un processus qui produit un impact moins visible, mais ces impacts
sont plus solidement enracins dans le territoire rgional et plus
susceptibles de durer. On "peut donc la considrer, pour cette raison,
comme une priorit stratgique. Dans ce cas, il est intressant de ventiler
le plus d'Indicateurs possible en projets de nature endogne/exogne.
Certaines units conomiques sont actives sur des marchs ouverts la
concurrence europenne et mondiale (constructeurs automobile et
Informatique, par exemple), tandis que d'autres se situent sur des marchs
rgionaux ou locaux plus ferms (construction ou vente au dtail). Cela
signifie que ces dernires sont dans une certaine mesure protges de la
concurrence extrieure. L'aide publique au secteur protg peut s'avrer
efficace court terme, mais seule la croissance du secteur concurrent peut
gnrer un dveloppement conomique long terme. Si l'on donne une
priorit stratgique aux activits concurrentielles sur le plan International, il
est intressant de ventiler les indicateurs de programme entre projets situs
dans les secteurs concurrents et ceux situs dans les secteurs protgs.
Exemple 45 - Aide la construction d'un centre de confrence

et d'exposition
(En lier avec l'intervention et
ses effets)
Avancement

Taux de ralisation
Ralisation physique
Surface (m2)
Indicateurs de rsultat en rapport avec le dveloppement conomique endogne

Plan de charge
Nombre de confrences et
Entreprises dtenues et diriges
d'expositions prvues la premire
localement en pourcentage des
anne (dont confrences et
entreprises de la zone
d'expositions essentiellement
associes aux activits
conomiques locales)
Indicateurs d'impact en rapport avec le dveloppement conomique endogne
Contacts commerciaux
Nombre de nouveaux contacts

commerciaux gnrs par l'activit
du centre aprs un an (dont
entreprises dtenues et diriges
Utilisation
Nombre d'entreprises ayant utilis
localement)
le centre pour promouvoir leurs
ressources aprs un an (dont
entreprises dtenues et diriges
localement)
Exemple 46 - Aide directe l'investissement des entreprises


et ses effets)
Indicateurs de ralisation en rapport avec la diversification
Nombre d'entreprises recevant

des subventions (dont marchs/secteurs
en croissance rapide)
Indicateurs de rsultat en rapport avec la diversification

Effet de levier
Investissement priv supplmentaire

(dont marchs/secteurs en croissance
rapide)
Indicateurs d'impact en rapport avec la diversification

Diversification
Valeur ajoute annuelle gnre par

les investissements en euros/an aprs
un an (dont march/secteurs en
croissance rapide)
% des marchs/secteurs en
croissance rapide dans le PIB
rgional
Exemple 47 - Programme de capital risque pour le dveloppement

des petites entreprises

ses effets)
Indicateurs d e ralisation e n r a p p o r t avec la comptitivit

Nombre de PME ayant bnfici

d'au moins un prt garanti par le
capital risque (dont secteurs non
protgs)
Indicateurs de rsultat en rapport avec la comptitivit

Effet de levier
Investissement priv supplmentaire

gnr par les prts (dont secteurs
non protgs)
Indicateurs d'impact en rapport avec la comptitivit

Valeur ajoute
Exportations
Valeur ajoute annuelle gnre

par les prts financs par le capital
risque (dont secteurs non protgs)
% de secteurs non protgs dans
Exportations gnres par des PME

aides aprs un an (dont secteurs
non protgs)
Exportations en % du PIB rgional
le PIB rgional

Les informations renseignant les indicateurs de programme au niveau des
ralisations et des rsultats sont fournies par les systmes de suivi des
oprateurs, mais ne sont pas automatiquement ventiles en catgories
pertinentes (secteurs en croissance ou en dclin, dveloppement exogne
ou endogne, activits de secteurs concurrentiels ou protgs). Si
ncessaire, le reclassement des donnes sera effectu dans le cadre de
l'valuation. Quant aux donnes renseignant les indicateurs d'impacts
bruts, elles devront souvent tre bases sur les prvisions des
destinataires. Les indicateurs d'impact nets devront reposer sur des
enqutes complmentaires.
Au niveau du contexte, de nombreux indicateurs conomiques,
l'exception du revenu prtete, sont actuellement disponibles pour la plupart
des rglons et publies dans l'annuaire statistique rgional d'Eurostat. Les
indicateurs disponibles sont notamment : le PIB par habitant, la productivit,
la valeur ajoute et l'investissement. La plupart de ces indicateurs de
contexte sont ventils en secteurs tels que : agriculture, nergie, industrie de
transformation, construction, services marchands, services non marchands.
Ces
indicateurs
tant
essentiels
pour
apprcier
les
performances
conomiques rgionales, I conviendrait de renforcer leur collecte pour

toutes les rglons NUTS 2 et d'acclrer leur mise jour. La politique
rgionale europenne ciblant
galement le niveau NUTS 3, il serait
intressant de slectionner les indicateurs les plus reprsentatifs, et si

possible, de les collecter ce niveau.
Indicateurs cls pour agrger et comparer les donnes
Un certain nombre d'indicateurs cls, prsents ci-dessous, sont adapts
l'agrgation et la comparaison des interventions structurelles dans le
champ du dveloppement conomique.
Niveau
Indicateur cl
Ressources
% du budget consacr des projets d'entreprises

dtenues ou diriges localement
% du budget consacr des projets sur des marchs en
croissance rapide
% du budget consacr des projets dans des secteurs
non protgs
Ralisations
Nombre d'units conomiques recevant une aide directe

ou des services suite un programme (dont celles
impliques dans des entreprises dtenues/diriges
localement, dans des marchs en croissance rapide, dans
des secteurs non protgs)
Impacts
(programme)
Valeur ajoute gnre par le programme aprs 18 mois

en euro/an/employ (dont celle gnre par les entreprises
dtenues et/ou diriges localement, par les entreprises
oprant sur des marchs en croissance rapide, par les
entreprises oprant dans des secteurs non protgs).
Impacts
(contexte)
Investissement/habitant, PIB/habitant, valeur ajoute/

employ, exportations en % du PIB rgional, % de PIB
rgional dans des entreprises dtenues et diriges
localement, dans les marchs en croissance rapide, dans
les secteurs non protgs.
Emploi
La promotion de l'emploi prenne est une composante majeure de la
politique de cohsion. Elle est soutenue par l'ensemble des Fonds
structurels. Par exemple, les activits de formation ou d'aide aux nouvelles
entreprises auront des effets d'emploi directs tandis que les
investissements dans les infrastructures de sant ou dans la protection de
l'environnement creront galement des emplois, de faon plus indirecte.
Pratiquement toutes les activits aides dans le cadre des politiques
structurelles peuvent avoir des effets d'emploi, bien que ces effets ne
soient gnralement pas uniformes sur l'ensemble de la population et
peuvent affecter spcifiquement la situation de certaines catgories de
destinataires, tels que les femmes ou les chmeurs de longue dure.
La lutte contre le chmage et la promotion de l'emploi sont depuis
longtemps des composantes implicites de la politique communautaire
europenne. Cependant, depuis le milieu des annes 90, ces objectifs sont
devenus de plus en plus explicites et ont pntr une vaste gamme de
politiques communautaires, y compris les politiques structurelles. Initie
par le Livre blanc sur le dveloppement, la comptitivit et l'emploi et les
conclusions du Conseil d'Essen qui a suivi cette publication, la tendance
s'est poursuivie par les propositions formules par la Commission dans le
document Action pour l'emploi en Europe (1996). La politique continue
de se dvelopper avec les Orientations pour l'emploi mises chaque anne
par le Conseil et les plans d'action nationaux pour l'emploi de chaque Etat
membre. Ces efforts ont pour but d'apporter une rponse au processus de
changement structurel que l'conomie europenne traverse depuis 20 ans
en favorisant la cration d'emploi viable. Les priorits stratgiques ont t
progressivement affines et sont dsormais concentres sur quatre axes :
amliorer l'employabilit, dvelopper l'esprit d'entreprise, encourager
l'adaptabilit des entreprises et des employs aux changements
conomiques et renforcer l'galit des chances (Rsolution du Conseil sur
les orientations sur l'emploi de 1998 - dcembre 1997). La dernire priorit
fait l'objet d'une autre section dans ce Volume.
Impacts sur l'emploi
Compte tenu de la nature horizontale des problmes d'emploi, le
commentaire de la prsente section dcrit les interventions qui ont un
impact sur l'emploi au lieu d'essayer d'isoler artificiellement les
Indicateurs pour ie suivi et l'valuation
interventions en faveur de l'emploi et de traiter des indicateurs qui s'y

rapportent. Les exemples cidessous sont tirs respectivement des
champs formation et tourisme, mais d'autres champs auraient pu figurer
dans cette section si d'autres exemples avaient t retenus.
Certains indicateurs prsentent une difficult particulire pour le champ de
l'emploi. Il s'agit des indicateurs qui mesurent les ressources humaines
utilises par le programme, c'estdire la mobilisation de la main d'uvre
dans la mise en place d'une Intervention Le nombre de formateurs
employs pour une formation aide , par exemple, est un Indicateur des
ressources humaines investies dans la mise en uvre, mais est galement
une composante (quoique mineure) de l'emploi associ au projet.
L'investissement dans les infrastructures physiques aura, dans la plupart
des cas, des consquences court terme sur l'emploi, en raison des
activits de construction. Ce type d'emploi tant en gnral temporaire par
nature, les units de mesure doivent tre exprimes en emplois ans pour
faire apparatre clairement cette nature transitoire. Si l'on veut tre
rigoureux, ce type d'emploi est une ressource et non un impact. Pour
simplifier, on regroupe souvent tous les emplois crs en quantifiant un seul
indicateur.
Beaucoup d'interventions tendent renforcer les facteurs favorables la
cration d'emploi. Dans ce cas, les Indicateurs de ralisations ne sont pas
centrs directement sur l'emploi, mais plutt sur les infrastructures et les
services ncessaires pour accrotre l'employabilit, l'adaptabilit ou l'esprit
d'entreprise chez les destinataires. Les interventions qui visent directement
la cration d'emploi sont certainement exceptionnelles. Par exemple une
mesure qui consiste former des formateurs pour qu'ils deviennent
formateurs aurait la cration d'emplois comme indicateur de ralisations.
Dans bien des cas, la cration ou le maintien d'emploi se matrialisent au
stade des rsultats de l'intervention. Cela se produit lorsque l'emploi est une
consquence directe et immdiate de l'activit aide, par exemple l'emploi
d'un crateur d'entreprise aid, l'emploi d'un nouvel aquaculteur aid.
L'emploi devient un impact lorsque sa cration ou sa sauvegarde est une
consquence moyen terme et/ou indirecte de l'intervention. Par exemple,
des effets d'emploi peuvent prendre la forme d'avantages durables pour
ceux qui ont reu l'aide (par exemple les stagiaires dont l'emploi a t
sauvegard, les stagiaires qui ont trouv un emploi aprs 12 mois). Des
emplois peuvent aussi tre crs dans la gestion et la maintenance de
Emploi
nouvelles
infrastructures
(par
exemple
ports,
rseaux
de
tlcommunications et centres de recyclage des dchets). Tous ces
emplois sont des exemples d'effets directs moyen terme des
interventions structurelles. Les effets d'emploi peuvent galement tre
indirects, essentiellement grce au dveloppement des activits des
destinataires (par exemple les emplois gnrs dans les entreprises aides
aprs 12 mois, les emplois gnrs chez les fournisseurs des entreprises
aides, les emplois gnrs dans la rgion par les effets multiplicateurs de
revenu). Les effets d'emploi peuvent se produire de faon plus indirecte en
raison de : la croissance de l'activit conomique gnre ou rendue
possible par l'existence de la nouvelle infrastructure, la comptitivit accrue
des entreprises aides ou la comptitivit accrue des socits bnficiant
d'un encadrement et/ou d'une main d'uvre mieux qualifie. On peut
considrer que l'analyse de ces effets indirects est extrmement complexe
et qu'elle est du ressort d'tudes qualitatives approfondies, ou
ventuellement d'analyses macroconomiques.
La ncessit de distinguer les effets d'emploi bruts et nets est de la plus
grande Importance. Les indicateurs d'emploi qui se prtent facilement la
quantification sont gnralement des indicateurs bruts, tels que le nombre
d'emplois existant dans une nouvelle socit aide aprs 12 mois, le
nombre d'emplois associs au fonctionnement d'une nouvelle
Infrastructure, le nombre d'emplois que les entreprises aides dclarent
comme sauvegards grce l'intervention.
Les indicateurs bruts ne fournissent pas une vision dfinitive des effets
d'emploi en raison de l'Influence de facteurs concurrents dans le contexte
micro et macroconomique. Cependant, l'analyse causale tant toujours
difficile, il n'est pas raliste de chercher mesurer directement la cration
d'emploi nette. Un certain nombre de corrections peuvent cependant tre
effectues pour limiter la sous-estimation, en utilisant par exemple des
coefficients standard pour les effets fournisseur et multiplicateur de
revenu). D'autre part, la surestimation peut tre vite en appliquant un
coefficient standard d'effet d'aubaine (modifications de l'emploi qui
auraient eu lieu mme en l'absence d'intervention).
Les effets de dplacement et de substitution sont des questions plus
dlicates. Le dplacement est la cration d'emploi dans un lieu aux dpens
de l'activit conomique sur un autre lieu. Une substitution peut tre, par
exemple, l'embauche d'un chmeur aid aux dpens d'un autre travailleur
dont l'emploi disparat. Certains effets de dplacement ou de substitution
peuvent tre recherchs (par exemple la cration d'emplois dans des zones
aides aux dpens d'une capitale dynamique ou l'aide au retour l'emploi
de chmeurs de longue dure, qui peut se faire aux dpens d'autres
travailleurs, etc.). Le fait de prendre en compte le dplacement et la
substitution dans les effets d'emploi est une dcision prendre
spcifiquement pour chaque intervention, au besoin au moment de
l'valuation. Finalement, les effets d'emploi nets d'une Intervention sont
dfinis comme les effets d'emploi bruts moins l'effet d'aubaine et, selon les
cas, le dplacement et/ou la substitution.
Il est souvent important d'essayer d'Identifier la qualit de l'emploi
dcoulant d'une Intervention. Cette qualit peut tre reflte simplement
par les niveaux de revenu, mais elle peut galement tre associe la
prennit de l'emploi.
Exemple 48 -Programme de retour l'emploi pour chmeurs
de longue dure
ses effets)
i Nombre de chmeurs de longue

dure participant au programme
| (dont femmes)
Taux de transition
immdiate
Nombre de destinataires qui sont

embauchs ou dans une meilleure
situation sociale la fin de leur
participation au programme (dont
femmes)
Taux de placement brut
Nombre de destinataires embauchs

aprs 12 mois (dont femmes)
Taux de placement net
Taux brut moins l'effet d'aubaine

estim (stagiaires qui auraient t
embauchs sans l'aide) moins la
substitution non acceptable
(embauche d'un stagiaire ayant
gnr le chmage de longue dure
pour un autre travailleur)
Qualit des emplois
% de destinataires embauchs (dont

femmes) dont l'emploi est temps
plein et permanent aprs 12 mois

dure dans la zone
% d'emplois dans la zone qui sont

permanents et temps plein
Emploi
Exemple 49 - Aide l'installation d'un centre questre

(support permanent et vnementiel)
ses effets)
Indicateurs de ralisation dans le domaine du tourisme

Conformit avec
', Date d'achvement prvue
la dure du projet
I (nombre de mois de retard)
Indicateurs de rsultat dans le domaine du tourisme

Plan de charge
Nombre d'vnements prvus

la premire anne
Nombre de visiteurs prvus
la premire anne
Effet d'emploi direct brut
Nombre de personnes employes dans

l'administration du centre et la
fourniture de services aprs 18 mois
(ETP dont ceux occups par
des femmes)
Effet d'emploi indirect
Nombre d'emplois estims (dont ceux
Nombre moyen d'emplois (ETP)
occups par des femmes) gnrs
dans le secteur du tourisme pour
par les touristes attirs par le centre
1 000 visiteurs nuits
et sjournant dans le secteur

Nombre de visiteurs
Nombre de visiteurs assistant aux

vnements se droulant dans le
centre (dont ceux extrieurs la
zone) aprs un an
Nombre de visiteurs dans la zone

(nuits par an)

Les donnes gres par les systmes d'informatique de gestion peut
gnralement servir de base pour valuer les effets d'emploi. Les
indicateurs de suivi peuvent souvent produire des informations sur les
emplois temporaires et sur les emplois permanents bruts lorsque l'effet
d'emploi est direct et court terme.
Les tudes de recherche et d'analyse du march du travail (comprenant les
rsultats des prcdentes valuations d'Interventions similaires) fournissent
un stock d'informations quantitatives et qualitatives qui peuvent tre
utilises pour estimer la cration d'emploi indirecte. L'utilisation des ratios
d'emploi (par exemple le nombre d'emplois gnrs pour 1 000 visiteurs, le
nombre d'emplois crs pour 1 000 euros de valeur ajoute dans un
secteur donn, etc.) offre galement des possibilits intressantes. Mme
l'effet d'aubaine peut tre extrapol partir de prcdentes valuations
d'interventions similaires dans des contextes semblables.
Quoi qu'il en soit, seule une valuation approfondie peut fournir une
estimation satisfaisante de la cration nette ou de la sauvegarde d'emplois.
Une telle valuation Implique un effort d'observation et d'analyse des effets
par l'intermdiaire d'enqutes auprs des destinataires. Elle exige
galement de juger si les effets de dplacement et de substitution sont
acceptables ou non.
Les sources d'indicateurs de contexte sur l'emploi et le march du travail
sont les enqutes statistiques permanentes et les sries statistiques
comparatives disponibles aux niveaux europen, national et rgional. Les
enqutes sur le march du travail sont disponibles au moins annuellement
la fois pour l'UE dans son ensemble et chacun des Etats membres, de
mme que les donnes sur les diffrents aspects du chmage. Ce type de
donnes pose deux problmes. Premirement, l'information au niveau
rgional est souvent moins frquemment disponible que l'Information sur le
plan national ou communautaire. En outre, les rgions pour lesquelles les
donnes sont fournies ne concident pas toujours avec les rgions ligibles
l'aide des interventions. Deuximement, l'intrt de l'information pour
l'valuation et le suivi peut tre rduit en raison du dcalage dans le temps
qui est invitablement li la production de donnes des enqutes
statistiques standard.
Indicateurs cls
europenne.
Dans la mesure o les effets d'emploi d'une intervention peuvent
comprendre la fois des emplois temps partiel et plein temps, cette
distinction doit tre reconnue dans tous les indicateurs utiliss, et les
agrgations comme les comparaisons peuvent tre faites en convertissant
les donnes brutes sur les personnes employes en quivalents temps
plein. Les dates de quantification (6, 12 ou 18 mois aprs l'intervention)
doivent galement tre standardises pour permettre des comparaisons et
des agrgations au niveau europen. La date propose standard est de
12 mois. Autre condition requise, plus difficile, pour les comparaisons : le
dplacement et la substitution devraient tre traits de faon standard. On
peut faire la proposition qui suit : le dplacement aux dpens de n'Importe
Emploi
quelle zone eligible aux Fonds structurels doit tre dduit des effets bruts,
la substitution aux dpens de toute personne cible par les Fonds
structurels doit tre dduite des effets bruts.
Niveau
Indicateur cl
Ressources
Nombre de personnes mobilises pour mettre en uvre

les interventions (en annes-emploi, dont femmes)
Rsultats
Nombre de personnes immdiatement employes au

cours du projet (dont femmes)
Impacts
Nombre d'emplois directs bruts (en ETP, dont ceux

occups par des femmes)
Nombre d'emplois directs nets (en ETP dont ceux
occups par des femmes) : nombre brut moins effet
d'aubaine estim, moins dplacement et substitution non
acceptables
Nombre d'emploi total brut/net (en ETP, dont emplois
occups par des femmes) : emploi direct plus effet
fournisseur et multiplicateur
Qualit des emplois : % d'emplois temps plein et
permanents (dont ceux occups par des femmes)

C3E (1996), Evaluating the Contribution of the Structural Funds to
Employment. Brussels : European Commission.
European Commission (1996), Counting the Jobs : how to evaluate the
employment effect of Structural Intervention. Brussels : European
Commission.
European Commission (1996), Regional Success Stories : profiles of 36
projects in Europe. Luxembourg : European Commission.
Schmid, C e t al.(1997), Progress in Evaluation
Research. Berlin
Wissenschaftszentrum Berlin fr Sozialforschung.
Et le cinquime Volume des Cahiers Means consacre un chapitre entier
l'valuation des effets d'emploi.
Qualit de la vie
L'usage du terme qualit de la vie s'est rpandu rcemment. Ce terme
dcrit le bien-tre de la population et, ce titre, possde une dimension
environnementale, sociale et conomique. Il est troitement associ au
dveloppement durable. Dans ce contexte, le dveloppement durable peut
tre dcrit comme l'atteinte d'une bonne qualit de la vie sans dgradation
de l'environnement.
Au sens le plus large, tous les aspects des interventions structurelles
Impliquent la qualit de la vie. Certaines interventions sont aussi plus
spcifiquement orientes vers l'amlioration des conditions de vie. Toute
Intervention amliorant les conditions de vie locales a un Impact sur la
volont des rsidents de continuer vivre, tudier et investir dans la
zone aide (et sur l'attrait de la rgion). Cette volont de vivre dans la zone
est un objectif particulirement recherch dans le cas des rgions densit
de population particulirement faible.
Les interventions directement lies la qualit de la vie dans un programme
de dveloppement sont celles qui contribuent sensiblement l'attrait de la
zone aide. Les interventions spcifiques ce champ consistent crer
des installations qui augmentent l'attrait d'une rgion en amliorant les
services de sant, la qualit de l'enseignement, l'accs la culture, etc. Le
financement de ces installations, toutefois, n'est pas frquent dans le cadre
des Fonds structurels.
Les Interventions dans ce champ concernant une grande varit de projets
de diffrents types, les approches de standardisation des indicateurs
devront tre utilises avec prudence. Idalement, les propositions
d'indicateurs doivent merger du contexte particulier dans lequel ils sont
utiliss et doivent reflter les proccupations des projets.
Indicateurs
de ressources
Les interventions dans le champ de la qualit de la vie, tels que les

Investissements dans la sant, ou dans d'autres installations et services
locaux, sont gnralement suivies au moyen de l'Indicateur de ressources
standard, c'est--dire le taux de consommation budgtaire.
Indicateurs
de
ralisation
Les ralisations dans ce champ peuvent tout d'abord tre mesures au

moyen d'indicateurs standard tels que le taux de ralisation et la
conformit la dure du projet . Le volume des ralisations peut
souvent tre mesur en termes de capacit. Par exemple, dans le cas d'une
aide des installations hospitalires locales, les ralisations peuvent tre
mesures en nombre de lits disponibles . Pour un thtre ou une
bibliothque aide, les Indicateurs de ralisations pertinents peuvent tre le
nombre de places et le nombre de publications dtenues . Ces
indicateurs sont toutefois trs spcifiques et d'un usage limit pour le suivi
et l'valuation l'chelle du programme.
Indicateurs
de
rsultat
De nouveaux quipements ou de nouvelles installations prsentent des

avantages immdiats lorsque les utilisateurs potentiels peuvent accder
des services donns plus rapidement ou lorsque la qualit de ces services
est amliore ou prserve.
Indicateurs
d'impact
Les indicateurs d'impact spcifiques de ce champ sont gnralement

centrs sur le degr d'utilisation des quipements aprs un/trois ans. Les
indicateurs peuvent comprendre le nombre de visiteurs d'une bibliothque,
le nombre de participants un vnement culturel, le nombre de patients
d'un hpital. Les Indicateurs sont exprims en nombre par an, ou de
prfrence en pourcentage de la capacit de l'installation.
Les indicateurs d'impact vont bien au-del de la fourniture directe et de
l'utilisation des installations et doivent tre conus de faon mesurer
comment les utilisateurs sont affects par l'exprience, par exemple :
l'Installation aide continue-t-elle d'tre rgulirement utilise, a-t-elle
rduit le sentiment d'isolement des utilisateurs, a-t-elle augment leur
confiance dans leur rgion et va-t-elle modifier leur volont de vivre dans
cette rgion dans les annes venir ?
Les indicateurs d'impact sont les plus intressants, mais aussi les plus
difficiles quantifier. Les impacts sur la qualit de la vie tendent tre plus
complexes que d'autres types d'Impacts et sont donc plutt susceptibles
de faire l'objet d'observations et d'analyses qualitatives.
Qualit de vie
Exemple 50 - Construction d'un nouvel hpital

ses effets)
I n d i c a t e u r s de ralisation
Capacit
Nombre de patients pouvant tre

traits, en fonction du type de soins
Nombre de lits d'hpitaux pour

1 000 habitants
Distance moyenne du domicile

des patients l'hpital
aux hpitaux de la zone
Nombre de spcialits de soins
Moyenne des spcialits dans les
de l'hpital
hpitaux au niveau de la zone
Accs
Qualit
Distance du domicile des patients
Besoin
% d'habitants pour qui les services de

sant posent un problme majeur en
ce qui concerne les conditions de vie
Utilisation
Taux d'occupation des lits aprs un an
Taux d'occupation dans les autres

hpitaux de la zone

Bien que certaines Interventions puissent tre considres comme
spcifiques au champ de la qualit de la vie, presque toutes les
Interventions structurelles appartenant d'autres champs peuvent tre
considres comme visant finalement une amlioration de la qualit de la
vie : les autoroutes et les aroports, les systmes de transport de
banlieue, les rhabilitations de villages, les rhabilitations de friches
industrielles, les actions de formation, etc. L'un des buts des interventions
structurelles est l'accroissement de l'attrait des rgions aides, en
particulier dans l'ide de stimuler l'implantation ou l'enracinement des
entreprises et des rsidents.
Outre l'Indicateur de ressources standard qu'est la consommation
budgtaire, il peut tre utile de dvelopper un indicateur spcial mesurant
le montant des fonds de tous les types d'interventions affects aux zones
o les conditions de vie sont les plus difficiles. L'indicateur sera exprim en
pourcentage du total des fonds. Dterminer le trac des zones les plus
difficiles est une tche ardue mais utile, d'un point de vue technique
comme d'un point de vue politique.
Outre les indicateurs de rsultat standard tels que le nombre de
destinataires et la satisfaction des destinataires , il est Intressant de
dvelopper un Indicateur spcial mesurant la concentration du programme

sur les rsidents des zones o les conditions de vie sont les plus difficiles.
L'indicateur sera exprim en pourcentage du nombre total de destinataires.
L'amlioration de l'attrait de la zone aide est un impact important dans le
champ de la qualit de vie. L'attrait est un concept multldimensionnel, qui
s'applique aussi bien aux individus qu'aux entreprises. Il s'applique des
acteurs externes qui peuvent tre attirs par la zone (rsidents, entreprises,
clients et touristes potentiels) ainsi que des acteurs internes qui peuvent tre
retenus dans la zone. Les mesures directes d'attrait peuvent tre drives
de questionnaires posant des questions du type souhaitez-vous rester
dans la zone au cours des cinq prochaines annes ? ou en supposant
que vous avez dcid de dmnager, accepteriez-vous de vivre dans cette
zone ? Des mesures plus prcises peuvent tre tires de comparaisons
partir de questions telles que classez cette zone, parmi les autres, par
ordre de lieu o vous prfreriez habiter . Le prix de l'immobilier permet
galement d'tablir des mesures indirectes. Les mesures des flux
migratoires sont gnralement enregistres avec beaucoup trop de retard
pour tre utiles dans un contexte de suivi et d'valuation.
Exemple 51 -Amlioration du rseau de bus d'une zone
urbaine difficile
(en lien avec l'ensemble de la zone
ses effets)
aide)
Quantit
Km de nouvelles routes ou voies

ddies aux bus
Indicateurs de rsultat dans le champ des infrastructures de transport

Accs
Temps moyen, pour les rsidents

desservis par le bus, pour atteindre
dix grands services urbains
(universit, piscine, hpital,
bibliothque, etc.)
Temps moyen, pour tous les

habitants de la zone, pour atteindre
dix grands services urbains
Attrait
Classement moyen de la zone en

difficult par les rsidents utilisant
le systme de bus
Utilisation
% d'utilisateurs du systme de bus

rsidant dans des zones o les
conditions de vie posent problme
(zones difficiles)
% d'habitants vivant dans

des zones difficiles
Qualit de vie

Les indicateurs de ressources, de ralisations et de rsultats mergent le
plus souvent des systmes d'information utiliss pour la gestion
quotidienne des projets. Ils sont souvent composs de systmes
d'information financire et de systmes utiliss pour grer l'utilisation des
services. Par exemple, les structures telles que les bibliothques utilisent
des logiciels statistiques qui dtaillent les dpenses et les revenus associs
aux livres et les rattachent un centre de cot. La technologie des cartes
magntiques peut galement fournir un autre jeu d'indicateurs donnant des
informations non financires telles que le nombre d'utilisateurs, les types
d'articles emprunts et les fluctuations de l'utilisation de la bibliothque en
fonction des jours et des heures. Ces systmes d'information peuvent tre
rapprochs des fins d'analyse.
Les donnes d'Impact sont rarement de nature quantitative, mais il est
souvent possible de produire des donnes quantitatives partir de
rponses qualitatives. Par exemple, les enqutes par questionnaires
impliquent le codage de rponses des questions ouvertes en fonction de
mots cls. On peut alors dire que X% des personnes interroges ont
mentionn que les bibliothques sont un aspect essentiel de la qualit de
la vie locale.
Pour faciliter la comprhension de l'impact des interventions structurelles
spcifiques il est ncessaire de connatre leur contexte. Les indicateurs de
contexte critiques pour la qualit de la vie sont notamment le chmage de
longue dure et les revenus.
Indicateurs cls
Les indicateurs du champ de la qualit de vie ne sont pas encore
suffisamment stables pour permettre de proposer des indicateurs cls.
L'Introduction de la dimension de qualit dans le concept mme de
dveloppement changerait radicalement les concepts de base tels que les
disparits rgionales ou la croissance. Un de ces indicateurs, l'indicateur
de dveloppement humain (IHD), est utilis par la Banque Mondiale et les
Nations Unies, depuis une dizaine d'annes. Un indicateur similaire,
Indice de bientre conomique durable (IBED), est prsent dans
l'encadr suivant.
Encadr 23 - L'indice de bien-tre conomique durable

Cette mesure rvle qu'entre 1950 et 1996, le Royaume-Uni a connu une
divergence croissante entre l'IBED et le PIB. Ceci indique que la qualit de la vie
(dont l'IBED est une approximation) ne se mesure pas en fonction de la richesse
conomique (PIB)
PIB et IBED : 1950-1996
En Livres
sterling
constantes
(1990)
10,000
9,000
'PIB
8,000
7,000
6,000
5,000
4,000 "~
IBED
3,000
2,000
1,000
0
1950 1955 1960 1965 1970 1975 1980 1985 1990 1995 2000
Source : Jackson, T., Marks, N., Rails, J. & Stymne, S., Sustainable Economie
Welfare in the UK: 1950-1996,1997, University of Surrey Centre for Environmental
Strategy/New Economics Foundation.
L'Indice de bien-tre conomique durable (IBED), de mme que le PIB, est

une mesure agrge. Il effectue une srie d'ajustements de dpenses de
consommation (la base du PIB) de sorte que :
Les cots sociaux et environnementaux (dpenses dfensives) soient
dduits ;
Les dommages environnementaux long terme et la dprciation du
capital naturel soient dduits ;
La consommation personnelle moyenne soit ajuste pour prendre en
compte les schmas de rpartition des revenus
Une valeur soit impute (et ajoute) pour le travail domestique non pay.
Les Indicateurs agrgs tels que le PIB et l'IBED, qui rassemblent des
entits disparates au moyen d'une mesure financire commune, sont
quelque peu controverss, notamment parce que les valeurs montaires
appliques prsentent un degr de subjectivit. Toutefois, l'agrgation peut
aider relier diffrents niveaux, micro et macroconomiques, sur lesquels
Qualit de vie
les interventions de qualit de la vie agissent. Le dveloppement de ces

Indicateurs ncessite encore un travail important.
Cheshire, P., et al., (1996), 'Problems of Urban Decline and Growth in EEC
Countries : or measuring degrees of elephantness' in : Urban
Studies, Volume 23(2), 131-149.
MacGillivray, A. and Zadek, S. (1995), Accounting for Change : indicators
for sustainable development. London : NEF.
New Economics Foundation / World Wide Fund for Nature UK (1994),
Indicators for Sustainable Development : Strategies for use of
indicators in national reports to the Commission on Sustainable
Development and in the EC Structural Funds process. NEF / WWF
UK.
New Economics Foundation / World Wide Fund for Nature UK (1997),
Signals of Success : A users' guide to indicators. NEF / WWF UK.
Ill
Modes de production et d'utilisation
des indicateurs
Associer les fournisseurs et utilisateurs d'information

L'exprience a montr qu'un systme d'Indicateurs a d'autant plus de
chances de fonctionner qu'il a t cr en associant les fournisseurs et les
utilisateurs de l'information. A contrario, un groupe ferm de spcialistes
est tent de construire grands frais un systme techniquement idal qui
risque de ne jamais devenir oprationnel.
La conception d'un systme d'indicateurs pragmatique ncessite
d'associer les utilisateurs et les fournisseurs de l'information. Du ct des
utilisateurs de l'Information, il faut s'assurer d'un soutien explicite au plus
haut niveau au sein de l'autorit gestionnaire du programme. Le mieux est
ensuite de crer un groupe de pilotage runissant les futurs utilisateurs du
systme et de confier ce groupe le pilotage de la mise en place des
indicateurs. La composition de ce groupe n'est probablement pas trs
diffrente de celle du groupe qui devra piloter l'valuation le moment venu.
Encadr 24 - Associer les destinataires au choix des indicateurs
Les responsables politiques de la rgion de Benton Harbor (USA) ont mis en place
un systme d'indicateurs de contexte en vue d'apprcier le dveloppement
conomique de la zone mtropolitaine de Berrien. Les lments cls de
description du dveloppement conomique ont t dfinis au moyen d'une srie
d'entretiens de groupe impliquant les entrepreneurs leaders de la rgion. Les
indicateurs retenus ont t par exemple :
Pour la disponibilit de capital humain qualifi : la dpense de scolarit par
tudiant, le ratio tudiant-enseignant, le taux d'chec scolaire.
Pour la croissance et la diversification de l'conomie : le revenu par habitant, le
taux d'emploi dans le secteur industriel, la valeur ajoute dans le secteur du
commerce, l'indice de diversit sectorielle, le taux de l'emploi dans les PME, la
valeur et le nombre de logements ayant obtenu un permis de construire.
Pour la qualit de vie : le cot de vie (relatif), le taux de criminalit sur les biens
et les personnes.
Erickcek G.A. (1996) The Benton Harbor Area Benchmarking Data System,
Michigan: WE Upjohn Institute
Il convient enfin qu'une quipe soit dsigne pour assurer l'animation et le
secrtariat du groupe de travail. L'efficacit commande que cette quipe
appartienne l'autorit gestionnaire du programme et dispose des
ressources humaines et financires ncessaires sa tche. Cette quipe
devra notamment veiller ce que le systme d'indicateurs reflte bien les
objectifs du programme et qu'il favorise la comparabilit. Il est prfrable

que la mme quipe soit charge de crer les Indicateurs et ait
ultrieurement la charge de mettre en uvre le systme.
On peut aussi associer le public la conception du systme. Ainsi, une
exprience amricaine a dbut par une srie d'entretiens de groupe (focus
groups) avec des reprsentants des entreprises rgionales. Le travail de
ces groupes a permis de slectionner des indicateurs les plus susceptibles
de retenir l'attention du public et d'tre compris par les citoyens.
Les fournisseurs d'informations doivent galement tre associs la
conception des indicateurs. Les principaux d'entre eux sont les oprateurs
qui mettent le programme en uvre sur le terrain. Leur participation est de
nature garantir le caractre pragmatique du systme car ils connaissent
les possibilits pratiques et les limites de collecte de l'information.
Si le dlai le permet, I convient d'associer les oprateurs dans le cadre d'un
test pralable du systme d'indicateurs. La procdure recommande
commence par la slection de quelques oprateurs volontaires pour
participer la conception du systme. Ces volontaires doivent tre
reprsentatifs de toutes les composantes du programme. Ils participent au
choix des indicateurs, leur dfinition et la conception des circuits de
collecte de donnes. Ils expriment leurs besoins en termes de retour
d'information (frquence et forme des informations restitues aux
oprateurs). Le test comprend une premire quantification de tous les
indicateurs par les oprateurs volontaires. La dure normale d'un tel test
est d'une anne. Au vu des conclusions du test, et aprs avoir introduit les
modifications ncessaires, le systme est valid, les dfinitions sont
clairement tablies ainsi que les procdures de collecte et de restitution de
l'information. Un manuel est dit.
Les informations relatives au contexte proviennent de sources statistiques.
Il convient donc d'associer la conception du systme un expert ayant une
connaissance rcente et complte des donnes statistiques mobilisables.
Selon les cas, cet expert appartiendra un institut statistique, une
universit ou l'institution gestionnaire du programme s'il existe une
comptence interne.
Slectionner les indicateurs les plus pertinents
Chacun des acteurs du programme a ses propres responsabilits, son
propre domaine de dcision, et donc ses propres besoins d'information.
Production et utilisation des indicateurs
Tous les indicateurs ne sont donc pas utiles tous les niveaux. Au
contraire, il est gnralement admis que chaque acteur peut se satisfaire
d'un tableau de bord contenant un petit nombre d'indicateurs, slectionns
comme les plus pertinents par rapport la nature des dcisions qu'il doit
prendre. Il a t montr qu'en situation de dcision, une personne ne peut
pas prendre en compte plus d'une dizaine d'indicateurs la fois (Inns de
Neufville, 1994). Lorsque les indicateurs sont trop nombreux, on constate
que cela cre une surcharge d'information pour les dcideurs.
Le problme pos par l'htrognit des programmes
L'exprience des Fonds structurels a montr qu'il est difficile de choisir les
indicateurs vritablement ncessaires pour le suivi et l'valuation d'un
programme. Parce que les programmes sont multisectoriels et
multiobjectifs, on a tendance vouloir tout mesurer et concevoir des
systmes d'indicateurs trop lourds qu'il est impossible de faire vivre. Par
exemple, le Programme d'Objectif 5b en Bourgogne (F) a fait l'objet d'une
premire proposition qui comprenait plus de 200 indicateurs. Finalement,
seule une cinquantaine d'entre eux ont t quantifis.
L'exemple qui suit illustre clairement ce problme. Il s'agit d'un programme
(1994-1999) de reconversion industrielle dans une rgion franaise
(Franche-Comt). Ce programme comporte 48 actions de nature trs
diverses : plusieurs sortes d'aides directes aux entreprises, des aides
spcifiques certains secteurs, des groupements d'entreprises, des
professionnels du tourisme, des crateurs d'entreprises, l'amlioration
de l'environnement etc. Ces actions sont gres par des oprateurs
diffrents et chaque oprateur a tendance mesurer les effets de son
action selon sa propre logique (nombre d'aides, nombre de participants
des projets collectifs, surface de sites industriels amliors). L'ensemble
des informations fournies par les oprateurs est trop htrogne pour tre
synthtise au niveau du programme. A part l'indicateur de consommation
budgtaire, aucun indicateur ne s'applique plus de 20% du programme.
Pour ce programme, un systme d'information complet serait trs lourd car
il devrait comprendre les donnes suivantes :
un ou deux indicateurs gnriques pour le suivi des ressources (ex :
taux de consommation budgtaire dcompos par action, taux de
dpassement des cots prvus) ;
une cinquantaine d'indicateurs de ralisations, soit en moyenne un
indicateur par action ;
une cinquantaine d'indicateurs de rsultats, soit en moyenne un

indicateur par action ;
une centaine d'indicateurs d'impacts spcifiques, soit en moyenne deux
indicateurs par action (ex : taux de survie des entreprises aides, taux de
placement des stagiaires, dclarations faites par les entreprises sur leurs
intentions d'embauch ou d'investissement, nombre d'innovations
gnres, nombre de visites touristiques) ;
quelques indicateurs d'impacts gnriques (ex : emplois crs, valeur
ajoute gnre dans les entreprises aides, etc.) ;
quelques indicateurs de contexte (taux de chmage rgional, nombre de
PME dans la rgion, valeur ajoute moyenne par salari dans les
entreprises rgionales, etc.).
Encadr 25 - La recommandation d'une valuation :
passer de 330 52 indicateurs
Un programme socio-conomique a t financ par les Fonds structurels
europens pour la priode 1994-99 en Irlande du Nord. Ce programme a t
valu mi-parcours en faisant la synthse de six valuations spares portant
sur des sous-programmes. Les concepteurs du programme avaient choisi 330
indicateurs pour le suivi. Ces indicateurs avaient t regroups dans une base de
donnes unique dont l'utilisation s'est rvle difficile, engendrant des problmes
de maniabilit et de disponibilit d'information. Ces problmes ont
considrablement rduit l'utilisation des indicateurs. L'quipe d'valuation a
recommand une solution consistant :
choisir un nombre d'indicateurs de contexte situ entre les indicateurs
macroconomiques et les Indicateurs de sous-programme. Ces indicateurs,
destins reflter l'Impact global du programme, se dclinent en trois
catgories - croissance conomique, cohsion interne et cohsion externe ;
choisir un petit nombre d'Indicateurs de programme en se limitant aux
principaux rsultats et impacts ;
dlguer la quantification et l'utilisation des autres indicateurs aux oprateurs.
De cette faon, la taille du systme pouvait tre rduite 52 indicateurs
directement relis aux principaux objectifs du programme. Les recommandations
ont t appliques avec succs.
Co//n Sfuri Consulting, 1997, Northern Ireland Single Programme 1994-99; Mid
Term Review External Evaluation.
Au total, le nombre d'indicateurs de ce systme complet, et videmment

thorique, peut tre estim 200. En pratique, il est Impossible de produire
et d'utiliser de faon rgulire une aussi grande quantit d'Information.
Dans plusieurs rgions europennes, des valuations rcentes ont montr
qu'il suffisait de quelques dizaines d'indicateurs pour satisfaire les besoins
d'information au niveau des autorits gestionnaires du programme (Voir
Encadr 25). Cela n'empche pas qu'un plus grand nombre d'indicateurs
puisse tre requis pour les besoins d'information des oprateurs.
Propositions pour limiter la taille des systmes d'indicateurs
Cette section reprend l'exemple de la rgion franaise cite plus haut et
dcrit les suggestions faites pendant l'valuation intermdiaire pour rduire
le nombre d'indicateurs d'un programme sans perdre les informations qui
sont pertinentes ce niveau. Comme le montre l'Encadr 26, elles reposent
sur l'emploi d'indicateurs gnriques ou sur le regroupement des
indicateurs par catgorie de destinataires.
Encadr 26 - Exemple de systme d'information utilisant un nombre
rduit d'indicateurs
Nombre d'actions
(composantes lmentaires du programme) 48
1
... de ressources
(Taux de consommation
budgtaire)
(Taux de ralisation
de ralisations
Taux de respect des dlais)
(Cinq
indicateurs en moyenne pour
... de rsultats et d'impacts
45
chacune des 9 catgories de
destinataires)
(Revenu, chmage)
Nombre total d'indicateurs
51
En premier lieu, l'valuation a suggr de rassembler tous les indicateurs

de ressources et de ralisations sous la forme de trois Indicateurs
gnriques : taux de consommation budgtaire, taux de ralisation et taux
de respect des dlais. Ces trois indicateurs peuvent tre facilement
quantifis pour chaque action, sous rserve que les oprateurs aient leurs
propres indicateurs spcifiques. Les trois indicateurs peuvent ensuite tre
agrgs au niveau de chaque mesure et celui de l'ensemble du

programme.
En second lieu, on a constat qu'il tait possible de regrouper les
48 actions du programme selon neuf catgories de destinataires : actions
destines des entreprises, des crateurs d'entreprises, des adultes en
formation, des professionnels du tourisme, etc. Pour chaque catgorie de
destinataire, il est possible de choisir un petit nombre d'indicateurs de
rsultats et d'impacts spcifiques. Par exemple, pour les adultes en
formation, on pourrait retenir deux indicateurs (taux d'atteinte du public
cible et taux de placement aprs 12 mois) avec trois dcompositions
(femmes / hommes, employs / chmeurs, secteur en croissance /
secteur en dcroissance). Compte tenu des conventions adoptes dans cet
ouvrage, cela reprsente un total de six indicateurs. Au total, une
quarantaine d'indicateurs pourrait suffire informer sur les rsultats et les
impacts spcifiques.
A ces indicateurs de programme, il conviendrait d'ajouter quelques
indicateurs de contexte fondamentaux tels que le revenu par habitant
rapport au revenu moyen national, le taux de chmage rgional, ainsi
qu'un indicateur d'attract i vit de la rgion (indicateur dont le besoin a t
affirm, mais qui reste construire). Globalement, ces propositions
devraient permettre de limiter le systme d'information de ce programme
une taille raisonnable d'indicateurs.
Un systme allg limite la collecte et la circulation de l'information ce qui
est le plus ncessaire au niveau du programme. La contrepartie de cette
lgret est que l'on ne cherche plus suivre de faon dtaille et
centralise l'avancement et les rsultats de chaque action. Cela veut dire
que le systme se concentre moins sur les dcisions prendre par les
oprateurs et plus sur les dcisions prendre par les autorits
gestionnaires du programme.
Trouver des indicateurs d'impacts gnriques
Les indicateurs d'impacts sont indispensables dans une perspective
d'valuation mais ils sont difficiles concevoir et quantifier. A l'exception
du nombre d'emplois crs, il est particulirement rare de trouver des
indicateurs d'impacts gnriques dans les documents de programmation.
Le programme MEANS a dvelopp une mthode pour crer des
indicateurs gnriques d'impacts. Cette mthode est prsente dans le
Encadr 27 - Exemples d'indicateurs d'impacts gnriques

ACTIONS
Investissements
industriels
Modernisation
de l'artisanat
Capital risque
pour les PME
FAMILLES
D'IMPACTS
INDICATEURS
GENERIQUES
Valeur ajoute
gnre dans
les secteurs
d'activit en
croissance
Internationali
sation des PME
Dveloppement
technologique
des entreprises
Nombre d'inno
vations dans les
units cono
miques aides
Volume 4 de la Collection MEANS qui rassemble plusieurs innovations

mthodologiques. Elle fonctionne en quatre tapes de la faon suivante :
L'quipe d'valuation rassemble les principaux documents relatifs au
programme (document de programmation, bilans, rapports d'activit,
brochures) et identifie toutes les phrases qui dcrivent les objectifs, les
performances, les impacts attendus ou obtenus.
Parmi les citations extraites des documents, l'quipe
slectionne celles qui concernent des Impacts.
d'valuation
Elle organise un ou plusieurs sminaires avec des gestionnaires du

programme et des oprateurs. Au cours de ces sminaires, les participants
compltent la liste des impacts et classent ces impacts par famille (deux
techniques peuvent faciliter ce travail : cartographie conceptuelle
d'impacts et Metaplan. Ces deux techniques sont dcrites dans le
Volume 3 de la Collection MEANS).
Les participants au sminaire recherchent en commun la signification de
chaque famille d'Impacts, donnent un nom chaque famille et choisissent
un indicateur qui correspond bien la signification de cette famille. Ils
vrifient que cet indicateur est gnrique, c'est--dire qu'il pourra tre
appliqu de nombreuses actions au sein du programme.
Garantir la quantification
Faire collecter l'information par les oprateurs
L'information collecte par le systme de suivi est drive de la gestion des
crdits, du pilotage des chantiers, du traitement des dossiers de
subventions, etc. Chaque oprateur fournit des informations aux
gestionnaires du programme sous forme de rapports d'avancement, de
bilans priodiques ou de comptes-rendus d'excution. Il est souhaitable de
collecter et de synthtiser ces donnes sous forme de tableau de bord pour
chaque runion de suivi. Il est possible de demander aux oprateurs des
projets une Information exhaustive sur les thmes suivants :
Ressources - consommation budgtaire publique dcompose par
source de financement, dpassements de cots.
Ralisations - taux d'avancement des projets en cours, taux de respect
des dlais, volume de ralisations rapport aux ressources (efficience
des ralisations) - nombre de destinataires dcompos en quelques
grandes catgories (ex : vhicules lourds ou lgers, entreprises grandes,
moyennes" ou petites, stagiaires femmes ou hommes, etc.), volume des
prestations obtenues par les destinataires (ex : heures de stage,
conseils obtenus, etc.).
Rsultats - dclarations faites par les destinataires (ex : investissements
faire, emplois crer), taux de satisfaction des destinataires, volume de
rsultats rapport aux ressources correspondantes (efficience des
rsultats).
Chaque fois que c'est possible, le systme de suivi doit exiger des
oprateurs qu'ils conservent une possibilit de recontacter les destinataires
pour une ventuelle enqute d'valuation ultrieure (nom et adresse des
stagiaires, nom et numro de tlphone d'un contact dans les entreprises
aides). Cette prcaution est galement utile pour viter les doubles
comptes Par exemple, on pourra viter de compter plusieurs fois une
mme entreprise qui a t destinataire de plusieurs aides du programme
Un systme d'indicateurs a d'autant plus de chances de fonctionner qu'il
perturbe moins les circuits d'information prexistants. Pour cela, il faut
demander l'information ceux qui sont proches de sa source. Dans
l'encadr qui suit, la quantification des indicateurs de rsultat fait partie de
la gestion courante des oprateurs.
Dans le contexte des programmes financs par les Fonds structurels, une
difficult particulire nat de la coexistence de systmes d'indicateurs
propres chaque financeur et qui n'adoptent pas toujours les mmes
dfinitions. Par exemple, dans le cas d'un programme de formation, le
reprsentant de la Commission souhaitait obtenir une information sur le
nombre de stagiaires, en considrant comme stagiaire toute personne
ayant suivi un stage, mme de quelques jours. Cependant, les oprateurs
nationaux avaient l'habitude de recenser uniquement les stages d'une
dure de plus d'un mois. En cas de discordance entre les dfinitions
choisies pour les indicateurs du programme et les dfinitions habituelles
des oprateurs, il peut tre prfrable de quantifier les indicateurs selon les
dfinitions traditionnelles qui ne perturbent pas les oprateurs et d'oprer
une correction au niveau du programme (harmonisation) l'aide d'un
coefficient correcteur.
Encadr 28 Collecte d'information par les oprateurs
Le formulaire prsent dans cet encadr s'applique un programme qui vise
accueillir des entreprises extrieures qui investissent dans la rgion. Plusieurs
oprateurs sont chargs de fournir des services ces entreprises dans
diffrentes parties de la rgion. Au moment o il finalise un projet
d'investissement avec une entreprise, chaque oprateur fait remplir un
questionnaire standard comme suit :
Nom de la personne qui peut tre contacte au sein de l'entreprise :
Tlphone :
Valeur des investissements raliser dans le cadre du projet aid :
Nombre d'emplois crs ou maintenus dans le cadre du projet aid :
Qualit des services obtenus par l'entreprise :
excellente L
bonne I
moyenne :
Utilit des services obtenus par l'entreprise :
excellente C
bonne L
moyenne I
Inspir de Hatry H. & al.1990
mauvaise LJ
mauvaise I
La collecte et la synthse de l'information peuvent tre facilite par la mise

en place d'un systme informatis comme le montre l'exemple de l'encadr
suivant. Il faut cependant utiliser cet instrument avec prudence. En effet, les
nouvelles technologies de l'information facilitent la collecte et la circulation
d'une grande masse d'informations et favorisent la construction de

systmes d'indicateurs plthoriques. L'informatisation doit toujours tre
prcde d'une rflexion approfondie pour slectionner les Indicateurs les
plus utiles.
Encadr 29 - L'informatisation d'un systme de suivi
France, Programme rgional d'objectif 5b 1994-99
Le systme de suivi du programme de dveloppement rural de la rgion
Bourgogne fonctionne depuis le dbut de 1996. Les oprateurs rendent des
comptes cinq administrations qui distribuent les fonds du programme. Ces
administrations sont relies par un rseau tlmatique une base de donnes
centrale qui reoit les informations quantifies pour environ 1500 projets par an.
Un logiciel a t spcialement conu pour le suivi du programme et permet de
traiter l'information en temps rel. L'information est synthtise au niveau rgional
dans un tableau de bord de 40 indicateurs. Ces indicateurs sont prsents et
discuts avant chaque runion du comit de suivi.
Pour inciter les oprateurs fournir l'information demande, il est normal
de leur garantir un retour d'information avec une valeur ajoute
substantielle. Par exemple chaque oprateur recevra annuellement une
situation de ses rsultats compars la moyenne de tous les oprateurs.
Au-del des Incitations, il est galement normal de contractualiser
formellement la collecte des donnes. Par exemple, la dcision
d'acceptation d'un projet et d'attribution des crdits doit tre
accompagne d'une annexe prcisant quelle information doit tre produite,
quelle date et pour qui. En bonne logique, les gestionnaires du
programme doivent prendre toutes les dispositions ncessaires pour que
les donnes collectes ne soient pas falsifies. Les procdures de collecte
et de synthse de l'information doivent donc tre
rigoureuses,
transparentes et contrles priodiquement.
Finalement, l'incitation la plus dcisive consiste lier l'attribution de
nouveaux financements la fourniture des donnes relatives aux
financements prcdents.
Collecter l'information par enqute
Pour quantifier l'impact durable sur les destinataires directs, une dmarche
frquente consiste slectionner un chantillon de personnes ou
d'entreprises ayant particip au programme et raliser une enqute

postale ou tlphonique. Cette dmarche est facilite par le fait que les
personnes interroger sont connues des oprateurs, surtout si l'enqute a
t prvue ds le dbut du programme. La formule de l'enqute est plus
difficile appliquer lorsque les impacts concernent des publics dont les
oprateurs n'ont pas pu garder la trace dans le cadre de leur travail (ex :
les habitants d'un quartier rhabilit, les concurrents d'une entreprise
aide, les touristes ayant visit un site prserv). Dans ce cas, la
quantification est beaucoup plus difficile et demande un travail de "filature"
qui est souvent trs lourd. On atteint alors rapidement une frontire dans la
quantification des indicateurs de programme, frontire partir de laquelle il
n'est plus possible d'observer les Impacts, mais seulement de les estimer
par extrapolation.
E n c a d r 3 0 - L'utilisation d 3s e n q u t e s pour la quantif cation
Systme de
gestion
quantification
rgulire
Ressources et
ralisations
Rsultats
Impacts
(indicateurs
de programme)
Impacts
(indicateurs de
contexte)
Statistiques
Enqute
partir du
fichier des
destinataires
sur
l'ensemble
de la
population
quantification
l'occasion d'une valuation
quantification
rgulire
X
X
Les enqutes auprs des destinataires doivent tre appliques avec

prcaution lorsqu'il s'agit d'estimer les effets nets. Par exemple, l'quipe
d'valuation d'un programme de reconversion industrielle dans une rgion
anglaise devait apprcier l'impact sur l'emploi d'une mesure visant
encourager l'esprit d'entreprise et la formation au sein des entreprises.
L'quipe d'valuation a envoy un questionnaire postal plusieurs
centaines d'entreprises aides en garantissant leur anonymat. Les

questions types poses taient : Auriez-vous embauch les employs
supplmentaires mme si vous n'aviez pas reu de subvention ? ou
savez-vous si la personne nouvellement embauche tait auparavant au
chmage ? . A partir des rsultats de l'enqute, l'quipe d'valuation a
estim un coefficient de cration nette d'emploi en fonction de l'aide reue,
pour les entreprises de l'chantillon. Toutefois, il faut veiller la qualit de
l'enqute puisque certaines rponses peuvent tre biaises par la volont
des rpondants qui sont gnralement favorables une intervention dont
ils bnficient. En gnralisant les conclusions de l'enqute l'ensemble
des entreprises destinataires, un indicateur de cration d'emploi net a pu
tre quantifi par extrapolation.
L'organisation d'une enqute par questionnaire tlphonique auprs de
mille individus peut ncessiter plusieurs mois et reprsente un cot de 10
40 KEuro. Les diffrentes enqutes entreprises dans une rgion doivent
galement tre coordonnes avec soin pour ne pas surcharger les
destinataires. Ces diffrentes raisons font que les enqutes ne peuvent pas
tre rptes frquemment. Pendant l'Intervalle entre deux enqutes, il est
cependant possible d'estimer les indicateurs par extrapolation partir des
donnes du systme de suivi.
Par exemple, le Ministre du Travail en France s'appuie sur les rsultats de
nombreuses enqutes effectues depuis une dizaine d'annes pour
connatre l'impact des mesures d'aide l'emploi. Chacune de ces tudes
empiriques a permis d'estimer des coefficients d'impacts dans des
situations varies. Grce l'accumulation des connaissances passes, les
experts du Ministre ont construit une grille permettant d'estimer l'impact
partir des donnes du suivi et des principales caractristiques d'une
mesure. Depuis 1992, des runions d'experts priodiques sont organises
afin d'amliorer et de corriger cette grille de coefficients.
Utiliser les sources statistiques
Les indicateurs de contexte sont gnralement quantifis partir de
donnes obtenues auprs des offices statistiques. Par exemple, un grand
nombre de donnes rgionalises peuvent tre trouves Eurostat dans la
base de donnes REGIO. Les donnes de REGIO sont prsentes sous
forme d'environ 70 tableaux standards par domaine : dmographie,
comptes conomiques, chmage, force de travail, nergie, agriculture,
transport, R&D.
Eurostat ralise une exploitation rgionalise de plusieurs grandes

enqutes statistiques. Dans le champ de l'emploi, de nombreuses donnes
disponibles proviennent de l'enqute force de travail et du panel des
mnages . Les donnes rgionalises ont t rcemment enrichies grce
l'exploitation des enqutes nationales annuelles sur les structures
Industrielles. L'information traite est disponible dans la base de donnes
ELIZE. Elle comprend : le nombre d'entreprises industrielles, l'emploi, les
salaires et traitements, le chiffre d'affaires et l'investissement. Les donnes
sont dcomposes en une trentaine de secteurs conomiques et en deux
classes de taille (+ / - 20 employs). A moyen terme, la base de donnes
REGIO sera complte par une exploitation de l'enqute sur les structures
agricoles.
Par ailleurs, la DG XVI gre la base de donnes QUID qui regroupe des
indicateurs de contexte adapts aux Fonds structurels. Cette base de
donnes est pour partie issue des informations d'Eurostat.
La disponibilit des statistiques peut poser problme quand la zone eligible
d'un programme est une zone administrative plutt que statistique. Une
premire faon de traiter ce problme est l'approche de la meilleure
correspondance qui a t applique pour le systme d'indicateurs
cossais comme indiqu dans L'Encadr 3 1 .
Encadr 31 - Correspondance entre unit statistique et zone eligible
Royaume Uni, Programme d'objectif 2 1994-99
Le programme de dveloppement de l'Ecosse orientale a une zone eligible qui
concerne plusieurs units statistiques ( local government region level ) mais
les dcoupages ne correspondent pas. Les donnes fournies par le Central
Statistical Office ne permettent donc pas de construire directement des
indicateurs de contexte. Un indicateur de PIB a cependant t estim en
agrgeant les donnes pour les territoires des rgions centrales et pour ceux
de Fife et Tayside, dont plus de la moiti des habitants sont en zone eligible aux
Fonds structurels. Le territoire de Lothian, eligible moins de la moiti aux Fonds
structurels a t cart.
On peut aussi obtenir une bonne estimation des indicateurs de contexte
en employant la mthode de l'interpolation comme dans l'exemple
(thorique) qui suit. Un programme de reconversion industrielle a, parmi
ses objectifs, l'ambition de rattraper le retard de la rgion en matire
d'innovation. On dsire crer un indicateur de situation pour aider
quantifier cet objectif. Un indicateur possible est le nombre annuel

d'innovations dans la rgion. Le nombre annuel d'innovations pour 1 000
emplois est disponible l'chelle europenne grce une enqute
communautaire ralise rgulirement auprs de 40 000 entreprises. A
partir des rsultats de cette enqute, il est possible de crer un indicateur
d'innovation dans la rgion en procdant comme suit : (1) choisir un
indicateur de structure (ex : nombre d'emplois, dcompos par secteurs
d'activit) dont les valeurs sont connues la fois au niveau europen et
rgional, (2) relever la valeur du taux annuel d'Innovation au niveau
europen, avec sa dcomposition par secteurs d'activits et (3) estimer
l'indicateur d'innovation dans la rgion en multipliant les emplois
rgionaux, secteur par secteur, par les taux d'innovation europens.
Eurostat a rcemment cr un systme d'information (GISCO) qui permet
de prsenter de faon cartographique toutes les sries statistiques existant
dans REGIO ainsi que d'autres donnes rgionalises. Le systme GISCO
intgre galement le contour de toutes les zones llgibles aux Fonds
structurels. Il peut donc aisment permettre de dcomposer ou de
recomposer des informations statistiques des chelles gographiques
diffrentes. C'est un outil potentiellement trs puissant pour estimer des
indicateurs de contexte par interpolation.
A p p r c i e r la qualit du s y s t m e d'indicateurs
L'utilisation des indicateurs sera d'autant plus grande que leur qualit pourra
tre constamment amliore. S'il est un rle incontest de l'valuation, c'est
bien celui d'apprcier la qualit des systmes d'indicateur et de faire des
recommandations pour amliorer cette qualit. Bien qu'il n'existe pas de
mthode standard pour ce contrle de qualit, on peut proposer une
dmarche reposant sur les onze critres qui suivent et qui se rpartissent en
deux groupes : critres de qualit applicables chaque indicateur et
critres de qualit applicables l'ensemble du systme.
Critres de qualit applicables chaque indicateur
Le premier critre de qualit d'un indicateur est d'avoir une existence relle,
c'est--dire d'tre quantifi intervalles rguliers. Il arrive qu'un ou plusieurs
indicateurs figurant dans les documents de programmation n'aient jamais
t quantifis et n'aient donc qu'une existence virtuelle. La disponibilit
effective des donnes est donc le tout premier critre de qualit. Les
indicateurs de suivi doivent tre quantifis au rythme des runions de suivi,

c'est--dire tous les six douze mois. Les indicateurs d'valuation sont
quantifis moins frquemment, savoir tous les trois six ans.
Lorsqu'un indicateur est quantifi, il peut s'couler plusieurs mois, voire
plusieurs annes, avant que l'Information ne soit rellement utilisable pour
le suivi et l'valuation. Ceci est particulirement vrai pour certains
indicateurs de contexte qui sont puiss dans les annuaires statistiques. La
fracheur de l'information devient alors un critre de qualit important. Il
arrive en effet que certaines statistiques ne soient publies que deux ans
ou plus aprs la collecte des donnes.
Un indicateur de programme doit varier de faon significative quand le
programme se met en uvre et produit des effets, c'est ce qu'on appelle
sa sensibilit. Dans l'exemple d'une Intervention d'aide l'exportation, le
chiffre d'affaires des entreprises aides n'est pas un indicateur assez
sensible. Un Indicateur de meilleure qualit serait le chiffre d'affaires ralis
avec les nouveaux clients contacts grce l'aide du programme.
Les acteurs du programme doivent avoir confiance dans l'information
produite. La fiabilit est donc un critre de qualit. La fiabilit peut se
dfinir par le fait que la mme mesure, effectue par deux personnes
diffrentes, aboutira la mme valeur de l'indicateur. En ralit cette
dfinition n'est applicable que lorsque l'on ralise des comptages. Chaque
fois que l'indicateur est quantifi partir de questions poses par une
personne une autre personne, la fiabilit ne peut plus se dfinir de faon
mcanique. Fiabilit et crdibilit sont deux notions qui tendent alors se
rapprocher.
L'utilit d'un indicateur dpend beaucoup de ce qu'il permet des
comparaisons internes entre diffrentes mesures du programme ou des
comparaisons externes inter-rgionales. La comparabilit de l'indicateur
est donc un critre de sa qualit. Ce critre est important, mais difficile
satisfaire.
La dernire qualit d'un indicateur est proche de la comparabilit, tout en
prsentant une exigence supplmentaire. Il s'agit de la normativit. Les
indicateurs doivent en effet comporter une rfrence permettant de juger si
ce qui a t obtenu est satisfaisant ou non. Toute valeur observe l'aide
de l'indicateur doit donc pouvoir tre compare une norme, par exemple :
objectif atteindre, norme dpasser, moyenne europenne rejoindre,
etc.
Un bon indicateur doit tre compris sans ambigut par tous ceux qui ont
l'utiliser. Dans l'esprit des dcideurs comme de la population, la
signification de l'indicateur doit tre la mme que pour les gestionnaires et
elle doit reflter correctement le concept que l'on veut mesurer. C'est ce
que l'on appelle la validit de construction.
L'exemple de l'encadr qui suit constitue un essai d'apprciation des
indicateurs du programme oprationnel portugais pour le secteur
transports et pour la priode 1994-1999.
E n c a d r 3 2 - E x e m p l e d'apprciation de la qualit d e s indicateurs
Portugal, programme oprationnel transport objectif 1, 1994-99
Critre
Apprciation
Commentaires
la plupart des indicateurs sont quantifis

avec la frquence normale
fracheur
++
les principaux indicateurs de ralisations

et de rsultat sont quantifis en temps rel
sensibilit
les principaux indicateurs de programme

dpendent fortement de sa mise en uvre
++
les indicateurs sont bien accepts par les

acteurs du programme
disponibilit
fiabilit
comparabilit
le systme comporte peu de

comparaisons internes et pas de
comparaisons externes
normativit
la moiti des indicateurs seulement

comporte une rfrence de jugement
signification
++
la signification des indicateurs est bien

comprise par les acteurs du programme
Critres de qualit applicables l'ensemble d'un systme

Les indicateurs slectionns doivent couvrir une proportion suffisante des
mesures du programme, cette couverture devrait atteindre ou dpasser les
trois-quarts des dpenses programmes.
Le systme doit comporter un bon quilibre entre les indicateurs des
diffrentes catgories. En particulier, les indicateurs de rsultats et
d'impacts doivent tre les plus nombreux.
Un systme d'indicateurs doit tre simple. Le critre de slectivit impose

de respecter la capacit des responsables du programme absorber
l'Information, c'estdire quelques dizaines de chiffres au maximum.
La pertinence du systme suppose que les indicateurs sont prioritairement
dvelopps pour les mesures ou les thmes qui reprsentent un enjeu en
termes de dcisions (mesures ayant un budget trs lev, mesures
innovantes, thmes considrs comme stratgiques).
Encadr 33 L'apprciation de la qualit d'un systme d'indicateurs

(suite)
Portugal, programme oprationnel transport objectif 1, 199499
couverture
++
quilibre
le systme couvre 100% des mesures

il n'y a pas d'indicateurs d'impacts, les
indicateurs de rsultats ne couvrent que
46% des mesures du programme
slectivit
++
pertinence
le systme comprend 26 indicateurs

le systme comprend plus d'indicateurs
pour les mesures et les projets qui ont le
poids budgtaire le plus important
Les i n d i c a t e u r s cls
Les comparaisons entre programmes
La comparaison entre les indicateurs de diffrents programmes est toujours
un enjeu important, mais il ne faut pas sousestimer les difficults de cet
exercice. Elles tiennent de multiples raisons : diversit des interventions
au sein d'un programme, diversit des contextes rgionaux, Incompatibilit
des dfinitions. Par exemple, selon les rgions et les programmes, la
frquentation touristique est compte en nombre de visites ou en nombre de
nuites ; les stagiaires sont compts en nombre de participants ou en
heures stagiaires ; la protection de l'environnement est mesure par le
nombre de projets, le nombre de sites ou le nombre d'hectares prservs.
La comparabilit peut tre recherche et obtenue grce des changes
entres autorits gestionnaires d'une rgion une autre ou par des
changes transfrontaliers. Les programmes Interreg crent de nombreuses
opportunits pour ce type de comparaisons. Dans un contexte diffrent, les
rgions Pays-de-la-Loire (France) et Emilie-Romagne (Italie) ont tenu des

runions bilatrales en 1997-1998 pour discuter de leurs travaux
d'valuation dans le champ du tourisme rural. Au cours de deux sminaires
de deux jours, les rgions ont fait une analyse de leurs actions respectives
et elles ont dfini en commun le diagramme logique des ralisations, des
rsultats et des impacts. Des indicateurs communs ont t proposs en
vue de permettre des comparaisons Interrgionales.
Cependant, la comparabilit est souvent plus facile obtenir et plus
profitable tous les niveaux si elle rsulte d'un effort collectif coordonn au
niveau gographique suprieur. Cette dmarche a l'avantage de multiplier
les possibilits de comparaison et aussi de permettre l'agrgation des
indicateurs au niveau rgional ou national. C'est ce qui a t ralis par le
Scottish Office en crant une srie d'indicateurs standards applicables
sept programmes cossais. Un autre exemple de cette dmarche est celui
de l'Audit Commission britannique (voir annexe 2).
Encadr 34 - Un jeu d'indicateurs standards pour plusieurs
programmes
Dans le cadre de sa responsabilit de suivi et d'valuation de sept programmes
cofinancs par l'Union europenne, le Scottish Office a dvelopp une srie
d'indicateurs standards. Une partie de ces indicateurs concerne le contexte :
taux d'emploi et de chmage, productivit, main d'uvre, revenu moyen, etc.
Certains indicateurs de ralisations et de rsultats ont galement t
standardiss, comme le montrent les exemples suivants, applicables aux
mesures d'infrastructures pour les entreprises :
Nouveaux btiments construits
mtres carrs
Btiments rnovs
mtres carrs
Amnagement de nouveaux sites
hectares
Amlioration de sites existants
hectares
Dessertes routires nouvelles / amliores
kilomtres
Superficie pour laquelle des routes d'accs
extrieures ont t cres ou amliores
hectares
Taux d'occupation des btiments crs
pourcentage aprs un an
pourcentage aprs trois ans
Places de formation cres
nombre
Pour obtenir un niveau lev de comparabilit, les gestionnaires de programme
cossais ont organis plusieurs runions Impliquant les reprsentants de tous les
programmes. La standardisation a donc t l'aboutissement d'un long processus
de discussion collective.
La communication publique
On rsume souvent l'utilit d'un systme d'indicateur la prise de
dcisions. En ralit, un systme d'indicateurs sert aussi rendre des
comptes, par exemple aux parlementaires europens ou nationaux, aux
lus rgionaux ou locaux, aux partenaires socio-conomiques, aux
journalistes et, par leur intermdiaire, aux citoyens et aux contribuables.
Pour servir de support la communication publique, on doit slectionner
quantifier et publier des indicateurs peu nombreux et immdiatement
comprhensibles par des non-spcialistes. On parle dans ce cas
d'indicateurs cls La publication des indicateurs cls est normalement
organise sous forme de tableaux simples et comments, par exemple
dans un bilan annuel. Une Information plus dtaille peut galement tre
mise disposition travers un observatoire ouvert au public ou
travers un systme de consultation par Internet.
Pour dfinir de bons indicateurs cls, on doit choisir en priorit des
indicateurs gnriques (applicables de nombreuses actions diffrentes au
sein d'un mme programme) et des indicateurs standards (permettant des
comparaisons entre programmes de rglons ou de pays diffrents). En
outre, ces indicateurs doivent tre compris de tous les partenaires sans
longue explication et sans erreur sur leur signification.
Proposition d'indicateurs cls
En revenant aux quinze fiches par champ d'application, il est possible de
proposer une srie d'indicateurs candidats pour devenir des indicateurs
cls. Cette liste n'est pas limitative, ni directive, ni stabilise. Elle est
cantonne aux indicateurs de programme. Les indicateurs ont t nots de
*** * par ordre d'intrt dcroissant.
E n c a d r 3 5 - Propositions d'indicateurs cls : Ressources

Intrt
Indicateur
Ressources humaines
Nombre d'oprateurs (organisations publiques

et prives responsables de l'assistance aux
destinataires)
Nombre de conseillers (FTE) mobiliss pour
conseiller les destinataires
Ressources financires
***
Taux de consommation budgtaire

(% des fonds allous)
**
% des projets (en termes financiers) bnficiant

particulirement aux femmes
**
% des projets (en termes financiers) situs dans

les marchs/secteurs en croissance rapide
% du budget allou aux mesures d'attnuation

pour l'environnement
% des projets (en termes financiers) concernant

les zones les plus dsavantages
Voir exemple
Encadr 36 - Propositions d'indicateurs cls : Ralisations

Intrt
Indicateur
Voir e x e m p l e
Avancement
Taux de ralisation (% des objectifs)
1,2,3,4, 5,6,7,8,
9, 18,28,29, 30,
33, 34, 45
1, 2, 3,4, 5 , 6 , 7 , 8 ,
9, 18, 28,29, 30,
33, 34, 45
Capacit
**
Nombre de raccordements potentiels (entreprises /

mnages) aux rseaux de services de base (ventils
par services)
28, 33, 34
Activit des oprateurs en termes d'attraction et

de choix des participants
"
"
*
Taux de slection (% des projets accepts par rapport

aux projets ligibles)
Taux de couverture (pntration) : % du public cible
qui a (ou aurait d) participer au programme
10,30
% des destinataires appartenant aux groupes

prioritaires (par ex ; les chmeurs de longue dure,
enfants en chec scolaire)
% des destinataires situs dans les zones les plus

dfavorises
**
% des destinataires dans les marchs/secteurs

croissance rapide
**+
% de femmes parmi les destinataires
***
% de PME parmi les destinataires

Services financs par le programme
***
**
Nombre de destinataires individuels ayant bnfici de

services, conseils, formation
10,15, 1 9 , 3 6 , 4 4 , 4 8
Nombre d'units conomiques (entreprise, exploitation

agricole, propritaire de bateau de pche, exploitation
aquacole, professionnel du tourisme) ayant bnfici
de services, conseils, formation
21,31,38,
Nombre d'heures de formation/conseils fournies

aux destinataires
10, 15, 1 9 , 2 1 ,
31,36,37
Encadr 37 - Propositions d'indicateurs cls : Rsultats

Intrt
Indicateur
Voir exemple
Satisfaction des destinataires
Taux de satisfaction (% de destinataires qui

sont satisfaits ou trs satisfaits)
15, 19,25,
27, 36, 37, 44
Avantages pour les destinataires
**
1, 2, 32
Vitesse moyenne entre les principaux centres

conomiques
Investissements facilits pour
les destinataires
**
Effet de levier (dpense du secteur priv venant

en contrepartie du soutien financier peru)
16,21,22, 24,
39, 46, 47
Encadr 3 8 - Propositions d'indicateurs cls : I m p a c t s

Intrt
Indicateur
Voir exemple
Succs durable
**
Taux de placement (ex : % de stagiaires

employs aprs 12 mois et qui sont toujours
dans leur emploi aprs 24 mois
10, 36,48
Taux de survie (ex : des exploitations aides

toujours actives au bout de 24/36 mois)
23,37
Impact peru par les destinataires
***
Valeur ajoute gnre (ex :aprs 24 mois

en terme d'euro/an/employ)
7, 8,9, 13, 14, 16,

18,21, 24,26,31,
38, 39, 40, 42, 46,
47
***
Emploi cr ou sauvegard (ex : aprs

12 mols FTE)
7 , 8 , 9 , 13, 14, 16,

18, 20, 23, 24, 35,
37, 38, 39, 42, 49
Impact globalement peru dans la zone
**
Attrait rsidentiel (ex : % d'habitants des

villages rhabilits souhaitant rester dans
la zone )
25,51
Impact indirect
Effets indirects rgionaux (ex : % d'entreprises
rgionales parmi les fournisseurs des
entreprises aides aprs 12 mois)
24,39
Mesurer la performance pour une meilleure gestion

De plus en plus de systmes d'Indicateurs sont crs dans la perspective
d'une gestion de la performance . Ces systmes s'inscrivent parmi les
nouvelles formes de gestion publique (New Public Management) qui
privilgient les rsultats et les impacts obtenus par opposition aux
anciennes formes de gestion qui sont fondes sur l'attribution des
ressources et le contrle des ralisations.
Grer la performance plutt que les ressources
Dans un esprit de gestion de la performance, les oprateurs se voient dots
d'une plus grande autonomie pour l'emploi de leurs ressources. En
contrepartie, ils s'engagent sur des objectifs clairs quant aux rsultats et
aux impacts obtenir. Ils doivent mesurer leur performance pour s'autovaluer et pour rendre compte priodiquement. Ce nouvel quilibre entre
dconcentration et mesure des performances est la base de nombreux
dveloppements dans l'administration publique. Ainsi, le Government
Performance and Results Act (GPRA) de 1993, impose l'utilisation de
nouveaux indicateurs toute l'administration publique des Etats Unis.
L'encadr suivant dcrit le systme d'Indicateurs du service britannique de
l'Emploi qui a t conu dans cet esprit. Il met l'accent sur la mesure des
rsultats et des impacts, plutt que sur celle des ressources et des ralisations.
Encadr 39 - Dcentralisation et dveloppement des indicateurs
Le Service de l'Emploi au Royaume Uni (Employment Service) a pour mission de
dvelopper un march du travail comptitif, efficace et flexible. En particulier, il
doit favoriser l'insertion des chmeurs les plus dmunis, grce un systme
d'allocations spcifiques. Le rseau national du Service de l'Emploi compte plus
de 1 000 agences.
Depuis 1994, le degr d'autonomie des agences a t augment. En contrepartie
chaque agence doit calculer une srie d'indicateurs de rsultat et d'impact et
comparer ses performances celle des agences voisines. Les indicateurs sont
agrgs par rgion et au niveau national dans le cadre d'un rapport annuel du
Service de l'Emploi.
Par exemple, en Irlande du Nord, le cot de fonctionnement des agences
rapport au nombre de chmeurs placs a volu de la faon suivante :
1992-93
1993-94
1994-95
1995-96
Point zro
6%
7%
+ 6%
Dans beaucoup de rgions europennes, la culture administrative reste peu

permable la dcentralisation et la gestion de la performance. Il n'est
donc pas tonnant que le dveloppement des Indicateurs de rsultat et
d'impacts soit gnralement considr comme difficile alors que les
autorits gestionnaires des programmes sont plus familires avec les
indicateurs de ressources et de ralisation. Les changements culturels sont
lents mais ils sont l'uvre dans certains pays sous la pression des
rformes administratives inities par les gouvernements nationaux.
L'activit de suivi et d'valuation des programmes cofinancs par l'Union
europenne est un facteur qui favorise la gestion des performances en
termes de rsultats et d'impacts.
Dans une perspective de gestion de la performance, les Indicateurs jouent
un rle de plus en plus important pour les oprateurs et il convient alors de
les utiliser avec prcaution.
Interprter et comparer les indicateurs
Il existe des situations o les indicateurs parlent d'eux-mmes mais ces cas
sont exceptionnels. En gnral, il faut interprter les indicateurs en faisant
des rapprochements ou des dcompositions pertinentes. Dans l'exemple
qui suit, le rapprochement de trois indicateurs a montr que les formations
finances par l'aide europenne n'atteignaient pas suffisamment les
chmeurs de longue dure.
Encadr 40 - Rapprocher plusieurs indicateurs pour rvler
un phnomne
Dans le cadre de son valuation mi-parcours du Fonds social europen dans
les rgions italiennes d'objectif 1, l'ISFOL a rassembl et Interprt une srie
d'Indicateurs de suivi. Dans certains cas, les rapprochements raliss entre ces
indicateurs conduisent des conclusions fortes et claires. Par exemple, la part du
programme bnficiant aux chmeurs de longue dure peut tre mesure avec
trois indicateurs :
dpenses programmes en faveur des chmeurs de longue dure :
18% des dpenses totales programmes
dpenses engages en faveur des chmeurs de longue dure :
11 % des dpenses totales engages
dpenses payes en faveur des chmeurs de longue dure :
8% des dpenses totales payes
Le rapprochement de ces chiffres montre clairement que les chmeurs de

longue dure sont carts du programme chaque tape de sa mise en
uvre.
Pour un lecteur qui parcourrait un tableau d'indicateurs et qui lirait ces trois
chiffres isolment, l'information n'aurait aucune signification. Pour rvler le
problme de mauvaise atteinte du public prioritaire, il a fallu que les trois
indicateurs soient dcomposs selon la dure de chmage des
destinataires directs et que l'ISFOL pense rapprocher les trois
informations.
Chaque fois que possible, il est intressant de rapprocher les indicateurs de
programme (ex : nombre de chmeurs forms) avec des indicateurs de
contexte appropris (ex : nombre de chmeurs dans la rgion). Ce type
d'information peut tre prsent d'une manire concise par l'intermdiaire
d'indicateurs drivs exprimant les ralisations ou les effets du programme
en pourcentage d'un indicateur de contexte comme ceux qui sont dcrits
dans l'encadr ci-dessous.
Encadr 41 - CCA (obje ctif

indicateurs d e
1) 1989- 33 - R a p p r o c h e m e n t d e s
program m e et de contexte - Espagne
Donnes
constates
1989-93
Nombre de lignes installes
tlphone digital
Universits
subventionnes
Cration et amlioration
de terres irrigues (en ha)
Nombre d exploitations
modernises
Nombre de jeunes
agriculteurs subventionns
Nombre de personnes
formes
239 800
20
34 236
Donnes en pourcentage
6 % des lignes digitales de

en Espagne pendant la priode
91 % des Universits dans les
rgions d'Objectif 1
1,5 % des surfaces irrigues
dans les rgions d'Objectif 1
107 000
4,8 % des exploitations agricoles

en Espagne (1992)
11 000
0,5 % des exploitations agricoles

en Espagne (1992)
2 693 000
17,7 % de la population active en

Espagne
La plupart des professionnels de l'valuation reconnaissent que les

indicateurs doivent tre interprts en s'appuyant galement sur des
informations qualitatives. Pour interprter les indicateurs, il faut donc
considrer l'ensemble du contexte, les facteurs qui contribuent faciliter ou

freiner les performances du programme, la raison d'tre du programme,
les processus de mise en uvre et toutes sortes d'lments qualitatifs (Burt
Perrin Associates, 1997).
Une technique originale consiste faire Interprter les mesures de
performance par un panel d'experts capables d'Intgrer les lments
quantitatifs et qualitatifs de la situation. Cette technique est employe
depuis une dizaine d'anne pour valuer la performance des centres de
recherche universitaires au Royaume Uni. Dans ce pays, les travaux de tous
les centres de recherche font l'objet la fois d'un suivi quantitatif et
d'valuations priodiques par des panels d'experts. Dans leur valuation,
les experts prennent en compte les indicateurs (ex : nombre de
publications) mais aussi des lments purement qualitatifs (ex : qualit
des quatre meilleures publications de chaque chercheur). L'valuation
dbouche sur un classement des quipes de recherche (notes sur une
chelle de 1 5). L'attribution des fonds publics est directement lie ce
classement (Bone & Carter, 1997).
L'interprtation des indicateurs fait souvent appel des comparaisons qui
permettent de rapprocher les performances de deux interventions. Ce type
de comparaison porte en priorit sur les indicateurs d'efficience par
exemple : cot d'un stagiaire form, cot d'un emploi cr, cot d'un
logement desservi par le systme de traitement des eaux uses, etc.
Cependant, les comparaisons ne sont pas toujours acceptables pour les
oprateurs et pour les gestionnaires des programmes. En particulier, les
comparaisons de performances paratront Injustes aux autorits
gestionnaires qui travaillent dans les contextes les plus difficiles. Pour
rendre les comparaisons acceptables, il faut affiner considrablement les
procdures de comparaisons dans le but de mettre sur un pied d'galit les
interventions dont l'environnement est plus ou moins similaire.
Une technique Intressante a t exprimente dans le champ de
l'ducation. Il s'agit de reconstituer, pour chaque intervention comparer,
un groupe de quelques interventions similaires, mises en uvre dans
d'autres rgions, et dont l'environnement prsente le mme degr de
difficult. La comparaison est effectue avec la moyenne des interventions
de ce groupe talon .
Cette approche suppose que l'on dispose d'un indicateur de performance,
mesur de faon comparable, pour un grand nombre d'interventions. La
mthode est difficile appliquer si la performance se juge sur plusieurs

critres, et encore plus lorsque la performance n'est pas compltement
mesurable. On doit alors adopter une approche globale dans laquelle la
comparaison englobe les indicateurs mais ne se limite pas aux indicateurs.
La technique approprie, dans cette situation est celle de l'talonnage
(benchmarking) qui consiste comparer une intervention un modle
extrieur au programme et reconnu pour sa bonne performance. L'usage
de cette technique suppose que l'on puisse trouver une rfrence de
comparaison, par exemple dans une banque de donnes des meilleures
pratiques . L'talonnage est un outil qui produit des conclusions
acceptables car il peut prendre en compte des lments de comparaison
multiples et pas seulement quantitatifs. Un des avantages de l'talonnage
est qu'il oriente les comparaisons vers les meilleures pratiques et qu'il vite
donc la convergence vers les performances moyennes. La technique de
l'talonnage est dcrite dans le Volume 3 de la Collection MEANS.
Encadr 42 - Exemple de comparaison des performances accepte
par les oprateurs
La comparaison des performances entre organismes de formation achoppe
souvent sur le fait que tous les publics forms ne prsentent pas les mmes
difficults. Il y a quelques annes, une quipe d'valuation avait comparer 133
organismes de formation (districts scolaires) dans diffrents Etats amricains.
L'quipe a dcid de comparer chaque organisme un groupe talon de 14
autres organismes prsentant le plus de ressemblances du point de vue des
caractristiques du public scolaris (pauvret, langue maternelle, niveau scolaire
des parents, appartenance une minorit, etc.). Pour former les groupes talons,
l'valuation a combin une analyse factorielle et des panels d'experts. A la fin de
l'valuation, les comparaisons de performance ont t acceptes sans
contestation.
Henry & al, 1992
Eviter les effets pervers des indicateurs

L'usage des indicateurs est souvent frein par la crainte de provoquer des
effets pervers. Un exemple d'effet pervers est l'effet "d'crmage" qui
apparat lorsque la performance des organismes de formation est mesure
par le taux de placement des stagiaires. Pour obtenir un meilleur taux de
placement de leurs stagiaires, les organismes ont intrt recruter des
personnes qui disposent de la meilleure situation possible tout en
satisfaisant aux critres d'ligibilit. Les oprateurs ont donc tendance

crmer les destinataires directs potentiels en privilgiant ceux qui ont
la meilleure employabillt. Cet effet est pervers car I contribue focaliser
l'aide sur ceux qui en ont relativement moins besoin.
Un autre exemple d'effet pervers est apparu aprs quelques annes de
mise en uvre du systme d'Indicateurs de l'Audit Commission britannique
(voir annexe 2). Ce systme organise la quantification d'environ deux cents
indicateurs de ralisations et de rsultats relatifs aux services offerts par les
municipalits. Les indicateurs sont comparables d'une ville l'autre et font
l'objet d'une publication annuelle dans la presse locale. Ce systme cre
une trs forte pression sur une ville lorsqu'un de ses services obtient des
performances faibles. Ainsi de nombreuses municipalits ont augment le
budget de leurs services peu performants avec l'espoir de les remettre
niveau. Dans ces cas, les ressources financires ont parfois t prleves
sur les services les plus performants. L'usage des Indicateurs a donc
pouss rduire les diffrences par convergence vers la moyenne. Il s'agit
d'un effet pervers car on aurait pu esprer que les Indicateurs fassent
converger les performances vers l'excellence.
Un effet pervers apparat lorsqu'un indicateur encourage des
comportements contre-performants. Cela arrive si l'Indicateur rcompense
des rsultats non voulus, ou si le systme conduit les oprateurs travailler
pour l'Indicateur plutt que pour le rsultat. Il est invitable que des effets
pervers apparaissent au bout de deux ou trois ans de fonctionnement d'un
systme d'indicateurs, aussi bien conu soit-il. Ces drives ne sont
gnralement pas prvisibles.
L'apparition probable d'effets pervers ne doit pas tre un argument pour
refuser de mesurer les performances. En effet, il est relativement facile de
s'en protger, soit en modifiant l'indicateur qui pose problme, soit en
crant une procdure d'interprtation de l'indicateur par des panels
d'experts. L'important est donc de surveiller l'apparition des effets pervers
et de corriger le systme lorsque ces effets apparaissent.
Crer des incitations la performance
Il existe plusieurs faons d'utiliser des indicateurs pour inciter
l'amlioration des performances des oprateurs. On peut citer les
modalits suivantes :
Les oprateurs qui ont des performances faibles reoivent une
assistance technique spcifique pour les aider progresser. Si la
situation ne s'amliore pas, il y a restriction budgtaire. Cette modalit

fonctionne selon le principe qu'il ne faut pas punir l'erreur, mais plutt
l'Incapacit corriger ses erreurs.
Les oprateurs qui ont les meilleures performances bnficient d'une
autonomie plus grande et d'un allgement des contrles.
Les oprateurs qui ont les meilleures performances reoivent une aide
prsenter leurs ralisations et leurs rsultats au grand public.
Les oprateurs qui n'ont pas obtenu pas d'assez bonnes performances
sont carts des procdures de slection des projets venir, comme
dans l'exemple de l'encadr suivant.
Les oprateurs qui obtiennent les meilleures performances se voient
proposer une allocation budgtaire supplmentaire.
Encadr 43 - Slection des projets en fonction de l'efficacit
Dans le cadre du programme d'Objectif 2 pour la priode 1989-93 dans la Rgion
Pays-de-la-Loire, les actions du FSE taient gres par le Conseil rgional. Les
services du Conseil rgional ont appliqu la gestion du FSE une mthode de
slection des projets qui tait en vigueur pour leurs propres actions de formation.
Cette mthode repose sur une gestion de la performance et fonctionne de la
faon suivante.
Les organismes de formation qui font une premire demande de subvention sont
slectionns de faon peu svre sur la base de la qualit de leur projet. Ce
mcanisme de slection est exceptionnel, les demandes primaires tant rares.
Les organismes qui ont dj reu une aide et qui sollicitent une nouvelle
subvention (demandes secondaires) entrent dans le mcanisme normal de
slection des projets. Dans cette procdure normale, les subventions sont
attribues en priorit aux organismes qui obtiennent les meilleurs taux de
placement. Le systme de suivi impose tout organisme qui met en uvre une
formation subventionne de fournir la Rgion une valuation du taux de
placement de ses stagiaires aprs six mois.
Ce mcanisme a pour effet de privilgier les organismes qui sont les plus
l'coute des besoins des entreprises et qui ont les meilleurs impacts.
Conclusion
Le schma qui suit rassemble les principaux messages qui rsument cet
ouvrage. Il se prsente sous la forme d'un jeu d'hypothses qui sont faites,
souvent implicitement, lorsqu'on cre un systme d'indicateurs avec
l'intention d'amliorer les performances d'un programme.
Encadr 44 L'utilit d'un systme d'indicateurs
V
est construit
\ ^
Il reflte les objectifs et
les rend plus lisibles
Il produit
l'information dsire
'
L'information est
interprte correctement
'
L'information est utilise
pour inciter de
meilleures performances
/
/
'
Les effets pervers
sont surveills
/
/
Les responsables
prennent de
meilleures decisions
/
/
Le programme est
plus performant
L'information est diffuse

au public
'
1
1
1
Les citoyens sont

mme de se faire
une opinion
L'intrt de ce schma est de montrer que la construction d'un systme

d'indicateurs n'est qu'une premire tape. Au moins six autres tapes
interviennent pour que le systme soit vritablement utile. Il faut donc traiter
la premire tape de faon simple et pragmatique en gardant toujours la
perspective de poursuivre l'effort jusqu'au bout de toutes les autres tapes.
Annexes
Annexe 1 : Bibliographie gnrale

La bibliographie relative aux indicateurs est immense. Les titres qui figurent
ci-dessous ont t slectionns en raison de leur caractre gnral et de
leur publication rcente.
Auditor General of Canada (1997), Reporting Performance
in the
Expenditure Mangagement Sysytem, Report of the Auditor General
of Canada to the House of Commons, Chapter 5.
Auditor General of Canada (1997), Moving towards Managing for Results,
Report of the Auditor General of Canada to the House of Commons,
Chapter 11.
Bone, J., Carter, N. (1997), On the Performance of Performance Indicators,
Communication au colloque International sur l'valuation des
politiques publiques de l'cole normale suprieure de Cachan, 5 /
6 Fvrier 1997.
Boyle, R. (1996), Designing and using performance
Institute of Public Administration.
indicators,
Dublin :
Burt Perrin Associates (1997), ' Evaluation in Partnership : The May, 1997
Canadian Evaluation Society Conference ' in : Evaluation 3(3), 377379.
Carter, N., Klein, R. and Day, P. (1992), How Organisations Measure
Success : the Use of Performance Indicators in Government,
London : Routledge.
Commission europenne (1994), Le rapport europen sur les indicateurs
scientifiques et technologiques, Srie : Sciences et technologies
nuclaires, Luxembourg : Office des publications officielles des
Communauts europennes.
Commission europenne (1995), Orientations communes pour le suivi et les
valuations intermdiaires, Luxembourg : Office des publications
Conseil du Trsor du Canada (1997), Rendre compte des rsultats, Rapport
annuel au Parlement, Direction des affaires publiques, Secrtariat
du Conseil du Trsor du Canada.
Derosires, A. (1997), ' Reflter ou instituer : l'invention des indicateurs

statistiques ', in : Dupoirier E. et Parodo J.L. Les indicateurs socioconomiques aujourd'hui, Paris : L'Harmattan, 15-34.
Halachmi, ., Bouckaert, G. (Eds) (1995), Public Productivity through
Quality and Strategic Management, Amsterdam : IOS press.
Hatry, H .R, Fall, M., Singer, TO., Liner, E.B. (1990), Monitoring the
outcomes of economic
development
programs. A manual,
Washington, D.C. : The Urban Institute Press.
Henry, G., McTaggart, M., Macmillan, J. (1992) 'Establishing benchmarks
for outcome indicators, a statistical approach to developping
performance standards', in : Evaluation review, 16(2), 131-150.
Inns De Neufville, J.E. (1994), Knowledge and Policy, the Search for
Meaningful Indicators, New Brunswick : Transaction Publishers.
Kumar, K. (1995) , Measuring the Performance of Agricultural and R ural
Development Programs in Evaluation And Development. The
proceedings of the 1994 World Bank Conference, Washington,
D.C. : The International Bank for Reconstruction and Development.
OCDE (1994), 'Mesure des performances et gestlon axe sur les rsultats',
Gestion
publique : La gestion
des performances
dans
l'administration, Collection Etudes H ors Srie, 3. Paris : OCDE.
OCDE (1994), Crer des indicateurs
territoriale, Paris : OCDE.
OCDE
ruraux pour
tayer la
politique
(1994), Making Education Count : Developing and Using

International Indicators. Washington, D.C. : Centre for Educational
Research and Innovation.
Polliti, C. (1986), 'Performance Measurement in the Public Services : Some

Political Implications', in : Parlamentary Affairs, 39 (3) pp 315-329.
Oxford University Press.
Polliti, C , Summa, H . (1995), Performance Audit : Travellers' Tales', paper
presented at The Canadian Evaluation Society and the American
Evaluation Society Conference, Octobre 1995.
Newcomer, K.E. (1997) 'Using Performance Measurement to Improve
Programs', in : New Directions for Evaluation, (75), 5-14.
Annexes
Salzer, M Nixon, CT., Schut, L.J.A., Karver, M.S, Bickman, L. (1997),

Validating qualtiy indicators. Quality as relationship
between
structure, process, and outcome, in : Evaluation Review, 21(3),
London : Sage Publications, 292-309.
Sorber, A. (1993), 'Performance measurement in the Central Government
Departments of the Netherlands', In : Public Productivity and
Management Review, 17(1).
United
Nations
Monitoring
Series.
Development Programme (1997),

Results-oriented
and Evaluation, New York : UNDP, OESP Handbook
Vakkuri, J., Meklin, P. (1997), Risks in value for money-related

performance
measurement, Leuven : Confrence annuelle du Groupe Europen
d'Administration Publique.
Whoiey, J.S., Newcomer, K.E. (1997) 'Clarifying Goals, Reporting Results',
in : New Directions for Evaluation, (75), 91-98.
Wishlade, F, YuII, D. (1997), Measuring disparities for area designation
purposes : issues for the European Union, Regional and Industrial
Research Paper Series, N24. Glasgow : European Policies Centre,
University of Strathclyde.
World Bank - Operations Evaluation Department (1997), Evaluating
Development Operations: Methods for Judging Outcomes and
Impacts, in : Lessons & Practices, (10), Washington: World Bank,
OED.
Annexe 2 : Leons de l'exprience internationale

L'exprience internationale en matire d'indicateurs est vaste et ancienne.
A l'origine de tous les dveloppements, on retrouve le succs de quelques
grands indicateurs macroconomiques (PIB, indice des prix, taux de
chmage). Dans les annes 70, ce succs a suscit un mouvement pour le
dveloppement d'indicateurs sociaux qui a mobilis une nergie
considrable et a conduit des dceptions de mme ampleur. Les leons
de cette longue exprience sont abondantes et ont t solidement tablies.
On pourrait presque les rsumer par les titres des trois publications
marquantes de Judith Inns de Neufville : Social indicators and public
policy: interactive
processes
of design and application (1975) ;
Disappointments and Legacies of Social Indicators.(1989) ; Knowledge and
Policy : the Search for Meaningful Indicators (1994).
Tandis que de nouveaux dveloppements plus rcents apparaissent sous
la bannire de la mesure des performances , certaines institutions
publiques continuent d'investir dans les indicateurs, parfois massivement.
Par exemple, l'ONU et la Banque Mondiale ont lanc un projet de 2 millions
d'euros pour dvelopper un systme d'indicateurs du milieu urbain.
Les pays qui suivent ne peuvent donner qu'une vision trs partielle de
l'exprience accumule. Les exemples choisis ont t slectionns en
raison de similitudes avec le thme de cet ouvrage.
les Indicateurs de la Science et de la Technologie la Commission
Investissement
m
a ssif
Dans un premier temps, de 1988 1992, la Commission europenne (DG

XII) a constitu un rseau d'experts sur la base d'un spcialiste par pays.
Ce rseau a tenu deux runions par an pendant quatre ans sous l'gide du
programme MONITOR. Deux grandes confrences ont t organises
Paris et Leiden (environ 100 participants). L'investissement de la
Commission dans ce rseau reprsentait environ 4 personne mois par an.
Une partie de l'animation du rseau tait soustraite un consultant
externe. La Commission a cess de financer le rseau la fin du
programme MONITOR, mais une nouvelle runion s'est cependant tenue
Anvers rcemment, sans le soutien de la Commission.
A la suite de ce premier investissement, la DG XII a cr une unit
Indicateurs qui reprsente un investissement de 30 70 personne
mois selon les annes et qui soustraite des tches de nombreux
consultants. L'unit dite un rapport d'environ 400 pages tous les deux ans
(dernires ditions en 1994 et 1996). Ce rapport prsente des indicateurs
du contexte de la recherche dans 50 pays ainsi que des indicateurs de
ressources, ralisations, rsultats et impact de la politique europenne
(programme cadre). Il s'appuie en partie sur les travaux d'Eurostat qui
consacre un part importante de ses ressources aux indicateurs de la
science et de la technologie (ex REDIS News, Research and Development :
annual statistics).
Environnement
international
trs favorable
Il existe une forte convergence d'intrt entre la Commission et certains

pays membres. La France a cr un Observatoire de la Science et de la
Technologie qui publie un rapport similaire celui de la Commission, les
Pays Bas font galement un investissement important avec le programme
MERIT, l'Allemagne a dvelopp des enqutes systmatiques sur l'effort de
recherche et d'Innovation.
Par ailleurs, la Commission et les pays europens ont t prcds sur
beaucoup de plans par les Etats Unis qui ont investi de faon publique
(NSF) ou prive (Science Citation Index) dans les indicateurs de la S&T.
L'OCDE a galement investi depuis plus de vingt ans dans la mesure de la
science et de la technologie (manuels Frascati et manuel d'Oslo).
On constate donc que les efforts de la Commission dans le domaine des
indicateurs de la science et de la technologie ont t aids et encourags
par ies efforts au moins aussi importants et souvent antrieurs qui ont t
faits aux USA, dans certains Etats membres et l'OCDE.
Difficults de la rgionalisation
des indicateurs
En 1993 et 1994, une commission interservices a fait un inventaire complet

des possibilits de rgionaliser les indicateurs de la R&D. Ces travaux ont
fait l'objet d'un rapport et ont permis d'insrer dans les publications de la
DG XII un chapitre sur les indicateurs rgionaux de la R&D.
La commission interservices a slectionn attentivement tous les
indicateurs qui pouvaient tre quantifis au niveau rgional et qui avaient un
potentiel d'information pour les politiques rgionales. En fin de compte,
relativement peu d'indicateurs ont pu tre rgionaliss : Dpenses de R&D,
emploi de R&D, brevets, et la quantification a rarement t dcompose en
dessous du niveau NUTS 2. Ces rsultats limits refltent la difficult du
travail de rgionalisation des indicateurs.
Annexes
Les indicateurs internationaux de l'OCDE

Vingt ans d'efforts dans le champ de
l'ducation
L'OCDE a investi de faon massive dans le champ des indicateurs de

l'ducation par l'Intermdiaire de son Centre for Educational Research and
Innovation. L'effort remonte au dbut des annes 70 et prenait place dans
le mouvement des indicateurs sociaux.
Les ambitions initiales taient trs grandes. Les dceptions qui sont
apparues la fin des annes 70 ont failli coter la vie au programme.
L'analyse actuelle de ce revers est la suivante : les proccupations de
recherche ont prdomin, les indicateurs voulaient montrer trop de choses
et ils n'avaient pas assez de lien direct avec des enjeux politiques majeurs.
Le travail a repris l'initiative du gouvernement amricain qui s'est
fortement impliqu dans l'amlioration de l'efficacit de l'ducation partir
de 1983. Vers la fin des annes 80, l'OCDE a relanc son programme de
dveloppement d'indicateurs par l'Intermdiaire d'une srie de confrences
internationales avec le support de pays fortement volontaires (USA,
France,...). Le programme a abouti de nombreux rsultats en 4 ans (au
moins 7 publications significatives dont Education at a Glance, OECD
Indicators ).
A l'inverse des ambitions initiales, les travaux actuels sont considrs par
l'OCDE comme trs pragmatiques. Le systme d'indicateurs a t construit
en l'absence de tout modle thorique cohrent. La thorie reste faire, si
tant est qu'elle soit faite un jour dans un champ aussi sensible.
Les autres champs dans lesquels l'OCDE a fait un investissement Important
en termes d'indicateurs sont les suivants : Science et Technologie, Sant,
Aide au dveloppement, Environnement, Tourisme, Pche. La mthode de
travail est peu prs la mme que celle qui a t suivie dans le champ de
l'ducation :
l'Initiative est appuye par un ou plusieurs pays fortement Impliqus dans
le dveloppement d'un systme d'indicateurs pour leur propre compte ;
un groupe de travail international est constitu pour ngocier un langage
commun et fixer des objectifs pragmatiques, ce groupe se runit pendant
plusieurs annes ;
un questionnaire dtaill est envoy aux Etats membres qui fournissent
la meilleure quantification possible des indicateurs slectionns par le
groupe de travail ;
un premier annuaire est publi avec des informations partiellement ou

totalement manquantes pour plusieurs pays ;
tous les pays compltent progressivement leurs statistiques pour se
joindre au projet.
Le dveloppement des systmes d'indicateurs est trs progressif. Par
exemple, les premiers annuaires du champ de l'environnement contiennent
des indicateurs qui sont nouveaux pour beaucoup de pays. La qualit de
leur quantification est trs ingale. Cependant les annuaires agissent
comme des modles suivre et les Etats membres s'quipent
progressivement pour tre en mesure de rpondre aux questionnaires de
l'OCDE et obtenir ainsi des rfrences de comparaison internationales.
Rgionalisation et territorialisation des statistiques
L'OCDE a un service du dveloppement territorial qui est potentiellement
intress par les indicateurs dvelopps pour les Fonds Structurels.
Cependant, la seule avance de l'OCDE dans ce champ a concern le
dveloppement rural.
Le Programme de Dveloppement rural de l'OCDE a t lanc en 1991. Il a mis
au point un ensemble d'indicateurs concernant la population (densit,
volution, structure, mnages), de l'conomie (population active, emploi,
structure sectorielle, productivit et investissement), du bien-tre social (revenu,
logement, ducation, sant et scurit) et de l'environnement (topographie et
climat, utilisation des sols, habitats et espces, sols et eau, qualit de l'air). Une
base de donne d'indicateurs ruraux donne des Informations
internationalement comparables pour des catgories de territoires
correspondant essentiellement des degrs de densit de population.
Si l'OCDE n'a pas dvelopp d'autres Indicateurs territoriaux, c'est
probablement parce que l'Organisation est compose d'Etats et n'a pas
pour vocation s'intresser au niveau rgional. La rgionalisation des
systmes d'indicateurs pourrait se justifier dans le cadre d'une coopration
dans le champ des politiques rgionales des Etats membres, mais cette
coopration est assez rduite. La raison en est que si l'Europe et le Canada
ont des politiques rgionales significatives, les Etats Unis n'en ont pas.
Les Indicateurs de suivi et d'valuation la Banque Mondiale
Les oprations finances par la Banque reprsentent un montant de
dpenses annuelles sensiblement quivalent celui des Fonds structurels.
Annexes
Les oprations font l'objet de rapports d'autovaluation systmatiques par

les dpartements oprationnels en fin de ralisation. Ces rapports sont
confronts l'avis des Etats emprunteurs. Environ 280 rapports
d'autovaluation sont produits tous les ans.
La Banque a un dpartement d'valuation des oprations (OED) dont les
principales activits sont la contre-valuation (environ un quart des
rapports fournis par les dpartements oprationnels font l'objet d'une
vrification sur le terrain), les retours sur le terrain aprs cinq ans
(environ 10% des oprations), l'approfondissement de certains thmes (ex :
participation des femmes), les valuations par pays et la vrification
priodique des procdures de suivi et d'valuation.
Le systme d'information de la Banque a longtemps privilgi le volume
des engagements financiers et les indicateurs de ralisations physiques. Un
tournant a t pris en 1992 la suite du rapport Wapenhans qui
recommandait de mieux prendre en compte les rsultats sur le terrain .
La Banque a alors entrepris d'tablir des menus d'indicateurs de rsultat et
d'Impact par champ. Chaque service sectoriel a publi son menu
d'indicateurs dans les annes 1993-94, auquel s'ajoute un recueil
d'Indicateurs gnriques.
Ces travaux ont t consults et utiliss dans le cadre de la prsente tude.
Leur qualit est peu homogne, beaucoup sont plus orients vers la
description du contexte que vers que les rsultats et les Impacts sur le
terrain. Par ailleurs, ces menus sont gnralement abondants mais peu
relis aux objectifs de la Banque.
L'OED a fait rcemment un audit de la pratique de suivi / valuation de la
Banque. Il en ressort que l'utilisation des Indicateurs a t trs en dessous
des ambitions affiches. Cependant, en quelques annes, la proportion des
oprations utilisant des indicateurs de rsultat et d'Impact est passe de 12
36%.
Sans renoncer faire progresser ses menus d'indicateurs sectoriels, la
Banque met maintenant l'accent sur l'emploi d'un nombre minimum
d'indicateurs spcifiques chaque opration et construits par rfrence
la logique propre chaque opration, avec l'aide de la mthode du cadre
logique. Les efforts vont dans le sens d'une trs forte dconcentration du
dveloppement des Indicateurs. Plutt que d'unifier les systmes
d'Indicateurs, il s'agit d'unifier les dmarches de construction des
indicateurs par les responsables d'oprations. Dans cette dmarche
bottom-up , le souci de comparabilit vient maintenant au second plan.

Les consignes donnes par l'OED sont actuellement les suivantes :
utiliser un trs petit nombre d'indicateurs pour chaque opration (entre
dix et vingt), ces indicateurs devant couvrir toutes les tapes logiques :
moyens, ralisations, rsultats et impact,
privilgier les indicateurs de risque, ceux qui sont susceptibles de donner
l'alerte en cas de dfaillance de l'opration.
Les Indicateurs de performance l'Audit Commission
Dveloppement
combinant l'obligation
et le
partenariat
En juillet 1991, le gouvernement britannique a lanc les Chartes du

Citoyen , une Initiative dont le but tait d'amliorer la qualit des services
dans le secteur public. L'un des points cls de cette initiative tait la mise
au point et l'utilisation d'indicateurs de ralisation et de rsultat. L'Audit
Commission est responsable du dveloppement et du pilotage d'un
systme d'indicateurs qui s'applique environ mille autorits locales en
Angleterre et Pays de Galles. Les rles de la Commission et des autorits
locales varient selon les cas :
En premier abord, les autorits locales sont toujours encourages fixer
elles-mmes leurs objectifs de ralisations et de rsultats et choisir les
indicateurs appropris pour en assurer le suivi.
Dans certains cas, la Commission fixe les indicateurs et la manire de les
quantifier, mais ne dfinit pas d'objectifs.
La Commission peut aussi, de faon plus autoritaire, dcider que certains
indicateurs doivent tre quantifis et que les autorits locales doivent fixer
leurs propres objectifs pour ces indicateurs.
En dernier ressort, la Commission peut dcider la fols des Indicateurs et
des objectifs.
Chaque anne, l'Audit Commission publie un manuel avec la liste dtaille
des Indicateurs qui devront tre mesurs par les autorits locales pendant
l'anne fiscale venir. Leur nombre total est de l'ordre de 200. Aucune
autorit n'est tenue de quantifier plus de 130 indicateurs. Les autorits
locales sont lgalement tenues de publier leurs mesures de performance
dans les journaux locaux. La Commission se donne, de faon rgulire, les
moyens de s'assurer que les systmes adquats sont en place et
produisent une information exacte.
Annexes
La Commission produit un rapport annuel en trois volumes (Local Authority

Performance), qui prsente et synthtise toutes les donnes lies la
performance, et donne les moyennes au niveau national. Les indicateurs de
performance sont aussi disponibles sur disquette informatique. Un rapport
restreint se concentre sur une quarantaine d'Indicateurs comparables
agrgs au niveau national. Ce rapport comprend entre un et cinq
indicateurs pour chacun des quinze champs suivants : Education, Social,
Bibliothques, Gestion des dpenses, Logement social, Recyclage,
Planification, Recouvrement de l'impt, Inspection des locaux alimentaires,
Qualit du traitement des plaintes, des appels de la Police et des Urgences,
Crimes et Recherches, Ressources de la Police et des Pompiers. Pour
prendre un exemple, le pourcentage de dchets mnagers recycls est un
des Indicateurs du champ Recyclage .
Dlai de mise en place des nouveaux
indicateurs
Pour mettre jour et amliorer le systme, la Commission procde des

changes approfondis avec les autorits locales, les groupes de
consommateurs, les services gouvernementaux, les corps professionnels,
et autres parties prenantes. Elle fait aussi appel des consultants pour
mener des enqutes nationales destines connatre ce qu'il est important
de mesurer, ce qu'on entend par bonne performance, ce qu'il convient de
publier etc.
L'introduction d'un nouvel indicateur demande environ quatre ans selon le
calendrier suivant :
Septembre
Consultation et enqute
Dcembre
Edition de la ligne suivre par la Commission
Anne 2
Mars
Dbut de la mesure de performance par les

Autorits Locales
Anne 3
Mars
Premire mesure de performance
Dcembre
Publication des mesures de performance dans

les journaux locaux
Mars
Apparition des mesures de performance dans

le rapport annuel national
Anne 1
Anne 4
Les indicateurs d'ligibilit de la politique rgionale allemande

Il semble que l'Allemagne soit le pays europen le plus en avance pour ce
qui est de l'utilisation des statistiques des fins de politique rgionale.
Depuis des annes, les statistiques locales et rgionales ont fait l'objet d'un
Investissement long terme et d'une utilisation effective dans la conception
des politiques. Les lignes qui suivent tentent de rsumer une pratique
ancienne et varie.
Utilisation des indicateurs pour
l'ligibilit
Le Ministre allemand de la Planification Territoriale est en partie

responsable de la Tche commune (Gemeinschaftsaufgabe), qui
constitue la Politique Rgionale Allemande. Cette politique est mene de
faon intergouvernementale par l'intermdiaire d'un comit de planification
qui rassemble les ministres des deux niveaux (Fdral et Lnder).
Traditionnellement, les zones ligibles un soutien rgional sont
dtermines de faon rigoureuse sur la base d'un systme d'indicateurs.
Ce systme est priodiquement rvis sous la responsabilit du comit de
planification et d'un sous-comit d'experts. La dernire rvision a mobilis
plusieurs instituts : Bundesforschungsanstalt fr Landeskunde und
Raumordnung (BFLR) - Bonn, Institut fr Raumplanung - Dortmund, et
Institut fr Arbeitsmarkt und Berufsforschung - Nrnberg.
Le systme actuel comprend quatre indicateurs cls : taux de chmage,
niveau des salaires, index des infrastructures (voir cl aprs) et prvisions de
la demande en main d'uvre. L'index des infrastructures est un des
indicateurs cls de la politique rgionale depuis les annes 1980. Dans sa
forme originelle, l'index tait compos de 22 sous-indicateurs. Le nouvel
index ne mrite plus tout fait son appellation initiale. Il comprend 10 sousndlcateurs : 4 dans le champ du transport, 5 dans le champ des ressources
humaines, et un Indicateur de densit de population.
Pour le transport, les quatre indicateurs sont les suivants : accessibilit en
voiture au centre rgional le plus proche, accessibilit en train au centre
rgional le plus proche, accessibilit par tout moyen aux principales
mtropoles europennes (voir paragraphe suivant), temps d'accs au
centre d'change rail/route le plus proche. Pour les ressources humaines,
les cinq indicateurs sont les suivants : nombre de jeunes en formation
professionnelle excdant les capacits de l'industrie locale, nombre de
place de formation professionnelle dans les tablissements publics
rgionaux, pourcentage de la population active rgionale ayant bnfici
d'une formation professionnelle, pourcentage de la population active
rgionale ayant bnfici d'une formation technique.
Annexes
Les indicateurs
d'accessibilit
Le BFLR calcule un indicateur d'accessibilit aux 34 villes europennes les

plus importantes, par le moyen de transport le meilleur. L'Indicateur est
calcul au moyen d'un modle associ une base de donne europenne.
Il s'applique aux villes principales de toutes les zones NUTS 3 dans tous
les Etats membres. Cet Indicateur apparaissait dj dans une tude pour la
DG XVI en 1992. La dernire quantification date de 1995.
Les indicateurs d'accessibilit sont utiliss des fins d'ligibilit. Ils sont
aussi trs utiles lors des valuations ex ante. Par exemple, une tude
rcente du BFLR estim le gain d'accessibilit rsultant de deux
programmes d'Infrastructures de base dans les nouveaux Lnder. Le
premier programme concernait 11 nouvelles lignes de chemin de fer reliant
les Lnder de l'Ouest et ceux de l'Est. Le second programme tait
compos de projets autoroutiers. L'valuation a montr une augmentation
d'accessibilit beaucoup plus grande dans le cas du premier programme
que dans le cas du second. Il n'y a pas d'exemple d'utilisation des
indicateurs d'accessibilit pour des valuations intermdiaires ou ex post.
Une approche originale pour la rgionalisation des statistiques
En plus de ses responsabilits relatives aux indicateurs de Politique
Rgionale, le BFLR gre une base rgionale de donnes statistiques,
semblable la base de donnes REGIO d'Eurostat. Ces statistiques
rgionales sont nes en 1975. A cette poque, on s'est aperu que les
offices statistiques allemands talent organiss d'une faon qui empchait
toute comparaison au niveau infrieur la Rgion. De fait, l'office fdral
est seulement responsable de la comparabilit des statistiques au niveau
des Lnder. Seuls les offices des Lnder sont comptents pour harmoniser
les dfinitions au niveau sous-rglonal. Aujourd'hui, en partie grce aux
efforts du BFLR, 95% des donnes locales sont comparables. Le BFLR
commande aux offices statistiques des Lnder des sries temporelles
spciales (par exemple : flux migratoire entrant / sortant). Ces commandes
se montent environ 100.000 euro/an. Le BFLR apporte galement son
soutien la collecte des donnes au niveau sous-rglonal.
Les donnes rgionales sont diffuses par plusieurs canaux : publication
d'un rapport statistique de 300 pages tous les deux ans, fourniture de
donnes aux diffrents ministres et aux socits prives et centres
acadmiques qui peuvent se procurer des disquettes mises jour un prix
raisonnable (env. 100 clients/an).
La base de donnes repose en partie sur un systme rgional d'observation

qui rassemble les donnes au travers d'enqutes rgulires sur des
chantillons d'environ 4 000 mnages. Les questions concernent la
population, la mobilit, le logement, l'environnement social, les trangers,
etc.. Du fait de la mthode utilise pour rassembler les donnes, le
systme ne fournit pas de statistiques sur des zones particulires, mais
seulement pour un petit nombre de catgories de zones. Les principales
catgories (type d'habitat) combinent le caractre plus ou moins central de
la rgion et la densit de la population locale.
En restant proche du champ de la Politique Rgionale, le BFLR entreprend
actuellement un travail trs intressant sur les statistiques intra urbaines. Le
but de ce travail est de fournir des donnes sur la population, le logement,
l'utilisation des terres et la mobilit selon les diffrentes catgories de zones
urbaines (centre ville, banlieues etc.). Le BFLR a cr un rseau de 60 villes
volontaires et mis au point une premire liste de sries statistiques
collecter. Au bout de quelques annes de partenariat, 35 villes fournissent
toutes les donnes ncessaires. Ce projet produit des donnes
comparables et des moyennes nationales. Il attire de plus en plus de villes
volontaires. Un processus similaire a t lanc par Eurostat dans le mme
champ l'chelle europenne.
Annexe 3 : Indicateurs des programmes de la priode

1994-99: un tat de l'art
Les lments prsents dans cette annexe proviennent d'un recensement des
indicateurs qui sont cits le plus frquemment dans les documents de
programmation de l'Objectif 1 et de l'Objectif 5b pour la priode 1994-99. Ce
recensement s'est limit treize interventions typiques couvrant et les
secteurs les plus importants au plan budgtaire. La liste ainsi constitue a t
soumise l'avis d'une cinquantaine de professionnels connaissant bien les
Fonds structurels auxquels qui il a t demand de slectionner les indicateurs
considrs comme ralistes et pertinents. Cette slection donne une vue de
l'tat de l'art sur la question des indicateurs au niveau des annes 90.
Infrastructures de base
Indicateur
Dfinition - Unit
Application
Longueur de
voles
Km de voies raliss /amliors

dcompos par type de voie :
route, autoroute, voie ferre
standard, voie ferre grande
vitesse, etc.
Transport
Route, autoroute,
chemin de fer
Temps de
parcours
Heures de parcours
entre deux points.
Diminution de temps en %
Transport tous modes
Heures de
transport
Nombre total d'heures gagnes

par an par les utilisateurs
Transport tous modes
Population
desservie
Nombre de mnages desservis.
Eau & environnement

Rseaux de distribution
d'eau / rseaux de gaz /
rseaux d'lectricit
Consom
mation d'eau
M3 (milliers) d'eau consomms

par anne par mnage.
Eau & environnement

Rseaux de distribution d'eau
Equipements
de traitement
de matires
rsiduelles
Nombre d'units de traitement

installes.
Eau & environnement

Traitement de dchets/ des
eaux rsidualres
Volume de
matires
rsiduelles
Tonnes de matires rsiduelles

traites par an
Dcompos par type de traitement
(incinration, recyclage)
Eau & environnement

Traitements de dchets
Ressources humaines
Indicateur
Dfinition - Unit
Application
Heures de
formation
proposes
Dure (heures) des formations

finances
Dcompos par type de
programmes de formation
Formation
Stagiaires
ayant suivi
la formation
Dcompos par statut du
stagiaire sur le march du
travail (chmeurs, chmeurs de
longue dure, salaris,
employeurs)
Formation / R&D
Taux de
placement
Proportion de stagiaires qui ont

trouv un emploi
Dcompos par type de
bnficiaire (homme / femme,
ge,...)
Formation
Taux de
couverture
Proportion du public eligible

(ex : chmeurs de longue dure
qui a t recrute par le
programme)
Formation
Annexes
Indicateur
Dfinition - Unit
Application
Partenariats
entre
recherche
et entreprise
participant des projets
conjoints de recherche, en
partenariat avec un centre de
Recherche & Dveloppement.
Mesures de promotion de la
recherche et de l'innovation
Surface de
zones
d'activit
amnage
Taux
d'occupation
des zones
d'activit
Taux de
survie des
entreprises
Hectares
Dcompos par type de zones
(amnagement nouveau ou
ramnagement de friches)
Superficie construite en
pourcentage de la superficie
constructible.
Mesures pour l'amnagement

des zones d'activit
Nombre d'entreprises qui

restent en activit par rapport
au total des entreprises aides
Dcompos selon la dure de
la priode d'observation
(2 ans, 5 ans)
En euro, montant des
investissements gnrs par les
units conomiques aides
En euro, valeur ajoute gnre
par les units conomiques aides
En euro, montant de chiffre
d'affaires gnr l'exportation
dans les units conomiques
aides
Dcompos par taille (PME, autres)
et par secteur d'activit
Nombre
Dcompos par taille (PME, autres)
Mesures d'aide la cration

d'entreprises
Investissement
gnr
Valeur ajoute
/ salari
Chiffre
d'affaires
l'exportation
Mesures pour l'amnagement

des zones d'activit
Toutes mesures
Toutes mesures
Mesures de promotion
des exportations
Toutes mesures comportant

Units
une aide
conomiques
aides
Mesures de promotion de la
Oprations de Nombre
qualit
promotion de
la qualit
Mesures de protection de
Superficie en hectares
Surface de
l'environnement rural
sites protgs
Mesures de protection de
Nombre
de
visiteurs
par
an
Visiteurs des
l'environnement rural
sites protgs
Emplois crs Nombre d'emplois crs grce Toutes mesures comportant
l'aide octroye aux units
; une aide
conomiques aides
1
Annexe 4 : Grille d'apprciation de la qualit

d'un systme d'indicateurs
Cette annexe propose une procdure pour l'analyse du systme
d'Indicateurs d'un programme et pour l'apprciation de sa qualit. La
procdure se droule en sept tapes.
Dlimiter le systme apprcier (1)
Prciser le document sur lequel porte l'analyse. Ces documents peuvent
comprendre par exemple :
du document de programmation (DOCUP) et de ses annexes
d'une base de donnes utilise par les gestionnaires du programme
d'un ou de plusieurs rapports remis au Comit de suivi
d'un rapport publi par un observatoire
Dcouper le systme en composantes homognes (2)
Une composante est homogne si :
il est possible d'appliquer un mme indicateur de ralisation tous les
projets ;
tous les projets s'adressent un mme public cible.
Les composantes homognes sont gnralement les mesures ou les
actions.
Pour chaque composante homogne, on note le budget qui lui est allou
dans le programme et son poids budgtaire en %. Les tapes suivantes de
3 6 se font pour chaque composante homogne.
Identifier et compter les indicateurs (3)
On recherche dans les documents analyss toutes les informations qui
peuvent tre qualifies d'indicateurs. Toute information quantitative est
susceptible d'tre un indicateur.
Comment compter les indicateurs d'un systme ?

On adopte les conventions suivantes :
un Indicateur dcompos est compt comme un seul indicateur (ex. : tableau
du nombre de dossiers dcompos par an et par public cible)
si un indicateur fait l'objet d'une deuxime dcomposition, on compte un
deuxime indicateur (ex. : tableau du nombre de dossiers dcompos par an
et par territoire)
un indicateur composite est compt comme un seul Indicateur si ses
composantes ne sont pas quantifies sparment et comme plusieurs
Indicateurs dans le cas contraire.
A la suite de cette tape, on calcule, pour chaque composant, le ratio de

densit d'indicateurs (nombre d'indicateurs / dpense totale
programme en centaines de millions d'euros. Ce ratio est un lment
d'apprciation de la pertinence du systme. La densit d'indicateurs doit
en effet tre homogne. Elle peut aussi tre plus Importante pour les
mesures les plus stratgiques.
Classer les indicateurs par catgorie (4)
Lorsque l'on a identifi un indicateur, il convient de le ranger dans une des
quatre catgories
: ressources, ralisations, rsultats, impacts
conformment aux dfinitions de cet ouvrage.
A la suite de cette tape, on peut compter, pour l'ensemble du programme,
le pourcentage des composantes qui ont au moins un indicateur de rsultat
ou d'Impacts.
Attribuer une note de qualit chaque indicateur (5)
Chaque indicateur est not de 0 3 selon les critres de qualit
applicables : disponibilit, fracheur, sensibilit, fiabilit, comparabilit,
normativit, signification.
Notation multicritre de chaque composante (6)
Pour chaque composante, on fait la moyenne des notes par critre
(disponibilit, fracheur, sensibilit, fiabilit, comparabilit, normativit,
signification) et par catgorie d'indicateurs (ressources, ralisations,
rsultats, impacts), puis la moyenne des notes par catgories. Le rsultat
se reprsente, par exemple, sous la forme du tableau suivant :
Annexes
N o t e m o y e n r e des indi cateurs d'une c o m p o s a n t e

Catgorie
Nombre
d'indie.
Note moyenne par critre

et par catgorie
crit.1
Note par
catgorie
crit. 2
crit. 7
Ressources
3,0
3,0
3,0
3,0
Ralisations
10
3,0
2,5
2,2
Rsultats
2,1
1,1
0,9
1,2
Impacts
0,0
Moyenne
1,6
Cette procdure permet de donner la note maximum une composante qui

n'a qu'un seul indicateur dans chacune des quatre catgories, condition
que ces indicateurs soient de bonne qualit. La note moyenne diminue si
on ajoute des indicateurs supplmentaires et qu'ils sont de moins bonne
qualit. Cette procdure de notation privilgie donc la qualit du systme
et non la quantit d'indicateurs.
Par ailleurs, la note moyenne diminue fortement s'il n'y a pas d'Indicateur
de rsultat ou d'Impact.
Attribuer une note globale l'ensemble du systme (7)
La note globale de l'ensemble du systme est la note moyenne pondre
des indicateurs de toutes les composantes. Il s'agit des notes obtenues
l'tape 6 pondres par le poids budgtaire des composantes
correspondantes (cf. tape 2).
La procdure d'apprciation dcrite ci-dessus intgre, dans sa
construction mme, les critres d'apprciation d'ensemble du systme :
couverture, quilibre, slectivit et pertinence (cf. Encadr 33).
Annexe 5 : Liste des exemples

Exemple 1 :
Exemple 2 :
Nouvelle section d'autoroute assurant la connexion

entre A et
57
Amlioration d'une ligne de chemin de fer entre A et B,

permettant la circulation de trains grande vitesse
58
Exemple 3 :
Extension d'un aroport rgional
59
Exemple 4 :
Amlioration d'un terminal de conteneurs de port

maritime
60
Exemple 5 :
Amlioration d'une ligne ferroviaire pour des activits

de fret
61
Exemple 6 :
Construction d'une plateforme intermodale (rail / route)
61
Exemple 7 :
Nouvelle usine lectrique utilisant les gaz fossiles
68
Exemple 8 :
Construction ou amlioration d'un rseau de
Exemple 9 :
distribution d'lectricit
69
Amlioration d'un rseau de distribution de gaz
70
Exemple 10 : Financement de l'apprentissage d'un nouveau mtier

pour des chmeurs de longue dure
Exemple 11 : Programme de certification pour des jeunes de faible
niveau de qualification
76
77
Exemple 12 : Aide aux entreprises pour l'adaptation

des comptences de leurs salaris
78
Exemple 13 : Aide la cration et l'amlioration des hbergements ....84

Exemple 14 : Aide la cration d'quipements (muses, parcs
d'attraction etc.)
85
Exemple 15 : Financement de formations aux langues
86
Exemple 16 : Subventions pour les exploitations aquacoles
92
Exemplei 7 :
Subventions pour le dsarmement des bateaux de

pche
93
Exemple18:
Modernisation d'un port de pche
94
ExempIeW :
Formations suivies par des pcheurs en reconversion
95
Exemple 20 : Aide un parc scientifique et technologique

pour les PME
104
Exemple 21 : Aide financire et informationnelle l'acquisition de

technologie par les PME
105
Exemple 22 : Aide la recherche universitaire
106
Exemple 23 : Aide financire l'installation de jeunes agriculteurs
113
Exemple 24 : Investissement aid dans les usines de transformation

de produits agricoles
Exemple 25 : Rhabilitation de village - projets publics et privs
114
115
Exemple 26 : Aide la cration d'hbergement touristique dans

les fermes
116
Exemple 27 : Cration ou rhabilitation de malsons de quartiers
122
Exemple 28 : Amlioration du systme de distribution d'eau
128
Exemple 29 : Construction de stations d'puration
129
Exemple 30 : Amlioration d'installations de traitement des dchets

mnagers
:
Exemple 31 : Aide aux nouvelles PME fournissant des biens et
130
services environnementaux
131
Exemple 32 : Construction d'une liaison interurbaine entre A et
132
Exemple 33 : Dploiement d'un rseau large bande hybride fibre

coaxial (H FC)
138
Exemple 34 : Amlioration d'un rseau existant bande troite avec

la technologie ASDL
139
Exemple 35 : Installation d'un centre de tltravail en banlieue
140
Exemple 36 : Projet de formation professionnelle en ligne
141
Exemple 37 : Aide aux crateurs d'entreprises
151
Exemple 38 : Aide informationnelle aux PME pour la promotion

des exportations
152
Exemple 39 : Infrastructures subventionnes pour l'installation

d'entreprises
153
Exemple 40 : Aide aux projets de centres de recherche rgionaux
154
Exemple 41 : Cration d'associations d'aide aux personnes

surendettes et de programmes de crdits locaux
162
Exemple 42 : Rhabilitation d'une zone urbaine dgrade
163
Annexes
Exemple 43 : Aide aux associations de quartier
164
Exemple 44 : Programmes de formation pour chmeurs de longue

dure
165
Exemple 45 : Aide la construction d'un centre de confrence et

d'exposition
175
Exemple 46 : Aide directe l'investissement de capitaux dans les

entreprises
175
Exemple 47 : Programme de capital risque pour le dveloppement

des petites entreprises
176
Exemple 48 : Programme de retour l'emploi pour chmeurs de

longue dure
182
Exemple 49 : Aide un centre questre (support permanent et

vnementiel)
183
Exemple 50 : Construction d'un nouvel hpital
189
Exemple 51 : Amlioration du rseau de bus d'une zone urbaine

difficile
190
INDEX
(les champs d'intervention figurent avec une majuscule)
Index
acteur 30
agrgation 214
111
base de donnes ELIZE 209

base de donnes QUID 209
base de donnes REGIO 208, 209
bnficiaire final 30
besoin 26
cadre logique 29
champ 45
comparabilit 211, 213
Comptitivit des PME 147
couverture 212
dcomposition 21
dsagrgation 21
descripteur 18
destinataire 30
destinataire direct 30
destinataire indirect 31
Dveloppement conomique 169
Dveloppement urbain 159
disparit 26
disponibilit 210
dotation 26, 55, 126
effet 34, 149

effet brut 34, 182
effet d'aubaine 35
effet d'crmage 75, 223

effet de dplacement 35
effet de substitution 35
effet net 34, 182
effet pervers 223
efficacit 35, 225
efficience 36
Egalit des chances 121
Emploi 179
emploi temporaire 56
employabilit 74
Environnement 125
quilibre 212
talonnage (benchmarking) 223
externante 34
facteur concurrent 25
facteur exogne 25
fiabilit 211
financeur 30
formation 73, 86
fracheur 211
gestion par les rsultats 38

groupe talon 222
H
harmonisation 205
I
impact 33
impact attendu 33
impact global 29
impact spcifique 29
Indicateur cl 22
indicateur compos 20
indicateur de contexte 24, 26, 200,

221
indicateur de programme 25, 221
indicateur de structure 210
indicateur de suivi 36
indicateur driv 20
indicateur d'valuation 38
indicateur lmentaire 20
indicateur gnrique 21, 202, 215
indicateur spcifique 21
indicateur standard 214, 215
information qualitative 221
Infrastructures de transport 53
Infrastructures d'nergie 65
interpolation 209
interprtation 220
M
meilleure correspondance 209
meilleures pratiques 223
point zro 26
principe d'intgration (mainstreaming)
121, 122, 147, 172, 173
priorit 45
Q
Qualit de la vie 187
R
raison dtre 24
ralisation 29, 32
ralisation physique 41
Recherche
et
Dveloppement
Technologique 99
rendre des comptes 215
responsabilit 38
ressource 32
rsultat 29, 33
retombe 33
retour d'information 198, 206
N
normativit 211
objectif global 29
observatoire 215
oprateur 30, 204, 224
panel dexperts 222

Pche 89
performance 36, 219, 224
pertinence 35, 213
secteur 45
slectivit 213
sensibilit 211
service immatriel 41
signification 212
Socit de l'information 135
systme d'information (GISCO) 210
tableau de bord 204

thme Voir champ
Tourisme 81
Remerciements
Plusieurs ateliers ont runi des experts, et des fonctionnaires europens sur le
thme des indicateurs de suivi et d'valuation
Une enqute a t conduite auprs de plusieurs institutions ayant mis en uvre
des systmes d'indicateurs.
Une enqute par questionnaire a t ralise sur le thme des Indicateurs
l'occasion de la seconde confrence MEANS de Berlin.
La coordination des travaux de ce volume a t assure par Andrea Malrate (D.G.
XVI.G.2 : Coordination de l'valuation) et a impliqu plusieurs Directions Gnrales
de la Commission Europenne, notamment les D.G. Il, V, VI, XIV et XVI et en
particulier Philippe Goybet, Anne Bucher, Anastassios Bougas, Miguel Benito
Alonso, Sylvie Finne, Olivier Rouland et Patrick Salez.
notamment avec la participation de Cristina Diaz Gomez et Kevin Williams.
directement, soit Indirectement, la production de ce Volume et en particulier les
experts dont les noms suivent :
Infrastructures de transport : Jos Viegas, Cesur, Lisbonne
Energie : Maurizio di Palma, Ecoter, Rome
Formatlon : Patrick Werquin, Cereq, Marseille
Tourisme : Daniel Poulenard, Parcourir, Toulouse
Agriculture et Dveloppement rural : Gunter Tissen, Fal, Braunschweig
Socit de l'information : Paolo Manacorda, Reseau, Rome
Comptitivit des entreprises et des PME : Ivan Turock, Universit de Glasgow
Dveloppement urbain : Tony Bovaird, Universit d'Aston, Birmingham
Dveloppement conomique : Henri Capron, Universit Libre de Bruxelles
Qualit de la Vie : Sanjlv Lingayah et Alex Macgillivray, New Economies Foundation,
Londres.

Choix et utilisation des indicateurs pour le suivi et l'valuation
Luxembourg: O ffice des publications officielles des Communauts europennes

1999 261 p. 14,8 21 cm
ISBN 92-828-6627-0
Venta Salg Verkauf Sales Vente * Vendita * Verkoop Venda Myynti Frsljning
BELGI QUE/BELGI
STERREICH
HRVATSKA
Jean D e L a n n o y
B1190 Bruxelles russel
Tl. (322)538 43 08
Fax (322) 538 08 41
Email: ean.de.lannoyoinloboard.be
UHL: hltp://www.jaandelannoy.be
Manz'sche Verlags und

Universittsbuchhandlung GmbH
Kohlmarkt 16
A1014 Wien
Tel (431)53 16 11 00
F a x ( 4 3 1 ) 5 3 16 1167
EMail: bestellenmanz.co.at
URL: http://www_manz.al/index.ritm
Mediatrade Ltd
Pavia Hatza
HR10000 Zagreb
Tel. (3851)481 94 1
Fax (3851) 481 94 1
41, Mishmar Hayarden Street

PO Box 13056
61130 Tel Aviv
MAGYARORSZAG
Tel. (972-3) 649 94 69

Fax (972-3) 648 60 39
De Europese Boekhandel
Rue de !a Loi 244/Yvolslraal 244
B1040 Bruxelles/Brussel
Tl. (322) 295 26 39
Fax (322) 735 08 60
Email: fnail@ libeurop.be
URL: ht1p://www.libeurop.be
Moniteur belge/Etelgiseh Staatsblad
Ruede Louvain 40427LeuvensewBg 4042
B1000 BruxellosvBrussel
Tol. (322) 552 22 11
Fax (322) 511 0 1 8 4
DANMARK
J . H. Schultz Information A/S
Herstedvang 1012
DK2620 Albertslund
Tit. (45) 43 63 23 00
Fax ( 4 5 ) 4 3 6 3 1969
Email: schultzschuttz.dk
URL: http://www.schullz.dk
DEUTSCHLAND
Vertriebsabloilung
Amsterdamer SUaBe 192
D50735 Kln
Tel, (49221) 97 66 80
Fax (49221) 97 66 82 78
EMail: vertrieb bundesanzeiger.de
URL: hllpi/Zwww.bundesanzeiger.de
/GREECE
G. C. Eleftheroudakls 5 A
International Bookstore
Panepislimiou 17
GR10564 Athina
Tel. (301) 331 41 80/1/2/3/4/5
Fax (301) 323 98 21
Email: elebooksnetor.gf
ESPAA
Trafalgar, 27
E28071 Madrid
Tel. (34) 915 3o 21 11 (Libros).
913 84 17 15(Suscilp.>
Fax (34) 915 38 21 21 (Ubros).
913 84 17 14 (Suscrip.)
Email: cl ien les c o m . boe. es
URL: hltpJ/www.boe.es
Castell, 37
E28001 Madrid
Tel. (34) 914 36 37 00
Fax (34) 915 75 39 9B
Email: libreria munrjip rensa es
URL: h Hp://www. mu ndiprensa.com
FRANCE
Journal officiel
26. rue Desaix
F75727 Paris Cedex 15
Toi. (33) 140 56 77 31
Fax (33)140 58 77 00
URL: hltp://www.journalolliciel.gouv.lr
IRELAND
Government Supplies A g e n c y
45 Harcourt Road
Dublin 2
Tel.(3531)661 31 11
Fax (3531 ) 475 27 60
ITALIA
Licosa SpA
Via Duca di Calabria, 1/1
Casella postale 552
150125 Firenze
Tel. (39) 055 64 83 1
Fax (39 055 64 12 57
Email: licosaftbcc.it
URL: http://www,ftbcc.it/licosa
LUXEMBOURG
Messageries du livre S A R L
5, rue Raiffeisen
L2411 Luxembourg
Tl. (352)40 10 20
Fax (352) 49 06 61
Email: mailOmdl.lu
URL: http://www.mdl.lu
PORTUGAL
Distribuidora de Livros Bertrand Ld."
Grupo Bertrand, SA
Rua das Terras dos Vales, 4A
Apartado 60037
P2700 Amadora
Tel. (3511) 495 90 50
Fax (3511) 496 02 55
Imprensa NacionalCasa da Moeda, EP
Rua Marques S da Bandeira. 16A
P1050 Lisboa Codex
Tel. (3511) 353 03 99
Fax (3511) 353 02 94
Email: deUncm@ mail.lelepac.pt
URL: http://www.incm.pt
SUOMI'FINLAND
Akateeminen Kirjakauppa/
Akademiska Bokhandeln
Keskuskatu 1/Centralgatan 1
PL/PB 128
FIN001Q1 Helsinki/Helsingfors
P./tm (3569) 121 44 18
F ./lax (3589) 121 44 35
Shkposti: akatilaus akaleemrnen.com
URL: htlp://www.akateeminen.corn
SVERIGE
BTJ A B
Traktorvgen 11
S221 82 Lund
Tfn (4646) 1 SOO 00
Fax (4646) 30 79 47
Epost: bijou pu b bij.se
URL: http://www.btj.se
UNITED KINGDOM
ROY International
Euro Info Service

Europa Haz
Margitsziget
PO Box 475
H1396 Budapest 62
Tel. (361)350 80 25
Fax (361) 350 90 32
Email: euroinlomail.matav.hu
URL: hltp//www. euroinlo.hu/index, hl m

Malta International Airport
PO Box 25
Luqa LOA 05
Tel (356)66 44 88
Fax (356)67 67 99
Email: g w i r t h o u s a n e t
Swets Norge AS
Ostenjoveien 18
Boks 6512 Etterstad
NOeOOslO
Tel. (4722)97 45 00
Fax (4722) 97 45 45
SCHWEIZ/SUISSE/SVIZZERA
Euro inio Center Schweiz
C/oOSEC
Stamplenbachstrafle 85
PF 492
CH8035 Zrich
Tel (411)365 53 15
F a x ( 4 M ) 3 6 S S 4 11
Email: eics@ osec.ch
URL: httpj'/www.osec.ch/eics
BLGARIJA
Europress Euromedia Ltd
59, blvd Vitosha
BGlOOOSolia
Tel. (3592) 9B0 37 66
Fax (3592) 980 42 30
Email: Miienamboxcit bg
CESK REPUBLIKA
EBIC Malaysia
Level 7. Wisma Hong Leong
18 Jalan Perak
50450 Kuala Lumpur
Tel. (603) 262 62 98
Fax (603)262 61 98
Email: ebickl mol net.my
ROMANIA
Euromedia
Str. GralBerthelotNr41
RO70749 Bucuresti
Tel. (401)31544 03
Fax (401)31422 86
ROSSIYA
CCEC
60leliya Oktyabrya Av. 9
117312MO5C0W
Centrum VTI SR
Nam. Slobody, 19
SK81223 Bratislava
Tel. (4217)5441 83 64
Fax (4217)54 41 83 64
Email: europlbbt.sltk.s1uba.sk
URL: http://www.sltk.s1uba.sk
NORGE
PSIJapan
Asahi Sanbancho Plaza #206
71 Sanbancho, Chiyodaku
Tokyo 102
Tel. (813) 32 34 69 21
Fax (813) 32 34 69 15
Email: bookspsijapan co jp
URL: htlp://www.psijapan com
Ars Polona
Krakowskie Przodmiescie 7
Skr. pocztowa 1001
PL00950 Warszawa
Tel. (4822)826 12 01
Fax (4822)826 62 40
Email: ars^polbevy.hsn.com.pl
Tel. (44-171) B73 90 90
B o k a b u d Larusar Blndal
Sklavrduslig, 2
IS101 Reykjavik
Tel. (354)551 56 50
Fax (354) 552 55 60
Mundi Prensa Mexico, SA de CV
Fax (7095) 135 52 27

SLOVAKIA
__ _
SLOVENIJA
Gospodarskl Vestnik
Dunajska cesta 5
SLO1 000 Ljubljana
Tel. (386)613 09 16 40
Fax (386) 613 09 16 45
Email: europ@ gvestnik.si
URL: htlp://www.gvestnik.si
TPJKIYE
Dunya Infoici AS
100. Yil Mahaltessi 34440
TR60O5O Bagcilarlstanbul
Tel. (90212)629 46 89
Fax (90212) 629 46 27
Email: inlotGl@ dunyagazete com.tr
Hunter Publications
PO Box 404
3067 Abbolsford, Vicloria
PHILIPPINES
EBIC Philippines
19th Floor, PS Bank Tower
Sen, Gil J Puyat Ave. cor. Tindalo St.
Makati City
Metro Manilla
Tel. (632)759 66 80
Fax (632) 759 65 90
Email: eccpcomglobe.carn.ph
URL: httpywww.eccp.com
EBIC Sri Lanka

Trans Asia Hotel
A. Gardiner Mawatha
Colombo 2
Tel. (941)074 71 50 78
Fax (941) 44 87 79
Email: ebicslitmin.com
Tel. (61-3)94 17 53 61
EBIC Thailand
Fax (613) 94 19 71 54
Email: jpdaviB5ozemail com.au
29 Vaoissa Building. Bth Floor

Soi C h id lom
Ploenchit
10330 Bangkok
CANADA
Les editlons La Libert Inc.
3020. chemin SainleFoy
G 1 X 3 V SainleFoy. Qubec
Tel. (1418)658 37 63
Fax (1800) 567 54 49
Email: liberle@ mediom.qc.ca
Renouf Publishing Co. Ltd
5369 Chemin Canotek Road Unii 1
K U 9J3 Ottawa, Ontario
Tel. (1613)745 26 65
Fax (1613) 745 76 60
Email: order.depterenoufbooks.com
URL: h tip J/www. renoufbooks.com
CYPRUS
The Middle East Observer

41 Sheril Street
EGYPT
Fax (3572) 66 10 44
Email: demelrapSeed.org.cy
Tel' (202) 392 69 19

Fax (202) 393 97 32
Email: mafoudaemeobserver.com.eg
URL: httpJ/www. meobserver.com eg
NEDERLAND
EESTI
INDIA

Ctinstoffel Planiijnstraal 2
Postbus 20014
2500 EA Den Haag
Tel. (31 70) 378 98 80
Fax (31 70) 378 97 83
Email: sduOsdu.nl
URL: http://www.sdu.nl
Eesti Kau band usToo s tu koda (Estonian

Chamber of Commerce a n d Industry)
ToomKooli 17
EE0001 Tallinn
Tel. (372) 646 02 44
Fax (372) 646 02 45
Email: eintokoda.ee
URL: http://www.koda.ee
EBIC India
3rd Floor. Y. B. Cha 'an Centre
Gen. J . Bhosale Marg.
400 021 Mumbai
Tel. (9122)282 60 64
Fax (9122) 285 45 64
Email: ebtcOgiasbmQI.vsnl.net.in
URL: http J/www. ebidndia.com
Tel (357-2) 66 95 00
Rio Panuco No 141

Colonia Cuauhtemoc
MX06500 Mexico, DF
Tel. (525)533 56 58
.
Fax (525)514 67 99
Email: 101545 2361compusene.
AUSTRALIA
USIS
NISprodejna
H ave Ik ova 22
CZ13O0OPraha3
Tel. (4202) 24 23 14 86
Fax (4202) 24 23 11 14
Emat: nkpospedec.nis.cz
URL: http://usiscr.cz

PO Box 1455
CY1509 Nicosia
Index information Services

PO Box 19502
Jerusalem
Tel. (9722)627 16 34
Fax (9722) 627 12 19
JAPAN
POLSKA
Tel (7-095) 135 52 27
ISLAND
Subagenl for ihe Palestinian Authority:
MALTA
The Stationery Office Ltd

51 Nine Elms Lane
London SW8 5DR
Fax (44171)873 84 63
Email: ipa.enquiriestheso.co.uk
URL: http://www,lhcstationoryolfice.co.uk
Email: royilnelvision.net.il
URL: http://www.royinl.co il
Tel. (66-2)655 06 27
Fax (66-2) 655 06 28
Email: ebicbkkksc15th.com
URL: hllp:/www.ebicbkk.org
UNITED STATES OF AMERICA
Bernan Associates
461 tF Assembly Dnve
Lanham MD20706
Tel. (1 800) 274 44 47 (lol! Irne telephone)
Fax ( 1 800) 65 34 50 (lolt Iree lax)
Email: queryeoeman.com
URL: http://www.beman.com
Bitte wenden Sie sich an ein Bro Ihrer

W a h l / Please contact the sales office
of your choice/ Veuillez v o u s sdresser
au b u r e a u de venta de votre choix
Office for Official Publications
of t h e European Communities
2, me Mercier
L2985 Luxembourg
Tel. (352) 29 2942455
Fax (352) 29 2942758
Email: lnlo.infoOopoce.cec.be
URL: http://europ eu.ini
solutions.
Chaque volume est conu de manire tre lu Indpendamment des autres,
V. valuation transversale des impacts sur l'environnement, l'emploi et les
* OJO *

L-2985 Luxembourg
valuer les programmes socio-conomiqu
Principales techniques et outils d'valuation
Principales techniques et
outils d'valuation
Volume 3


site Inforegio (http://inforeglo.cec.eu.int).
Luxembourg:
ISBN 92-828-6627-0
tion de la source.
Printed in Italy
Prface
I
^_
^,...,
"S

PJK
j A
Promouvoir
dans
son
programme
r *R
^ ^ y j |
^L
<
rgulire des actions communautaires..
Wk
Hk J H M I
tme de suivi et, enfin, l'issue de cellesci afin de tirer les enseignements
grammes socioconomiques dont un bref aperu est donn au dbut de

cette dmarche.
ex-Prsidente de l'Amerlcan Evaluation Association ; K. Kennedy (IRL),
Tavistock Institute ; A. Sorber (f) (NL), Chef du Policy Analysis Department
of the Mlnistery of Finance ; L. I. Strom (SV), Statens Institut fr
Regionalforsking (SIR) ; L. Tsoukalis (GR), professeur l'Universit
E. Landaburu
-Cr-:--
Pendant ces dix dernires annes, la Commission s'esf
informations
Indispensables
l'valuation
des
d'valuations adaptes et de? solutions que n'offre pas
Collection complte comprend 6 Volumes conus pour
Principales techniques et outils
tre complmentaires et fournir les lments Indis

pensables au professionnel qui souhaite dvelopper de
faon autonome ses pratiques d'valuation. Chaque
Volume a t construit de telle manire qu'il puisse tre
Le premier Volume de la Collection MEANS s'intitule
Conception et conduite d'une valuation Il a une
Le second Volume porte sur te choix et l'utilisation des
comment les Indicateurs peuvent tre utiliss pour
programmes.
L'ouvrage
propose
un
cadre
Le troisime Volume prsente une slection des
Principales
techniques
conomiques. Ces outils sont issus des disciplines
La Collection MEANS

rfrence.
description plus complte dans le quatrime Volume
impacts en termes d'galit des chances hommesfemmes ou de comptitivit des PME. Le Volume offre
les lments ncessaires l'analyse de ces impacts qui
ne figurent pas ncessairement parmi les objectifs
explicites de toutes les actions values.
Enfin, le dernier Volume est constitu d'un glossaire
de la Collection a en effet Impos un travail rigoureux
Table des matires

Introduction
I
Prsentation des outils d'valuation
15
Outil, fonction, mthode
17
Proprits des outils d'valuation
19
Avantages et risques de la technicit
22
Etapes et fonctions d'une valuation
24
Les situations d'valuation
29
II Outils pour l'valuation d'ensemble d'un programme
35
Exemples d'valuations de programmes multisectohels
37
Outils pour structurer l'valuation
41
Analyse SWOT (ForcesFaiblessesOpportunitsMenaces)

Cartographie conceptuelle d'impacts
Vote color
43
49
57
Outils pour observer les changements sur le terrain

Entretien individuel
Entretien de groupe (Focus Group)
Etude de cas
61
63
71
77
Outils pour analyser les donnes

Systme d'Information Gographique
Analyse structurelle rsiduelle (ShiftShare)
Modle entressorties
Modle macro conomique
85
87
93
99
107
Outils pour porter un jugement

Panel d'experts
Analyse multicritre
121
123
129
III Outils pour approfondir une question evaluative
135
Exemples d'valuations traitant une question de faon approfondie 137

Cadre logique
Metaplan
141
143
151

Enqute par questionnaire
L'observation ethnographique
157
159
169

Analyse factorielle
Enqute Delphi
Groupes de comparaison
Analyse de rgression
175
177
183
187
195

Analyse CotEfficacit
Etalonnage (Benchmarking)
Analyse Cotavantages
201
203
209
215
IV Recommandations pour slectionner et assembler les outils 227

Guide pour reprer les outils adapts
229
Recommandations pour assembler plusieurs outils
235
Conclusion
241
Index
243
Introduction
Un professionnel qui veut connatre la bote outils de l'valuation doit

consulter les nombreux textes et manuels consacrs telle ou telle technique
des sciences conomiques et sociales. Il existe heureusement quelques
documents de rfrence qui prsentent un panorama des outils pertinents
pour l'valuation. Parmi les classiques, on citera : Rossi & Freeman (1993)
ainsi que la Collection Program Evaluation Kit 1 Tous ces ouvrages
comprennent des fiches techniques illustres par des exemples et
organises selon une typologie propre aux auteurs. Les distinctions
typologiques les plus frquemment rencontres sparent les outils selon leur
caractre quantitatif ou qualitatif, dductif ou inductif, etc. Une typologie
particulirement Intressante est prsente par C. Polliti (Encadr 1).
Y a-t-il place pour un nouvel ouvrage sur les outils d'valuation, et si oui,
quelle est sa valeur ajoute ?
Cet ouvrage est d'abord ncessaire pour mettre les connaissances
existantes la porte des lecteurs qui travaillent dans le champ des
programmes socio-conomiques. En effet, les ouvrages consacrs aux
outils d'valuation sont le plus souvent illustrs par des exemples de
programmes sociaux ou de projets de dveloppement. Le prsent ouvrage
cre un pont entre les ouvrages mthodologiques gnraux et le contexte
des Fonds structurels europens.
En second lieu, il est ncessaire d'adapter les connaissances disponibles
aux difficults spcifiques de l'valuation des programmes socioconomiques. En effet, les textes relatifs aux outils d'valuation font le plus
souvent rfrence des programmes simples, visant un public bien dfini
et cherchant produire un changement limit ce public. A l'Inverse, un
programme de dveloppement socio-conomique est typiquement
multisectoriel et multiobjectifs. Il cherche crer des transformations
conomiques ou sociales l'chelle de tout un territoire. Pour atteindre son
but, il adopte une stratgie intgre, dirige vers de nombreux publics
(entreprises, salaris, chmeurs, collectivits, etc.). Il doit produire son
impact global grce la bonne combinaison de multiples impacts
spcifiques sur ses diffrentes cibles. Dans ce contexte, l'valuation
rencontre des problmes techniques ardus auxquels la littrature existante
apporte peu de solutions. Cet ouvrage est le premier guide mthodologique
qui recense et qui prsente ces solutions.
1 Rossi P.H, Freeman H.E. (1993) Evaluation: a Systematic Approach (5th edition)
Newbury Park CA: Sage.
Program Evaluation Kit, Center for the Study of Evaluation, University of California.
Newbury Park CA: Sage
Encadr 1 - Quatre approches de l'valuation

Les approches exprimentales traitent les phnomnes de causalit sans les
analyser directement. Les effets des programmes sont dmontrs par comparaison
entre un groupe exprimental et un groupe tmoin. Les valuations conduites dans
ce cadre sont reprsentatives des pratiques amricaines des annes 60/70. Il s'agit
d'valuations de longue dure, bases sur des mthodes lourdes. Ces valuations
ne sont pas toujours concluantes. Elles ont donn lieu des critiques nombreuses
et parfois svres de la part des commanditaires, la recherche de conclusions
oprationnelles, rapidement utilisables pour l'amlioration des programmes.
Les approches conomiques sont fondes sur une vision individualiste de la
socit, inspire de l'conomie du bien-tre. Dans cette optique, la valeur d'une
action publique n'est rien d'autre que la somme des avantages qu'elle procure aux
individus. Tous les individus sont supposs avoir un systme de rfrences et on
suppose que ces systmes de rfrence peuvent tre agrgs. Ces hypothses
permettent de donner un caractre objectif aux valuations ralises par les
techniques conomiques. Malgr leur lgance, les techniques conomiques ont
t fortement critiques, en termes pratiques aussi bien que thoriques.
Les approches naturalistes ou pluralistes partent du point de vue que le monde
politique et social est une construction collective. Cette construction rsulte de
l'interaction de diffrents groupes sociaux qui ont des interprtations diffrentes
des mmes phnomnes et enjeux. C'est pourquoi les programmes publics sont
perus comme des compromis transitoires entre groupes d'acteurs. A l'aide de
techniques appropries, reposant beaucoup sur le travail en groupe, l'valuation
joue un rle de mdiation entre les diffrents points de vue; elle est un outil de
conciliation des protagonistes, ses conclusions sont d'autant plus robustes
qu'elles ont t produites de faon consensuelle.
Les approches pragmatiques adoptent des visions simplifies des processus
qu'elles ont pour objectif de dcrire. Les rfrences thoriques sont moins pures,
plus clectiques. Les objectifs en matire d'valuation sont plus de nature
gestionnaire que scientifique. A l'aide de techniques inspires du management,
les valuations conduites dans cet esprit sont plus orientes vers la mise en
uvre et l'amlioration de l'efficience. Elles n'ont pas autant de dimension
cognitive que les autres formes d'valuation.
Certaines
propositions
techniques
prsentes
dans
cet
ouvrage
n'existeraient pas sans les nombreuses recherches et exprimentations qui

ont t conduites
par la Commission europenne. Pour adapter
les
connaissances disponibles au domaine difficile des programmes socioconomiques,
il a fallu faire d e s
Investissements
mthodologiques
importants : dfinir prcisment les concepts de base (ex : outil, mthode),

dfinir les fonctions susceptibles d'tre remplies par les outils, construire de
nouveaux
outils
(ex :
modles
macroconomiques
spcialiss,
cartographie conceptuelle des impacts) ou proposer de nouvelles faons
Introduction
d'employer des outils classiques. Ces investissements ont un intrt pour

l'ensemble de la communaut professionnelle de l'valuation. C'est la
troisime et dernire raison qui justifie l'existence de cet ouvrage.
L'ouvrage contient une prsentation dtaille de vingt-trois outils
d'valuation sous forme de fiches techniques. Le choix des outils fait un
compromis entre les outils les plus frquemment rencontrs et certains
outils plus rares mais qui reprsentent un potentiel important pour
l'valuation des programmes socio-conomiques. Tout compromis contient
une part d'arbitraire et c'est pourquoi certains outils frquemment
employs sont simplement voqus sans faire l'objet de fiches techniques
(ex : analyse de variance).
Chaque fiche donne des informations sur les fonctions de l'outil, sur les
conditions de son emploi, et sur les principales tapes de sa mise en
uvre. Elle renseigne sur les possibilits d'application dans le cadre des
Fonds structurels, les points forts et les limites d'utilisation. Elle propose en
outre un exemple issu de l'valuation des Fonds structurels si cet outil a t
utilis dans ce cadre. Chaque fiche contient galement une bibliographie
commente de quelques ouvrages qui font rfrence pour cet outil. Les
fiches sont accompagnes de pictogrammes pour aider le lecteur
effectuer une prslection rapide des outils applicables dans une situation
donne. L'encadr 2 donne la signification de ces pictogrammes.
Cet ouvrage s'organise selon la structure suivante :
Outils pour l'valuation d'ensemble d'un programme (12 outils)
Outils pour l'approfondissement d'une question evaluative (11 outils)
Recommandations pour slectionner et assembler les outils
Encadr 2
Une lecture rapide de l'ouvrage

pour prslectionner les outils
0 0
Technicit
forte
Technicitf !
moyenne
O G
Technicit
faible
Usage
rtrospectif

Cot
faible
Cot
moyen
Cot
lev
O
Evaluation
d'ensemble
Usage
prospectif
Usage
stabilis
A
Approfon
dissement
Usage
innovant
I
Cef ouvrage considre les termes outil et technique comme des synonymes, applicables des procdures standardises que tout valuateur
peut apprendre et appliquer dans le cadre d'une de ses missions.
La boite outil de l'valuation contient plus que les 23 techniques qui
sont prsentes dans ce Volume. L'art de l'valuateur implique donc de
choisir tel ou tel outil selon la fonction qu'il est capable de remplir dans une
situation donne, et galement de rejeter l'emploi d'outils inadapts.
Outil, f o n c t i o n , m t h o d e
Les praticiens de l'valuation emploient toutes sortes de mots pour dcrire
leurs instruments ou leurs procdures de travail : technique, outil,
approche, dmarche, mthode, design, etc. Il est indispensable de
s'accorder sur quelques dfinitions avant de commencer la lecture de cet
ouvrage. Cela va tre fait avec l'aide de l'exemple ci-dessous.
Encadr 3 - Un exemple d'valuation outille
En 1989, le National Audit Office britannique a ralis l'valuation de huit
programmes de dveloppement rgional dans le Pays de Galles. L'valuation a
comport un calcul du cot par emploi net cr, c'est--dire qu'elle a t fonde
sur l'analyse cot-efficacit, un outil classique de l'valuation. Pour valuer les
huit programmes, le NAO a adopt une dmarche en plusieurs tapes :
1 - Slection d'un critre d'valuation unique : les emplois nets crs.
2 - Construction d'un indicateur de mesure d'emploi net, selon la dfinition
suivante : emplois nets = emplois bruts - effets d'aubaine - effets de
dplacement + effets sur les fournisseurs.
3 - Slection d'un chantillon d'environ 300 entreprises aides.
4 - Enqute par questionnaire, passe par tlphone : estimation de coefficients
d'effets d'aubaine et de dplacement.
5 - Estimation de l'emploi total cr par extrapolation des coefficients obtenus
l'ensemble des emplois dclars par toutes les entreprises aides.
6 -Estimation de l'effet sur les fournisseurs par extrapolation partir d'tudes
portant sur des programmes semblables.
7 -Rcapitulation des fonds publics mobiliss pour les programmes et analyse
cot-efficacit en termes de cot par emploi cr.
8 - Comparaison avec le cot par emploi cr dans le cadre de programmes
similaires, en l'occurrence un programme de dveloppement rgional en Ecosse.
Pour en savoir plus sur cette valuation : S. Roberts and Ch. Polliti, (1994) Audit
or Evaluation ? a National Audit Office VFM Study, Public Administration.
Dans cet exemple, on reconnat au moins deux outils couramment
employs en valuation :
l'enqute par questionnaire (4 tape)
l'analyse cot-efficacit (7 tape)
On remarque galement que le travail d'valuation a dpass de beaucoup la
simple application de deux outils. A chacune des huit tapes parcourues, une
dcision a t prise sur la faon de conduire le travail. Chaque dcision tait
dpendante du contexte prcis de cette valuation. Le N.A.O. a donc construit

une mthode d'valuation ad hoc pour raliser la mission qui tait la sienne.
Cet exemple va servir dfinir trois des termes de base de cet ouvrage :
outil , mthode , et fonction .
Un outil ralise un traitement standard et peut tre employ dans n'Importe
quelle valuation qui requiert ce traitement. Par exemple :
une enqute par questionnaire permet de recueillir l'opinion d'un groupe
sur un ou plusieurs points dfinis l'avance ;
une analyse cot-efficacit calcule l'argent public qui a t dpens pour
obtenir un effet donn ; le rsultat se prsente sous une forme qui
permet des comparaisons entre programmes ou projets.
Une technique est plus ou moins la mme chose qu'un outil, tel point que
les deux termes sont souvent employs comme synonymes dans ce Volume.
On peut cependant considrer l'outil comme un objet (ex: la pelle) et la
technique comme la faon d'employer cet objet (ex: le maniement de la pelle).
Une mthode est une procdure ad hoc, construite spcialement pour
raliser une valuation donne. Elle peut comprendre un ou plusieurs outils.
Il arrive qu'elle ne soit absolument pas outille. Dans son valuation des
programmes de dveloppement rgional du Pays de Galles, le NAO a
construit une mthode adapte aux questions qui taient poses
(Encadr 3). A l'Inverse, pour raliser l'apprciation ex ante des
programmes proposs par les Etats membres, la Commission commande
des expertises ralises en quelques semaines. Les mthodes appliques
pour ces expertises ne comportent gnralement aucun outil.
Ainsi dfini, le terme mthode est proche du terme design . Dans la
littrature amricaine, evaluation design s'applique la faon de conduire
une valuation donne. Cependant, le terme s'applique le plus souvent aux
fonctions d'analyse de causalit, c'est--dire une partie seulement des
fonctions que doit remplir une mthode d'valuation. Les termes approche
et dmarche sont galement voisins. Ils s'appliquent la fols une
mthode donne et l'esprit dans lequel cette mthode a t construite.
La mthode construite pour raliser une valuation donne peut toujours se
dcomposer en plusieurs tapes. Chacune de ces tapes ralise une tche
et remplit une fonction lmentaire. On retrouve les mmes fonctions
lmentaires de base dans la plupart des valuations. Une fonction peut
tre remplie avec ou sans l'aide d'un outil. Par exemple :
dans l'exemple du NAO (Encadr 3), la fonction de collecte des donnes

est ralise l'aide d'une enqute par questionnaire.
dans certaines valuations de la Commission, la fonction d'estimation
des effets est ralise l'aide d'un modle macroconomique.
Dans ce Volume, la mthodologie est dfinie comme la science de la
construction des mthodes. Cet ouvrage a pour ambition de contribuer
faire merger cette science. Il faut cependant admettre que la pratique
professionnelle est encore plus proche de l'expertise que de la science. Le
mot mthodologie est donc un peu ambitieux pour le moment.
Proprits des outils d'valuation

Encadr 4 - La pelle de terrassier et l'analyse cot-efficacit
La pelle de terrassier permet de remplir une fonction standardise, consistant
dplacer un matriau meuble d'un endroit un autre, par exemple remplir une
brouette de terre. Dans cet exemple, les entres sont la force physique de
l'utilisateur et la terre dplacer, la sortie est la terre qui a t dplace dans
la brouette. Il n'existe a priori pas beaucoup de formes de pelles ni de faons
diffrentes de s'en servir. On peut dire que cet outil ralise une transformation
stable. Les principales variantes sont la taille de la pelle, la distance du
dplacement et la nature plus ou moins meuble du matriau dplacer. Le cas
de la pelle peut tre transpos terme terme dans le domaine de l'valuation, par
exemple l'analyse cot-efficacit.
Les entres de l'analyse cot-efficacit sont doubles. Il faut d'abord disposer
d'une mesure de l'Impact obtenu (mesure une seule dimension, comme, par
exemple, les emplois nets crs) puis d'une mesure des sommes dpenses. La
sortie est simple, c'est le ratio de cot par unit d'impact. La transformation est
stable, I s'agit d'une simple division. Les degrs de libert concernent surtout la
manire de prendre en compte le cot : cot budgtaire pour tous les partenaires
publics, cot budgtaire pour le seul acteur public qui commande l'valuation,
cot d'opportunit des fonds publics, cot limit la dure du programme ou
cot tendu toutes les aides publiques, etc.
Un outil sert traiter une matire premire (des entres) pour en faire un
produit (des sorties). Les entres et les sorties sont des informations, des
donnes, des faits, des opinions, des jugements, etc. Les entres et les
sorties peuvent tre de nature diffrente. Par exemple, une enqute par
questionnaire collecte des opinions et produit des donnes quantitatives
propos de ces opinions. Un panel d'expert est aliment par des
informations de toutes sortes et il produit un jugement, etc. L'outil se dfinit

par le fait que son mode de traitement est stable, c'estdire que les
entres ont une forme standard, que les sorties sont toujours de mme
nature et que les transformations sont ralises selon les mmes principes.
Cependant un outil prsente toujours une certaine souplesse qui lui permet
de s'adapter ses situations d'emploi. Ces rglages sont toutefois
assez rduits pour que l'outil reste identifiable.
Un outil peut tre librement utilis par quiconque en a l'usage. La plupart
des outils employs en valuation sont la fols libres et gratuits, mais
certains outils doivent tre achets. Par exemple, l'outil d'animation de
runion Metaplan qui est prsent dans cet ouvrage est une marque
dpose. Un outil possde un mode d'emploi. La faon de s'en servir est
dcrite dans un ou plusieurs manuels. Il existe des cours de formation qui
permettent un apprentissage et une appropriation par des dbutants. Des
normes de qualit permettent de vrifier si l'outil a t employ de faon
professionnelle.
Encadr 5 Les caractristiques d'un outil
Entres
standard
Nom
O
C
O
Rgiages
Sorties
standard
O
j
Manuel
Normes
de qualit
Pour rsumer, on reconnat un outil aux caractristiques qui figurent dans

l'encadr 5 : il est identifiable par un nom, il ralise un traitement dont les
entres et les sorties sont standard, il dispose de rglages mais en nombre
limit, il dispose galement d'un manuel et de normes de qualit. Toutes
ces proprits rendent l'outil transfrable d'une valuation une autre et
d'un professionnel un autre. En particulier, son usage est public et n'est
pas rserv son inventeur.
Ce schma s'adapte parfaitement certains des outils qui sont prsents

dans ce Volume comme le montre l'exemple de l'analyse de rgression
dvelopp ci-aprs. Dans cet exemple, on reconnat les caractristiques de
base d'un outil, savoir :
des entres standard (donnes quantitatives sur l'effet apparent, sur la
participation au programme et sur les autres variables explicatives, ces
donnes tant disponibles pour un nombre important d'individus),
quelques rglages (nombre et nature des variables, nature des relations,
seuils de validit),
des sorties standard (rpartition des effets apparents ou bruts entre les
effets nets attribuables au programme et les effets des autres variables
explicatives).
Encadr 6 - L'analyse de rgression comme outil d'valuation
Donnes pour
des individus
nombreux :
Effet apparent
Participation au
programme
; Autres variables
explicatives
Analyse de
rgression
% des effets
apparents qui
sont attribuables
au programme
Par ailleurs, l'outil est bien identifi par un nom (analyse de rgression),
quelles que soient les variantes correspondant aux diffrents rglages
(rgression linaire, rgression logistique, etc.). Enfin, l'outil est dcrit dans
de nombreux manuels et dans toutes les langues europennes.
Parmi les 23 fiches qui sont prsentes dans ce Volume, plusieurs
prsentent une partie seulement des caractristiques d'un vritable
outil . Par exemple, certaines sont relativement peu standardises (ex :
analyse SWOT), d'autres ne disposent pas de vritable manuel (ex : vote
color, Metaplan), d'autres encore n'ont pas de normes de qualit
stabilises (ex : analyse multicritre).
A part quelques outils qui sont ns avec l'valuation (analyse cotavantages, analyse multicritre), les outils sont gnralement emprunts
aux grandes disciplines scientifiques. Ainsi, l'enqute par questionnaire est
emprunte la sociologie, l'analyse de rgression a t cre par des
statisticiens, le modle d'entres-sorties (input-output) vient de l'conomie,
le panel d'expert emprunte beaucoup aux pratiques juridiques, le systme
d'information gographique et l'observation ethnographique font rfrence

aux sciences du mme nom.
Lorsqu'une technique est emprunte une discipline pour tre range
parmi les outils de l'valuation, cela s'accompagne souvent d'adaptations
et de simplifications. D'un point de vue scientifique pur, on regrettera
toujours de ne pas retrouver la forme canonique de la technique
originelle, mais l'valuation est avant tout une activit pragmatique. Les
fiches techniques prsentes dans cet ouvrage ne doivent donc pas tre
juges avec la rigueur acadmique de leurs disciplines d'origine, mais bien
en fonction de leur utilit pour les praticiens de l'valuation.
A v a n t a g e s e t r i s q u e s d e la t e c h n i c i t
Le recours un outil a de nombreux avantages en termes d'assurance sur
le rsultat obtenu, de scurit sur le contenu de l'valuation, de matrise
des cots, de comparabilit des rsultats et de contrle de qualit
Le recours un outil fournit des garanties quant la forme des rsultats,
condition que la mise en uvre de l'outil soit effectue de manire
conforme aux rgles de l'art. Ainsi, une enqute par questionnaire bien
conduite (par exemple avec passation confidentielle par tlphone) permet
de produire une estimation correcte des effets nets.
Le choix de certains outils oblige structurer toute l'valuation. Par

exemple, le fait de choisir une analyse cot-efficacit implique que
l'valuation va privilgier un effet principal (ex : emploi). Dans ce cas, l'outil
apporte une scurit au commanditaire qui obtient la certitude que cet effet
principal sera privilgi, si telle est sa volont.
L'utilisation d'un outil connu facilite l'estimation du temps et du budget
ncessaires l'valuation car les praticiens disposent de rfrences pour
fonder leurs estimations. Par ailleurs, le fait qu'une valuation repose sur
des outils standardiss facilite le contrle des conditions de son excution.
Plusieurs valuations bases sur les mmes outils produisent des rsultats
plus faciles comparer. Dans l'exemple de l'Encadr 3, il a t possible de
comparer les cots par emploi cr entre plusieurs rglons parce que
toutes les valuations avaient utilis l'analyse cot-efficacit.
En rsum, une valuation plus technique est souvent plus simple
commander, plus facile contrler, plus crdible pour les lecteurs du
rapport et plus prvisible pour le commanditaire. On comprend que tous
ces avantages rendent les outils d'valuation trs attractifs. Mais ces
avantages sont insparables d'un certain nombre de risques.
Les risques de l'valuation outille peuvent tre caricaturs par les
deux phrases qui suivent :
Avec un marteau en main, je vois des clous partout - risques d'erreur
dans le choix d'un outil.
Puisque j'ai un marteau, je peux construire toute la maison - risques
de survalorisation d'un outil.
Un outil doit toujours tre adapt son contexte d'utilisation et aux
fonctions qu'on veut lui faire remplir. Le risque, pour celui qui a un marteau
en main, est de s'en servir pour enfoncer une vis. Dans un exemple tudi
dans le cadre du programme MEANS, le commanditaire et l'quipe
d'valuation se sont promis d'utiliser l'analyse de rgression. Au bout de
quelques semaines, ils se sont rendu compte que les donnes disponibles
taient insuffisantes, ils ont t dans l'Incapacit de mettre en uvre l'outil
annonc et ont d rorganiser le travail d'valuation dans l'urgence. Pour
savoir si un outil d'valuation est adapt son contexte, il faut examiner
l'objet valuer, les donnes disponibles, le budget de l'valuation, le
calendrier de remise des rsultats. Choisir un outil sans tenir compte de
toutes ces dimensions risque d'entraner des consquences graves :
absence de conclusions, dpassement de dlai, conclusions pas crdibles,

conclusions non-pertinentes, etc.
Il faut galement reconnatre et accepter les faiblesses des outils employs.
Il vaut mieux raliser une valuation moins technique en prcisant les
limites du travail, plutt que fonder des conclusions sur l'emploi d'outils
sophistiqus mais mal matriss.
Puisque la technicit est attirante, on a souvent tendance survaloriser les
outils employs en valuation. Ainsi, l'valuation du N.A.O. (Encadr 3) a
t prsente comme un exercice de "value for money", c'est--dire
d'analyse cot-efficacit. L'ensemble de l'valuation a pris le nom d'un des
outils mis en uvre. Cet outil est devenu emblmatique. Ce phnomne est
largement rpandu et s'applique de nombreuses valuations qui
s'appelleront selon les cas : valuation cot-avantages, valuation
conomtrique, valuation qualit/prix, etc.
Assimiler une valuation son outil emblmatique est toujours une erreur.
Un outil d'valuation permet de remplir une fonction et la plupart du temps,
une seule. Privilgier une fonction revient ngliger toutes les autres
fonctions qui sont ncessaires l'valuation et affaiblir la qualit de
l'ensemble du travail.
Etapes et fonctions d'une valuation
En gnral, un outil remplit bien la fonction pour laquelle il a t conu et
remplit mal les autres. Un tel outil est considr comme spcialis ou
spcifique. Un exemple d'outil spcifique est celui du modle
macroconomique qui ne peut pas remplir d'autre fonction que celle de
l'estimation d'impacts l'chelle d'un pays ou d'une rgion.
Cependant, il existe des outils qui sont capables de remplir plusieurs
fonctions d'valuation, ce sont des outils gnriques. On verra dans cet
ouvrage que la technique de l'tude de cas peut servir la collecte de
donnes mais aussi d'autres fonctions. De mme, on peut mettre en
place un panel d'experts pour lui faire remplir une fonction de jugement,
mais aussi d'estimation d'impact.
Toute valuation comporte un certain nombre d'tapes auxquelles sont
associes une ou plusieurs fonctions. En reprenant l'exemple de
l'valuation ralise par le NAO, on voit que l'valuation a comport au
moins cinq fonctions.
Encadr 7 Quelques tapes au sein d'une valuation

(Evaluation des programmes de dveloppement conomique au Pays de Galles)
Choisir les effets valuer
(emploi)
STRUCTURER
Dfinir un instrument
d'observation
(indicateur d'emploi net cr)
Collecter les donnes
(300 entretiens tlphoniques)
OBSERVER
Estimer les effets

(emploi total cr)
ANALYSER
''
Juger les effets
(analyse cotefficacit)
JUGER
En analysant de la mme faon un grand nombre d'valuations, on peut

Identifier les fonctions qui se rencontrent le plus frquemment. Elles sont
prsentes cidessous en huit tapes de base et regroupes en quatre
grandes tapes : structurer l'valuation, observer les changements sur le
terrain, analyser les donnes, juger le programme.
Encadr 8 Les tapes standard d'une valuation
Structurer
; Clarifier hirarchiser Tes effets " " " . _

1
valuer, dfinir les critres ."''
1 Choisir les instruments " " " . . _
d'observation
_."""
Observer
Analyser
Juger
"Circonscrire le champ X
^d'observation
"'^
N
> Collecter les donnes
,
1 Croiser les observations ."
; Estimer les effets
y'
! Juger selon les
1 diffrents critres
Formuler un jugement de
synthse
"""..,
."'*
""___
_.."""
\
yy/f
1
lit
I l
Irrt
\\\\
Vffl
\\
V\l
^y
Le schma en diamant est emprunt Scriven M. (1980) The Logic of Evaluation, Inverness CA Edgepress
Les tapes de structuration interviennent normalement avant le travail

d'valuation proprement dit (avant la rdaction du cahier des charges). On
peut donc s'interroger sur leur place dans le prsent ouvrage. En fait, il est
frquent que l'quipe d'valuation doive revenir sur ces tapes lors du
dmarrage de son travail, par exemple pour approfondir l'explicitation des
critres de jugement. Par ailleurs, on verra qu'il existe des outils qui peuvent
faciliter le travail de structuration. Il est donc logique que cet ouvrage intgre
l'valuation dans son ensemble, y compris les toutes premires tapes.
Clarifier et hirarchiser les effets valuer, dfinir les critres
La premire tape consiste lister les questions auxquelles l'valuation
devra rpondre. Par exemple : est-ce que les contribuables en ont pour
leur argent ? quelles sont les parties du programme les plus efficaces ? le
programme est-il justifi ? le programme a-t-il des effets ngatifs
inattendus ? Chaque question se subdivise ventuellement selon les effets
valuer. Par exemple : la cration d'emploi, l'investissement induit, les
gains de parts de march, l'augmentation d'employablllt d'une catgorie
de population ou encore l'accroissement d'attractivit d'une rgion.
Chaque question se rfre galement un critre de jugement. Par
exemple, l'effet recherch et/ou obtenu est-Il pertinent, conforme aux
objectifs, efficient, durable, quitable ?
Les outils applicables cette tape permettent de lister les questions, de
les prciser, de les hirarchiser et de slectionner celles auxquelles
l'valuation devra rpondre (voir les fiches relatives aux outils suivants :
Cadre logique, Cartographie conceptuelle des impacts, Analyse SWOT,
Metaplan, Vote color).
Dfinir les instruments d'observation
Cette seconde tape consiste en une traduction des questions d'valuation
en indicateurs ou en descripteurs observables sur le terrain. Dans l'exemple
des programmes de dveloppement rgional du Pays de Galles
(Encadr 3), la question tait la suivante : L'effet des programmes sur
l'emploi a-t-il t suffisant en regard de l'argent dpens ? . Elle a t
traduite sous la forme d'un indicateur d'efficience mesur comme suit :
cot d'un emploi net cr pour le budget national .
Cet ouvrage ne propose pas d'outils pour cette tape. On pourra se
reporter au Volume 2 consacr aux indicateurs et au Volume 4 pour mieux
connatre la construction et l'utilisation des descripteurs.
Circonscrire le champ de l'observation

Cette troisime tape consiste dlimiter un champ d'observation assez
restreint pour ne pas gnrer des cots excessifs, assez vaste pour
produire une information crdible, et assez contrast pour rvler les effets
que l'on cherche valuer. Il s'agit par consquent d'un compromis, qui
intgre des choix tels que : faut-il observer toutes les catgories de
destinataires ? veut-on aussi observer une ou plusieurs populations
quivalentes mais qui n'ont pas particip au programme ? comment
slectionner des cas pour obtenir l'image la plus complte possible du
programme ? faut-il slectionner des cas de besf practice
pour
comprendre les facteurs cls de succs ?
On parle ici du champ d'observation, c'est--dire de la dlimitation des
groupes observer (entreprises, stagiaires, habitants, exploitants
agricoles, etc.), lequel ne doit pas tre confondu avec le champ de
l'valuation (dlimitation de l'intervention soumise valuation).
La quatrime tape consiste collecter les donnes primaires sur le terrain.
De nombreux outils d'enqute sont en concurrence pour remplir cette
fonction. Ils sont emprunts aux diverses disciplines des sciences sociales
qui ralisent des collectes de donnes : sociologie, politologie,
ethnographie, etc.
Cette tape est indispensable si l'valuation ne peut pas entirement
s'appuyer sur les donnes secondaires telles que les valuations et
recherches antrieures, les donnes statistiques et les donnes du suivi.
Les outils applicables cette tape permettent de collecter des faits et des
opinions et de les restituer sous forme qualitative ou quantitative (voir les
fiches relatives aux outils suivants : Entretien individuel, Entretien de
groupe, Etude de cas, Enqute par questionnaire, Observation
ethnographique).
* Croiser les observations
La cinquime tape permet de prsenter les donnes primaires et/ou
secondaires de manire suggrer des conclusions et des
rapprochements de faon intuitive ou Inductive.
Principa/es techniques et outils
Si l'on prend l'exemple de l'valuation d'un stage de formation pour

chmeurs de longue dure, le croisement des observations consistera par
exemple dcomposer le taux de retour l'emploi selon les branches
professionnelles pour voir s'il y a des diffrences significatives et pour
mieux comprendre les facteurs de succs.
Les outils de base pour cette fonction sont les graphiques et les tableaux
croiss. Cet ouvrage propose aussi plusieurs outils plus sophistiqus (voir
les fiches relatives aux outils suivants : Systme d'information
gographique, Analyse factorlelle).
Estimer les effets
La sixime tape est celle qui permet d'estimer les effets nets du
programme. Cette tape requiert une analyse de causalit qui suit presque
toujours une dmarche deductive, c'est--dire une dmarche fonde sur la
vrification d'hypothses sur les causes et les effets. La littrature
technique de l'valuation privilgie souvent les outils d'analyse quantitative
qui permettent de remplir cette fonction (ex : analyse comparative, analyse
de rgression).
Sur ce point, cet ouvrage se dmarque de la littrature existante. D'une
part, I met galit les outils d'analyse qualitative ou quantitative en
exposant les forces et les faiblesses de chacun. D'autre part, il ne
survalorise pas l'analyse de causalit que l'on a trop tendance considrer
comme le rle unique de l'valuation. Le parti pris est que les fonctions
d'observation et de jugement sont au moins aussi importantes que la
fonction d'estimation des effets nets.
Les outils applicables cette tape permettent d'estimer les effets nets du
programme, au pass ainsi qu'au futur, et au niveau micro ainsi qu'au
niveau macroconomique (voir les fiches relatives aux outils suivants :
Analyse structurelle-rsiduelle, Modle d'entres-sorties,
Modle
macroconomique, Enqute Delphi, Groupes de comparaison, Analyse de
rgression).
Juger les effets selon chaque critre
L'valuation doit pouvoir dire si les effets que le programme a produits ou
va produire sont suffisants ou insuffisants. Dans l'exemple des programmes
de dveloppement rgional du Pays de Galles (Encadr 3), l'quipe
d'valuation avait juger la cration d'emplois en regard du critre

d'efficience. L'outil employ a t l'analyse cotefficacit. Cet outil permet
d'affirmer qu'un programme est d'autant plus satisfaisant que son cot par
emploi cr est plus faible.
Pour que l'valuation soit complte, il fallait aussi pouvoir dire si le cot par
emploi cr tait suffisamment faible. La norme choisie a t le cot moyen
des emplois nets crs par des programmes comparables en Ecosse. La
comparaison entre le Pays de Galles et l'Ecosse a permis de dire que les
programmes valus taient suffisamment efficients.
Ce Volume prsente plusieurs outils permettant de traiter l'tape du
jugement (voir les fiches relatives aux outils suivants : Analyse cot
efficacit, Etalonnage).
Formuler un jugement de synthse
La huitime et dernire tape de l'valuation consiste formuler les

conclusions en faisant la synthse finale des jugements partiels ports au
nom des diffrents critres. Cette fonction est ncessaire quand plusieurs
critres ont t retenus. Pour porter un jugement synthtique sur le
programme, il est ncessaire de combiner, pondrer ou hirarchiser les
diffrents effets que l'valuation a pu estimer. Dans le cadre des
programmes socioconomiques, cette fonction est rendue d'autant plus
difficile qu'il y a toujours plusieurs partenaires et que ceuxci n'accordent
pas la mme importance aux mmes critres.
Il existe plusieurs outils qui remplissent totalement ou partiellement cette
fonction (voir les fiches relatives aux outils suivants : Panel d'experts,
Analyse multicritre, Analyse cotavantages).
Les situations d'valuation

Un outil est fait pour remplir une fonction donne. Il y a donc une relation
forte entre outil et fonction. Cependant, I est frquent que plusieurs outils
puissent remplir une mme fonction (voir l'encadr suivant). Lorsque
plusieurs outils d'valuation sont disponibles, se pose la question du choix
de l'outil le plus adapt la situation.
Par exemple, dans une situation d'intervention publique massive l'chelle
d'un vaste territoire, la fonction d'estimation des effets sera remplie par un
modle macroconomique. Ainsi, le modle HERMIN a t construit et

utilis avec succs pour estimer les impacts macroconomiques des Fonds
structurels en Irlande, au Portugal et en Espagne. Dans une situation
diffrente, par exemple si les sommes engages sont faibles en
comparaison avec l'conomie du territoire considr, ou si le territoire est
petit, le modle macroconomique n'est pas adapt l'estimation des
effets.
Encadr 9 - L'importance de la situation pour le choix d'un outil
La pelle est un outil dont la fonction consiste dplacer un matriau meuble d'un
endroit un autre. Pour remplir une brouette de 50 litres, on utilise une pelle de
terrassier. S'il faut remplir un camion de 25 tonnes, il vaudra certainement mieux
employer une pelle mcanique.
Dans ces deux exemples, la fonction de l'outil est la mme, mais la situation est
trs diffrente. L'outil doit tre adapt la fois sa fonction et sa situation
d'emploi.
Comme le suggre l'exemple du modle HERMIN, une premire diffrence

est celle de l'chelle des effets valuer qui peut tre micro (un petit
groupe de destinataires potentiels) ou macro (une grande rgion ou un
pays). L'valuation d'un impact au niveau d'une conomie nationale
ncessite l'emploi d'outils particuliers, notamment les modles
macroconomiques, et disqualifie certains autres, par exemple l'tude de
cas.
Une autre diffrence importante est celle du partenariat. En effet, dans le
cadre d'une valuation qui implique plusieurs dcideurs, le choix des effets
valuer et des critres d'valuation revt une grande importance et doit
respecter les divers points de vue en prsence. L'valuation multldcideurs
ncessite l'emploi d'outils ouverts, comme par exemple les techniques de
travail en groupe ou l'analyse multicritre. A l'inverse, elle s'accommode
trs mal d'une technique ferme comme l'analyse cot-efficacit.
La troisime diffrence est celle de l'utilisation de l'valuation : formative ou
rcapitulative. L'tude de cas, qui aide comprendre et tirer rapidement
les leons de l'exprience, est un outil adapt l'valuation formative. Par
contre, cet outil produit des conclusions difficiles synthtiser pour les
dcideurs et le public. Il est donc moins adapt l'valuation rcapitulative.
Encadr 10 - Les trois temps de l'valuation

Dans le cadre des programmes des Fonds structurels europens pour la priode
1994-99, l'valuation intervient trois moments.
L'valuation ex ante porte sur le projet de programme. Elle concerne la cohrence
et la pertinence du projet ainsi que le ralisme des effets escompts.
Les valuations mi-parcours portent sur les effets des toutes premires
ralisations du programme. Elles sont utilises en commun par les diffrents
niveaux de dcision. Elles compltent le suivi et visent rorienter le programme
en cours de route.
Les valuations ex post sont principalement destines rendre compte des effets
des programmes.
La quatrime diffrence est celle de la temporalit (voir Encadr 10).

L'valuation ne peut pas faire appel aux mmes outils pour valuer des
effets qui sont dj obtenus ou qui sont encore attendus.
La cinquime diffrence est une des plus importantes pour le choix des
outils. Il s'agit de la complexit du programme. La majorit des programmes
socio-conomiques sont multlsectoriels, c'est--dire qu'ils interviennent
sous plusieurs formes, visent plusieurs publics diffrents et produisent de
multiples sortes d'impacts. Or, la plupart des outils d'valuation ont
traditionnellement t employs dans des situations simples (un seul secteur
d'intervention, un seul public, un impact principal attendu).
Cette dernire diffrence est trs importante pour le choix des outils. Elle
est galement propre aux programmes socio-conomiques. C'est la raison
pour laquelle elle a t privilgie dans la rdaction de cet ouvrage. La
prsentation des outils est donc structure en deux situations principales :
Evaluer globalement l'ensemble d'un programme. Cette situation est
celle d'un programme rgional multlsectoriel que l'on souhaite valuer
globalement dans toute sa complexit. Cette situation fait notamment
place l'valuation des impacts de niveau macro.
Approfondir une question evaluative. Cette situation rejoint le cas de
l'valuation d'un programme simple, qui est dcrit dans la plupart des
manuels d'valuation.
De manire gnrale, plus la complexit est grande, plus les fonctions de
clarification et de structuration doivent tre traites avec attention, plus
l'observation empirique est coteuse et plus l'analyse de causalit est
difficile. La pratique normale est une approche par dcoupage du
programme en catgories d'interventions homognes. Chaque intervention

est value sous l'angle de sa pertinence, de son efficacit ou de son
efficience. L'valuation fait ensuite une synthse au niveau du programme.
La difficult de cette dmarche est que les diffrentes composantes du
programme (mesures, actions, etc.) doivent tre values selon des critres
communs tout le programme. En effet, si tous les critres sont
spcifiques, la synthse est impossible. Une variante de cette situation est
celle o l'on doit estimer les effets macroconomiques l'chelle d'une
rgion ou d'un pays. Cela ncessite en premier lieu d'estimer les effets
micro de chaque composante du programme selon une grille commune,
puis d'intgrer ces effets dans l'ensemble
des
mcanismes
macroconomiques pour en dduire un effet global qui n'est pas la somme
des effets microconomiques.
Diffrents types de questions peuvent ncessiter des approfondissements :
Evaluation centre sur une composante lmentaire du programme, par
exemple un axe prioritaire, une mesure, une action. Dans ce cas, les
ralisations sont homognes et les destinataires peuvent tre facilement
identifis et interrogs. La collecte et l'analyse de donnes primaires sont

faciles, de mme que le jugement par comparaison
interventions similaires dans d'autres rgions.
avec
des
Evaluation centre sur un public, les PME ou les chmaurs de longue

dure par exemple. Ce cas ressemble beaucoup au prcdent. Il s'en
distingue par le fait que plusieurs composantes lmentaires du
programme peuvent toucher le mme public.
Evaluation centre sur un thme prioritaire. Dans ce cas, on value la
pertinence ou l'impact de toutes les composantes du programme sur un
thme particulier, comme l'emploi, l'environnement ou l'galit des
chances. La difficult de ce type de situation est que les interventions
sont multisectorielles, ainsi que les rsultats et les mcanismes d'impact.
Cette situation n'est donc pas loin de prsenter autant de difficults que
l'valuation d'ensemble d'un programme complexe. Elle est traite dans
le Volume 5 de cette Collection.
Evaluation centre sur un territoire particulier. Dans ce cas, on value la
pertinence ou l'efficacit de toutes les mesures du programme sur une
partie restreinte de la zone couverte par le programme (ex : quartiers en
difficults, zones les plus dfavorises, etc.). Cette situation prsente
exactement les mmes difficults que l'valuation d'ensemble d'un
programme complexe.
Dans la suite de cet ouvrage, le terme valuation approfondie

dsignera seulement les deux premiers dcoupages qui produisent des
situations simples, dans lesquelles les outils traditionnels d'valuation sont
bien adapts.
Il
Outils pour l'valuation d'ensemble
d'un programme
Les textes relatifs aux outils d'valuation font le plus souvent rfrence
des programmes simples, visant un public bien dfini et cherchant
produire un changement limit ce public. A l'inverse, un programme de
dveloppement socio-conomique
est typiquement multisectohel et
multiobjectifs. Il cherche crer des transformations conomiques ou
sociales l'chelle de tout un territoire. Pour atteindre son but, il adopte une
stratgie intgre, dirige vers de nombreux publics (entreprises, salaris,
chmeurs, collectivits, etc.). Il doit produire son impact global grce la
bonne combinaison de multiples impacts spcifiques sur ses diffrentes
cibles. Dans ce contexte, l'valuation rencontre des problmes techniques
auxquels la littrature existante apporte peu de solutions. Cette section
recense et prsente douze outils adapts cette situation. Beaucoup
d'entre eux sont innovants ou sont employs de manire innovante.
Exemples d'valuations de programmes multisectoriels

Les trois exemples qui suivent dcrivent des situations o le programme
valuer tait clairement multisectoriel. Ces valuations ont employ un ou
plusieurs outils de faon performante.
Dans le premier exemple, le programme apporte un financement important
une rgion en retard de dveloppement. Il finance des infrastructures de
base aussi bien que des aides aux entreprises. Ses objectifs sont
nombreux et pas toujours prcis. Une des questions auxquelles a rpondu
l'quipe charge de l'valuation intermdiaire est la suivante : Est-ce que
le contexte conomique rgional volue dans le sens de l'atteinte des
objectifs ? L'valuation a permis de savoir si les problmes conomiques
rgionaux taient en voie de rsorption ou d'aggravation.
Encadr 11 - L'valuation intermdiaire d'un programme rgional
en Espagne
En 1996, la Generalitt de Valencia a lanc l'valuation intermdiaire d'un
programme de dveloppement socio-conomique rgional (Programme
Oprationnel d'Objectif 1) cofinanc par les Fonds structurels europens. Le
programme comportait 25 mesures destines agir, ensemble ou sparment,
sur plusieurs catgories de populations cibles. Les objectifs du programme
taient nombreux, peu hirarchiss et rarement quantifis.
L'valuation a dbut par une srie de runions au cours desquelles les
partenaires ont tabli une liste des dix principaux impacts attendus. Cette liste a
t obtenue avec l'aide de la technique de la cartographie conceptuelle. Chaque
impact attendu a reu un nom (ex: diversification et efficience des ressources
nergtiques >).
A chacun des dix Impacts on a associ un ou plusieurs indicateurs de contexte
(ex : nombre d'entreprises rgionales consommant du gaz naturel ). L'quipe
d'valuation a ensuite rassembl des donnes statistiques pour connatre
l'volution globale de ces indicateurs au niveau rgional. On a analys rvolution
tendancielle de chaque indicateur par la technique de comparaison avant-aprs.
Dans cet exemple, la technique de la cartographie conceptuelle a permis
ae clarifier et de hirarchiser les effets valuer (premire fonction
d'valuation), tandis que la technique de comparaison avant-aprs a
permis de croiser des donnes pour montrer des volutions intressantes
(cinquime fonction).
Dans le second exemple, la situation est celle d'un programme qui apporte
un financement pour le dveloppement d'une rgion franaise. Ici aussi, les
interventions sont multisectorielles et multlobjectifs. L'quipe charge de
l'valuation intermdiaire souhaitait montrer la dimension spatiale des
ralisations et des rsultats.
Encadr 12 - L'valuation intermdiaire d'un programme rgional
en France
Les Programmes Intgrs Mditerranens (PIM) ont t dcids dans les annes
80 pour aider les rgions fortement concurrences par l'entre de l'Espagne et du
Portugal dans la Communaut Europenne. Le PIM du Languedoc-Rousslllon
tait compos de plusieurs sous-programmes, orients vers des secteurs
diffrents : l'agriculture et la pche, l'industrie, l'artisanat, le tertiaire, la fort et
l'environnement, ainsi que le tourisme. Plus de la moiti des fonds mobiliss ont
t orients vers l'agriculture et la pche, ces secteurs tant les plus concerns
par l'intgration de l'Espagne et du Portugal.
Le PIM de la rgion Languedoc-Roussillon a fait l'objet d'une valuation
intermdiaire. Les PIM ayant t conus pour tre complmentaires des
politiques rgionales, l'valuation devait notamment analyser la synergie entre
ces deux niveaux de politique. Cette valuation s'est particulirement intresse
la localisation et l'intgration spatiale des diffrentes mesures du programme.
L'quipe d'valuation a rassembl toutes les donnes du suivi ainsi que certains
indicateurs statistiques dans une base de donnes en notant leur localisation. Un
systme d'information gographique a t utilis cette occasion pour la
premire fols des fins d'valuation. L'quipe d'valuation a prsent ses
rsultats sous forme de cartes. La lecture de certaines cartes a rvl un certain
nombre de dcalages entre la localisation des financements et celle des zones
rurales les plus menaces.
Dans cet exemple, la technique du systme d'information gographique a
permis d'effectuer un croisement des donnes qui a produit des
conclusions intressantes (cinquime fonction).
Le troisime exemple concerne l'valuation globale des aides des Fonds
structurels dans la Rpublique d'Irlande. La situation est celle d'un
ensemble de programmes couvrant de nombreux secteurs et apportant un
financement massif l'chelle d'un pays. Les objectifs globaux du
programme sont de nature macroconomique. Ils sont peu nombreux et
prcisment dfinis. L'quipe charge de l'valuation ex ante devait
estimer les Impacts macroconomiques probables.
Exemples d'valuations
Encadr 13 - L'valuation ex ante d'un ensemble de programmes

en Rpublique d'Irlande
Pour la priode 1989-93, toutes les aides europennes au dveloppement de
l'Irlande ont t coordonnes au sein d'un Cadre Communautaire d'Appui . La
Commission europenne et le gouvernement national ont command
conjointement une valuation ex ante de cet ensemble trs complexe.
L'valuation devait estimer les impacts potentiels du CCA sur l'conomie
irlandaise. Une question importante tait de savoir si une intervention massive
(voisine de 5% du PIB irlandais) n'aboutirait pas de manire indirecte une
dgradation des finances publiques cause des besoins de cofinancement.
L'valuation a t ralise par l'Economie and Social Research Institute (ESRI) de
Dublin. L'quipe d'valuation a estim les Impacts microconomiques des aides
en s'appuyant sur des travaux de recherches et sur des valuations d'aides
similaires. Ces impacts primaires ont t introduits dans un modle
macroconomique permettant de simuler le fonctionnement de l'conomie
nationale. L'ESRI avait prcdemment cr ce modle dans le cadre du
programme europen HERMES. Un travail pralable a du tre effectu afin
d'adapter le modle employ la situation d'valuation, notamment en
dsagrgeant sa structure sectorielle Initiale pour mieux tenir compte des effets
des aides europennes. Le modle a permis d'estimer les impacts l'chelle de
l'conomie nationale, en prenant en compte de nombreux mcanismes
macroconomiques. Le risque d'une augmentation excessive de la dette
publique a t confirm.
Dans cet exemple, l'quipe d'valuation a appliqu la technique du modle
macroconomique pour estimer les effets (sixime fonction). Il faut
cependant noter que l'outil employ incorpore une srie de choix quant aux
variables modliser ou ngliger. L'outil a donc implicitement servi
clarifier et hirarchiser les effets valuer (premire fonction).
Ces trois exemples ont permis d'illustrer l'emploi de plusieurs outils dans
des situations o l'valuation porte sur l'ensemble d'un programme
multisectoriel. La section qui suit va montrer que la bote outils de
l'valuation est suffisamment fournie pour que la plupart des fonctions des
valuations de ce type puissent tre outilles.

Lorsqu'un programme socio-conomique est complexe, la phase de
structuration de l'valuation est particulirement Importante car elle
conditionne le caractre complet et comprhensible des rsultats. En outre,
si le contexte est partenarlal, cette phase est indispensable pour clarifier les
critres d'valuation qui conviennent aux diffrents partenaires et
dtermine fortement l'acceptabilit des conclusions.
L'analyse SWOT est gnralement utilise ex ante pour dfinir la stratgie
d'un programme. Cet outil aide valider les objectifs et dfinir plus
prcisment les effets rechercher ainsi que les interventions souhaitables.
Il peut galement aider valuer une stratgie dj tablie ou mme dj
applique.
La cartographie conceptuelle d'impacts permet de dfinir les effets
valuer et les indicateurs associs, dans le cas o les objectifs sont
nombreux et pas encore stabiliss. L'outil peut galement tre trs utile si
les objectifs ont t fixs de manire peu prcise. Cet outil est adapt au
travail en partenariat car il fonctionne partir de l'agrgation des points de
vue individuels en dgageant un consensus entre les partenaires.
Le vote color est particulirement adapt pour clarifier et hirarchiser les
questions valuatives dans une situation d'valuation associant plusieurs
dcideurs. Il fournit galement un moyen rapide et robuste pour choisir les
critres d'valuation ainsi que pour valider les conclusions de l'valuation
et pour formuler des recommandations. Cet outil est utile lorsque les
protagonistes sont nombreux et qu'il faut prendre en compte et respecter
leurs diffrences de point de vue.
La matrice d'impacts est un outil qui donne une vision simplifie de
l'ensemble d'un programme complexe. Son principe consiste regrouper
les diffrentes composantes du programme en dix vingt sous-ensembles
(les lignes de la matrice), clarifier les principaux impacts attendus (les
colonnes de la matrice). Chaque cellule de la matrice reoit une note
reprsentant l'Importance probable d'un impact donn pour une
composante donne. L'outil permet de s'assurer que tous les effets
essentiels du programme ont t envisags avant de hirarchiser ceux qui
devront faire l'objet d'un effort particulier d'valuation. Cet outil n'est pas
dcrit dans les pages qui suivent. On pourra se reporter au Volume 4 de la
Collection qui est consacr aux techniques innovantes.
Certains outils classiques de structuration ne sont pas adapts la

situation d'valuation d'ensemble d'un programme complexe. Par
exemple, la technique de l'arbre d'objectifs ou celle du cadre logique ne
permettent pas de prendre correctement en compte la multiplicit des
actions et de leurs impacts escompts.
Analyse SWOT
(ForcesFaiblesses
OpportunitsMenaces)
L'analyse
SWOT
dvelopp depuis
est
un
les annes
outil
50
Evaluation
d'ensemble
pour aider les entreprises dfinir

leur stratgie dans un environnement
concurrentiel fluctuant
et contrai
gnant. Cet outil d'aide la dcision

doit son nom au fait qu'il examine les
forces
et
faiblesses
Technicit
faible
Cot
faible
G
Usage
prospectif
Usage
stabilis
(Strengths,
Weaknesses) Internes l'entreprise ainsi que les opportunits et menaces du

march (Opportunities,
Threats). Il fait partie des outils classiques de l'analyse
stratgique, de mme que, par exemple, la matrice BCG (Boston
Consulting
Group) qui prsente de nombreuses similarits.
Exemple : L'apprciation ex ante du plan Objectif 6 sudois

L'analyse SWOT a t utilise lors de l'laboration du plan de dveloppement
rgional pour l'Objectif 6 en Sude. Les rsultats produits travers cette mthode
ont permis de mettre en vidence les grandes tendances environnementales,
structurelles et dmographiques caractristiques du contexte de la rgion retenue.
L'Identification des stratgies et des priorits, ainsi que la conception du plan
d'action, ont t ralises par la suite sur la base des facteurs majeurs identifis
travers l'analyse SWOT, dont l'aperu suivant n'est qu'un rsum.
Forces : Larges espaces naturels prservs, ressources naturelles importantes.
Faiblesses : Rgion isole, faible densit de population, vulnrabilit aux fluctuations
conomiques, celles des budgets publics, faiblesses structurelles des entreprises.
Opportunits : Tourisme, qualit des ressources forestires, production piscicole en
eau douce, prospection minire.
Menaces : Dclin dmographique, insuffisance du nombre d'emplois.
Les recommandations issues de cette analyse base sur des donnes socio
conomiques rgionales ont t juges par les responsables comme pertinentes
pour alimenter leur rflexion prospective. Leur utilit pour justifier les choix faits dans
le cadre du Plan de Dveloppement Rgional semble avre. Depuis cette premire
tentative d'utilisation concrte de l'analyse SWOT dans le cadre des programmes
financs par la Commission europenne, cet outil a t utilis dans de nombreuses
rgions.
Source : Prior appraisal of the regional development plan for the objective 6 region
of Sweden, Nordland Research Institute, Bodo, juin 95.
Dans le secteur public, les grandes villes ont t les premires employer
cet outil dans les annes 1980 pour rflchir diffrents scnarios de
dveloppement. L'utilisation de l'analyse SWOT s'est plus rcemment
tendue aux diagnostics des territoires et l'valuation ex ante de
programmes rgionaux.
A quoi sert l'outil ?
L'analyse SWOT vise intgrer dans la rflexion sur un programme les
caractristiques intrinsques du territoire concern, mais aussi les facteurs
dterminants de l'environnement dans lequel celui-ci prend place. L'outil
est utilis pour diminuer les zones d'incertitude lies la mise en uvre
d'un projet ou d'un programme applicable au territoire concern. Il permet
ainsi de dfinir une stratgie plus pertinente par rapport au contexte dans
lequel l'action va se dployer. La finalit de l'outil est donc :
la mise en vidence des facteurs dominants et dterminants, internes et
externes la collectivit, et propres influencer le succs de son projet ;
la production de lignes stratgiques pertinentes par la mise en relation du

projet avec son environnement.
L'analyse SWOT peut tre prolonge en s'inspirant des outils dits de
gestion de portefeuilles , comme la matrice B.C.G., pour examiner la
validit d'une stratgie propose ou en cours d'application et pour
recommander, le cas chant, des modifications. Le classement des
diffrentes possibilits d'action tient compte de leur faisabilit (atouts

disponibles en Interne = forces et faiblesses), ainsi que de leur potentiel
(attraits par rapport l'environnement extrieur = opportunits et menaces).
L'utilit de tels outils dans les processus valuatifs rside dans leurs
capacits dgager une image systmique des relations que le programme
valu entretient avec son environnement direct.
Dans quels cas l'utiliser ?
Dvelopps il y a une vingtaine d'annes par les spcialistes du
management priv, les outils d'aide la dcision stratgique trouvent
aujourd'hui un nouvel essor dans la rflexion stratgique publique.
Construits l'origine en fonction des notions de produits, de clients, de
march et d'avantages comptitifs, leur utilisation s'tend actuellement aux
collectivits publiques dans la mesure o leurs politiques visent crer des
avantages comptitifs l'chelle du territoire dont elles sont responsables.

Les notions de forces, de faiblesses, d'opportunits et de menaces peuvent
en effet s'appliquer une conomie rgionale dans le cadre d'une
comptition europenne, aussi bien qu' une entreprise en comptition sur
ses marchs.
L'analyse SWOT permet de dgager les lignes stratgiques les plus
pertinentes par rapport un objectif global de dveloppement conomique.
L'utilisation de l'outil est donc particulirement indique lors de la
conception d'un programme et lors de son valuation ex ante car elle
permet une amlioration de la qualit de l'insertion de celui-ci dans son
contexte.
Comment le mettre en uvre ?
La mise en uvre d'une dmarche stratgique de type SWOT comprend
six tapes distinctes.
Etape 1. Radiographie de l'environnement du programme : Cette
opration va permettre de dceler les grandes tendances et problmes
susceptibles d'affecter l'avenir du territoire considr, l'aide d'indicateurs
de type socio-dmographiques, conomiques, politiques ou physiques.
Les indicateurs de disparits rgionales sont particulirement utiles pour
rvler les opportunits et les menaces. Cette phase ne saurait tre
exhaustive, son objectif tant limit l'obtention d'images globales,
capables d'Illustrer les grandes tendances et problmes auxquels va devoir
se confronter la communaut considre.
Etape 2. L'inventaire des actions possibles : Les actions possibles sont
formules en termes gnraux, et construites en fonction des grands
problmes identifis.
Etape 3. L'analyse externe des opportunits et menaces. Elle liste les
paramtres de l'environnement, qui ne sont pas sous le contrle direct des
collectivits, et dont on suppose qu'ils peuvent influencer fortement le
dveloppement socio-conomique.
Etape 4. L'analyse interne des forces et faiblesses : Elle complte
l'analyse externe en procdant l'inventaire des facteurs qui sont au moins
en partie sous le contrle de la collectivit, et qui peuvent constituer des
moteurs ou des freins pour le dveloppement.
Etape 5. Le classement des actions possibles : Il vise mettre

vidence les actions les mieux mme de rduire les problmes
dveloppement (lignes stratgiques) en s'appuyant sur les forces et
rduisant, voire en liminant, les faiblesses, ceci dans une perspective
maximisation des opportunits et minimisation des menaces.
en
de
en
de
Etape 6. L'valuation d'une stratgie : Cette tape facultative peut tre

ralise s'il convient de juger la pertinence d'une stratgie dj applique
ou en projet. Elle est conue sur la base d'une analyse de portefeuille
d'activit . A l'instar d'une entreprise avec ses produits et ses marchs, un
programme socio-conomique contient en effet un
ensemble
d'interventions, dont certaines combinent des forces et des opportunits
tandis que d'autres cherchent compenser des faiblesses ou prvenir
des menaces. L'quipe d'valuation place les interventions sur un plan
deux axes : (1) faisabilit interne, forces, faiblesses et (2) environnement
externe, opportunits, menaces. La discussion de la carte ainsi produite
permet de juger la pertinence de la stratgie value.
Application aux Fonds structurels
L'analyse stratgique est adapte la clarification des enjeux de
dveloppement socio-conomique des rgions auxquelles s'appliquent les
Fonds structurels. Elle est indique pour laborer des stratgies de
dveloppement rgional, qui doivent tre centres sur les forces et les
opportunits, en essayant de pallier les faiblesses et les menaces. Un outil
comme l'analyse SWOT propose un point de dpart pour dfinir les lignes
stratgiques d'application en fonction d'un environnement dfini.
SWOT peut galement servir aux gestionnaires comme outil de jugement
de la pertinence d'une stratgie en projet ou en cours d'application. Dans
le cadre d'une valuation en cours de programme, cet outil permet de
vrifier si la stratgie mise en uvre reste pertinente par rapport aux
besoins de l'conomie rgionale.
Points forts et limites d'utilisation
L'analyse SWOT applique l'action publique est oriente vers la

recherche d'une stratgie efficace.
L'outil matriciel est issu de thories du management dj anciennes et
souvent critiques pour leur caractre simplificateur. Il faut tre conscient
de cette limite lors de leur transposition au management public, afin de
ne pas se laisser enfermer dans un cadre rducteur.
En tant qu'outil d'valuation, il permet de raliser un classement simple

des activits en fonction de leur pertinence. Sa principale faiblesse
provient de la procdure, souvent subjective par laquelle l'quipe
d'valuation classe les activits. L'association des partenaires ce
classement est une faon de renforcer la crdibilit et l'utilit de l'analyse.
L'analyse SWOT ncessite une volont dlibre de la part des diffrents
acteurs participant son application de dboucher sur un consensus
stable. Le processus d'laboration de lignes stratgiques n'acquiert de
valeur que sous cette condition. Dans le cas contraire, ce modle peut
tendre produire un diagnostic erron et/ou inapplicable.
Bryson J.M. et Roering W.D. (1987) Applying Private Sector Strategic
Planning In the Public Sector , Journal of the American Planning
Association, n53, pp. 9-22.
Examen des conditions d'applicabilit des mthodes de
planification stratgique d'entreprises face aux contingences du
secteur public
Quinn, J.B. & al (1988) The Strategy Process, New Jersey : Prentice hall.
Etude critique sur la planification stratgique
Cartographie
conceptuelle d'impacts
La cartographie
conceptuelle
d'impacts est une adaptation de la
technique
dite
de
Concept
mapping
utilise depuis une
dizaine d'annes pour l'valuation
des
programmes.
Celle-ci
d ' a b o r d t utilise c o m m e aide

la dfinition de stratgies ou d e
rorganisation
des
Evaluation
d'ensemble
Technicit
moyenne
Cot
moyen
O G
Usage
rtrospectif
Usage
prospectif
Usage
innovant
entreprises
avant d'tre applique la c o n c e p t i o n de politiques publiques, notamment

de p r o g r a m m e s sociaux.
Exemple : La clarification des impacts escompts du Programme Oprationnel

FEDER 1994-99 de la Generalitt de Valencia.
Cet exemple correspond celui de l'Encadr 11.
La cartographie conceptuelle d'impacts utilise dans le cadre de l'valuation
intermdiaire du P.O. FEDER 1994-99 de la Generalitt de Valencia poursuivait deux
objectifs :
la clarification des Impacts spcifiques et globaux du programme afin de
dterminer des critres de jugement sur l'efficacit des interventions pour
l'valuation intermdiaire.
la proposition d'indicateurs d'impacts Intermdiaires et globaux afin de complter
la batterie d'indicateurs du programme.
L'valuation s'est droule en deux phases centres sur les impacts intermdiaires,
puis sur les impacts globaux, en s'appuyant respectivement sur les gestionnaires
des mesures et les responsables de l'ensemble du programme.
Les fonctionnaires de la Generalitt en charge de la mise en uvre des mesures au
sein du programme ont t rpartis en trois groupes en fonction des domaines
d'intervention (aides directes aux entreprises, aides Indirectes aux entreprises,
infrastructures). A l'Issue d'un cycle de trois runions, chacun des groupes a
dtermin
les
critres
d'valuation
spcifiques
des
actions
du
domaine
d'Intervention concern. Les mmes groupes ont ensuite dtermin quels pourraient
tre les Indicateurs d'impact intermdiaire mme de fournir l'information ncessaire
pour porter un jugement en fonction des critres spcifiques d'valuation retenus.
Dans une seconde phase, les responsables du programme dans son ensemble
(reprsentants de la Commission europenne, de l'administration centrale espagnole
et des Autorits Rgionales) ont, selon le mme processus, construit des critres
globaux d'valuation du programme en s'appuyant sur les rsultats des travaux des
groupes. Le processus s'est achev par la slection d'indicateurs d'impacts globaux
correspondants.
Source : Programme MEANS 1996 - Instituto Valenciano de Investigationes
Econmicas, Projet pilote de cartographie conceptuelle des impacts
Les logiciels de traitement des donnes sont utiliss pour obtenir une
image graphique des reprsentations que les acteurs ont de la ralit
socio-conomique en gnral et des Impacts escompts en particulier. Le
programme MEANS a dvelopp une application spcialement conue
pour la clarification des impacts d'un programme de dveloppement
rgional et la recherche d'indicateurs associs, dans le cadre du partenariat
(voir le Volume 4 de cette Collection consacr aux techniques innovantes).
La cartographie conceptuelle d'impacts est un outil d'aide la clarification
des impacts escompts d'une intervention publique. La clarification/
hirarchisation est obtenue en tenant compte des reprsentations de
l'ensemble des protagonistes. Le travail du groupe est facilit par le
caractre systmatique de la dmarche qui vite des digressions
infructueuses et par la visualisation de la proximit ou de la distance entre
les Impacts. Ainsi on peut animer la rflexion de groupes htrognes de
taille importante (jusqu' 200 personnes) et obtenir une structuration et
hirarchisation des principaux impacts attendus d'une intervention. La
technique de la carte conceptuelle d'impacts permet ainsi dans un
contexte ex ante de dterminer les objectifs viss et les priorits. Dans un
contexte ex post, elle permet d'laborer le referentiel de l'valuation
(critres d'efficacit et indicateurs d'impact).
Cet outil est prcieux pour structurer le contenu d'un programme
complexe. Il a t par exemple utilis dans un quartier d'Irlande du Nord
pour dfinir un programme social en association avec les communauts
protestantes et catholiques concernes. Il apporte une aide en matire
d'valuation chaque fois qu'il est ncessaire de renforcer l'valuabilit d'un
programme, c'est--dire chaque fois qu'il est ncessaire de rendre les
objectifs d'un programme plus explicites.
Cette technique est particulirement pertinente lorsque le renforcement de

l'valuabilit d'un programme doit se faire dans le cadre du partenariat
entre plusieurs dcideurs/financeurs. Elle permet ainsi de parvenir un
referentiel commun d'valuation malgr les divergences d'objectifs qui
peuvent exister entre ces partenaires.
Deux caractristiques frquentes des programmes peuvent ainsi motiver le
recours la cartographie conceptuelle d'impacts : le manque de clart et
de prcision des objectifs d'un programme et des impacts escompts
d'une part, et l'insuffisance des indicateurs d'impact prvus par le
programme, d'autre part. Sa mise en uvre tant relativement lourde, il
convient d'en rserver l'usage aux programmes complexes o les impacts
escompts sont nombreux.
Etape 1. Constitution d'un groupe des parties prenantes du programme.
Cette tape est essentielle car elle va dterminer le cadre dans lequel vont
se drouler les tapes postrieures du processus. Le groupe constitu doit
tre quilibr (rpartition quitable des diffrents acteurs du programme),
riche (connaissance approfondie de l'intervention par les membres du
groupe) et stable (participation continue l'ensemble du processus).
Etape 2. Recensement des impacts escompts du programme sous
forme de descripteurs. Il s'agit, lors de cette tape, de produire une liste
exhaustive de l'ensemble des impacts escompts du programme sous
forme de courts noncs qualitatifs appels descripteurs d'impact
(Exemple : les acteurs du tourisme se sont professionnaliss ).
Cette liste doit inclure aussi les ventuels impacts dfavorables du
programme qui ne sont pas escompts mais qui sont pourtant prvisibles.
Deux sources alimentent cette liste :
le reprage par les chargs de l'valuation de l'ensemble des
descripteurs d'impact figurant dans les documents de programmation ;
les descripteurs d'impact formuls par les membres du groupe en
fonction de la connaissance qu'ils ont des interventions. Il s'agit des
impacts des mesures ou actions des programmes que chacun des
membres du groupe s'attend constater court, moyen ou long terme.
La formulation peut se faire dans le cadre d'interviews ou dans le cadre
d'une premire runion du groupe.
Une runion du groupe est indispensable pour valider les descripteurs

proposs et arrter en commun la liste dfinitive des descripteurs.
Etape 3. Pondration des descripteurs et constitution de piles. Dans le
cadre d'une deuxime runion du groupe, il est remis chacun des
membres la liste rcapitulative des descripteurs, ainsi qu'un jeu de bristols
(chacun des bristols comportant un descripteur). Il est demand chacun
des membres du groupe individuellement :
de pondrer les diffrents descripteurs, c'est--dire de noter les
descripteurs en fonction de leur Importance stratgique pour le
programme. La note sera d'autant plus leve que l'Impact dcrit occupe
une place importante dans la russite du programme.
de constituer d'autre part des piles de descripteurs en fonction de leur
proximit conceptuelle; chacun des membres du groupe va ainsi
procder des regroupements de descripteurs conceptuellement
proches, autrement dit qui relvent d'une mme famille d'Impacts.
Etape 4. Calcul de la carte conceptuelle des impacts. Les donnes
produites par chacun des membres du groupe (pondrations et piles) vont
faire l'objet d'une analyse statistique conduite grce un logiciel.
Au terme d'une analyse multidimensionnelle de positionnement non
mtrique, les descripteurs vont tre reprsents sous la forme d'un nuage
de points, dans un espace deux dimensions. Seront proches, dans ce
nuage de points, les descripteurs qui ont t souvent placs dans une
mme plie par les participants. Seront les plus loigns, les descripteurs
qui n'ont jamais t mis dans une mme pile par les participants.
Au terme d'une seconde analyse qui consiste en une classification
hirarchique en grappes, le logiciel va identifier des groupes de
descripteurs. Seront placs dans un mme groupe les descripteurs qui ont
t le plus souvent associs par les diffrents membres du groupe. Ces
groupes sont ainsi constitus de descripteurs proches d'un point de vue
conceptuel.
Enfin, la pondration moyenne des descripteurs inclus dans chacun des
groupes est calcule. Le rsultat final est ainsi une carte comprenant des
groupes pondrs de descripteurs (le poids est reprsent dans le
diagramme ci-dessous par l'paisseur du trait).
Etape 5. Dfinition des critres d'efficacit. Dans le cadre d'une troisime

runion, la carte conceptuelle d'impacts obtenue est examine par le
groupe. La composition des diffrents groupes de descripteurs est ainsi
discute, certains descripteurs pouvant tre dplacs pour rendre la
composition plus cohrente. La carte calcule par le logiciel ne constitue
ainsi pas un rsultat final mais plutt une base de discussion.
Une fols la composition des familles valide, il est procd leur
dnomination. L'objectif est que les membres du groupe s'accordent sur
une dnomination pour chacune des familles qui synthtise l'ensemble des
descripteurs composant la famille. Cette dnomination correspond un
critre d'valuation. Il y aura ainsi autant de critres d'valuation que de
familles de descripteurs d'impact. Les familles tant pondres, les critres
obtenus seront galement pondrs, ce qui permet d'utiliser directement
ces critres pour un jugement multicritre.
La rflexion du groupe peut tre poursuivie afin de prciser la temporalit
des familles d'impact (impacts qui sont attendus court, moyen ou long
terme), et les relations de causalit supposes entre ces familles d'impact
(ex : telle famille d'impact constitue un impact intermdiaire qui contribuera

l'atteinte d'un objectif plus global).
La rflexion du groupe peut enfin tre approfondie afin de proposer des
indicateurs d'impact directement lis aux diffrents critres d'valuation
dtermins. Les descripteurs inclus dans chacune des familles constituent
une aide pour dfinir ces indicateurs. Certains de ces descripteurs, et
notamment ceux auxquels ont t attribues les plus Importantes
pondrations, peuvent ainsi Inspirer directement la dfinition d'un indicateur.
La discussion par le groupe de chacun des indicateurs proposs va porter
sur la pertinence de l'Indicateur du point de vue de son lien avec le critre
d'valuation et de la disponibilit de sources d'information.
Encadr 15 - Elaboration partenariale des cartes d'impacts
PHASE 1
Gestionnaires
Groupe A
Gestionnaires
Groupe
Gestionnaires
Groupe C
'
'
Carte des
impacts
spcifiques A
Carte des
impacts
spcifiques
'
Groupe des
responsables
PHASE 2
1
'
Carte des
impacts globaux
'
Carte des
impacts
spcifiques C
Cet outil se rvle particulirement bien adapt au contexte des

programmes structurels. Ce type de programme poursuit les objectifs
dfinis par l'Union europenne et adapts en fonction des caractristiques
de l'Etat membre ou de la rgion bnficiaire. Les Documents Uniques de
Programmation tant le produit de ngociations, il est frquent que les
objectifs des programmes ne soient pas suffisamment prcis pour pouvoir
construire une valuation fiable. Le recours cet outil est un appui pour la
ralisation de la premire tape de clarification. Il permet la clarification des
questions d'valuation, la hirarchisation des effets et la dfinition des
critres d'valuation dans un contexte de partenariat qui facilite
l'appropriation des rsultats de l'valuation.
La carte conceptuelle d'impacts est prcieuse pour prparer les
valuations intermdiaires des programmes. En effet, elle permet d'tablir
de faon systmatique des familles d'impacts transversales plusieurs
mesures et ainsi de construire des critres pertinents pour l'valuation du
programme dans son ensemble. On peut en particulier adopter la
dmarche en deux phases, comme celle mise en uvre Valencia et que
l'on peut rsumer sous la forme de l'Encadr 15.
La mdiation technique (logiciel informatique) se rvle prcieuse pour
parvenir un accord malgr l'htrognit des points de vue initiaux.
La dynamique de groupe gnre par la technique se rvle utile et
positive pour accrotre la connaissance mutuelle des actions des
diffrents gestionnaires et peut ainsi favoriser des ajustements de la mise
en uvre. Mobilisant les parties prenantes ds la phase pralable des
travaux d'valuation, elle facilite grandement les tapes postrieures de
l'valuation et l'acceptation des rsultats.
L'outil permet de renforcer l'valuabilit des programmes. Il aide
parvenir un referentiel commun d'valuation, tout en prenant en compte
les points de vue des diffrents partenaires. Les discussions de groupe
successives qui sont une partie de la mise en uvre de cet outil assurent
la lgitimit du referentiel obtenu.
Les rsultats peuvent tre produits en quelques jours. La technique est
ainsi compatible avec le cycle de l'valuation.
Les ressources ncessaires (mme si elles restent modestes) et la
mobilisation de nombreuses parties prenantes lors de runions
successives ne se justifient que dans la mesure o les enjeux de

l'valuation du programme sont suffisamment importants.
La constitution du groupe de partenaires est une phase sensible au cours
de laquelle il faut s'assurer du bon quilibre entre les parties prenantes.
Des efforts importants peuvent tre ncessaires en cas de relations
conflictuelles.
Si la technique d'laboration de la carte conceptuelle d'impacts limite les
risques lis au leadership de quelques membres du groupe, ce risque
demeure lors des phases de production des descripteurs et
d'exploitation de la carte conceptuelle.
Cet outil permet le traitement de toutes les fonctions de l'tape de
structuration.
Trochim, W.M.K. (1989) 'An introduction to concept mapping for planning
and evaluation', in : Evaluation and Program Planning, 12 (1) : 1-16.
Prsentation de l'outil et de son intrt pour l'valuation
Knox, C. (1995) 'Concept Mapping in Policy Evaluation : A Research Review
of Community Relations in Northern Ireland', in : Evaluation, 1(1)
Un exemple intressant d'utilisation de l'outil dans un contexte
europen
Dans la Collection MEANS : le Volume 4 consacr aux techniques
innovantes
Vote color
O O
Dans le domaine de l'valuation, le

Cot
Evaluation
Technicit
travail en groupe est souvent
faible
d'ensemble
faible
indispensable,
particulirement
lorsque plusieurs partenaires sont
Approfon
Usage
Usage
associs la commande et au
dissement
rtrospectif prospectif
pilotage de l'valuation. Les
diffrentes techniques de vote
permettent
de
structurer
la
Usage
innovant
rflexion collective, que ce soit
dans le but d'en
amliorer
l'efficacit, d'en stimuler la crativit ou de dgager une position commune.
Comme ces techniques sont nombreuses, nous parlerons plus
particulirement cidessous de l'Abaque de Rgnier ou vote color.
Exemple : L'valuation d'un programme de dveloppement conomique en

Suisse
Dans le cadre d'une recherche ddie la mesure des effets des actions publiques
en Suisse, la CEAT (Communaut d'tudes pour l'amnagement du territoire) a
ralis l'valuation d'une politique cantonale de promotion conomique. Deux
groupes de travail ont t constitus avec des acteurs et des oprateurs de la
politique, le premier consacr aux objectifs et stratgies de cette politique et le
second sa mise en uvre et coordination .
L'quipe d'valuation a utilis l'Abaque de Rgnier comme technique d'animation
des groupes de travail. Les groupes ont travaill partir d'affirmations, souvent
provocatrices, rdiges par l'quipe d'valuation en vue de pousser les participants
se positionner. En faisant voter les participants sur ces affirmations, la technique a
cr un point de dpart pour faire exprimer les positions et prendre connaissance
des autres avis prsents dans le groupe. Le dbat a permis de dfinir une position
commune sur les objectifs de la politique de promotion conomique.
Source : Alberton S., Rey M. et L. Vodoz (1993) La politique valalsanne de promotion
conomique : une valuation privilgiant le point de vue des acteurs. Berne :
Programme National de Recherche 27.

Les techniques de vote facilitent l'expression de tous les participants sur un
sujet donn. C'est la manire d'obtenir ces avis qui varie selon les
techniques. Le vote color mise sur la prise de connaissance visuelle de
tous les avis prsents au sein du groupe grce une prsentation en

couleur des rsultats du vote individuel. On vite ainsi que la forte
personnalit de certains dissimule l'avis de participants plus discrets. Le
vote color permet aussi de dgager rapidement les questions
consensuelles de celles qui sont conflictuelles. On gagne ainsi du temps en
concentrant la rflexion du groupe sur les aspects problmatiques.
Les techniques de vote permettent d'viter certains inconvnients du travail
en groupe : pressions la conformit, convergence des opinions autour
des valeurs centrales, prdominance de certains acteurs, etc.
Dans quels cas l'utiliser
Un groupe de travail peut utiliser ces techniques pour n'importe quel type
d'valuation : ex ante pour dlimiter les enjeux ou les besoins satisfaire,
in itinere pour clarifier les objectifs comme dans l'exemple ci-dessus et, le
cas chant, ex post pour valider les conclusions de l'valuation.
Il arrive frquemment que les objectifs et les critres de jugement d'un
programme ne puissent tre lgitimement clarifis par une seule personne.
Dans ce cas, les techniques de vote facilitent le travail d'un groupe qui
runit des comptences et des niveaux de responsabilit trs varis.
Autrement dit, les runions de travail qui encadrent la ralisation d'une
valuation sont un moment idal pour appliquer les techniques de vote.
Dans cette optique, le vote color sera particulirement utile la
hirarchisation des objectifs du programme, la dfinition des critres
d'valuation et la slection des critres les plus importants.
Etape 1 : Formulation des noncs. Les noncs sont des affirmations
exprimes de manire concise, gnralement en une seule phrase. La
formulation des noncs est faite pralablement par l'quipe d'valuation,
sur la base d'entretiens personnels ou sur la base d'une premire
discussion de groupe.
Dans l'exemple ci-dessus les noncs ont t formuls comme suit :
Pour les entreprises industrielles, les aides financires sont drisoires
Pour l'industrie, la promotion conomique doit tre destine aux
entreprises "high-tech"
< La promotion conomique doit bnficier toutes les zones du canton

de manire egalitaire
etc.
A ce stade, il est utile d'effectuer une vrification collective de la
comprhension des noncs.
Etape 2 : Vote individuel. Les participants attribuent une couleur chaque
nonc. La signification des couleurs est simple :
rouge
rose
dsaccord plutt en
total
dsaccord
jaune
vert clair
vert fonc
blanc
noir
pas
d'opinion
tranche
sur le sujet
plutt
d'accord
accord
total
sans
opinion
sur le
sujet
ne veut
pas
participer
au vote
Etape 3 : Retranscription des votes sur un tableau aimant ou sur cran

d'ordinateur. Le rsultat est ainsi Immdiatement prsent aux participants
sous forme d'un tableau rempli de pastilles de couleur. Les tendances sont
bien visibles et cela permet chacun de savoir s'il existe un consensus
dans le groupe.
Etape 4 : Discussion du groupe. L'animateur procde la slection des
noncs soumis discussion. Le plus souvent on retiendra en priorit ceux
ayant fait l'objet de dissensus.
Etape 5 : Reformulation des noncs avec le groupe. Cette tape finale
permet de dgager une position collective sur le sujet.
La gestion des Fonds structurels est partenariale, ce qui veut dire que de
nombreuses runions vocation cratrice peuvent s'appuyer sur des
techniques de vote pour structurer et dynamiser leur travail (runions
consacres la slection de projets, l'valuation des programmes leur
ramnagement ou leur renouvellement, etc.)
Le vote color est, on l'a vu, particulirement bien adapt aux situations o
une position commune ou un consensus sont requis. Il permet aussi de
hirarchiser les propositions manant d'un groupe, ce qui peut faciliter les
conclusions d'une runion.

Le vote color est apprci par les groupes lorsqu'ils recherchent un
consensus dans un domaine relativement conflictuel. Ainsi, la
transparence et la simplicit de la technique assurent une bonne
confiance dans le processus.
Les rsultats de ce vote sont immdiatement visibles et les tendances
sont, grce aux couleurs, faciles percevoir. La possibilit de voter
blanc ou noir permet de mettre en avant le manque d'information
ou les points de dsaccord sur l'objet de discussion.
Une forte responsabilit repose sur l'animateur, ce qui requiert une
grande exprience de sa part.
La faible technicit renforce la confiance des participants (NB. : la
dernire version de l'Abaque de Rgnier est informatise). L'aspect
ludique de cette mthode a galement l'avantage de dtendre
l'atmosphre des runions. Il existe cependant un risque de rejet si les
participants trouvent la technique trop scolaire.
L'ventuelle prdominance d'un acteur dans les dbats est attnue par
la nature non verbale de l'outil.
Anzleu, D. et Martin, J.-Y. (1994), La dynamique des groupes restreints.
Paris : PUF. 395 p.
Ouvrage de rfrence pour le fonctionnement des groupes
restreints. Contient en annexes diverses mthodes de runionsdiscussions .
Mucchielli, R. (1992), La conduite des runions. Paris : Librairies
techniques. 120 p.
Ouvrage de vulgarisation contenant des exercices pratiques.
Vlveret, P. (1992) 'Les outils d'intelligence collective et l'valuation', in :
L'valuation
en dveloppement.
Paris : La Documentation
Franaise. 179-183.
Article rsumant des techniques de groupe.

Lorsqu'un programme est complexe et qu'on veut l'valuer dans son
ensemble, le champ d'observation balayer est trs large et rend
l'observation exhaustive trs onreuse. Il existe cependant des outils qui
permettent de collecter les donnes ncessaires l'valuation.
Il est possible de raliser une observation de terrain en organisant une srie
d'entretiens individuels avec des oprateurs (observation indirecte) ou
avec des destinataires du programme (observation directe). Cette
technique est particulirement adapte lorsque les informations que l'on
cherche collecter sont relativement factuelles.
Les entretiens de groupes (focus group) raliss galement avec des
oprateurs ou des destinataires permettent de collecter des opinions et des
donnes. En particulier, un entretien de groupe bien conduit permet de
collecter des opinions avec une bonne fiabilit.
Il est possible de raliser une observation de terrain systmatique grce
des tudes de cas soigneusement slectionnes. Dans une situation
d'valuation d'un programme complexe, l'tude de cas semble tre le seul
outil qui permette la fois d'observer les effets chez les destinataires
directs ou indirects et de respecter la complexit des diffrentes
composantes du programme.
Certaines techniques d'observation classiques sont difficilement
applicables dans la situation d'valuation d'ensemble d'un programme
complexe. Par exemple, l'enqute par questionnaire auprs des
destinataires directs du programme est trop onreuse si, comme c'est
souvent le cas, il existe une dizaine de catgories diffrentes de
destinataires.
Outils pour observer les changements
La
technique
de
l'entretien
individuel permet d e recueillir d e s

informations
qualitatives
opinions
des
et les
personnes
concernes par un p r o g r a m m e o u
un projet particulier, s o n c o n t e x t e ,
Evaluation
d'ensemble
A
Approfon
dlssement
Technicit
moyenne
O O
Usage
rtrospectif
sa mise en uvre, ses rsultats o u

son
impact.
d'entretien
Plusieurs
mritent
Cot
moyen
formes
d'tre
Usage
prospectif
Usage
stabilis
distingues, c h a c u n e rpondant
un besoin diffrent : l'entretien
par conversation informelle;
semldirectif avec g u i d e ; l'entretien directlf, a p p r o c h e la plus
l'entretien
rigide.
La prsentation qui suit est centre sur l'entretien semidirectlf. C'est la

technique la plus utilise dans le cadre d e l'valuation d e s Fonds structurels.
Exemple : L'valuation du programme de North Jutland Technology (NordTek)

Le programme NordTek a pour objet le dveloppement du Nord Jutland par
l'introduction de technologies de l'information dans le tissu industriel rgional. Le
programme NordTek a deux finalits qui sont la cration d'emplois et la
compensation d'une mage ngative de rgion priphrique. A cette fin, la stratgie
de dveloppement mise en uvre par ce programme repose sur quatre objectifs qui
seront atteints par trois types d'actions.
Les objectifs sont : renforcer les rseaux locaux d'acteurs, amliorer la qualification
des travailleurs en regard des nouvelles technologies, orienter la production
rgionale vers la demande locale et dvelopper l'attraction des investissements
trangers. Les actions mises en uvre pour cela sont des mesures en faveur de la
connaissance et de l'utilisation des technologies nouvelles, des mesures pour la
formation l'utilisation des technologies nouvelles et des mesures d'aide
l'investissement des PME.
Le programme a t valu avec des entretiens semidirectifs auprs de 70
entreprises aides. Le but de ces enqutes est de comprendre la faon dont les
entreprises utilisent les services reus, et ce que ces derniers leur apportent. Les
entreprises qui ont fait l'objet d'entretiens ont t slectionnes parmi 250
entreprises aides de 5 des projets les plus importants du programme de NordTek
(les diffrents projets qui composent le programme concernent des thmes prcis,
comme le conseil, la formation, la mise en rseau...). Les entreprises slectionnes
devaient avoir reu une aide relativement importante pendant au moins six mois et
tre reprsentatives des diffrentes formes d'aide qui ont t octroyes.
L'approche choisie est une mthode utilisant un guide d'entretien, afin de

rassembler la totalit des Informations concernant les entreprises. Le guide
d'entretien prsente galement une plus grande rigueur qui facilite le recoupement
des rsultats des entretiens raliss par plusieurs enquteurs diffrents. Aprs
l'entretien, l'enqute se poursuivait par une conversation plus informelle au cours
d'une visite de l'entreprise, la dure totale tant d'environ deux heures. La personne
interroge recevait ensuite le rsum de l'entretien sous forme d'un document de 48 pages, pour validation.
Les thmes abords au cours de l'entretien taient les suivants : les motifs de
l'adhsion au projet, le bnfice attendu de l'aide et le bnfice reu, les possibilits
d'obtenir une aids provenant d'une source diffrente, ...
Les rsultats des entretiens ont permis d'identifier les raisons qui ont conduit les
entreprises participer aux projets de NordTek. Globalement, il ressort de ces
entretiens que l'assistance apporte par NordTek est dans certains cas unique et ne
peut tre trouve ailleurs tandis que pour certains aspects, elle concurrence des
socits locales, voire d'autres projets NordTek. Les services de mise en rseau et
de conseil de NordTek se dveloppent sur une priode de plusieurs mois, et mme
plusieurs annes ; la connaissance personnelle, la proximit gographique sont ds
lors perues comme des facteurs importants pour les entreprises. Il reste cependant
difficile de quantifier les bnfices que les projets Nortek ont pu apporter aux
entreprises, cause des nombreux facteurs externes pouvant influencer le
processus dans lequel les services voluent.
Source : Olsen, Leif et Olaf Rieper. NordTek-evaluieringen, AKF Forlaget, 1991.

Ce type d'enqute est un moyen de bien connatre et d'examiner l'avis des
acteurs (destinataires et autres parties prenantes) sur un projet ou un
programme : son adquation avec les besoins, les rsultats par rapport
aux attentes... L'enqute par entretien est galement utilise en sciences
sociales comme outil d'investigation des logiques de l'usager.
L'entretien individuel est une technique exploratoire permettant d'obtenir
des informations pertinentes sur les raisonnements, les conceptions et
reprsentations que se font les personnes Interroges sur un projet, un
programme, ... Au-del des reprsentations subjectives, il sert aussi
recueillir des informations sur des pratiques Individuelles.
C'est un outil particulirement prcieux pour dterminer de quelle faon
l'Intervention a t mise en uvre et pour identifier les bonnes pratiques. Il
est donc souvent utilis dans le cadre d'valuations endoformatives
destines tester une thorie d'action et/ou aider affiner une politique
ou un programme. Il peut galement tre utile pour fournir une valuation
rcapitulative d'un programme destin apporter des changements dans
l'attitude ou la perception des acteurs (tels que des transferts de
technologie ou des programmes de formation) par opposition des
rsultats plus tangibles (tels que la cration de nouveaux emplois ou la
construction de nouveaux quipements).
L'entretien est utilis dans un cadre exploratoire, autrement dit lorsque l'on
ne dispose pas d'hypothses a priori ou de connaissances suffisantes sur
un projet ou un public cible qui permettraient d'avoir recours une enqute
par questionnaire.
L'entretien est une technique galement pertinente lorsque le public
concern par le programme ou projet valu est trop rduit pour faire l'objet
d'un sondage statistiquement reprsentatif.
L'entretien semi-directif avec guide sera utilis lorsque l'on recherche des
informations relativement standardises sur le programme tudi. Cette
technique ncessite une certaine connaissance pralable du sujet.
La technique de l'entretien individuel peut s'utiliser tout stade du
processus d'valuation : pour tablir une thorie sur le programme valu,
identifier les problmes et besoins d'une rgion et les amliorations
ncessaires pendant la mise en uvre du programme. Il peut se rvler
particulirement efficace quand il est utilis pour recueillir les opinions
d'acteurs cls tels que les gestionnaires de programmes ou les principaux
dcideurs.
Afin de bien conduire un entretien, il est ncessaire de respecter les tapes
suivantes :
Etape 1. La slection des personnes interroger : l'chantillon ncessaire
la conduite d'un entretien est de taille plus rduite que pour une enqute
mene par questionnaire ; les informations obtenues sont en effet valides
par le contexte et non pas par la probabilit d'occurrence propre aux
questionnaires. Le nombre d'entretiens dpend du thme de l'tude, de la
varit des comportements face au thme tudi, et des moyens
disponibles (en gnral de 20 60 entretiens). L'chantillon retenu repose

le plus souvent sur la slection des composantes dites caractristiques de
la population (chantillon diversifi). L'chantillon peut tre slectionn soit
par accs direct (via des listes administratives par exemple) ou en faisant
intervenir des tiers, ce qui permet une slection plus cible mais prsente
des risques de distorsion.
Etape 2. La conception du plan d'entretien : le plan d'entretien comprend
l'laboration d'un guide d'entretien. Il s'agit de prciser les thmes que
l'enquteur souhaite aborder. Il n'est pas Indispensable de suivre les
indications du guide d'entretien dans un ordre prcis ; ce guide constitue
plutt une sorte de check-list , qui permet l'enquteur de vrifier qu'il
traite bien les questions essentielles. L'enquteur peut moduler son
intervention en fonction de la personne Interroge, formuler de nouvelles
questions. Les premiers entretiens pourront donner lieu des ajustements
ou des modifications dans la dfinition des questions si celles-ci ont pos
problme aux personnes interroges. Trs souvent, il est galement utile,
afin de ne pas perdre de temps pendant l'entretien, d'avoir recueilli au

pralable certaines informations de base auprs des personnes
interroges. De mme, on pourra fournir pralablement la rencontre le
plan des questions qui seront abordes afin qu'elles puissent runir toutes
les donnes objectives. Il est gnralement prfrable d'tablir un contrat
spcifiant le but de l'entretien, sa dure, le niveau de confidentialit, l'usage
qui sera fait des conclusions, etc.
Etape 3. La slection et la formation des enquteurs : la bonne conduite
d'un entretien ncessite un grand professionnalisme de l'enquteur. Celuici doit justifier de comptences pour communiquer, pour couter et pour la
prise de notes. Pour faciliter le droulement de l'entretien, et faire en sorte
que la personne interroge se sente l'aise, il peut tre utile de s'assurer
de la proximit sociale de l'enquteur et de l'interrog. Les enqutes les
moins structures ncessitent en outre de la part de l'enquteur une
connaissance importante du terrain.
Etape 4. Le droulement de l'entretien : un enquteur doit se montrer
respectueux de la personne interroge et des informations collectes,
et doit savoir exposer clairement le sujet et le contexte. Le contact initial est
trs important. Il tablit une base de communication. L'enquteur doit
veiller ne pas influencer la personne interroge, en l'approuvant ou en
orientant ses rponses. Il est possible d'enregistrer l'entretien, afin d'tre
fidle aux assertions propres la personne interroge, et de s'assurer au
moment du compte-rendu que les remarques les plus importantes n'ont

pas t omises. Toutefois, l'utilisation d'un magntophone peut parfois
intimider la personne interroge. Il faut galement prvoir, dans
l'estimation du budget et du calendrier, le temps et le cot ncessaire la
transcription des enregistrements. Le compte-rendu (ou le rsum) devra
tre approuv par la personne interroge qui pourra alors ventuellement
complter toute rponse reste inacheve. Il est recommand d'adresser
une lettre de remerciement aux personnes interroges (notamment afin de
s'assurer de leur bonne volont au cas o leur coopration serait nouveau
ncessaire dans le cadre d'tudes futures).
Etape 5. L'analyse des rsultats : cette dernire phase consiste analyser
les discours, Interprter, comparer les informations communiques par les
personnes interroges, rechercher les avis communs et divergents, afin de
dresser le bilan de l'valuation. Il est possible de faire un rsum entretien
par entretien, centr sur la cohrence propre chaque entretien, ou une
analyse thmatique transversale, plus approprie la recherche de modles
capables d'expliquer les pratiques individuelles.
Pour produire les rsultats et les discuter ensuite, l'enquteur tablit une
grille d'analyse, partir de la lecture des entretiens et d'hypothses
descriptives. Cette grille constitue un outil explicatif, appliqu chaque
compte-rendu d'entretien.
Les techniques d'entretien sont largement utilises dans le cadre de
l'valuation des interventions structurelles et en particulier pour l'valuation
des programmes. L'entretien avec les gestionnaires et les destinataires
reste l'un des outils les plus communment utiliss dans l'valuation
intermdiaire des programmes structurels. Le principe consiste
slectionner plusieurs destinataires ou gestionnaires, en fonction des
caractristiques de l'action mise en uvre et du public concern.
Utilis comme outil d'analyse, l'entretien est l'un des seuls outils qui
permette l'accomplissement d'un tour d'horizon rapide des programmes
valuer. Les entretiens les moins structurs - conversation informelle avec
les gestionnaires et autres personnes concernes par le programme pourront tre utiliss pour identifier les parties du programme qui devront
tre approfondies. Les entretiens avec les dcideurs peuvent reprsenter
une tape importante dans la mise au point de l'valuation et la
dtermination des rsultats cls attendus par ces dcideurs.
Les entretiens peuvent galement s'avrer pertinents et fournir des

informations utiles dans le cadre de programmes caractre social pour
lesquels les destinataires sont souvent peu motivs pour remplir des
questionnaires, comme les mesures d'insertion professionnelle d'anciens
chmeurs ayant suivi un stage.
L'avantage de ce type d'enqutes est qu'il fournit des informations
approfondies sur les valeurs, les faits et comportements des personnes
interroges ; il permet d'identifier, de mettre en relation un ensemble
d'lments, donnant lieu une tude relativement exhaustive sur un
thme donn.
Un entretien individuel prend en compte les facteurs situationnels et
individuels ; pour cette raison, il reste difficile de tirer des conclusions
gnrales. Les entretiens individuels peuvent permettre une identification
exhaustive des effets et des causes possibles ; ils ne sont par contre pas
utilisables pour mesurer des Impacts ou hirarchiser les causes.
Un entretien bien men peut permettre de mieux comprendre les
mcanismes de mise en uvre, les relations causales propres un
programme et d'identifier des russites exemplaires ou des dfaillances
manifestes. Dans ce cas, la technique produit une information facile
communiquer sous forme d'encadrs illustratifs.
Pour tre conduite efficacement, cette pratique demande beaucoup de
temps et ncessite la contribution de professionnels. Des comptences
particulires sont requises pour concevoir, conduire et interprter un
entretien ; une matrise insuffisante de ces comptences produirait une
information sans valeur. Or, les entretiens ne sont pas toujours pratiqus
avec le professionnalisme requis pour produire des rsultats efficaces.
Le bnfice de cet outil dpend des connaissances des personnes
interroges et de leur volont bien vouloir rpondre. Les informations
peuvent tre galement fausses du fait du choix des informateurs.
Blanchet, ., Gotman, . (1992) L'enqute et ses mthodes
Nathan Universit
l'entretien.
Ouvrage entirement consacr l'enqute par entretien, vue sous

un angle pdagogique
Casley, D., Kumar, K. -(1991) Collecte, analyse et emploi des donnes de

suivi et d'valuation. Banque Mondiale.
Prsentation claire et accessible des techniques d'entretien -Ch. 2
et 3, 12 47.
Patton, M.Q., (1987) How to use qualitative methods in Evaluation, Sage
Publications.
Consacr l'ensemble des techniques qualitatives, il donne un
aperu de leur application dans le domaine de l'valuation.
Entretien de groupe
(Focus Group)
Un entretien de groupe (Focus
Group) fait intervenir plusieurs
personnes ayant des caract
ristiques homognes et fournit des
informations qualitatives au cours
d'une discussion cible.
Evaluation
d'ensemble
Approfon
dissement
Technicit
forte
Cot
moyen
O O
Usage
rtrospectif
Usage
prospectif
Usage
La technique de l'entretien de
innovant
groupe a t imagine par les
spcialistes du marketing pour
analyser l'impact potentiel de stratgies publicitaires et messages
commerciaux. La technique fait appel l'Interaction et la crativit des
participants pour enrichir et consolider l'information collecte. En
particulier, elle peut aider les participants se forger une opinion sur un
sujet qu'ils connaissent peu. Elle est spcialement intressante pour
analyser des thmes ou domaines qui suscitent des opinions divergentes
que l'on doit tenter de rconcilier ou qui ont trait des questions
complexes qui doivent tre explores en profondeur.
Exemple : L'valuation thmatique du DOCUP Objectif 3,199499 Royaume Uni

Dans le cadre d'une valuation du DOCUP objectif 3 RoyaumeUni, la technique de
l'entretien de groupe (focus group) a t utilise en complment d'autres techniques.
Les objectifs gnraux de cette valuation taient de vrifier, d'une part si les actions
mises en uvre au sein du DOCUP atteignaient effectivement les destinataires
souhaitables et, d'autre part, si la structure du DOCUP favorisait l'mergence de
projets efficaces en termes d'intgration des chmeurs aids sur le march du
travail.
La mthode construite pour cette valuation comportait un volet quantitatif bas sur
l'exploitation des donnes de suivi et un volet qualitatif bas notamment sur quatre
entretiens de groupe dans quatre rglons reprsentatives de la diversit des
situations au RoyaumeUni : l'Ecosse, les "West Midlands", Londres et le Sudouest.
Ces groupes taient constitus de reprsentants de porteurs de projets (notamment
centres de formation, "regional councils", instituts d'enseignement suprieurs,
organisations non gouvernementales, "Training and Enterprises Council"). Les
thmes et questions abords taient structurs comme suit :
examen des sources d'information disponibles pour l'laboration de projets
correspondant aux besoins des publics cibles ainsi que pour choisir les moyens
d'atteindre ces publics ;
mise en vidence des points forts et faibles des modes de slection,

d'approbation et de gestion, notamment financire, des projets et leur incidence
sur l'efficacit en termes de ciblage ;
discussion sur les moyens de mesure et d'apprciation des rsultats de ces
actions en fonction de la spcificit des publics cibles et des demandes des
employeurs ayant fait l'objet d'un dbat ;
et enfin, dbat sur l'efficacit du DOCUP comme instrument pour susciter des
projets adapts aux besoins des destinataires.
Ces discussions ont permis de faire merger des ides et des considrations
nouvelles, couvrant souvent des thmes connexes aux questions poses tels que
l'existence et l'Intrt de "projets intgrs", les modes de fonctionnement en rseaux
de porteurs de projet, "l'additionnalit" des projets,... Les rsultats tirs de ces
entretiens de groupe, bien que non reprsentatifs au sens statistique du terme, ont
permis de dgager des "ides creuser" dans des domaines divers tels que :
l'accs des publics difficiles, les conditions facilitant l'mergence de projets
pertinents en termes de ciblage,...
Source : Targeting and the ESF Objective 3 1994-1996 Single Programming
Document (SPD), final report to the Department for Education and Employment
(DfEE) ECOTEC, june 1996

Les entretiens de groupe commencent tre largement utiliss aujourd'hui,
plus gnralement dans le domaine des sciences sociales et notamment
pour l'valuation. En jouant sur l'interaction et la confrontation des points
de vue, cette technique permet de rvler les perceptions des participants
sur un thme donn, que ce soit la pertinence du programme valu, sa
mise en uvre, ses rsultats ou ses impacts.
La technique de l'entretien de groupe constitue une application particulire
des techniques d'animation de runions. L'outil est standardis en vue de
crer une interaction optimale pour la collecte d'informations. D'autres
techniques de groupe sont utilises en sciences sociales, comme la
technique Delphi, ou celle du groupe nominal (recensement de tous les
points de vue individuels, ensuite soumis au groupe et discuts), qui ne
comportent pas de vritable discussion interactive.
L'entretien de groupe permet de runir simultanment ou de manire
squentielle plusieurs protagonistes d'un programme (gestionnaires,
destinataires et/ou oprateurs) et de collecter de nombreuses Informations
qualitatives dans un temps relativement court, grce une dmarche
d'Intelligence commune . La confrontation des ralits vcues et des

reprsentations des participants au groupe permet de mieux comprendre le
phnomne observer.
En impliquant les acteurs ou les destinataires d'un programme dans les
travaux d'valuation, les conclusions de l'tude seront en outre plus
facilement crdibles et acceptes. La technique de l'entretien de groupe
peut galement constituer un outil de validation d'une collecte de donnes,
ou venir complter des donnes quantitatives.
Les entretiens de groupe sont adapts aux cas o les thmes traiter
suscitent des opinions divergentes mais o la discussion reste possible ;
les sujets traits seront d'intrt public de manire pouvoir tre
dbattus en groupe.
Dans la mme logique que les entretiens individuels, plusieurs tapes sont
ncessaires afin de bien prparer et conduire le entretiens de groupe. Une
fois le thme de l'tude prcisment dfini, les tapes suivantes sont mises
en uvre :
Etape 1 - la slection des participants : le choix des participants aux
groupes dpend des caractristiques de la population et du thme trait. Il
est prfrable de constituer plusieurs types de groupes (entre 3 et 5) au sein
des catgories retenues. En effet, se limiter travailler avec un seul groupe
comporte des risques quant la validit de l'tude : la dynamique de
groupe peut par exemple tre fausse cause de la composition
htrogne de l'chantillon. Les participants seront slectionns de
manire assurer une certaine homognit au groupe. Le nombre de
participants est gnralement compris entre 6 et 10 par groupe, de manire
ce que chacun puisse prendre la parole et afin de s'assurer que des sousgroupes ne se constituent pas. En rgle gnrale, les participants ne se
connaissent pas.
Les participants sont parfois rmunrs ; cependant, plutt qu'une
rmunration incitative, il est prfrable de proposer aux participants de
rembourser leur frais de dplacement, s'il y a lieu, et de leur servir une
collation en fin de sance.
Etape 2 - la conception du guide d'entretien : compte tenu des dlais et

du nombre de personnes, il est important de bien dfinir et limiter les sujets
abords. Les guides pour chaque groupe seront diffrents. Le guide des
entretiens de groupe devra tre court, car I faut plus de temps lorsque
plusieurs personnes participent la discussion et rpondent aux mmes
questions. La plupart des questions poses sont des questions ouvertes ;
elles seront galement soigneusement tablies et sries, les plus
gnrales venant en premier lieu.
Etape 3 - le choix et la formation des animateurs : l'animateur doit faire
preuve de crativit, de motivation et assurer de bons rapports avec les
participants. La formation des animateurs tiendra compte des attitudes
adopter vis--vis du groupe (respect des ides, ...), des connaissances
qu'il doit intgrer quant aux objectifs de l'tude, aux techniques d'analyse
des donnes. L'animateur doit galement faire preuve de comptences
pour communiquer, pour la prise de notes, etc. Il est utile de prvoir une
deuxime personne par groupe, particulirement si la sance n'est pas
enregistre sur magntophone pour prendre des notes pendant l'entretien
pendant que l'autre anime et facilite la discussion. Des co-animateurs
peuvent observer le droulement de la discussion, soit en tant
physiquement prsents, soit d'une autre pice ( travers une glace sans
tain, par exemple), et transmettre ainsi l'animateur des recommandations
sur la conduite de la runion.
Etape 4 - le droulement de la discussion : La discussion peut tre lance
de manire assez ouverte, en introduisant le sujet de la session et en posant
une question simple d'intrt gnral, permettant chaque participant
d'mettre un premier avis ou une remarque sur le sujet. Le guide d'entretien
sert rappeler l'animateur tous les points essentiels qu'il doit aborder. Afin
de conserver tous les avantages de l'entretien, il faut en possder le
compte-rendu rdig. Il est fortement recommand d'enregistrer, voire
filmer, l'entretien, bien que cette dernire formule soit souvent perue
comme une intrusion par les participants. Certaines salles sont conues
de manire ce que les participants ne remarquent pas l'enregistrement.
Etape 5 - l'analyse et le compte-rendu des rsultats : cette dernire
phase consiste Interprter et comparer les informations communiques
par les participants et rechercher les avis communs et divergents au sein
de chaque groupe. Les informations collectes sont codifies de manire
organiser les rsultats au vu des objectifs de l'enqute. L'interprtation
des donnes doit tenir compte et distinguer deux aspects majeurs de la
discussion : ce que les participants considrent intressant et ce qu'ils

jugent Important. L'analyse dpendra du nombre de groupes interrogs, et
de la nature des entretiens (par exemple, l'entretien de groupe est-il men
selon une approche structure ou non ?). Les rsultats en provenance des
diffrents groupes sont compars afin d'identifier d'ventuelles
convergences. La rdaction du rapport pourra Intgrer les citations les plus
marquantes des participants, ainsi qu'un rsum des discussions.
La technique de l'entretien de groupe peut s'utiliser pour tester une mesure
Innovatrice (valuation ex ante), clarifier les objectifs d'un projet, tablir une
thorie d'action pour le programme en cours d'valuation, identifier les
problmes et besoins d'une rgion et les amliorations ncessaires
pendant la mise en uvre du programme. Cette technique peut galement
tre utilise en fin de programme dans le cadre d'une valuation ex post,
afin de collecter des informations qui permettront d'identifier et/ou
d'interprter les effets et impacts du programme concern, de fixer de
nouvelles priorits et orientations.
Ce type d'enqutes fournit des informations approfondies sur les valeurs,
les opinions des personnes interroges.
Le fait de regrouper plusieurs personnes fournit un certain quilibre dans
les rponses donnes et permet l'quipe d'valuation de cerner plus
facilement l'opinion gnrale qui se dgage sur un programme donn. Du
fait de la participation de plusieurs personnes, les entretiens de groupe
assurent un certain contrle de qualit sur la collecte des donnes,
en jugeant les pour et contre des arguments avancs par chacun,
vitant ainsi les opinions extrmes.
En peu de temps (environ une heure trente - deux heures), il est possible
de collecter une quantit importante d'informations qualitatives.
Des comptences particulires sont ncessaires pour grer la dynamique
de groupe et obtenir une discussion quilibre vitant l'influence
dominante des animateurs. Il existe galement un risque de
polarisation , c'est--dire que les participants seront, aprs discussion
du groupe, influencs par l'opinion qui tait majoritaire au dbut de la
discussion.
Les discussions peuvent parfois tre biaises, du fait que les participants
(destinataires) de politiques publiques sont sujets un effet de
clientlisme , et produiront un jugement a priori positif.
Le nombre de personnes limite cependant le nombre de questions en
raison du temps ncessaire pour y rpondre ; par ailleurs, des conflits
peuvent merger entre les diffrentes personnes, et diminuer la qualit et
l'efficacit de l'entretien.
Il est possible que la participation un groupe d'entretien change la
perception des personnes, soit en raison de l'effet Hawthorne (le fait
que le comportement des personnes observes change parce qu'elles se
savent observes), soit parce que l'interaction avec d'autres participants
leur fournit de nouveaux raisonnements ou leur offre de nouvelles
perspectives. Ainsi par exemple, participer un groupe d'entretien peut
rellement amliorer les performances des gestionnaires de programme.
De cette faon, la mthodologie de l'entretien de groupe peut avoir un
impact sur le programme en cours d'valuation ou sur les programmes
qui suivront.
Anzieu, D, Martin, J.Y., (1994) La dynamique des groupes restreints, PUF Le
psychologue
Prsentation complte, par des spcialistes de la psychosociologie,
du concept du groupe restreint, des principaux phnomnes de
groupe, de certains domaines d'application.
Aubel, J., (1992) Guide pour des tudes utilisant les discussions de groupe,
BIT.
Guide pratique de la conduite d'entretien de groupe.
M. Moore, O , (1994) Group techniques for idea building, Sage publications
Approche plus dtaille sur les techniques de groupe, qui prsente
des techniques spcifiques (Nominal Group Technique, Ideawriting,
Interpretive Structural Modeling,..).
Etude de cas
Cet outil est bas sur l'tude

approfondie de donnes rassem
bles propos de cas spcifiques.
Evaluation
Technicit
Cot
moyen
d'ensemble
moyenne
Il peut s'agir d'Individus, de
programmes, d'organisations, de
projets, de groupes de personnes,
ou encore de processus de prise
Approfon
Usage
Usage
de dcision. Cette approche utilise
dissement
rtrospectif
stabilis
une srie de techniques de
collecte de donnes qualitatives et
quantitatives. L'tude de cas est indique pour les valuations visant
l'analyse dtaille de processus complexes de mise en uvre de
programmes et la reprsentation de leurs impacts. L'tude de cas
s'applique galement aux situations qui requirent une tude de terrain
exploratoire en raison du manque d'informations disponibles.
Exemple : l'valuation du programme de NordTek, Danemark

Ce programme, destin aux petites et moyennes entreprises, comportait une
centaine de projets offrant des services aux entreprises dans les domaines de la
formation, du conseil, de l'accs des installations informatiques modernes, ... Il
s'agit donc d'un programme que l'on peut qualifier de soft par opposition aux
programmes hard , visant l'amlioration des infrastructures. Les rsultats de
tels programmes sont difficiles valuer prcisment car ils sont immatriels.
Six projets de taille importante ont t slectionns en tant que cas tudier. Les
projets devaient, selon les critres de slection, tre reprsentatifs de la diversit au
niveau des stratgies d'Intervention, mais aussi au niveau de leur localisation. De
plus, les projets slectionns devaient avoir bnfici de financements Importants
dans le cadre du Programme NordTek et tre orients exclusivement vers les
entreprises (et non des instituts de recherche ou des administrations). Les six projets
valus reprsentaient une part tellement importante du programme total que
l'analyse des impacts de ces interventions permettait de couvrir l'ensemble des
phnomnes Importants. Il a t reconnu sans ambigut que les projets choisis
reprsentaient les meilleurs cas du programme.
La collecte de donnes a t faite deux niveaux oprationnels : au niveau du projet
proprement dit et au niveau des entreprises. En ce qui concerne le projet, chacun des
cas a t tudi 4 ou 5 reprises sur le terrain par les valuateurs en l'espace de
deux ans. A chaque fois, les gestionnaires taient interrogs, et chaque projet devait
garder les traces des services proposs et des entreprises concernes dans un
cahier d'enregistrement conu spcialement pour l'valuation. L'analyse des
documents ainsi obtenus tait retransmise aux chefs de projet et discute lors des
visites. Au niveau des entreprises, des donnes ont t collectes au cours
d'entrevues auprs d'un chantillon de 20 PME qui avaient utilis les services offerts.
Enfin, 40 PME qui n'ont pas utilis les services proposs ont t interroges dans
une dernire tape de l'valuation.
Source : Olsen, Leitet Olaf Rieper. Nordtek-evaluieringen, AKF Forlaget, 1991.

L'tude de cas peut rpondre aux finalits suivantes :
illustration : l'tude de cas est un outil qui permet d'ajouter du ralisme
une valuation, si sa prsentation est ralise sous une forme narrative.
Il faut cependant choisir le cas avec soin, car il doit tre reprsentatif de
l'ensemble d'un programme ou illustrer un point spcifique (par exemple,
une action particulirement efficace ou une approche ayant rvl de
srieuses faiblesses qu'il conviendrait donc d'viter l'avenir) ;
exploration : mettre des hypothses pour de futures investigations,
identifier les diffrents points de vue des parties prenantes ;
analyse critique : vrifier et valider une affirmation relative un
programme, un projet ou une stratgie ;
analyse de mise en uvre : examiner la diffusion des services et ses
mcanismes, souvent dans des lieux diffrents ;
analyse des impacts des programmes : comprendre la nature des
processus qui engendrent les impacts.
Les rsultats d'une tude de cas sont toujours prsents sous une forme
narrative, comme une histoire, et donnent ainsi au lecteur une vision de
l'Intrieur du cas tudi, lui procurant une impression d'authenticit.
Ainsi, l'tude de cas possde une finalit analytique aussi bien que
communicative. Les lecteurs sont plus susceptibles de se sentir concerns
par des cas o les programmes et les intervenants sont identifis.
Cependant, et particulirement si l'tude de cas est utilise pour Illustrer
des checs et en tirer des leons, il pourra tre ncessaire de conserver un
caractre anonyme tout ou partie des Informations.
Les tudes de cas peuvent souvent tre conues de faon cumulative pour
faciliter la rponse aux questions d'valuation. Un mme cas peut tre
tudi plusieurs reprises pour fournir une analyse plusieurs fols mise
jour. Les cas peuvent tre descriptifs, normatifs ou destins mettre en
vidence les liens de causalit. Ils peuvent tre particulirement utiles

comme outil pdagogique (par exemple, ils peuvent aider les responsables
officiels reprer des mthodologies d'valuation diffrentes).
L'tude de cas a t largement utilise dans le domaine de l'valuation au
cours de la dcennie passe. Aujourd'hui, on reconnat que cette approche
fournit des informations valables aussi bien pour l'valuation des
programmes que pour la diffusion de nouvelles connaissances. Les tudes
de cas utilisant des procdures de slection sophistiques (par exemple,
tude de cas multiples avec protocole Itratif ) ont tendance remplacer
les enqutes quantitatives grande chelle ralises dans des contextes
culturels diversifis.
L'tude de cas est une mthode d'analyse holistique qui s'applique aux
situations complexes. Cela signifie que son utilisation est adapte la
comprhension approfondie des comportements et des phnomnes
sociaux, en prenant comme cadre de rfrence les personnes et les
organisations analyses. Les tudes de cas sont prcieuses pour identifier
les effets des programmes de manire inductive, en permettant de
dvelopper des hypothses propos des phnomnes qui relient les
causes aux effets. Ces hypothses doivent ensuite tre tayes par les
informations issues des diffrentes tudes de cas et testes par la
recherche d'explications alternatives.
Cela peut s'avrer utile pour observer les rsultats et les impacts
escompts, mais aussi pour mettre jour ceux qui n'taient pas prvus.
Cette approche est moins pertinente pour mettre en vidence les relations
causales, bien qu'elle puisse tre utilise pour dmontrer la probabilit de
leur existence.
L'tude de cas vise l'illustration la plus complte possible d'une situation
donne, afin de donner une mage prcise du droulement des phnomnes
en cours et d'en apprhender les fondements. Ceci est obtenu par la
description puis l'analyse d'exemples restitus dans leur contexte. Cela
signifie que ce type d'analyse doit tre fond sur des sources de donnes
multiples, comme les entretiens, les observations au fil du temps, les
statistiques, les informations physiques, etc. Un recoupement des donnes
doit galement tre effectue pour permettre d'en vrifier la cohrence. La
notion de contexte englobe tous les facteurs qui pourraient affecter le
cas tudi. Ainsi, par exemple, les impacts d'un projet spcifique sur les
destinataires sont Influencs par un grand nombre de facteurs externes.
La quantit de travail ncessaire pour une tude de cas peut tre
extrmement variable. Il faut garder l'esprit que l'tude de cas doit tre
suffisamment riche pour donner au lecteur un compte rendu fidle des faits.
Cependant, l'tude de cas fait partie des mthodes les moins
standardises et peut inclure une srie d'approches diffrentes dans des
situations diffrentes. La conduite d'une tude de cas suppose la mise en
uvre des quatre tapes suivantes :
Etape 1. La slection des cas tudier : Il existe au moins trois critres
de slection de cas : la commodit/l'accs, l'objectif atteindre et la
possibilit d'largir un cas particulier. La slection des cas est une tape
critique pour gnraliser et rpondre aux questions d'valuation. Il est
difficile de justifier une slection fonde uniquement sur la commodit
(facilit de l'accs aux donnes), le sondage probabiliste est parfois
difficilement ralisable. Aussi, le choix sur la base de la finalit est appropri
dans la plupart des cas, comme le montre le tableau suivant :
A quelles questions peut-elle rpondre ?
Base de slection
Que se passe-t-il aux extrmes ?

Qu'est-ce qui explique de telles diffrences ?
cas contrasts
Qu'est-ce qui explique l'efficacit d'un projet ?
les meilleurs cas
Pourquoi un projet ne fonctionne-t-il pas ?
les cas les moins bons
Comment les diffrents types de projets

peuvent-ils tre compars entre eux ?
par sous-ensembles
Parmi les exemples choisis pour reprsenter

des variations importantes, que se passe-t-il
et pourquoi ?
cas reprsentatifs
Dans un site typique, que se passe-t-il

et pourquoi ?
cas typiques
En ces circonstances particulires, que se

passe-t-il et pourquoi ?
cas particuliers
(adapt de GAO, 1990, p.23)
Etape 2. Collecte de donnes et processus : La collecte de donnes

regroupe en principe toutes les donnes disponibles sur le cas, y compris
celles provenant des documents sur le projet, les comptes-rendus des

runions de projet, et galement les donnes collectes aux diffrents niveaux
oprationnels : les entretiens avec les chefs de projet et le personnel,
l'observation du site du projet, les enqutes auprs des destinataires des
services obtenus grce au projet. Ces donnes doivent tre collectes,
enregistres (laboration d'un registre ) et rassembles/rorganises de
faon pouvoir tre intgres dans le rapport final.
Etape 3. Les minutes du cas : La rdaction des minutes du cas
reprend et organise l'ensemble des donnes brutes relatives au cas en un
ensemble d'informations exploitables. Les informations sont dites, les
redondances sont limines, les diffrentes parties sont relies entre elles.
Le compte-rendu est organis pour tre facilement consultable, soit de
manire chronologique, soit de manire thmatique. Le rapport doit inclure
toutes les informations ncessaires pour l'analyse ultrieure, c'est--dire
pour construire le rcit de l'tude de cas.
Etape 4. Rcit : La monographie du cas devrait donner au lecteur un accs
immdiat aux informations, la situation particulire du cas - la situation
d'un projet - et lui faire comprendre le projet dans son ensemble. Chaque
rcit de cas, dans un rapport d'valuation, devrait tre Isol (la taille
pouvant varier entre une et cinq pages). Cependant, dans les dernires
tapes de l'analyse, il se peut que les cas soient utiliss de faon
contraste et compars en fonction des objectifs de l'valuation.
Le dispositif d'tude de cas multiples est particulirement adapt aux
analyses des diverses rgions et pays membres, mais aussi aux valuations
thmatiques : la flexibilit de chaque tude de cas permet de dresser un
portrait adquat des particularismes d'un lieu donn ou d'un projet. La
formulation d'un ensemble commun de questions relatives l'valuation
facilite l'analyse des rsultats obtenus partir de multiples tudes de cas.
En effet, les rsultats s'avrent plus solides s'ils sont produits propos
d'une varit de lieux (par la rutilisation d'tudes de cas). De mme, la
spcificit des cas d'checs ou de succs apparat alors de manire plus
vidente.
Il convient de rappeler que l'analyse transversale de cas consiste en des
examens qualitatifs croiss et une description base sur le cadre de
rfrence tabli par les questions d'valuation. Un processus cumulatif
peut tre recherch lorsque l'valuation porte par exemple sur les
programmes oprationnels des rgions d'Objectif 1 et que les conclusions
doivent tre synthtises l'chelle de plusieurs Etats membres.
La prsentation des rsultats de plusieurs rcits de cas pourrait tre une
barrire l'utilisation gnralise. On peut rsoudre cette difficult au
moyen d'un rsum graphique. Ce rsum fournit un compte-rendu
sommaire du rcit et une prsentation graphique des rsultats en lien avec
chacune des questions. Sous une telle forme, la rponse chacune des
questions d'valuation est dispose, pour chaque cas, sur une seule page :
une prsentation graphique en haut, un rsum du rcit court mais riche,
avec les principaux rsultats, et une conclusion concise. Le rsum du cas
transversal pourrait tre bauch de la mme manire, suivi des
conclusions et recommandations.
Un autre type d'tude de cas pouvant s'appliquer aux Fonds structurels est
l'approche intgre . Cette approche tient compte par exemple de
l'tude des rsultats et des Impacts dans le contexte d'un projet spcifique.
Dans l'exemple du NordTek mentionn ci-dessus, et pour chacun des
projets, un nombre de destinataires (PME) tait slectionn pour une mini
tude de cas. De cette manire, le rapport fait par les PME sur l'utilisation
des rsultats obtenus a pu tre utilis dans le contexte du projet. Ainsi, la
variation des rsultats parmi les diffrentes PME peut s'expliquer par les
diffrences de situation des PME concernes.
L'tude de cas est pertinente pour donner un aperu des processus et
des complexits qui sont impossibles dcouvrir autrement. Elle peut
mme faire prendre conscience aux personnes extrieures,
particulirement aux gestionnaires europens peu impliqus dans ce
domaine, de la ralit des actions quotidiennes et leur fournir une vision
plus claire de la manire selon laquelle le programme est mis en pratique
une fois la dcision prise avec les autorits nationales.
Selon la stratgie de slection retenue, il peut s'avrer possible, si
plusieurs tudes de cas sont effectues, d'extrapoler au-del des
rsultats de ces tudes. Pourtant, il est Impossible de gnraliser au sens
statistique les rsultats une population globale, de passer de quelques
projets un programme, ou de quelques destinataires tous les
destinataires d'une certaine catgorie.
Cette approche est moins approprie pour mesurer l'amplitude des

impacts ou pour en infrer la causalit.
En raison des cots de mise en place d'une bonne tude de cas
(requrant des sources de donnes multiples, des valuateurs
comptents), il convient de se limiter un nombre d'observations rduit.
Mais par ailleurs, on peut la rutiliser et l'appliquer d'autres contextes
et ainsi faire des conomies d'chelle.
La crdibilit des rsultats de l'tude de cas est susceptible d'tre
affaiblie si la mthode n'est pas mise en uvre correctement:
incompletude, slection arbitraire des informations, troncage des
commentaires, distorsion des rsultats... Pour accentuer la fiabilit d'une
tude de cas, quelques prcautions peuvent tre recommandes. Par
exemple : demander une relecture des tudes de cas par les personnes
concernes, afin de vrifier la prcision, la vracit des donnes et leur
interprtation; faire crire des commentaires distincts par deux va
luateurs, en s'appuyant sur un mme cas; faire intervenir des
professionnels extrieurs (comme des journalistes) dans la rdaction du
commentaire.
Dufour, S., Fortin, D., Hamel, J. (1994), L'enqute de terrain en sciences
sociales : l'approche monographique et les mthodes qualitatives,
Montral : Saint-Martin.
GAO (1990), Case Study Evaluations. Washington DC: General Accounting
Office.
Bonne approche gnrale de la mthode.
Yin, R.K. (1994), Case Study Research - Design and Methods, 2nd ed.
Newbury Park : Sage Publications.
Ouvrage complet sur la technique de l'tude de cas.

Une fonction Importante de l'valuation est celle qui consiste croiser les
donnes primaires et secondaires qui ont t collectes. Dans la situation
concerne, ces donnes sont gnralement nombreuses et peu
homognes, ce qui cre des difficults pour l'emploi d'outils sophistiqus.
La plupart des valuations se contentent d'employer les outils classiques
que sont les tableaux et les graphiques (voir par exemple : Henry G.T. ed.,
1997, Creating Effective Graphs : Solutions for a Variety of Evaluation Data,
New Directions for Evaluation, no. 77).
Une technique innovante et particulirement intressante dans cette
situation est celle du systme d'information gographique qui permet de
croiser les donnes en tenant compte de leur localisation. Les cartes
produites par cet outil servent effectuer des recoupements visuels
souvent trs suggestifs.
En raison de sa souplesse d'utilisation, la technique de l'tude de cas, dj
cite plus haut, est une des rares qui permette l'analyse exhaustive, bien
que qualitative et non hirarchise, de l'ensemble des effets d'un
programme complexe.
La plupart des outils d'analyse quantitative sont inadapts en raison de
l'htrognit des donnes ainsi que de la multiplicit des publics et des
processus de production des impacts. Par exemple, I parat trs difficile
d'employer dans cette situation des outils tels que l'analyse factorielle,
l'analyse de rgression ou les groupes de comparaison.
Par contre, les outils macroconomiques sont bien adapts dans le cas de
vastes programmes couvrant l'ensemble d'un territoire, sous rserve que
la situation se conforme aux critres qui suivent. Les dpenses engages
dans le cadre du programme doivent tre significatives par rapport
l'conomie du territoire considr. Ce territoire doit tre suffisamment
vaste (un pays ou une grande rgion), ou suffisamment ferm (une le),
pour que le fonctionnement global de son conomie puisse tre isol.
Lorsque ces conditions sont runies, l'quipe d'valuation a la possibilit
d'employer plusieurs outils emprunts l'conomie rgionale ou la
macroconomie.
L'analyse structurelle-rsiduelle (Shift-Share) consiste projeter les
tendances conomiques nationales sur l'conomie d'une rgion. Cet outil
permet d'estimer une situation contrefactuelle et fournit, par diffrence

avec la situation observe, une valuation de l'impact global du
programme.
Le modle d'entres-sorties [input-output) et le modle macro
conomique permettent de simuler des scnarios d'volution de
l'conomie d'une rgion. Ces outils sont gnralement appliqus ex ante
sur deux jeux d'hypothses (avec / sans programme) et permettent de
donner une estimation globale des impacts macroconomiques probables.
Systme d'Information
Gographique
O G
Les
systmes
d'information
gographique (SIG) sont des outils
Cot
Evaluation
Technicit
lev
d'ensemble
forte
qui permettent de travailler avec
les donnes qui peuvent se
rapporter une unit localise
(point, zone, limite, etc.). A
Usage
Usage
Usage
l'origine, l'outil a t dvelopp
Innovant
dans les annes 1970 pour stocker
et traiter l'Information lie
l'environnement physique (environnement naturel et construit). Plus
rcemment, l'intrt des utilisateurs des SIG s'est tendu aux informations
socio-conomiques, le SIG devenant un point de rencontre entre toutes les
Informations qui peuvent tre rfres directement ou indirectement un
emplacement gographique. Les SIG permettent maintenant de collecter,
runir, cumuler, analyser, exploiter, exposer et mettre jour toutes donnes
et Informations spatialement rfres, dans le but de rpondre aux
problmes de planification et de gestion de l'espace.
Les progrs dans le domaine informatique, notamment la cartographie
assiste par ordinateur, ont permis le dveloppement de systmes
d'Information trs performants. La gestion des interventions publiques peut
ainsi prendre en compte un degr supplmentaire de complexit et intgrer
un nombre considrable de facteurs interdpendants pour mieux saisir la
ralit. Grce aux SIG cette ralit peut tre dcrite et analyse en
combinant des Informations provenant des trois dimensions thmatique,
spatiale et temporelle.
Exemple : L'valuation du PIM de Languedoc-Roussillon en France
La technique du Systme d'Information Gographique a t utilise dans le cadre
d'une valuation conduite sur le Programme Intgr Mditerranen (PIM)
Languedoc-Roussillon cherchant notamment analyser les effets spatiaux du
programme. Cet outil a t choisi car la demande d'valuation tait de rendre compte
des synergies territoriales d'un programme compos d'actions multiples reposant
sur une logique rgionale (attribution de subventions dans des zones slectionnes).
L'ventail des domaines touchs par ce programme est large. Il s'agit des problmes
de dveloppement rgional comme notamment le maintien, la diversification et
l'adaptation de l'agriculture, le dveloppement de nouveaux emplois, du tourisme, la

protection de l'environnement, cela dans les perspectives spatiale (sur des zones
gographiques dfinies), thmatique (par activit conomique) et temporelle
(rfrence l'tat initial).
Pour apprcier l'impact des mesures du PIM ainsi que les effets de synergie, il tait
ncessaire d'observer les transformations produites par le programme, puis de les
expliquer. Dans ce but, un tat initial a t constitu pour dcrire la situation de
rfrence. Cette tape a ncessit un important travail de recueil de toutes les
donnes et indicateurs de la structure socio-conomique sur le territoire considr ;
collecte nanmoins Indispensable pour procder une comparaison avec la
situation observe aprs l'attribution de subventions. La base de donnes ainsi
constitue, les valuateurs ont tent de vrifier, l'aide de reprsentations
gographiques notamment, le respect des logiques de localisation, d'intgration
spatiale et d'intgration spatio-temporelle des actions entreprises.
L'utilisation de reprsentations cartographiques associant les faits matriels et
relationnels (faits sociaux, politiques, conomiques) est pertinente lorsque la
programmation repose elle-mme sur l'identification de zones sensibles sur un
territoire donn. Ainsi, par exemple, les actions de prvention des feux de fort
(reboisement, protection) ont t corrles sur le plan cartographique avec les zones
d'incendies (frquence) afin d'apprcier la logique d'intgration spatiale des actions.
Si la restitution par une carte est pertinente dans ce cas, il convient de rappeler que
trs souvent le rsultat demande tre interprt car la lecture d'une carte n'est pas
immdiate. En effet, dans un premier temps, seules les actions du programme en
question et de l'anne en cours ont t enregistres. Les actions de mme type
entreprises par d'autres organismes entre le moment de la situation de rfrence
et de la situation observe n'ont pas t releves ; ce qui a conduit une
interprtation biaise de la situation relle.
Source : Commission Europenne DG XVI (1993) L'valuation du PIM LanguedocRoussillon, MEANS pilote.

D'une manire gnrale, un s y s t m e d ' i n f o r m a t i o n g o g r a p h i q u e p e r m e t d e
rassembler toutes sortes
d'informations
c a r a c t r e spatial et d e
les
prsenter s o u s u n e f o r m e o p t i m i s a n t leur lisibilit. Les SIG p e u v e n t intgrer

des
donnes
socio-conomiques,
des
donnes
en
provenance
des
r e c e n s e m e n t s , d e s rsultats d e s o n d a g e s et e n q u t e s , ainsi q u e
des
d o n n e s de suivi. La r e p r s e n t a t i o n spatiale peut tre directe ( c o o r d o n n e s

c a r t o g r a p h i q u e s , a d r e s s e p o s t a l e prcise) o u i n d i r e c t e ( c o d e p o s t a l , aire d e
recensement).
En termes d'valuation, la principale valeur ajoute du SIG est de permettre

des croisements de donnes que les autres techniques ne permettent pas.
En particulier, l'outil peut rapprocher des Informations dont les rfrences
gographiques sont de nature diffrente, par exemple : adresse des
entreprises aides et zones urbaines en difficult, ou bien zones ligibles
aux aides et zones sensibles du point de vue de l'environnement. Le SIG
permet galement d'estimer la valeur d'un indicateur pour une zone donne,
lorsqu'on connat sa valeur des chelles statistiques diffrentes (Ce point
est dtaill dans le Volume 2 de cette Collection, consacr aux indicateurs.)
Crer un SIG est un investissement lourd, surtout en termes de saisie des

donnes. Il est donc difficile de faire un tel Investissement dans le cadre
d'une valuation dont le budget et la dure sont limits. Au contraire, un tel
investissement est justifi dans le cadre du suivi.
S'il existe un SIG, l'valuation aura intrt l'utiliser. La collecte des
donnes d'valuation devra comporter une rfrence gographique
systmatique, ce qui permettra de raliser des croisements avec les autres
informations dj contenues dans le systme. Les conclusions de
l'valuation pourront galement tre prsentes sous forme de cartes.
Les SIG utilisent une structure de base de donnes spciales: toutes les
informations sont relies un systme de coordonnes gographiques
caractrises par des nuds, des lignes et des aires (donc aussi des
points, des arcs, des polygones, etc.).
Les diffrentes tapes d'un SIG sont les suivantes :
Etape 1. La collecte des donnes de bases: La premire phase est la
collecte de l'Information. Les donnes de base proviennent de sources trs
varies : I peut s'agir de cartes gomorphologiques, de photographies
ariennes, de donnes socio-dmographiques existantes, etc. Dans
certains cas, lorsque les donnes brutes ne sont pas directement
stockables sur support Informatique (par exemple une banque
d'chantillons), elles sont enregistres au moyen oe fiches Indicatrices.
Cette tape comprend la digitallsation et la saisie des donnes
gographiques et des donnes alphanumriques associes.
Encadr 16 - Schma d'un SIG
Topographie
Cadastre
Zone de protection,
forts, etc.
Densit population,
habitat, etc.
Dispositif anti-feux
Carte rsultante
(combinaison de
variables)
Etape 2. le stockage et la gestion de la base de donnes gographiques:

Cette fonction inclut la mise en mmoire des donnes sous forme
alphanumrique, la programmation des mcanismes de rappel pour servir
les besoins des tapes suivantes, telles que les requtes des utilisateurs. Il
s'agit d'organiser les donnes (cration d'index) pour en faciliter l'accs
partir de critres gographiques, thmatiques, topologiques, etc.
Etape 3. l'exploitation et l'analyse des donnes : Un large spectre de
techniques est ncessaire pour la transformation et l'utilisation des
donnes dans le cadre d'une problmatique spcifique. L'utilisateur
procde soit par interrogation , c'est--dire qu'il pose une question
directe au SIG, soit par extraction lorsqu'il dsire constituer un fichier
partiel pour un usage particulier. De plus, le SIG permet la combinaison de
donnes, l'identification de corrlations entre certaines variables dans le
but de mettre en exergue les caractristiques d'une zone gographique.
Etape 4. la restitution des rsultats : Le SIG comprend diffrents
systmes graphiques permettant l'organisation des donnes dans des
modles, tels que des cartes, des graphiques, des images, des projections
de squence, etc. Ces derniers facilitent la communication et permettent
une utilisation conviviale des donnes.

Cet outil a un grand potentiel d'Intgration et de synthse des informations.
Sa capacit intgrer la dimension territoriale est pertinente pour les Fonds
structurels. Elle permet de centraliser les rsultats en provenance des
offices statistiques, des travaux de suivi et des enqutes d'valuation
effectus sur le territoire eligible.
Un SIG permet aussi une visualisation aise des informations relatives au
programme. Cette particularit peut rendre des services importants lors de
la prsentation des rsultats aux divers comits et groupes de travail
concerns.
Ce potentiel de synthse facilite l'illustration de la cohrence des mesures
mises en uvre dans le cadre des programmes, ce qui est un atout lors de
la publication de documents de synthse.
Les SIG ont surtout une facult didactique : les rsultats peuvent
tre restitus de manire conviviale, ce qui contribue la sensibilisation
des acteurs. Pourtant le langage cartographique n'est pas univoque ; les
signes et les lgendes sont des codes qui varient en fonction des
concepteurs et qui ncessitent d'tre explicits.
Outre le fait que la cration d'une base de donnes gographique
complte s'avre souvent coteuse en temps et en argent, l'utilisation des
SIG peut se rvler complexe. En effet, les donnes existantes sont
souvent collectes sur des entits spatiales diffrentes (dcoupages
administratifs en communes, cantons, etc.) ce qui ncessite de fastidieu
ses transformations ou parfois mme une nouvelle collecte. Il arrive gale
ment que les donnes existantes aient t stockes sur des systmes
d'information dont le manque de compatibilit en empche l'utilisation.
Avant d'tre intgres dans un SIG, les donnes Issues du suivi doivent
tre traites par le biais de techniques statistiques parfois lourdes.
Dans la pratique, les SIG permettent le traitement d'un nombre
considrable de donnes. Ce support Informatique a galement
l'avantage de permettre la transmission des donnes d'un utilisateur
l'autre. Le caractre centralisateur de ce support facilite la mise jour des
donnes et permet la manipulation d'informations gographiques des
chelles varies (de la parcelle la rgion, etc.).
Les SIG sont galement utiles pour d'autres dveloppements,

notamment lorsqu'ils sont combins avec d'autres techniques d'analyse,
et particulirement l'analyse factorielle.
L'exprience tend montrer que l'outil peut susciter des conflits entre
responsables territoriaux en raison de la lecture partisane qu'ils font des
cartes produites.
Pour en savoir p l u s Collet, C. (1992), Systme d'information
gographique en mode image, coll.
Grer l'environnement , Lausanne : Presses polytechniques et

universitaires romandes. 186 p.
Ouvrage simple mais trs efficace pour l'initiation aux SIG.
Fisher, M. et Nijkamp, P. (1993), Geographie Information Systems, Spatial
Modelling and Policy Evaluation, Berlin : Springer-Verlag. 280 p.
Ouvrage runissant des articles de fond avec une orientation
spcifique sur les applications l'valuation.
Martin, D. (1996), Geographie Information
Systems,
socioeconomic
applications, London : Routledge.
Ouvrage d'introduction aux SIG avec une orientation spcifique sur
les applications socio-comiques.
Analyse structurelle
rsiduelle (ShiftShare)
L'analyse structurellersiduelle est

utilise depuis les annes soixante
Cot
Evaluation
Technicit
faible
d'ensemble
faible
pour l'valuation des politiques
rgionales. Il s'agit d'une technique
d'valuation topdown , car elle
projette les tendances observables
Usage
Usage
au niveau d'un pays sur l'conomie
rtrospectif
stabilis
d'une rgion. Le point de dpart de
l'analyse
structurellersiduelle
n'est pas constitu par l'tude des consquences d'un programme, mais
par les tendances .observes aux niveaux national et rgional. L'analyse
structurellersiduelle construit une base de comparaison de ce qui se
serait pass en l'absence du programme l'aide d'un raisonnement qui ne
porte que sur des grandeurs macroconomiques.
Exemple : L'impact sur l'emploi des politiques de dveloppement rgional en

Ecosse.
Cette courbe
reprsente une
diffrence en milliers
d'emplois entre la
situation relle et la
situation
contrefactuelle
Une valeur positive correspond une

cration rgionale d'emploi suprieure
ce que laisserait prvoir l'application des
tendances nationales. La diffrence
residu) est attribue aux effets de la
politique rgionale.
Le cas de l'Ecosse est un exemple classique d'analyse structurelle-rsiduelle. Il est

d'autant plus parlant qu'il prsente deux phases bien distinctes au niveau de la
politique rgionale : une phase passive au cours des annes cinquante, pendant
laquelle il n'existait pas de politique rgionale, suivie d'une phase plus active
pendant les annes soixante o le gouvernement britannique a abondamment aid
le dveloppement de l'Ecosse. L'application de l'analyse structurelle rsiduelle
l'valuation de la politique rgionale britannique en Ecosse a permis de dresser le
diagramme ci-dessus.
On voit que, dans les annes soixante-dix, l'emploi cossais tend augmenter plus
vite que ne le laisserait supposer l'application des tendances nationales. Ceci permet
de conclure un impact positif des politiques rgionales sur l'emploi de cette rgion.
Source : Diamond D., Spence N. (1983), Regional Policy Evaluation. A
Methodological Review and the Scottish Example, Gower House : Ashcroft.

L'analyse structurelle-rsiduelle permet de donner une indication sur les
effets d'une politique dans une rgion donne. L'effet de la politique en
question est dtermin en comparant la situation relle de la rgion (policyon situation), avec une reconstitution de ce qu'aurait t la situation
rgionale si elle avait subi les tendances nationales, et seulement les
tendances nationales (situation contrefactuelle ou policy-off situation).
Dans quel cas l'utiliser ?
L'analyse structurelle-rsiduelle est destine valuer les effets d'une
politique rgionale au niveau macroconomique. Utilise dans le cadre
d'une analyse rtrospective, cette technique s'appuie sur des indicateurs
statistiques simples et ne ncessite aucune enqute auprs des groupes
cibles du programme.
L'analyse structurelle-rsiduelle se droule en deux tapes : la
construction de la situation contrefactuelle et la comparaison. Ces deux
tapes sont illustres avec un exemple d'analyse en termes d'emploi (c'est
l'utilisation la plus frquente de l'analyse structurelle-rsiduelle).
Etape 1 . Construction de la situation contrefactuelle : elle repose sur une
modlisation simple. On applique les tendances de l'emploi national la
structure des emplois rgionaux. La formulation de cette procdure est la
suivante :
IM, = I M 0 + NS
o : IM caractrise la distribution sectorielle de l'emploi
(industry
de la rgion
mix) et NS est la variation de l'emploi qui se produirait si c h a q u e
secteur rgional voluait au rythme observ pour ce secteur au niveau

national (national share
component).
Encadr 17 - Exemple d'une analyse rsiduelle-structurelle

de l'emploi rgional
Le nombre d'emploi dans une rgion dans laquelle les pouvoirs publics
interviennent en faveur de l'emploi s'lve 300 000 (IM0) dont 100 000 emplois
industriels, 150 000 dans le tertiaire et 50 000 dans l'agriculture et l'agroalimentaire en priode t = 0.
Au niveau national l'emploi volue dans les secteurs industriel, tertiaire et agricole
aux rythmes - 1 % , 3% et - 2 % respectivement entre t = 0 et t = 1. Dans
l'hypothse que l'emploi rgional volue au mme rythme que l'emploi national,
l'augmentation de l'emploi rgional est de 2 500 (NS). Le niveau d'emploi dans la
situation contrefactuelle s'lve donc 302 500 (IM.,).
Par contre, pendant la priode t = 0 t = 1, l'emploi dans la rgion aide a
progress de 5%, soit 15 000 emplois. Le nombre d'emplois se chiffre alors
315 000 (E.,). Selon cette analyse, le nombre d'emploi cr grce l'intervention
est de 12 500 (RS).
Application des tendances
nationales la rgion
IM 1 =
302 500
emplois
IM 0 =
300 000
emplois
315 000
emplois
RS =
12 500
Secteur
tertiaire
+ 3%
Rpartition
sectorielle de
l'emploi dans
la rgion
Secteur
industriel
-1%
Secteur
agricole
-2%
Avant le
programme
Situation contrefactuelle Situation relle

Aprs le programme
Rsidu
impact
Etape 2. Comparaison pour dterminer l'impact de l'action : C'est ce

niveau que peut avoir lieu la comparaison entre la situation contrefactuelle,
obtenue au cours de l'tape prcdante (IMt ) et la situation relle (Et). La
diffrence entre ces deux situations (le rsidu) permet la mise en vidence
des impacts de l'action politique.
RS = E t - IM t
On admet ci que l'Impact du programme quivaut au rsidu (regional shift
component).
L'analyse structurelle-rsiduelle ayant t conue pour valuer les effets
des politiques rgionales, elle est, en principe, directement applicable aux
Fonds structurels. A ce titre elle peut servir dans les valuations ex post des
programmes de dveloppement rgional, chaque fois que l'accent est
mis sur l'tude d'un impact particulier tel que l'emploi ou la valeur ajoute.
L'analyse structurelle-rsiduelle est susceptible d'tre utilise pour les
programmes mis en uvre dans le cadre du FEDER en raison de leur nature
rgionalise. Etant donn que cette technique est peu exigeante, elle
prsente l'avantage d'tre facile d'emploi. Les donnes statistiques qu'elle
requiert sont disponibles pour la plupart des rgions europennes,
notamment par le biais de donnes d'emploi et de valeur ajoute de niveau
NUTS 1 et 2 mises disposition par EUROSTAT.
L'analyse structurelle-rsiduelle permet d'aboutir des conclusions
quantifies en matire d'effets des politiques.
La conduite d'une analyse structurelle-rsiduelle n'est pas standardise
(dates de dbut et fin, dcompositions sectorielles, rfrence nationale) ;
il en rsulte des difficults comparer les rsultats d'tudes conduites
sur des programmes diffrents.
Il s'agit d'un outil peu coteux, car II peut s'appuyer sur des donnes
statistiques trs rpandues. Il suffit de disposer d'un indicateur d'impact
(emploi ou valeur ajoute), avec une ventilation sectorielle aux niveaux
rgional et national.
La logique de la mise en uvre d'une analyse structurelle-rsiduelle est
souvent simplifie l'excs. La plupart du temps, les variations observes
au niveau de l'emploi rgional peuvent tre expliques par d'autres
facteurs que la simple projection des tendances nationales. Parmi ces

facteurs on peut citer le dynamisme de la rgion l'exportation, la
productivit, la qualification de la main d'uvre, la pression
dmographique, les flux d'immigration, l'Intensit en Recherche et
Dveloppement. Il n'est pas crdible d'attribuer l'effet de tous ces
facteurs la seule politique rgionale, moins que celle-ci ait une emprise
vraiment importante sur tous les agents conomiques rgionaux.
Dans l'analyse structurelle-rsiduelle l'impact est constitu par le rsidu,
qui est donn par la diffrence entre la situation relle et la situation
contrefactuelle Issue de l'application des tendances nationales. Or ce
rsidu peut tre attribu la fois au programme en cours d'valuation et
toutes les autres actions politiques nationales et europennes ainsi
qu' la trajectoire passe de la politique rgionale. En thorie, l'analyse
structurelle-rsiduelle s'applique mieux si on value une politique
rgionale de trs grande ampleur la suite d'une priode marque par
l'absence de politique rgionale.
Pour en savoir plus
Bartels, C.RA. (1982), Measuring Effects of Regional Policy. An
introduction, Regional Science and Urban Economics 12, 41 p.
Une revue d'ensemble des techniques permettant d'analyser
l'impact des effets sur l'emploi. L'analyse shift-share y est aborde
de faon critique. Trs accessible.
Steevens, B.H., Moore, O L (1980), 'A Critical Review of the Litterature on
Shift-Share as a Forecasting Technique', in : Journal of Regional
Science, 20(4), 420-435.
Un article trs formalis qui prsente les principaux modles shiftshare et leurs possibilits d'utilisation pour la prospective.
Tervo, H., Okko, P. (1993), 'A Note on Shift-Share Analysis as a method of
estimating the employment effects of regional economic policy', In :
Journal of Regional Science, 23(1 ), 115-121.
Un article critique vis--vis de l'utilisation de la technique shift-share
pour valuer les effets sur l'emploi rgional. Bas sur des
dmonstrations formalises.
Modle entressorties
A l'origine, les matrices entres

sorties (InputOutput)
ont t
dveloppes pour analyser les
Evaluation
Cot
Technicit
lev
d'ensemble
forte
changes entre les diffrents
secteurs au sein d'conomies
relativement fermes (faiblement
exportatrices et importatrices).
Usage
Usage
Elles fournissent un clairage sur
prospectif
stabilis
la manire dont le systme
productif satisfait la demande
finale, laquelle se dcompose entre consommation, investissement et
exportations. Une matrice entressorties reprsente les liens entre toutes
les ressources dont dispose une conomie et toutes les consommations
finales, c'estdire l'ensemble des utilisations qu'elle en fait. La matrice
peut revtir des formes simplifies (trois secteurs : industrie, services,
agriculture) mais aussi plus complexes (plus de 500 branches). Il s'agit de
l'une des seules techniques applicables l'valuation des impacts
sectoriels des Interventions structurelles, cause de la finesse de
dcoupage du tissu productif qui est permise. Une matrice d'entres
sorties peut tre assimile un modle macroconomique trs simplifi
quant aux mcanismes conomiques reprsents, mais trs dtaill du
point de vue sectoriel.
Exemple : L'impact des Fonds structurels sur les pays et rgions d'Objectif 1
Une quipe d'universitaires allemands a adapt l'analyse entressorties l'tude de
l'Impact des Fonds structurels sur les pays et rgions Objectif 1, l'aide de matrices
fournies par EUROSTAT pour l'anne de rfrence 1985 et des projections pour les
annes 1991, 1994 et 1999. Dans cet exemple l'quipe a cherch estimer
l'impact sur la croissance conomique globale et sur la rpartition sectorielle. Voici
les rsultats les plus reprsentatifs de cette tude :
Sans les Fonds structurels, la croissance conomique moyenne des zones d'Objectif
1 aurait t Infrieure de 0,7 points absolus.
En 1999, les Fonds structurels devraient induire un accroissement de 1,9% de
l'emploi dans les zones d'Objectif 1.
L'analyse a t diffrencie selon les pays ; les effets sur la croissance et sur l'emploi
seraient les plus forts en Grce et au Portugal.
Entre 1994 et 1999, les modifications de la structure sectorielle de la production (en
termes de PIB) de ces rglons peuvent tre reprsentes comme suit :
19,0%
|19,9%
Secteur public
Z42,8%
Tertiaire
41,0%
9,6%
_J9,1%
BTP
Produits
manufacturs
Energie
Agriculture
0%
19,0%
19,1%
5,5%
J5,7%
D1999
D1994
U.2%
_J5,2%
5%
10%
15%
20%
25%
30%
35%
40%
45%
Source : J. Beutel, Universit de Konstanz

Les matrices entressorties sont utilises principalement dans le domaine
de la prvision conomique, o elles servent valider des scnarios de
politiques en prenant appui sur la structure technique du pays et l'tat de
la demande finale. Dans le cadre d'une valuation on peut les utiliser avec
ou sans politique, de la mme manire qu'on utilise un modle
macroconomique (voir fiche correspondante). L'outil permet d'estimer des
impacts diffrencis selon les diffrentes branches d'une conomie. Parmi
les nombreuses applications des matrices entressorties l'valuation des
programmes de dveloppement, on s'attardera sur l'exemple cit ci
dessus car il a l'avantage de prsenter des conclusions harmonises
l'chelle europenne.
Le modle a t produit par l'Universit de Konstanz et EUROSTAT. Il a t
employ pour estimer les effets nets des principaux programmes financs
par les Fonds structurels.

De faon gnrale cet outil s'emploie l'chelle nationale, car c'est ce
niveau que sont recueillies les donnes statistiques ncessaires la
construction des matrices. Des matrices rgionales existent et se prtent
aussi l'analyse entres-sorties. Mais leur valeur statistique est moindre,
car il est difficile de suivre des flux de biens qui ne sont pas soumis
dclaration douanire.
Les lignes qui suivent dcrivent la mise en uvre de l'outil depuis sa
construction jusqu'au simulations effectives dans le cadre de l'valuation.
En ralit on construit rarement une matrice d'entres-sorties pour les
besoins d'une valuation. La mise en uvre de l'outil commence donc en
pratique l'tape 4.
Etape 1. La construction d'une matrice des transactions : on dcrit les
liens entre les diffrentes branches d'une conomie. En lignes de cette
matrice, on trouve les sorties (outputs) qui concernent les ressources
fournies par un secteur donn chacun des secteurs d'activit et la
demande finale. En colonnes de cette matrice, on trouve les (inputs) en
provenance des diffrents secteurs, c'est--dire ce que consomme un
secteur pour assurer sa production.
Les valeurs prises dans cet exemple sont montaires. Ainsi, par exemple,
la branche Agriculture fournit une valeur de 150 la branche Industrie pour
assurer sa production tandis qu'une valeur de 100 est destine la
demande finale. La branche Industrie, quant elle, consomme pour une
valeur de 150 en produits intermdiaires en provenance de la branche
Agriculture pour assurer sa production, cette dernire conduisant une
cration de valeur ajoute de 320. En additionnant les consommations
Intermdiaires de produits agricoles effectues par les diffrents secteurs et
la demande finale pour la branche agricole, on obtient le total des
utilisations de la production agricole. La demande finale peut elle-mme
tre dcompose entre la consommation finale, l'investissement et les
exportations. La sommation des entres intermdiaires consommes par la
branche agricole pour assurer sa production et de la valeur ajoute agricole
permet d'obtenir la production agricole. Les totaux en ligne et en colonnes
sont donc gaux.
Sorties
Entres
Agri
culture
Industrie
Services
Agriculture
50
150
50
Industrie
150
150
Services
100
100
300
400
50
350
Consom Demande
mations
finale
inter
mdiaires
Total
des
utilisa
tions
350
250
100
100
400
320
720
200
400
600
1000
350
1050
1020
2070
320
650
1020
720
1000
2070
Produits
inter
mdiaires
Valeur
ajoute
Production
Etape 2. La construction d'une matrice des coefficients techniques : Elle
est obtenue partir de la matrice des transactions. Les coefficients

techniques ne sont rien d'autre que des valeurs issues de la matrice des
transactions divises par le total des productions. On voit ainsi la part
relative de valeur cre par chaque branche pour l'ensemble des autres
branches. Les coefficients techniques servent fournir des indications sur
la structure technique de l'conomie modlise ; Ils permettent de voir
quels sont les secteurs forte valeur ajoute, forte productivit, fort
taux d'exportation. Ces coefficients sont artificiellement figs pour les
tapes suivantes.
Etape 3. La construction d'une matrice inverse : Elle est le rsultat d'une
transformation matricielle qui permet de calculer des coefficients
multiplicateurs, ces coefficients rsumant l'ensemble des effets indirects.
Etape 4. Les hypothses d'impact primaire : L'impact primaire du
programme fait l'objet d'une estimation quantitative, convertie sous la
forme d'une augmentation de demande finale (augmentation de dpense
publique, augmentation de consommation, augmentation d'investissement
d'infrastructure, etc.). L'hypothse d'augmentation de demande comporte
une dcomposition sectorielle de faon pouvoir tre introduite dans la
matrice.
Etape 5. L'estimation de l'impact total : L'impact total est calcul partir
des hypothses d'Impact primaire et de la matrice inverse. A partir d'un
impact primaire sur un secteur, l'outil permet d'estimer l'ensemble des

effets indirects sur tous les secteurs, notamment en termes de
consommation, d'importations, de production et d'emploi.
Parmi les diffrentes applications des modles entres-sorties, on privilgie
la prsentation du modle cit plus haut, connu sous le nom de modle
de Beutel . Cet exemple est particulirement intressant car le modle a
t spcialement construit pour l'valuation et il prsente l'intrt de fournir
des estimations harmonises l'chelle europenne.
Le modle de Beutel a principalement recours une srie de tableaux
entres-sorties harmoniss pour l'anne 1985, qui a t mise en place par
EUROSTAT pour les conomies de l'Union europenne. Ces tableaux
entres-sorties sont complts par des tableaux rgionaux, notamment
dans le cas de l'Espagne et de l'Italie. Les pays couverts sont le Portugal,
la Grce, l'Irlande, l'Espagne, l'Italie et le Royaume-Uni (Irlande du Nord).
L'Allemagne est par ailleurs incluse dans la priode de planification 19941999. Etant donn que la base de donnes 1985 est clairement dpasse
pour toute application pratique utile, il faut avoir recours une mthode
d'actualisation. Beutel a dvelopp cet effet une de technique de
projection qui a t adopte par EUROSTAT (voir approfondissement en fin
de section).
L'impact primaire des financements communautaires est estim en divisant
les dpenses totales en trois catgories : investissements immobiliers,
investissements en biens d'quipement et les salaires. On tablit ensuite
une comparaison entre le dveloppement de l'conomie avec et sans
financements communautaires. En ce qui concerne l'valuation des
interventions dans le cadre de l'Objectif 1, l'approche Beutel fournit des
estimations portant sur les variables macroconomiques centrales
suivantes :
L'emploi : La comparaison entre les cas avec et sans intervention est
tablie non seulement en termes d'emploi total mais une distinction est
galement faite entre les salaris d'une part et les travailleurs
indpendants de l'autre.
Le PIB et son taux de croissance : Il est possible d'tablir une
comparaison entre les taux de croissance avec et sans intervention. Une
autre comparaison intressante est faite entre la croissance annuelle
avec intervention et les cas o les interventions sont interrompues

pendant une anne spcifique.
Formation du capital fixe brut : Dans cette variable sont prsents les
changements induits dans les investissements par les interventions et
son taux de croissance annuel.
Valeur ajoute sectorielle : La rpartition sectorielle et les volutions
induites dans 25 secteurs conomiques par les Interventions sont
calculs chaque anne. Il existe une prsentation standard de l'volution
des 6 secteurs qui connaissent une transformation structurelle :
agriculture, sylviculture et pche, combustibles et nergie, BTP, services
privs, services publics.
Exportations et importations : L'impact des interventions sur les
exportations et les importations est calcul chaque anne et subdivis en
exportations vers et importations en provenance des pays membres de
la Communaut d'une part, et en exportations vers et importations en
provenance de pays tiers, d'autre part.
La contribution la plus intressante des matrices entres- sorties
concerne l'impact sur la rpartition sectorielle et sur le commerce
extrieur. Les fuites dues aux importations du pays bnficiaire en
provenance des pays membres de l'Union europenne et des pays tiers
peuvent revtir une certaine importance pour la prise de dcision

politique de l'Union europenne. De mme, la connaissance de l'Impact
de la demande sectorielle peut se rvler importante, notamment si l'on
estime que certains secteurs doivent tre stimuls pour acclrer le taux
de croissance.
La valeur de cette approche rside avant tout dans sa large couverture et
dans son traitement cohrent des principales conomies de l'Union
europenne, bnficiaires d'une aide dans le cadre de l'Objectif 1.
L'intrt de l'outil est limit l'estimation des effets sur la demande. Ainsi,
il ne tient pas compte de l'un des effets les plus importants viss par les
interventions dans le cadre de l'Objectif 1, savoir les effets durables sur
le potentiel de production. La plupart des effets sur l'offre qui sont
susceptibles d'accrotre de manire durable le taux de croissance des
rgions assistes et de leur permettre de rattraper leur retard sont
totalement ignors (cration de nouvelles capacits de production,
amlioration de la qualification de la main d'uvre, cration

d'infrastructures, productivit dans l'ensemble de l'conomie, diffusion
du progrs technique, intensit en technologie accrue dans la
production). Ce sont tous ces effets sur l'offre qui transforment de
manire durable et irrversible la capacit productive.
On observe une tendance la surestimation de l'impact des Fonds
structurels sur la demande car l'Impact des interventions n'est pas
modr par les effets de rtroaction, notamment en ce qui concerne les
changements de prix manant des marchs des produits, des marchs
financiers et celui du travail.
Pour en savoir plus
Brauers, W. K. (1995), Prvisions conomiques l'aide de la mthode
Entres - Sorties, Paris : Economica, 111p.
Un ouvrage d'introduction l'analyse entres-sorties, destin un
large public. Met en relief les principales techniques, retrace les
dbats qui ont lieu ce sujet, donne des exemples d'application. Va
l'essentiel.
Miller, R. E. et Blair, P. D. (1985), Input-Output Analysis, Foundations and
Extensions, New-Jersey : Prentice-Hall, 464 p.
Destin aux initis, cet ouvrage dcrit les fondements de l'analyse
entres-sorties et offre un panorama des diffrents types d'analyses
qui peuvent tre ralises partir de cette technique. Chacun pourra
aisment slectionner les articles qui satisferont leur curiosit.
Kurz, H. D., Dietzenbacher, E. et Lager, C. (1998), Input-Output Analysis,
Cheltenham : Edward Elgar, 3 Volumes, 1504 p.
Cet ouvrage retrace l'volution de l'analyse entres-sorties en
reprenant une collection d'articles publis depuis les origines de ce
type d'analyse.
Approfondissement : La construction des matrices du modle de
Beutel
Dans le modle Beutel, les matrices entres-sorties d'EUROSTAT sont
actualises en s'appuyant sur les prvisions conomiques de la Direction
gnrale des affaires conomiques et financires de la Commission
europenne. Ces prvisions sont drives du modle QUEST (voir la fiche
sur les Modles macroconomiques). On a galement recours aux
prvisions de 25 activits de production, prpares par ERECO (European

Economie Research and Advisory Consortium, compos de l'IfoInstitut/Munich,
BIPE/Parls,
Prometeia/Bologne,
NEI/Rotterdam,
WIFO/Vienne et Cambridge Econometrics/Cambridge).
Les donnes utilises pour la mise jour du modle comprennent le
tableau entres-sorties de l'anne de rfrence, y compris la matrice des
importations, la projection des taux de croissance de la valeur ajoute par
secteur (agriculture, Industrie, services) et la projection des composantes
de la demande finale (consommation, investissements, exportations,
importations). Le tableau entres-sorties actualis est estim par une
procdure d'Itration qui fournit des estimations sur la consommation
intermdiaire des biens et des services imports, sur la composition
structurelle de la demande finale par produit, sur la production intrieure
par produit et sur les importations par produit.
Cette technique tente d'viter les changements arbitraires des coefficients
d'entre en traitant toutes les activits sur un pied d'galit. Apparemment,
en dehors de ses besoins limits en donnes et du fait qu'elle a recours
des sources officielles, cette technique prsente galement l'avantage de
produire des mises jour robustes faible cot.
Modle macro
conomique
Le but de la modlisation est de
reprsenter le fonctionnement de
l'ensemble d'une conomie et des
diffrents
marchs
qui
la
composent (ex : march des pro
duits, march du travail et march
de la monnaie, etc.). Un modle
schmatise le fonctionnement
d'une conomie en quilibre, mais
O
Evaluation
d'ensemble
Technicit
forte
>
Cot
lev
O
Usage
prospectif
Usage
stabilis
il est aussi capable de simuler l'volution de cette conomie la suite d'un

choc exogne (ex : variation du prix du ptrole, variation des taux de
change, prlvement fiscal), le rajustement des variables conomiques
modlises et l'atteinte d'un nouvel quilibre des marchs.
Les modles macroconomiques sont utiliss par les administrations pour
la prparation de leurs budgets et pour l'tude des choix politiques lorsque
les enjeux conomiques sont de grande ampleur. Certains organismes de
prvision, publics et privs, utilisent galement des modles pour des
prvisions conomiques court et moyen terme.
L'utilisation des modles des fins d'valuation est beaucoup plus rcente
et relve encore en partie du domaine de l'innovation mthodologique, ce
qui n'empche pas de rencontrer des russites exemplaires telles que celle
de l'exemple qui suit.
Exemple : L'valuation de l'impact probable de l'aide conomique europenne

la Rpublique d'Irlande
L'valuation de l'impact probable de l'aide conomique europenne la Rpublique
d'Irlande ( CCA 8993) a t ralise par I' Economie and Social Research
Institute de Dublin (ESRI) l'aide d'un modle macroconomique que cet institut
avait construit dans le cadre du programme HERMES. L'valuation devait permettre
d'estimer l'impact probable de l'aide europenne sur l'conomie irlandaise dans son
ensemble en particulier sur des variables telles que le PIB par habitant ou
l'endettement public.
Le modle HERMES avait t construit pour simuler le fonctionnement de l'conomie
irlandaise dans un contexte de crise de l'nergie. Il a t lgrement modifi
l'occasion de l'valuation pour mieux prendre en compte les mcanismes d'impact
des programmes europens. Le modle utilis pour l'valuation contient plus de 600
quations qui reprsentent des hypothses portant sur le comportement des agents
conomiques concerns directement ou indirectement par l'aide europenne. Les
conclusions de l'valuation ont t les suivantes :
En l'an 2000, l'Impact de l'intervention communautaire est estim 2,7% du PNB
irlandais.
Nanmoins, cet Impact ne serait pas suffisant ( lui seul) pour permettre l'conomie
irlandaise de rattraper la moyenne europenne.
Il est Intressant de souligner que cette valuation a fait l'objet de dbats politiques
lors du rfrendum irlandais sur le trait de Maastricht et qu'elle a servi d'argument
dans le cadre de la rengociation de l'aide europenne pour la priode 1994-99. On
voit donc que malgr la fragilit inhrente toute estimation, l'valuation
macroconomique a servi de base des dbats constructifs.
Source : Bradley J. et Fitzgerald J., Medium-Term Review 1989-1994, Economie and
Social Research Institute, Dublin, 1989.

Un modle macroconomique reprsente de faon simplifie les
mcanismes d'un systme conomique. Employ en valuation, l'outil
permet de simuler un scnario avec intervention publique et un scnario
sans Intervention publique, et donc d'estimer les consquences de
l'Intervention par diffrence entre les deux scnarios. Les modles sont
entirement quantifis et fournissent donc une estimation de l'ampleur des
impacts sur toutes les variables macroconomiques qui ont t
modlises.
Il va de soi qu'un modle ne peut pas tout prvoir, ni mme garantir une
bonne fiabilit de ses simulations. L'outil reste cependant pertinent si on
dsire estimer des effets macroconomiques car aucune technique ne peut
prtendre une meilleure fiabilit. Il fournit des valeurs de rfrence sur
l'impact de mesures spcifiques difficiles obtenir selon une mthode
alternative en raison de la complexit des mcanismes en action (par
exemple, impact sur l'emploi et l'Investissement priv). Ces valeurs de
rfrence permettent d'alimenter les discussions et de concrtiser
l'ampleur relle des enjeux. Finalement, l'apport de l'outil est plus souvent
de nature pdagogique. L'emploi du modle et l'examen des rsultats
obtenus obligent les parties prenantes de l'valuation s'intresser aux
mcanismes macroconomiques et mieux les comprendre.

L'estimation des effets peut intervenir ex ante. Dans ce cas, on compare
deux scnarios prvisionnels (avec et sans). C'est l'usage le plus frquent
en valuation. Bien que cela n'ait presque jamais t fait, on peut aussi
employer un modle dans une situation ex post. Dans ce cas, la
comparaison porte, d'une part, sur l'volution conomique passe telle que
le modle l'a recalcule de faon approche et, d'autre part, sur un
scnario sans intervention publique, reconstitu ex post par le modle
(simulation de la situation contrefactuelle). Dans le cadre de l'valuation
intermdiaire, l'outil peut tre exploit pour guider les oprations de
recalibrage ventuel du programme (par exemple, rpartition des fonds
entre aides l'investissement, dveloppement des infrastructures et
soutien la R&D).
Comment le mettre en uvre?
La mise en uvre d'une valuation utilisant un modle macroconomique
ne doit tre envisage que si l'on dispose des connaissances, des
comptences et d'un dlai suffisant. Les tapes sont en effet nombreuses
et trs techniques.
Etape 1. Adaptation du modle l'valuation : La construction d'un
modle est un investissement lourd qui ncessite souvent plusieurs
annes. On ne construit donc jamais un modle macroconomique pour les
besoins spcifiques d'une valuation. Il peut arriver que plusieurs modles
soient disponibles et que la premire tape consiste en choisir un, mais
ce cas de figure est exceptionnel. Gnralement, le choix de l'quipe
d'valuation est dict par l'existence et la disponibilit d'un seul modle. Le
problme est alors de dcider si le modle peut tre appliqu tel quel ou s'il
doit tre adapt pour mieux simuler les Impacts de l'intervention value.
Dans le premier cas de figure, les adaptations ne peuvent gnralement
tre que marginales car on ne peut pas remettre en cause les conditions
d'quilibre du modle sous peine de devoir le reconstruire entirement. En
gnral, l'adaptation du modle se limite quelques modifications qui
permettent de mieux prendre en compte le contenu du programme et
d'intgrer les Impacts primaires sous forme de choc exogne.
Etape 2. Calage du modle : Avant toute utilisation, et particulirement s'il
a t modifi, le modle doit tre ajust aux dernires volutions
constates et aux dernires statistiques connues. Un modle est au point
lorsqu'il est capable de rendre compte correctement de ce qui s'est pass

dans les cinq quinze annes prcdentes. En pratique, le modle devra
tre restim rgulirement pour tenir compte des rvisions intervenues
dans les informations de base et permettre ainsi un calage >> sur les
donnes les plus rcentes.
Etape 3. Estimation des impacts primaires : L'exemple qui suit (Encadr
18) schmatise les mcanismes macroconomiques pris en compte dans
un modle. On voit par exemple que l'emploi dpend de la production des
entreprises, de la productivit et du niveau des salaires. Ces trois variables
sont endognes, c'est dire Internes au modle. Pour valuer l'effet d'une
Intervention publique, par exemple son effet sur l'emploi, Il faut considrer
que cette intervention publique Introduit des changements exognes dans
le modle (on emploie le terme choc exogne). L'quipe d'valuation doit
donc slectionner quelques variables ou coefficients qui font partie du
modle et qui vont tre directement affects par l'Intervention publique.
Ces grandeurs constituent des ponts entre l'intervention value et le
modle. Dans l'exemple qui suit, ce sont la dpense publique et la

p r o d u c t i v i t . Les i m p a c t s primaires d e s interventions d e s F o n d s s t r u c t u r e l s
peuvent
galement
intervenir s o u s
forme d'investissements
dans
les
s t r u c t u r e s o u en c a p i t a l h u m a i n . L ' q u i p e d ' v a l u a t i o n d o i t e n s u i t e e s t i m e r
les i m p a c t s primaires d e l'Intervention value ( i m p a c t m i c r o c o n o m i q u e )
et les introduire d a n s le m o d l e .
Encadr 18 Impact primaire et m c a n i s m e s m a c r o c o n o m i q u e s

lmpl iet primaire
s ur l'offre
cc
Salaires t*
^ Impact pn maire
sur la den ande
Emploi
Dette
,\
'
Impts
'
Cots et
productivit
^Revenu
Import.
Export.
1
Piix
interna tionaux
Dpense
publique
'reduction *
""",
Demande
Etape 4. Simulations : Dans un contexte d'valuation, on exploitera

toujours le modle au moins deux fols. La premire fois pour caler la
situation avec intervention (cas d'une valuation ex post) ou pour simuler
cette situation (cas d'une valuation ex ante), et la seconde fois pour
simuler la situation sans intervention. Les impacts de l'Intervention sont
estims par diffrence entre les deux simulations.
Etape 5. Prsentation des rsultats : La dernire phase est celle de la
mise en forme et de la prsentation des rsultats. Compte tenu de la
complexit de l'outil et des trs nombreuses variables qu'il est possible de
quantifier, il est ncessaire de raliser un travail spcifique pour prsenter
les rsultats de faon simple et facilement accessible. Cette phase doit
donc tre considre comme une des plus importante de la mise en oeuvre
de l'outil.
L'valuation macroconomique d'un programme des Fonds structurels est
conditionne par l'existence pralable d'un modle pour le territoire
eligible. Les modles macroconomiques disponibles se limitent
gnralement aux modles nationaux pour des raisons de disponibilit des
donnes statistiques et de cot de modlisation. Les modles construits
l'chelle rgionale ou locale sont rares, notamment parce que les flux
conomiques sont trs vite dilus hors du territoire concern. La
modlisation garde cependant du sens pour des petites conomies
condition qu'elles soient relativement fermes. C'est pourquoi les
conomies
Insulaires
sont
souvent
quipes
de
modles
macroconomiques.
L'emploi de modles est donc gnralement possible pour les grands
programmes dont la zone eligible correspond aux frontires nationales
(Portugal, Irlande, Grce) ou de vastes ensembles rgionaux (Sud de
l'Espagne ou de l'Italie). Sauf exception, les modles sont inadapts des
programmes dont la zone eligible est une petite rgion ouverte.
Par ailleurs, l'emploi d'un modle a surtout du sens si l'intervention du
programme atteint une masse suffisante par rapport l'conomie
modlise. On considre que pour atteindre cette masse critique,
l'importance conomique du programme doit tre au moins de l'ordre de
1 % du PIB de l'conomie du territoire.
Dans le cadre des interventions structurelles europennes, l'valuation

macroconomique se limite quelques expriences dont les deux plus
connus font appel aux modles QUEST et HERMIN qui vont tre prsents
ci-aprs.
Dans le cas du modle QUEST II, les dpenses des Fonds structurels sont
considres la fois comme une augmentation des dpenses publiques et
comme un accroissement du stock de capital national. De ce point de vue,
les dpenses engages sont donc considres comme une augmentation
exogne de la consommation publique (effet de demande), et comme un
accroissement de l'Investissement public, conduisant augmenter la
capacit de production (effet d'offre).
Ce type d'approche produit une estimation assez grossire des effets
d'offre dans la mesure o tout investissement est suppos produire le
mme impact sur la capacit de production, qu'il soit public ou priv, qu'il
intervienne dans le domaine des infrastructures de base, de la R&D ou de
la formation.
Les dveloppements ultrieurs du modle gagneraient diffrencier les
impacts selon qu'ils prennent leur origine dans telle ou telle Intervention
publique. Cela prsenterait l'avantage de prendre en compte des effets
d'offre et de demande des interventions des Fonds structurels d'une
manire claire et assez directe. Les effets d'offre seraient simuls
sparment et directement via l'impact sur la production potentielle. La
combinaison des effets d'offre et de demande indiquerait dans quelle
mesure la structure de l'conomie est susceptible de tirer profit de
l'augmentation de la production potentielle.
Le modle HERMIN, quant lui, a t utilis dans le cadre d'valuations en
Espagne, en Irlande et au Portugal. Comme dans l'exprience ralise avec
le modle QUEST, les effets de demande des dpenses ralises dans le
cadre des Fonds structurels ont t Introduits sous la forme
d'augmentations exognes des dpenses publiques. Pourtant, les
valuations ralises avec HERMIN ont introduit une innovation
intressante en simulant explicitement les effets d'offre des dpenses
publiques, avec une tentative d'estimation spare pour les effets de trois
catgories d'intervention : infrastructures de base, capital humain et
environnement productif. Les impacts primaires des Fonds structurels en
termes d'offre sont Introduits de plusieurs manires au sein du modle. Ils
prennent d'abord la forme d'une augmentation de la productivit qui affecte
un ou plusieurs paramtres de la fonction de production. Dans les versions

espagnole et irlandaise, cette productivit est incarne dans le travail
(un paramtre). Dans le modle portugais, c'est la productivit totale des
facteurs qui est augmente (tous les paramtres). L'augmentation de
productivit est une fonction de l'Investissement gnr par l'aide
europenne sous forme de capital priv, de capital humain et de capital
d'infrastructures publiques. On fait l'hypothse qu'il y a un rapport constant
(appel lasticit) entre l'augmentation d'investissement et l'augmentation
de productivit. Une difficult relle de l'valuation tient au choix de la
valeur de ce rapport. Les observations empiriques qui permettraient de
l'estimer sont trs peu fiables et, pour viter l'arbitraire total, il faut souvent
avoir recours des tudes similaires utilisant des donnes amricaines ou
internationales. On voit que cette forme d'estimation des effets d'offre
repose sur une base dont la crdibilit est fragile.
Une seconde hypothse sur les Impacts primaires est que l'action des
Fonds structurels contribue attirer plus d'investissements trangers et
donc accrotre la comptitivit des exportations. Pour raliser une
approximation de cette chane d'effets, on estime leur quivalent en termes
d'augmentation de la demande mondiale. Ici encore, on fait l'hypothse
qu'il y a un rapport constant entre l'augmentation des Investissements
gnrs par les Fonds europens et l'augmentation des exportations. Le
choix d'une valeur pour ce rapport est ci plus problmatique encore.
D'abord, l'arbitraire est Invitable, tant donn l'absence totale, non
seulement pour les pays concerns mais sur le plan international, de
travaux empiriques applicables. Plus grave encore, le rsultat final semble
tre trs sensible la valeur choisie pour ce rapport. C'est particulirement
vrai pour l'impact sur le PIB long terme.
Pour apprcier le potentiel de l'outil HERMIN pour l'valuation des effets
macroconomiques, il ne faut pas perdre de vue que ce travail est en cours
et que nombre des difficults actuelles sont susceptibles d'tre rsolues au
fur et mesure que le projet avancera. Le travail des diffrentes quipes sur
l'estimation de l'Impact du CCA devra permettre d'affiner les hypothses
d'impact, les paramtres des modles, la qualit des donnes, de mme
que la comparabilit des rsultats.
L'objectif global des Fonds structurels est la cohsion conomique et
sociale. Cet objectif est essentiellement dfini de faon macro-
conomique. Le modle macroconomique est pratiquement le seul outil

qui permette de rpondre formellement la question de savoir si la
politique europenne atteint ou non son objectif global.
Dans le cadre de l'valuation des programmes socio-conomiques, une
des limites majeures des modles est qu'ils ne rendent pas compte des
effets d'offre de faon crdible. Par exemple, si on cherche dcrire
l'effet des nouvelles infrastructures sur la productivit des entreprises, on
pourra difficilement trouver une quation qui traduise cet effet et qui soit
ajuste de faon convaincante aux statistiques passes.
Une limite majeure de l'outil tient la construction des modles. Cette
construction reprsente un Investissement important et demande
toujours plus d'un an. En outre, un modle ncessite une mise jour
continuelle des paramtres sous la supervision de spcialistes ayant un
savoir-faire important. L'exprience montre que les Instituts de statistique
et de prospective sont obligs de recaler plusieurs fols par an leurs
modles afin de les rajuster en fonction des statistiques rcentes.
Il est exceptionnel que l'on construise un modle pour les besoins
spcifiques d'une valuation. L'emploi de l'outil est donc conditionn par
l'existence pralable d'un modle. Quand cette opportunit se rencontre,
le modle existant doit souvent tre adapt aux questions poses par
l'valuation.
Chaque modle macroconomique est bas sur un jeu d'hypothses qui
lui sont propres. Lorsque deux modles sont construits pour un mme
territoire, Ils ne produisent jamais exactement les mmes simulations.
La faiblesse de beaucoup d'valuations macroconomiques tient la
faon dont les effets primaires microconomiques sont valus avant
d'tre introduits dans le modle. En ce sens, l'valuation
macroconomique rencontre la mme difficult que les autres valuations
de programmes multisectoriels : il faudrait pouvoir rsumer les effets
d'une multitude d'interventions htrognes sous la forme de quelques
impacts microconomiques standardiss et quantifis. Ce travail, trs
difficile russir pour une valuation normale, n'est que la premire tape
d'une valuation macroconomique. C'est l'tape qui a t dfinie cidessus comme l'estimation des impacts primaires. Quelle que soit la
justesse de ses hypothses Internes, le modle ne fait que transformer
des estimations d'Impacts primaires en estimations macroconomiques.
Il cumule donc les difficults des deux niveaux d'estimation.
Pour en savoir plus

Pour faciliter l'accs cet outil, les paragraphes qui prcdent ont
volontairement cart toute la technicit de la construction des modles.
Pour le lecteur qui souhaite aller plus loin, il est possible de lire de
nombreux ouvrages sur la macroconomie et la modlisation. Une liste en
est donne ci-dessous.
L'emploi des modles est encore exprimental pour l'valuation des
programmes socio-conomiques, et on trouvera difficilement un manuel
expliquant de faon dtaille les techniques d'estimation des impacts
macroconomiques. Cette fiche est donc prolonge pour traiter les
modles QUEST et HERMIN de faon plus approfondie.
Kebabdjlan, G. (1994), Les modles thoriques de la
Paris : Dunod, 194 p.
macroconomie,
Un manuel de macroconomie qui aborde toutes les tendances

actuelles sans a priori ; c'est un bon outil de synthse, exigeant.
Gray, A.W. (1995), EU Structural Funds and other public sector investments.
A guide to evaluation methods, Gill & Macmillan, 106 p.
Aborde un ensemble de modles adapts l'valuation des Fonds
structurels, et explique les problmes dans ce domaine. Trs
accessible.
Daloz, J.P. et Goux, C. (1985), Macroconomie
complexe, Paris : Cujas, 156p.
applique. Du simple au
Ouvrage de base, trs pdagogique, introduisant de faon trs
simple l'econometrie.
Andersen, K.V. (1995) Information Systems
Implementation, Use and Implications
Amsterdam : IOS Press, 283p.
in the Political World :

of Economie Modelling,
Ce livre examine l'utilisation des modles conomtriques pour

l'analyse de politique et l'valuation en Europe et aux Etats-Unis, au
niveau national et au niveau rgional. Il s'Intresse aux aspects
sociaux et politiques des processus de construction et d'emploi des
modles.
Approfondissement : les modles QUEST et HERMIN

QUEST : un modle
multinational
Le modle QUEST (Quarterly European Stimulation Tool) a t dvelopp

par la DG II de la Commission europenne. Celui-ci a pour principal but de
raliser des prvisions moyen et long terme. Le modle est employ pour
quantifier des scnarios dans divers domaines : politique montaire,
politique budgtaire, tude de l'incidence conomique des changements
Intervenant sur la scne Internationale tels que les mouvements au niveau
des taux de change, taux d'intrt des devises, prix du ptrole et autres prix
mondiaux. De fait, la manire dont est modlise la dimension
multinationale constitue une caractristique essentielle du modle.
Le modle QUEST couvre tous les Etats membres de l'Union europenne
(le Luxembourg tant associ la Belgique), les Etats-Unis et le Japon par
le biais de sous-modles nationaux. Pour le reste du monde, seuls les
changes internationaux sont modliss. Ils sont rpartis en sept
principaux pays de l'OCDE et six autres rgions. Les quations des

exportations bilatrales pour les changes de marchandises sont calcules,
sur la base des volumes d'importations et des prix l'exportation, pour les
26 pays/rglons. Sur cette base, on peut reprsenter le schma des
changes internationaux de marchandises par le biais d'une srie
d'quations sur les liens commerciaux. Ce bloc des relations commerciales
permet de suivre un choc conomique dans les relations commerciales
internationales. Il est spar des sous-modles nationaux. Il est ainsi
possible d'tudier un impact sur un pays, soit pris isolment, soit imbriqu
dans l'ensemble des changes internationaux.
Les sous-modles nationaux ont tous la mme structure de base. Ils ont un
nombre relativement faible d'quations de comportement dont les
paramtres ont t ajusts pour chacun des pays. La structure de base du
QUEST runit trois types de relations : le bloc de l'offre, les composantes
de la demande et le rapport salaires/prix.
(a) L'offre
Le bloc de l'offre est principalement charg de dterminer la capacit de
production. On part du principe que la capacit de production est limite
approximativement par le stock de capital national. Il faut signaler que
QUEST est un modle secteur unique qui n'tablit donc pas de diffrences
entre les productions des divers secteurs. La capacit de production sert,
en conjonction avec la production relle, dfinir le degr d'utilisation des

capacits. Cette dernire variable joue un rle Important dans le modle et
dtermine en partie la demande en termes d'investissements et
d'importations, et donc la demande globale ainsi que la formation des prix.
La capacit de production dpend du capital priv et public, de l'emploi et
de l'nergie, ainsi que d'une tendance exogne l'augmentation de la
productivit de tous ces facteurs. Les effets d'offre sur la capacit de
production se matrialisent compltement en six ans environ.
(b) La demande
La consommation prive est dtermine par le revenu des mnages, en
valeur actualise et en tenant compte des anticipations, ainsi que par la
valeur de leur patrimoine. Le revenu immdiatement disponible entre aussi
en compte dans la mesure o une partie des mnages a des contraintes de
liquidit.
L'investissement varie positivement en fonction de la valeur actualise des
profits attendus, et ngativement en fonction du cot du capital.
Les importations dpendent de la demande finale intrieure ainsi que de
leur prix relatif par rapport aux prix intrieurs.
(c) Les salaires et les prix
Les entreprises sont supposes fixer leur prix en appliquant une marge
commerciale leur cot marginal. Les exportations dpendent la fois des
cots de production intrieurs et du niveau des prix de la concurrence
internationale. Il existe aussi une rigidit des prix court terme, modllse
l'aide d'une contrainte de cot d'ajustement.
Les salaires nominaux sont tablis en fonction de quatre facteurs : (1) le
niveau de dsincitatlon dpendant des minima sociaux et de la valeur du
temps libre, (2) la productivit du travail, (3) les tensions existantes sur le
march du travail et (4) le niveau gnral des prix. Les salaires ne s'ajustent
pas immdiatement aux changements du contexte conomique dans la
mesure o les accords salariaux sont signs pour plusieurs annes.
Les taux d'intrt et les taux d'change sont galement traits comme des
variables endognes dans le modle QUEST, l'inverse de beaucoup
d'autres modles. Cela permet par exemple de simuler les effets d'viction
(le fait que les besoins de financement de la dpense publique entrane une
hausse des taux d'intrt rels, et donc une baisse de l'investissement priv).
HERMIN
: un modle quatre
secteurs
Les modles HERMIN (HER repris du modle macrosectoriel HERMES dont

ils s'inspirent et MIN pour indiquer que ce modle est de petite dimension)
couvrent l'Irlande, o le prototype a t dvelopp l'origine, le Portugal,
l'Espagne et la Grce. Le prototype d'HERMIN provient de HERMES, un
systme de modles complexes (onze secteurs, plus de 600 quations), n
d'une collaboration trans-europenne conduite par la DG XII et couvrant,
avec des degrs divers de performance, tous les Etats membres de l'Union
europenne. Les modles HERMES avalent t dvelopps pour analyser
les politiques nergtiques et se sont donc concentrs sur le rle de
l'nergie en tant que facteur de production. Ils comprenaient donc une
simulation soigne des processus relatifs la production.
Les modles HERMIN sont d'chelle petite moyenne (4 secteurs avec 100
150 quations chacun). Ils ont t labors par des quipes nationales
dans chacun des quatre pays priphriques de l'Union europenne. Un des
principaux objectifs de ces modles est l'tude comparative de l'impact des
Fonds structurels sur la priphrie de l'Union europenne. La structure de
base du HERMIN runit trois types de relations : les composantes de l'offre,
les composantes de la demande et le rapport salaires/prix.
(a)
L'offre
Le modle HERMIN comprend quatre secteurs : le secteur des biens

changeables, le secteur des biens non changeables, le secteur agricole
et le secteur public. Ces secteurs prsentent les caractristiques distinctes
suivantes :
Le secteur des biens changeables est soumis la concurrence
internationale et sa production est principalement dtermine par la
demande mondiale (exprime en termes de production mondiale) et la
comptitivit (mesure par le rapport des cots unitaires du travail sur les
cots unitaires mondiaux). Les prix sont dtermins de manire externe sur
les marchs internationaux.
Le secteur des biens non changeables couvre les services, le btiment, la
construction et les quipements collectifs. Il est soumis la demande
Intrieure et les prix sont dtermins par la marge bnficiaire sur les cots
du travail.
La production des secteurs des biens changeables et des biens non
changeables est modlise sous la forme d'une fonction o la valeur
ajoute dpend du capital et du travail. Les niveaux de l'emploi et des

investissements dpendent alors du niveau de la production. La demande
des deux facteurs de production tient galement compte de leur cot
respectif (sous l'hypothse d'lasticit de substitution constante). Le
progrs technique est assimil une tendance temporelle exogne,
diffrente dans chaque secteur.
Le secteur agricole couvre l'agriculture, la sylviculture et la pche. Il est
considr comme essentiellement exogne avec des prix et des quotas de
production dfinis dans le cadre de la Politique Agricole Commune de
l'Union europenne.
Dans le secteur public, qui comprend l'administration, l'ducation et la
sant, le niveau d'activit dpend de dcisions gouvernementales. Les
dpenses sont contraintes par les rgles d'quilibre budgtaire et de
remboursement de la dette.
(b) La demande
La consommation est dtermine par le revenu personnel disponible rel et
par la richesse financire relle. Les investissements privs non rsidentiels
sont drivs de la fonction de production en tant que demande de capital
fixe. Les investissements rsidentiels sont une fonction du revenu
disponible par habitant. Enfin, les Investissements publics sont une variable
exogne. Le secteur montaire n'est pas modlls et le taux de change, de
mme que le taux d'intrt intrieur, sont des variables exognes.
Les exportations agricoles sont estimes de manire exogne. Les
exportations du secteur des biens changeables sont une fonction de la
production de ce secteur ainsi que du taux de croissance du PNB (reflet du
cycle conomique) dans le cas de l'Espagne. Le tourisme et les
exportations de services sont une fonction de la production mondiale. Les
importations sont dtermines de manire rsiduelle pour faire la diffrence
entre la production totale des quatre secteurs et la demande finale
(consommation prive, consommation publique, investissements et
exportations).
(c) Les salaires et les prix
Les salaires sont fixs par une quation simulant le processus de
ngociations salariales entre les employeurs et les syndicats. Les
ngociations sur les taux salariaux nominaux sont influences par la
situation du march du travail, telle qu'elle est reflte par le taux de

chmage actuel ou par son taux de variation. Elles subissent galement
l'influence de la ponction fiscale , c'est--dire la diffrence entre le
salaire brut avant impts exprim en prix de production et le salaire net de
toutes dductions exprim en prix la consommation. Finalement, le
niveau des prix de production et celui de la productivit du travail affectent
galement le processus des ngociations salariales. Dans le cas de
l'Irlande, le march du travail est suppos tre homogne et les salaires du
secteur des biens changeables dominent tous les autres secteurs. Dans le
cas de l'Espagne, les salaires du secteur des biens non changeables sont
valus part, mais les secteurs public et agricole sont galement domins
par le secteur des biens changeables. L'offre de main d'uvre est
dtermine diffremment dans les diffrents pays. Les migrations jouent un
rle important dans le cas de l'Irlande, notamment en direction et en
provenance du Royaume-Uni. Dans le cas de l'Espagne, une distinction est
faite entre les taux d'activit des femmes et des hommes.

La situation d'valuation d'ensemble d'un programme complexe est
caractrise par le fait que les effets attendus sont nombreux et que tous
les partenaires n'attachent pas la mme importance aux mmes effets.
Certains outils de jugement sont particulirement bien adapts cette
situation.
Par exemple, le panel d'experts construit un jugement synthtique sur le
programme valuer. Cet outil, lorsqu'il est mis en uvre de faon
optimale, accrot la crdibilit et l'acceptabilit des conclusions de
l'valuation en respectant les diffrences entre points de vue tout en
construisant des conclusions consensuelles.
L'analyse multicritre prsente des avantages importants en termes
d'acceptation de la multiplicit des points de vue. L'outil intgre un
mcanisme d'Identification et d'explicitatlon des points consensuels.
Les outils de jugement les plus connus sont l'analyse cot-avantages et
l'analyse cot-efficacit. Pour des raisons diverses, ces outils n'ont pas la
souplesse ncessaire pour prendre en compte la complexit du jugement
porter sur l'ensemble d'un programme socio-conomique. L'talonnage
(benchmarking) est un outil de jugement plus souple qui serait peut-tre
applicable l'valuation d'ensemble d'un programme complexe.
Cependant, cet outil a t employ jusqu' prsent dans des valuations
simples. C'est la raison pour laquelle il est prsent plus loin.
Certains outils prsents plus haut, comme des aides la structuration de
l'valuation, peuvent galement tre employs pour formuler un jugement.
Par exemple, l'analyse SWOT peut aider juger la pertinence d'une
stratgie, de mme que le vote color peut aider valider les points cls
de la synthse finale de l'valuation dans un contexte de partenariat.
Panel d'experts
Le panel d'experts runit plusieurs

O
Cot
Evaluation
Technicit
spcialistes
indpendants
et
moyen
d'ensemble
moyenne
reconnus dans les domaines
correspondant au programme
valu. Les experts produisent
Approfon
Usage
Usage
dissement
collectivement un jugement sur la
valeur du programme et de ses
effets. Cet outil permet de disposer
Usage
stabilis
rapidement et faible cot d'un
jugement global intgrant les
principales informations connues sur le programme ainsi que de multiples
expriences antrieures et extrieures.
O O
Le panel peut tre considr comme un outil d'valuation dans la mesure

o I existe une procdure standard et rpliquable pour le constituer, pour
le runir et pour l'amener produire ses conclusions. L'outil est inspir des
jurys universitaires, ce qui explique qu'il soit apparu ds le dbut des
annes 70, dans le domaine de l'valuation des programmes de
RechercheDveloppement.
Par panel d'expert , nous entendons ici un groupe de travail
spcialement constitu et runi l'occasion de l'valuation. On trouvera
plus loin la description d'un outil proche, l'enqute Delphi, qui s'appuie
aussi sur des experts mais qui diffre sur de nombreux points.
Exemple : Evaluation de la qualit et de la pertinence des programmes de

dveloppement en Sude
Le Conseil national sudois du dveloppement technique finance depuis plusieurs
annes des programmes de dveloppement des comptences et des connaissances
fondamentales. Depuis 1981, la qualit de ces programmes est value
rgulirement.
La premire tape consiste slectionner cinq experts internationalement reconnus
et reprsentatifs des divers points de vue intressant le programme. Ces experts
s'engagent participer toutes les runions du panel. L'un d'entre eux est dsign
comme prsident.
Dans une seconde tape le panel examine la documentation du programme
concernant les ressources mobilises (personnel, quipements, financements), les
thmes de recherches, les rsultats, les publications, les cooprations. Le panel
auditionne galement quelques destinataires.
L'tape suivante est constitue par des visites sur le terrain, ralises
individuellement par chaque expert ou par groupe de deux.
A l'tape finale, le panel labore un rapport commun. SI les points de vue divergent,
le panel discute jusqu' obtention d'un consensus. L'exprience a montr que la
recherche des compromis adoucit invitablement les conclusions. Cependant,
l'valuation est renforce par la lgitimit des conclusions du panel. Les
gestionnaires du programme sont invits faire part de leurs remarques et
commentaires. Le rapport final est publi.
Cet outil est considr comme efficace et peu coteux. Il est largement appliqu
dans tous les pays nordiques, et plus gnralement dans tous les pays qui valuent
leurs politiques scientifiques. L'OCDE applique galement cet outil de nombreux
autres domaines politiques.
Source : Christensen, H.C (1987) "Evaluation of research Programmes", in : E. Ormala
(d.) Evaluation of Technical Research and Development, 88-108, Espoo, Nordforsk.

Le panel d'expert sert principalement juger un programme, mais c'est un
outil gnrique. Les termes de rfrence donns au panel peuvent en effet
comprendre un grand ventail de questions allant de la pertinence des
objectifs du programme jusqu' l'estimation de ses effets rels ou probables.
On fait appel aux panels d'experts pour dgager un consensus sur des
questions complexes et mal structures, pour lesquelles les autres outils ne
permettent pas de fournir des rponses univoques ou crdibles.
L'utilisation des groupes d'experts permet, dans un laps de temps de
quelques mois, de rassembler l'essentiel des points de vue et des
connaissances pertinentes pour l'valuation. L'outil est donc recommand
lorsqu'il existe une expertise suffisante dans le domaine et que l'valuation
est complexe.
L'outil est galement trs bien adapt des petits programmes simples pour
l'valuation desquels il n'est pas justifi de consacrer trop de ressources.
Etape 1 - Identification d'une liste d'experts potentiels : Les membres du

panel doivent tre des spcialistes reconnus dans au moins un des champs
concerns par le programme. Ils doivent avoir une large exprience du

domaine et tre indpendants des commanditaires. Ils doivent par ailleurs
avoir la disponibilit et la volont de s'impliquer dans l'valuation.
Etape 2 - Slection et mandatement des experts : Le panel est
gnralement compos de six douze membres appartenant aux diffrents
champs d'expertise . La tendance actuelle est d'largir le spectre des
intrts et de rechercher la plus grande diversit possible de points de vue
au sein du panel. Les experts sont nomms Intuitu personnae et ne
reprsentent pas leur institution. Chaque expert signe un contrat qui, selon
les cas, prvoit ou ne prvoit pas de rmunration. Le prsident du panel
est choisi par le commanditaire ou lu par ses pairs. Il est impratif de
confier le secrtariat du panel une personne qui a la disponibilit
suffisante, ce qui n'est gnralement pas le cas des experts eux-mmes.
Etape 3 - Investigations : Les experts se runissent entre trois et six fois
intervalle d'environ un mois, "putes les dates de runion doivent tre
programmes ds le dbut du travail. Les dbats internes au panel sont
placs sous le sceau de la confidentialit. Les membres du panel
consultent les documents du programme ou du projet de programme
(rapports d'activits, tudes pralables, enqutes), ils auditionnent les
responsables du programme et quelques destinataires typiques. Ils
peuvent aussi raliser des visites sur le terrain, gnralement en binmes
pour limiter les risques de parti-pris.
Etape 4 - Synthse: Le panel produit un rapport et formule des conclusions
et des recommandations acceptes collectivement. En cas de dsaccord,
il peut tre utile d'exprimer la conclusion majoritaire et d'annexer un
commentaire de l'expert minoritaire. Le panel doit tenir une dernire
runion aprs rception des commentaires du commanditaire sur son
rapport provisoire. Il est maintenant envisageable qu'une partie du travail
du panel, notamment dans sa phase finale, fasse appel aux techniques de
communication distance (Internet ou visioconfrence).
L'outil peut tre utilis pour raliser la totalit d'une valuation ex ante,
condition que le dlai disponible soit d'au moins trois mois. Par exemple,
on pourra demander un panel d'expert d'estimer l'impact probable du
programme en termes d'emploi, ou de juger les mrites du programme en
termes de potentiel de synergie.
Principa/es techniques et outils
L'outil peut galement tre intressant chaque fois que l'on veut renforcer
l'tape de structuration ou de jugement. Dans ce cas, le panel d'expert peut
intervenir au dbut et la fin de l'valuation, en combinaison avec d'autres
outils mis en uvre pour la collecte ou l'analyse des donnes (voir un
exemple dans l'Encadr 37).
Le panel d'experts permet de formuler un jugement indpendant et faisant
autorit, ce qui est particulirement intressant dans un contexte de
partenariat, notamment s'il existe des divergences de vues entre
partenaires. Dans un tel contexte, il est possible de demander chaque
partenaire de choisir une partie des experts en fonction de leur proximit
avec son point de vue. On peut aussi proposer une liste d'experts excdant
les besoins du panel et donner chaque partenaire le droit de rayer un ou
deux noms sur la liste.
Le panel d'experts est un outil relativement peu coteux, rapide et
flexible. Ses conclusions jouissent d'une bonne crdibilit lorsque l'on
dispose d'experts reconnus.
Le panel d'experts peut remplir de nombreuses fonctions, mais il est
prfrable de limiter son travail une partie seulement de l'valuation :
structuration des objectifs, estimations des effets ou jugement. Plus le
travail du panel est dfini de faon prcise, plus la porte de son travail
sera reconnue. La fiabilit de l'outil peut tre affaiblie si les questions
poses aux experts sont trop vastes.
Le risque de biais d'empathie est important dans la mesure o les panels
sont trop souvent restreints aux spcialistes du domaine couvert par le
programme (pairs) et sont donc peu enclins critiquer la pertinence des
objectifs ou s'intresser d'ventuels effets pervers.
La confrontation des avis mne souvent la sous-valuation des points
de vue minoritaires. En effet, le mode de fonctionnement consensuel sur
lequel repose la dynamique du panel produit une convergence d'opinions
autour des valeurs majoritaires qui ne sont pas forcment les plus
pertinentes.
L'outil est cependant susceptible de produire des conclusions cratives
et des recommandations riches s'il est associ des techniques
d'animation adaptes telles que celles qui sont prsentes dans ce
Volume (Metaplan, vote color).
Pour en savoir plus

Calln, M., Laredo, P. et Mustar, P. (1995), La gestion stratgique de la
recherche et de la technologie. Paris : Economica. 31-88.
Prsentation dans les deux premiers chapitres de cet ouvrage du
modle de panel d'experts utilis par la Commission des
communauts Europennes.
Cozzens, S.E. (1987), 'Expert Review in Evaluating Programs', in : Science
and Public Policy, 14(2), 71-81.
Inventaire et analyse de l'exprience amricaine d'utilisation des
panels d'experts pour l'valuation. L'intrt des conclusions
dpasse le cadre des politiques scientifiques.
Nadeau, M-A. (1988), L'valuation de programme. Laval, Qubec : Presses
de l'universit de Laval, 349-352
Ce manuel prsente les mthodes et les outils de l'valuation de
programme et consacre quelques pages aux panels d'experts.
Witkin, B.R et Altschuld, J.W (1995). Planning Conducting
Needs
Assessments, Thousand Oaks : Sage publications. 193-203.
Cet ouvrage prsente une srie d'outils applicables l'valuation
des besoins et consacre une fiche aux panels d'experts.
Analyse multicritre
L'analyse
multicritre est
utilise
pour porter un j u g e m e n t c o m p a
ratif sur des projets alternatifs ou
des
mesures
permet
de
htrognes.
prendre
simultanment
compte
plusieurs
intervenant
dans
complexes,
et
dcideurs
en
des
Elle
critres
situations
ainsi d ' a i d e r
les
intgrer dans
un
O
Evaluation
d'ensemble
Technicit
moyenne
Cot
moyen
O G
Usage
innovant
Usage
rtrospectif
Usage
prospectif
cadre prospectif ou rtrospectif les

diffrentes options refltant les opinions des acteurs c o n c e r n s par un
processus de dcision. Elle implique la participation d e s dcideurs et
aboutit des conseils oprationnels o u r e c o m m a n d a t i o n s .
Exemple
L'valuation d'un programme de dveloppement rgional dans le
Hainaut
L'analyse multicritre a t utilise lors de l'valuation d'un programme de
dveloppement rgional cofinanc par les trois Fonds structurels europens et par le
gouvernement de la rgion wallonne. Le programme s'applique la province du
Hainaut, il couvre la priode de 1994 1996 et son budget s'lve plus d'un milliard
d'EURO, financ prs de 50% par l'Europe. L'outil d'analyse multicritre a t
utilis pour sa spcificit multijuge qui permet d'utiliser des systmes de
pondration diffrents, propres chaque partenaire. Huit critres d'valuation ont t
dfinis en accord avec les reprsentants des deux niveaux de gouvernement
(1) viabilit des entreprises aides ; (2) employabilit des personnes formes
(3) diversification sectorielle de l'conomie ; (4) ouverture extrieure de l'conomie
(5) insertion environnementale des activits ; (6) rpartition territoriale des activits
(7) services aux entreprises ; (8) synergie entre les composants du programme.
L'efficacit des mesures au sein du programme a t apprcie par les gestionnaires
des mesures qui ont attribu durant des entretiens des notes d'efficacit selon ces
huit critres. Les rsultats ont montr une grande dispersion des notes d'efficacit
selon les mesures et selon les critres. Puis, au moyen d'une procdure d'entretien
formalise, on a conduit six juges (2 membres de la Commission europenne, 2
du Gouvernement Wallon, 2 de la Rgion du Hainaut) tablir une pondration des
critres utiliss en fonction de l'importance qu'ils attribuent chacun de ces critres.
Les rsultats ont t de nouveau trs disperss : un des juges a donn le poids de
3 au critre viabilit des entreprises alors qu'un autre a donn ce mme critre
le poids de 26 , ce qui tmoigne de la variabilit des centres d'intrt.
Aprs traitement informatique, les mesures ont finalement t classes par ordre
d'efficacit en tenant compte du fait qu'il existe un classement pour chaque juge
(puisque chacun a son systme de pondration des critres). Malgr la dispersion
des avis tant des gestionnaires sur les notes d'efficacit que des juges sur la
pondration des critres, les divers classements ont converg vers un rsultat
pratiquement identique sur la valeur relative des mesures les unes par rapport aux
autres. Cela a apport un clairage indiscutablement utile aux dcideurs, notamment
dans un contexte o la perspective tait de rallouer une partie du budget en cours
de programme.
Source : Cahier MEANS n4 (1995) Appliquer la mthode multicritre l'valuation
des programmes structurels. Bruxelles : Union europenne.

L'outil vise structurer et combiner les apprciations qui interviennent
dans les processus de prise de dcision. Il convient d'entendre ci la
dcision comme un processus jalonn de multiples choix. Les dcisions
relatives ces choix conditionnent en grande partie la dcision finale.
L'analyse multicritre vise notamment mettre en vidence les logiques et
les convictions subjectives des acteurs par rapport une question
particulire. Elle permet galement de synthtiser les opinions exprimes
par ces mmes acteurs afin de dterminer les critres prioritaires ;
d'analyser des situations conflictuelles ou encore, d'aboutir des
recommandations ou des conseils oprationnels.
L'analyse multicritre est proche des techniques adoptes dans le domaine
du dveloppement organisationnel ou du management des systmes
d'information, telle que la mthode des Facteurs Critiques de Succs,
dveloppe dans les annes 70. De mme, elle s'apparente l'analyse
cot-avantages tout en vitant de ramener une base unitaire commune
(montaire) des phnomnes trs disparates. Cette amlioration est
fondamentale car elle permet de prendre en compte des critres dont on ne
connat pas, a priori, le cot (paysage, bruit, satisfaction, etc.).
L'analyse multicritre est particulirement utile lors de la formulation d'un
jugement sur des problmes complexes. C'est le cas lorsque les critres de
jugement s'opposent (par exemple emploi contre environnement) ou si
l'arbitrage entre les critres est difficile.
D'une manire gnrale, cette technique est utilise lors d'valuations exante de projets publics et de leurs variantes (le choix d'un trac autoroutier,
la construction d'une nouvelle infrastructure, etc.). Plus rarement, l'analyse
multicritre sera applique lors d'valuations intermdiaires ou ex post de
programmes.
L'analyse multicritre est un outil de comparaison qui consiste prendre en
compte plusieurs points de vue. Elle se dcompose en plusieurs phases
dcrites ci-dessous d'une manire chronologique. Une ritration des
phases est cependant possible pour permettre des corrections.
Etape 1 . Dfinition des projets ou actions juger : Inventaire des actions
ralises ou envisages, ou des lments sur lesquels va porter le jugement
comparatif.
Etape 2. Dfinition d'une batterie de critres de jugement : Le charg
d'valuation lui-mme ou les commanditaires de l'valuation vont prciser les
critres prendre en compte. Une attention particulire doit tre porte la
dfinition des critres afin d'tre le plus exhaustif possible et de bien cerner
la question. Les critres doivent traduire les prfrences des dcideurs ou
encore les diffrents points de vue afin de rsumer et regrouper diverses
dimensions caractristiques permettant d'valuer une action.
Etape 3. Analyse des impacts des actions : Lorsque les projets et les
critres ont t dfinis, il convient de procdera une estimation quantitative
ou une description qualitative de l'impact de chaque projet selon les
critres. Pour cela, on peut utiliser de brefs noncs dcrivant les diffrents
niveaux d'impacts : les descripteurs d'impact .
Etape 4. Jugement des effets des actions selon chacun des critres
retenus : La notation des impacts peut tre effectue par le charg
d'valuation partir de donnes quantitatives, ou, plus subjectivement, par
des experts ou par les destinataires de l'valuation eux-mmes.
Etape 5. Agrgation des jugements entre eux : Cette combinaison peut se
faire selon trois principes :
Jugements personnels : il n'est fait aucune synthse entre les diffrents
critres de jugement. Chacun des destinataires de l'valuation construit
son jugement personnel partir de l'analyse et s'en sert pour argumenter
son point de vue.
Aide la coalition : une technique informatise classe les actions les

unes par rapport aux autres. Une action en surclasse une autre dans la
mesure o elle est mieux place pour une majorit de critres (maximum
d'allis) et o elle a moins de notes liminatoires du point de vue des
autres critres (minimum d'opposants).
Aide au compromis : une pondration des critres est propose par le
charg d'valuation ou ngocie par les destinataires de l'valuation. Il
en dcoule un classement des actions selon leur note pondre.
La principale option, quant l'analyse multicritre, est celle de l'implication
ou non du charg d'valuation dans la dfinition des critres, dans leur
notation et dans leur pondration. Si l'quipe d'valuation intervient
activement dans l'analyse, la crdibilit des rsultats en souffre. En
revanche, lorsque les destinataires de l'valuation participent la dfinition
des critres, on constate que chaque partenaire prolonge la discussion
jusqu' ce qu'on ait trouv au moins un critre de jugement qui place son
action favorite en premire position.
On l'a vu dans l'exemple ci-dessus, l'analyse multicritre est bien adapte
une conduite partenariale de programmes structurels et leur valuation.
Les avis de membres nationaux et supranationaux peuvent tre exprims
conjointement sans pour autant perdre de leur spcificit et devoir faire des
concessions trop grandes au regard de leurs chelles de valeur.
L'exprience du Hainaut a t effectue dans le sens d'une utilisation
possible de la technique par la Commission, dans le cadre de l'valuation
des Fonds structurels. Elle a produit des conclusions encourageantes
quant son ventuelle mise en uvre et a permis notamment de mettre au
point une variante de la mthode appele multlcritre-multljuge qui
permet chacun des partenaires de construire son jugement partir des
critres et des poids qu'il souhaite.
L'analyse multicritre offre un cadre pour que les acteurs prennent part
la prise de dcision et la rsolution de problmes. Son caractre
ngoci et son traitement explicite des critres de jugement contribuent
la mise en forme d'une ralit non structure. Elle permet donc de
prendre en considration les valeurs et les avis individuels de plusieurs
acteurs. Elle permet galement de traiter de manire quantitative des

relations fonctionnelles comprises dans un rseau complexe.
L'Intervention d'un expert, la marge de manuvre laisse aux dcideurs
et l'analogie avec la procdure de vote font de cette technique un outil
adapt une dmarche partenariale.
La technique peut aider dfinir une coalition ou un compromis, mais elle
ne dicte pas le jugement individuel ou collectif des partenaires.
Les analyses multlcritres ont plus souvent la prfrence des dcideurs
car ils y sont aisment associs travers un cadre technique relativement
simple, la diffrence des analyses cot-avantages qui mesurent
artificiellement tous les effets en termes montaires.
Des problmes de mise en uvre spcifiques peuvent limiter l'usage de
l'analyse multicritre, ou ncessiter la prsence d'experts.
Cette technique n'est pas toujours employe de faon interactive,
comme elle le devrait, et a tendance figer des critres qui sont dans la
ralit mouvants.
Roy, B. et Buyssou, D. (1993), Aide Multicritre la dcision : Mthodes et
Cas, Paris : Economica, 695 p.
Ouvrage trs complet, lecture plusieurs niveaux possible grce
un marquage des lments essentiels.
Saaty, T.L. (1984), Dcider face la complexit, Paris : Entreprise Moderne
d'Edition, 231 p.
Ouvrage dcrivant la technique partir d'exemples varis, rflexion
sur le processus de dcision.
Schrllg, A. (1990, 2 me d.), Dcider sur plusieurs critres, panorama de
l'aide la dcision multicritre, Lausanne : Presses polytechniques
et universitaires romandes, 303 p.
Manuel complet et trs accessible.
Outils pour approfondir

une question evaluative
// esr possible d'approfondir une question evaluative lorsque cette question
concerne une seule intervention ou un petit nombre
d'interventions
similaires, lorsque le public concern est homogne et lorsque les effets
valuer sont peu nombreux. Si une question evaluative est suffisamment
simple, il est alors possible de la traiter de faon approfondie, c'est--dire
de raliser une collecte des donnes primaires auprs des destinataires
directs, de raliser une analyse approfondie des impacts et de rechercher
des interventions comparables pour servir de rfrence de jugement. La
quasi totalit des outils d'valuation sont applicables, sans ncessit
d'innovation, dans cette situation qui est dcrite dans la plupart des
manuels d'valuation. Cette section recense et prsente onze outils en
insistant sur leurs conditions d'application l'valuation des programmes
socio-conomiques.
Exemples d'valuations traitant une question

de faon approfondie
Les exemples prsents ci-dessous dcrivent des situations qui se
prsentent de faon simple, soit que l'valuation porte sur une action ou
un groupe d'actions homogne, soit qu'elle se concentre sur un thme
unique tel que l'obtention d'un rsultat ou d'un impact particulier (pour
plus d'informations sur les valuations thmatiques, on pourra se rfrer
au Volume 5 de la Collection qui y est consacr). Lorsque l'objet de
l'valuation est suffisamment simple, il est possible d'approfondir la
collecte des donnes primaires, l'analyse des impacts et la formulation du
jugement. La quasi totalit des outils d'valuation sont applicables dans
cette situation. Les trois exemples qui suivent en donnent des
illustrations.
Dans le premier exemple les responsables d'un ministre franais
dsiraient obtenir une estimation compare des effets sur l'emploi de
plusieurs interventions. La question d'valuation tait la suivante :
Certaines mesures d'aide l'emploi sont-elles plus efficaces que
d'autres ?
Encadr 19 - Evaluation de l'impact des aides l'embauche

en France
En France, le Ministre de l'Emploi ralise frquemment des enqutes par
questionnaire passes par tlphone auprs d'chantillons d'entreprises
destinataires des diffrentes mesures d'aides l'emploi. Chacune de ces
enqutes permet d'estimer un coefficient d'effet d'aubaine et, le cas chant, des
coefficients d'effets de substitution ou d'attraction. Ces coefficients permettent
d'extrapoler les donnes du suivi (effets bruts) pour passer une estimation des
effets nets. Un panel d'experts a t runi plusieurs reprises pour confronter
l'ensemble des coefficients rsultant des diverses enqutes et pour proposer des
rgles gnrales d'estimation des effets d'aubaine en fonction de la nature des
aides.
Dans cet exemple, la technique de l'enqute par questionnaire a t
utilise pour l'observation. La technique du panel d'experts a contribu
consolider l'estimation des effets.
L'exemple suivant est tir de l'exprience conduite par le programme

MEANS en Catalogne. Une valuation des aides aux coopratives a t
demande la suite d'un audit de la mise en uvre qui a mis des doutes
sur l'efficacit de ces aides en terme de cration et de maintien d'emplois.
Encadr 20 - Evaluation ex post des aides
aux coopratives catalanes
En 1992, les autorits catalanes avaient dvelopp un programme d'aide aux
coopratives en considrant que celles-ci pouvaient avoir un impact important en
matire d'emploi, en raison d'impratifs de profitabilit moindres que ceux des
entreprises prives. Cependant, un doute subsistait sur l'efficacit de ces aides
et le Dpartement du Travail a command une valuation du programme.
En raison du nombre de coopratives, de leur diversit et de la faible
connaissance des destinataires, il a t dcid de faire une enqute par
questionnaire auprs de la totalit de la population-cible, soit environ 3000
coopratives. Les rponses obtenues ont t traites par une analyse factorielle
afin de constituer une typologie des coopratives. Grce cette analyse, on a pu
mieux comprendre les caractristiques des coopratives qui ont cr des
emplois, mais aussi de celles qui n'ont pas cr d'emplois. L'analyse a montr
que les coopratives les plus susceptibles de transformer l'aide reue en cration
ou maintien d'emploi sont celles qui sont dj anciennes, qui sont membres d'une
fdration de coopratives, qui ne sont pas situes dans la zone ctire, qui ont
une taille moyenne... En revanche il apparat aussi que ce sont des coopratives
qui investissent de manire autonome par rapport aux aides.
Dans cet exemple, l'outil d'observation a t l'enqute par questionnaire.
L'analyse factorielle a permis de remplir de faon trs performante la
fonction de croisement des observations.
Le troisime exemple dcrit un travail ralis pour valuer l'efficacit d'un
programme de conseils aux PME au Royaume-Uni.
Exemples d'valuations
E n c a d r 21 - Evaluation du conseil aux entreprises au R o y a u m e - U n i

Un programme financ par le Ministre du Commerce et de l'Industrie britannique
s'adressait aux PME auxquelles il offrait des prestations de conseil en gestion, de
formation et d'information. Les impacts de ce programme ne pouvaient pas tre
exprims en emplois crs, puisqu'il visait augmenter la productivit, ce qui
conduisait court terme dtruire des emplois. Il a donc fallu valuer le
programme selon d'autres critres comme la productivit, la rentabilit ou
l'investissement induit.
La mthode dveloppe pour l'valuation a t la suivante :
1.Un premier questionnaire a t envoy aux 75 oprateurs du programme
(prestataires de service). Ce questionnaire abordait les prestations de conseil
apportes aux destinataires et les catgories d'entreprises cibles.
2. Des entretiens individuels avec 20 oprateurs ont permis d'approfondir la
description des stratgies dveloppes par les oprateurs.
3. Des tudes de cas ont t ralises pour six oprateurs. Dans le cadre de ces
tudes de cas, les cordonnes des destinataires ont t releves.
4. Un chantillon de 300 entreprises destinataires a t constitu. Un autre
chantillon de 200 entreprises non-destinataires a galement t constitu
selon la technique des groupes de comparaison (binmes apparis).
5. Un second questionnaire a t adress aux entreprises destinataires et celles
du groupe appari. Une comparaison statistique entre les entreprises des deux
groupes a permis d'obtenir des indications quantitatives sur les effets du
programme en termes de chiffre d'affaires, de productivit et d'investissements
induits. Afin d'viter des dclarations biaises , les questionnaires
comportaient des questions nombreuses et partiellement redondantes
(questionnaire triangul). L'enqute intgrait la recherche d'effets d'aubaine.
Cette valuation a e m p l o y un g r a n d n o m b r e d'outils dans le cadre d'une

d m a r c h e trs c o m p l t e d'observation de terrain. La collecte des donnes
a fait appel deux e n q u t e s par q u e s t i o n n a i r e , une srie d ' e n t r e t i e n s
i n d i v i d u e l s et des t u d e s d e c a s . La fonction d'estimation des effets a
t traite grce la technique des g r o u p e s d e c o m p a r a i s o n (par binme
appari).
La rcapitulation de ces trois exemples montre que les outils d'valuation
ont surtout t employs pour les fonctions d e collecte et d'analyse de
donnes. Les pages qui suivent montreront que l'on peut galement choisir
d'autres outils pour les fonctions de structuration et de jugement.

Dans une situation d'valuation approfondie, les outils qui suivent
constituent des aides efficaces pour clarifier les effets valuer,
slectionner les critres et les indicateurs de l'valuation :
Le cadre logique est un outil qui a t conu pour l'valuation ex ante des
projets d'aide au dveloppement. Il permet d'aboutir rapidement une
clarification de la logique d'action, la dfinition des impacts escompts et
la construction d'indicateurs d'impact.
Metaplan est un outil de travail en groupe trs rpandu. Dans une
situation d'valuation, cet outil est particulirement bien adapt pour
clarifier et hirarchiser les effets attendus.
Le vote color (outil dcrit prcdemment) est galement applicable,
notamment pour le choix des questions valuatives.
A l'inverse, des outils comme la matrice d'impacts ou la cartographie
conceptuelle d'impact sont trop lourds pour une situation caractrise par
la simplicit de l'objet valuer.
Cadre logique
La technique du cadre logique est
la fois un exercice de structuration
des lments composant un projet
(ou
programme
technique
cohrence
celuici.
simple)
d'analyse
et
une
de
produit
de
Approfon
dissement
cette
prsentation formelle et matricielle

fonctionnement
Interne
Cot
faible
de
technique, le cadre logique, est une

du
Technicit
faible
la
interne et externe
Le
Usage
prospectif
Usage
stabilis
du
projet, des moyens de vrification de l'atteinte de I objectif et des facteurs

endognes et exognes conditionnant son succs.
Exemple : Cadre logique d'un projet de pche artisanale

Cet exemple concerne un projet financ par l'Union europenne dans le cadre de sa
politique d'aide au dveloppement.
Les objectifs globaux (ou finalits) du projet sont les suivants : amlioration du
niveau de vie, scurit alimentaire accrue, augmentation des recettes d'exportation,
augmentation de l'emploi, utilisation des ressources de faon durable.
Les objectifs spcifiques du projet (ou buts) sont de procurer une augmentation de
revenus aux acteurs conomiques du secteur de la pche artisanale. Pour valuer
l'atteinte de cet objectif, on pourra s'appuyer sur une srie d'indicateurs
objectivement vrifiables : volution des niveaux de revenu de la pche, rpartition
des revenus par acteur conomique (pcheurs, industriels, transporteurs, grossistes,
artisans), par sexe et par zone de pche.
Parmi les facteurs qui conditionnent l'atteinte des objectifs, on note particulirement
la ncessit de disposer de biens de consommation en quantit suffisante et des
prix abordables, ainsi que l'accessibilit suffisante des autres services (sant,
ducation, conseils, etc.).
Les rsultats attendus sont : une production optimale, un traitement optimum du
poisson, une commercialisation satisfaisante de la production de pche et des zones
de pche artisanale dfinies de manire adquate. Pour valuer l'obtention de ces
rsultats, on pourra s'appuyer sur une srie d'indicateurs objectivement vrifiables :
nombre de prises, nombre de produits vendus, distance entre la zone de pche et
les ctes, types de poissons pchs, dure de la pche, quilibre de la rpartition
des prises entre les pcheurs, dure de la vente, temps coul entre la livraison et la
vente, profondeur des ressources, accord des pcheurs sur les zones de pche.
Parmi les facteurs qui conditionnent l'obtention des rsultats, on note particulirement
le fait que la demande doit tre suffisante, ainsi que les niveaux de prix la production.
Les activits qui font partie du projet sont les suivantes : cration de coopratives
de pcheurs et de traitement du poisson, notamment par les femmes, mise
disposition de matriel de pche, mise disposition de schoirs et d'entrepts,
organisation du transport, information sur la demande et les marchs, formation des
acteurs, et notamment des femmes, aux nouvelles techniques, formation aux
techniques de l'emballage, information suffisante sur les zones de pche
potentielles, ngociation d'accords entre les pcheurs, organisation d'un systme de
contrle sur les pratiques de la pche, etc.
Source : Commission europenne - DG VIII.

En tant que technique d'appui la dfinition objective d'un projet, sa
formulation en termes oprationnels, sa mise en uvre, son suivi et
son valuation, le cadre logique est un outil qui permet :
la description d'un projet de faon systmatique, synthtique et
comprhensible ;
une articulation et une hirarchisation claire des objectifs poursuivis ;
une mise en vidence des conditions runir pour le succs du projet ;
une clarification des hypothses propres au projet ;
une identification des liens de causalit entre ressources, rsultats et
objectifs ;
et enfin, une identification, ds la conception du projet, des critres de
succs et des moyens de vrification de l'atteinte des objectifs.
Cette technique se rvle d'autant plus efficace quand elle est prpare de
faon participative et entreprise ds l'identification du problme que le
projet est cens rsoudre. Elle ne cessera d'voluer et de s'largir en
fonction de l'environnement dans lequel le projet s'insre, et ainsi, par
extension, permettra l'organisation complte de l'ensemble des phases du
cycle de vie du projet .
Le cadre logique est un outil qui facilite l'laboration des tapes cls : il
permet d'tablir un budget dtaill, de rpartir les responsabilits, de
planifier les activits, de concevoir le plan de suivi et les termes de
rfrence des valuations concomitantes et ex post.
Conceptualise il y a une trentaine d'annes aux Etats-Unis, la technique
du
cadre
logique
est
devenue
progressivement
l'Instrument
mthodologique de prdilection des concepteurs de projets de

dveloppement. Cette approche est actuellement en vigueur dans la
plupart des organismes nationaux et supranationaux de coopration, Union
europenne comprise.
Son succs doit beaucoup sa capacit de dcrire de faon ordonne,
causale et logique le fonctionnement interne d'un projet dans un
environnement donn. C'est cette facult qui lui a permis de rapidement
s'imposer dans le domaine de la coopration au dveloppement. La
technique du cadre logique s'avre idale dans le cas de programmes
simples, dont les objectifs et les principaux acteurs (des bailleurs de fonds
aux excutants) sont clairement identifis.
L'application d'un cadre logique un projet ncessite une analyse
complte du contexte dans lequel I s'insre, des objectifs poursuivis et des
stratgies mettre en uvre.
Etape 1. Analyse du contexte : le contexte est le cadre gnral dans lequel
se situe le projet. En analysant ce contexte on identifie les problmes que
le projet doit contribuer rsoudre. Pour ce faire, il faut notamment :
une dfinition de l'environnement politique, institutionnel, social et
conomique (politique du gouvernement, caractristiques et
perspectives du secteur, etc.) ;
une analyse des motivations et des attentes des destinataires et des
acteurs principaux ;
ainsi qu'une identification et une hirarchisation des problmes
rsoudre et de leurs causes probables.
Etape 2. Analyse des objectifs : les problmes que le projet doit rsoudre
conduisent dfinir les objectifs du projet. Pour formuler ou reformuler
ceux-ci, on s'attache :
aux perspectives et la description de la situation future lorsque les
problmes auront t rsolus ;
hirarchiser les objectifs en termes de buts et de finalits. Cette
distinction entre but et finalit n'est pas uniquement discursive. Elle
rpond un besoin mthodologique en ce sens que la construction d'un
cadre logique ncessite, pour des raisons de cohrence, de limiter le
nombre d'objectifs principaux (ou finalits) et d'objectifs spcifiques (ou

buts). L'emploi d'outils spcifiques de hirarchisation des objectifs, de
type arbre d'objectifs , s'avre ci ncessaire.
la visualisation de l'ensemble des relations entre les ressources
mobilises (intrants) et les finalits.
Etape 3. Analyse de la logique du projet : La logique d'un projet comprend
gnralement quatre 'niveaux de valeurs' diffrentes : les ressources ou
intrants (ressources humaines, financires, matrielles, rglementaires,
etc.), les produits (extrants ), les buts principaux (objectif spcifique) et les
finalits (objectifs globaux). Les niveaux sont relis entre eux par des
hypothses de causalit (de type : si...alors...). Tandis que les trois
premiers niveaux sont internes au projet, le quatrime, celui des finalits,
relie le projet un programme ou une politique plus large, frquemment
dfini hors de la sphre de gestion.
Ainsi, la logique verticale, ou logique d'intervention, s'attache clarifier les
intentions du projet, tout en prcisant les incertitudes lies leur
matrialisation. Elle permet de dcrire l'articulation logique des diffrents
'niveaux de valeurs' ainsi que les conditions critiques qui influencent leur
ralisation. Ces conditions critiques, internes ou externes au projet, sont
l'expression des contraintes ncessaires pour passer d'un 'niveau de valeur'
l'autre du cadre logique. Or ces passages dont les liens de causalit sont
exprims sous forme d'hypothses se doivent d'tre formuls.
La logique horizontale vise identifier et dcrire avec prcision ce qui est
produit chacun des quatre 'niveaux de valeur', et ceci l'aide de deux
concepts : les Indicateurs Objectivement Vrifiables (IOV) et les Sources de
Vrification (SdV) de ces indicateurs.
Les IOV correspondent l'ensemble des critres susceptibles de
dmontrer que ce qui est attendu est bien produit. Ils sont en quelque sorte
des opratlonallsations des dclarations d'intention de la logique
d'Intervention, constituant ainsi des preuves tangibles de russite pour
chacun des quatre niveaux : intrants, extrants, buts et finalits.
Les SdV de ces indicateurs sont dcrites en prcisant les moyens et les
sources d'informations ncessaires l'obtention des donnes recherches.
L'imbrication des lments du cadre logique peut tre schmatise dans la
forme suivante :
E n c a d r 2 2 - Les l m e n t s de base du cadre logique

Logique
d'intervention
FINALITE
Impact global
Raisons d'tre du
programme dans
lequel le projet
BUT
Impact spcifique
Raison d'tre
du projet
EXTRANTS
Ensemble des
ralisations
concrtes
produire pour
atteindre le but
INTRANTS
Ensemble des
ressources
ncessaires pour
produire les
extrants concrets
ncessaires pour
atteindre le but
Indicateurs
objectivement
vrifiables
Sources de
vrification
Mesure de la
diminution des
besoins qu'il
faut satisfaire
Sources
d'information
externes
au projet
Elments de
russite du projet
du point de vue
des destinataires
directs
Sources
'information
externes
au projet
Indicateurs
permettant de
quantifier et de
qualifier l'ordre de
grandeur des
extrants et la
corrlation avec
les dates de
production prvue
Sources
d'information
internes
au projet
Suivi des intrants
Sources
'information
internes
au projet
Conditions
critiques
Hypothse de
causalit
du programme
< si...but,
alors...finalit
Hypothse de
causalit
du projet
si...extrants,
alors... but >>
Hypothse de
ralisation
si...intrants,
alors...extrants >
Conditions
pralables
au dmarrage
du projet
Source : adapt de ACDI (1981) Guide d'utilisation de la Mthode du Cadre Logique

dans la gestion et l'valuation des projets de coopration de l'ACDI, Toronto : ACDI.
L'apport de cet outil pour l'valuation des Fonds structurels est sa capacit
de clarification et de structuration de l'action publique et de ses Intentions.
L'apport de l'outil est d'autant plus net que l'action publique peut se
structurer autour d'un seul objectif principal, compris ici comme finalit. La
technique du cadre logique intervient dans ce cas comme une dmarche
d'analyse de la cohrence de l'ensemble.
Dans le cadre d'un programme complexe, l'outil conduit structurer les
objectifs sous forme d'un arbre dont le tronc est la finalit et qui se ramifie
en sous-programmes, axes, mesures et projets. Une telle interprtation
complte par cascade a l'avantage de la simplicit, mais se rvle souvent
Inoprante pour apprhender une ralit complexe.
En tant que processus analytique de conception et de suivi de projet, la
technique du cadre logique se rvle, l'usage, un cadre structurant
apprci par les praticiens. C'est un outil synthtique qui clarifie les
articulations entre moyens et fins, les contraintes exognes et les
solutions pour se prmunir contre leur influence. De plus, l'outil facilite la
mise en place d'un systme de contrle et de suivi ds la conception du
projet. Il permet ainsi de dlimiter prcisment les responsabilits de
chaque intervenant dans l'excution du projet.
Cette technique fournit un cadre pour l'examen de la logique d'un projet,
mais ce sont les responsables du projet qui doivent remplir le cadre.
L'outil doit donc tre mis en uvre avec la participation des partenaires
du projet.
La technique du cadre logique est plus difficilement applicable dans le
cas de projets complexes et de programmes vises multiples.
Bien que cet outil se prte davantage une utilisation dans le cadre
d'valuation ex ante et de suivi, pour les valuations ex post, il peut tre
utilis en complment d'autres approches moins systmatiques qui sont
plus focalises sur les principales questions d'valuation.
La prsence de plusieurs dcideurs (avec des intrts parfois divergents)
peut conduire une conception de programme aux contours flous et
imprcis dans ses mcanismes. Seules la prsence de phases
intermdiaires de rflexion collective et l'mergence rgulire de
consensus forts peuvent garantir que l'on a bien tir parti du potentiel de
l'outil.
Si l'application de la technique du cadre logique est perue comme un
simple exercice technocratique obligatoire au niveau de la conception du
projet, alors sa capacit reflter l'volution de l'tat de celui-ci au cours
de son application en sera fortement amoindrie. Cela peut porter
prjudice l'ensemble des documents obtenus par extension, comme
par exemple les termes de rfrence d'une valuation.
Pour en savoir p l u s Agence canadienne de dveloppement
d'utilisation
International (1981),
Guide
de la Mthode du Cadre Logique dans la gestion et
l'valuation des projets de coopration de l'Agence canadienne de

dveloppement international, Toronto : ACDI.
Manuel de rfrence de la division de l'valuation de l'Agence
canadienne de dveloppement international
Commission des communauts europennes (1993), Gestion du cycle de
projet, approche intgre et cadre logique, Bruxelles : Commission
des communauts europennes, srie mthode et instrument pour
la gestion du cycle de projet, n 1.
Brochure de prsentation de la gestion du cycle de projet
Swedish International Development Cooperation Agency, Department for
Policy and Legal Services (1996), Guidelines for the Application of
LFA in Project Cycle Management.
Guide d'utilisation de la technique du cadre logique.
Metaplan
La technique Metaplan (une

O
Cot
Evaluation
Technicit
marque dpose d'un cabinet
faible
d'ensemble
moyenne
allemand) permet de structurer des
discussions de groupe. Conue
l'origine pour faciliter la prise de
Approfon
Usage
Usage
dissement
dcision collective dans les milieux
de l'urbanisme, elle a donn lieu
de nombreuses variantes. Elles
Usage
stabilis
sont toutes bases sur les mmes
principes : solliciter les avis des
participants une runion, structurer et synthtiser l'information recueillie
et la regrouper sous une forme consensuelle grce une pondration par
les participants des ides issues de la runion.
O O
Exemple : Lancement d'une valuation intermdiaire du programme Objectif 2

en Franche Comt
La premire runion du groupe de pilotage de l'valuation avait comme principal
objectif de produire la liste des principaux impacts attendus dudit programme. L'outil
METAPLAN a t utilis cette fin.
La prparation du plan de discussion et l'animation de la sance ont t pris en
charge par des consultants extrieurs forms l'outil. Les participants
(13 personnes) talent essentiellement des administratifs de collectivits locales dont
un reprsentant du commanditaire de l'valuation.
La sance qui a dur environ deux heures, avait donc pour objectif de faire ressortir
les principaux impacts attendus du programme, sachant que ces impacts devraient
servir de base l'valuation et en particulier la formulation de questions valuatives
spcifiques qui devaient faire l'objet d'valuations approfondies.
Les trois questions qui ont servi btir le plan de discussion de la sance METAPLAN
ont t formules de la sorte : < Que diriezvous de l'utilit du programme ? , Sur
quel Impact voulezvous une information ? et enfin Quels sont les deux impacts
valuer ? .cette dernire question permettant de hirarchiser les priorits.
Grce cette structuration, le groupe de pilotage a rapidement tablit de faon
consensuelle une liste de cinq impacts qui sont apparus comme particulirement
importants valuer ; savoir la Requalification , l'Adaptation des
formations , l'Attrait du territoire , la Reconversion/Diversification et les
Emplois d'initiative locale .
Source : Rapport C3E (1998) L'valuation intermdiaire des interventions
structurelles dans la zone d'objectif 2 de FrancheComt.

Metaplan permet de rassembler et de structurer de l'information
provenant de points de vue multiples, et d'en produire une synthse
acceptable par la plupart des participants la runion. Un tel outil rpond
plusieurs types de besoins : extraire des informations et les agrger
grce des questions poses de manire adquate, tout en respectant les
points de vue de tous les membres du groupe ; augmenter l'acceptation
des dcisions prises au sein du groupe, du fait de la prise en compte de la
totalit des points de vue, y compris ceux qui ne sont pas dominants au
sein du groupe.
Dans quels cas l'utiliser
Metaplan est un outil de discussion et non de dcision. Il permet

d'identifier les freins et les rsistances au bon accomplissement d'une
action ou d'une stratgie et de mettre en avant des solutions susceptibles
de rsoudre ces problmes. Il permet de structurer une action, compose
de priorits multiples. Avec cet outil, il est possible de diminuer les jeux de
pression dans un groupe, notamment grce la participation de toutes les
parties prenantes et au recours de techniques de discussion et de
pondration. Enfin, un tel outil peut participer la construction d'une
reprsentation commune des problmes et des solutions mettre en
uvre, ce qui permet de susciter une volont commune d'agir.
Le droulement des tapes doit obligatoirement tre assur par un
modrateur externe, neutre et bien form l'outil. C'est lui qu'incombe la
prparation du plan de discussion, l'animation de la runion et la
prsentation des rsultats.
Etape 1. Prparation du plan de discussion : Le plan de discussion est
compos de trois questions qui vont fournir le substrat de la session. La
formulation et l'articulation de ces questions est importante en ce sens
qu'elles doivent tre suffisamment ouvertes pour laisser des latitudes de
rponse, et tournes de telle manire que les participants puissent et aient
envie d'y rpondre. L'ordre dans lequel sont poses les trois questions est
galement important. La premire question ou question d'appel , sert
illustrer le fonctionnement de la mthode aux participants et se doter d'un
referentiel commun. La seconde question ou question carte est au
cur de la dmarche : elle est un approfondissement de la premire

question ; son traitement sera plus labor en ce sens que les rponses
seront discutes plus en dtail. La troisime question, dite question de
pondration , servira choisir parmi les rponses donnes, afin d'tablir
des priorits d'action. Ces trois questions doivent tre prpares en avance
par le modrateur qui veille leur bonne articulation et la progressivit de
la dmarche.
Etape 2. Droulement de la sance de travail : La sance proprement dite
se fait en groupe de travail unique. En fonction de la taille du public,
plusieurs sous-groupes peuvent tre crs lors du travail sur la deuxime
question (question carte). Il est par contre Important que le travail organis
autour des premire et troisime questions (question d'appel et question de
pondration) se droule en plnire.
Le modrateur pose la question d'appel et demande des rponses
structures en affirmations simples, qu'il note au fur et mesure sur des
post-it (30 au maximum) et qu'il fixe sur une feuille de paperboard en
formant des pavs qui regroupent les rponses de nature analogue ou
relevant d'une mme logique. Cette premire question permet aux
participants de crer une reprsentation commune des problmes et de
mettre les mmes mots sur les mmes concepts et de comprendre la
mthode de discussion.
La question carte est la plus importante car elle traite du vritable
objectif de la runion et servira de support la discussion de groupe. Pour
apporter une rponse cette question, les participants seront diviss en
groupes de 2 3 personnes, charges d'apporter des rponses sous la
forme de courtes phrases qu'une personne du groupe crit sur des post-it
(3 5 par groupe). Le modrateur collecte ces rponses puis, en les lisant
une par une distinctement, les affiche sur le paperboard en essayant de les
regrouper par pavs . Les rponses peuvent tre contestes par les
participants ou faire l'objet d'une demande de prcision. Dans ce cas le
modrateur appose ou dessine un clair sur le post-it concern (rgle
de l'clair) et des lments de prcision la question peuvent tre apports
et faire l'objet d'un post-it de couleur diffrente appos cot de l'clair. Au
fur et mesure et avec l'aide des participants, le modrateur termine de
composer les pavs de rponses (6 post-it par pav au maximum)
qui doivent correspondre des logiques analogues. Les participants
doivent ensuite se concerter pour trouver des titres dcrivant le contenu
des diffrents pavs .
Principales techniques et outi
La question de pondration va permettre de montrer quelle importance

les diffrents participants accordent aux diffrents pavs . La rponse
cette question s'effectue l'aide de gommettes que les participants collent
sur les pavs qui leur paraissent le mieux rpondre la question.
Voici un exemple pour ces trois types de questions :
1. Question
d'appel
Qu'attendez-vous
d'une politique
de formation ?
2. Question carte
Sur quels lments plus
prcis aimeriez-vous
que l'valuation
d'une politique de
3. Question de
pondration
Quels sont les lments

qui devraient tre traits
en priorit par
l'valuation ?
formation porte ?
La premire question permet de lancer le dbat sqr les Impacts d'une

politique de formation et d'engager la rflexion sur les typologies d'effets
possibles. Les rponses donnes permettront aussi de guider les rponses
qui seront donnes la question carte.
La seconde question permet d'approfondir les lments abords au cours
de la premire, mais aussi d'ajouter des lments d'information
supplmentaires.
La troisime question permet de slectionner les lments de rponse qui
apparaissent comme tant prioritaires.
Voici une description stylise du droulement des deux dernires phases
d'un Metaplan :
Outi/s pour structurer
l'valuation
Encadr 23 - Structuration d'une valuation

avec la technique Metaplan
Les rponses
la question carte
sont notes sur des Post-it
et positionnes
sur le Paperboard
Les rponses sont groupes

en pavs relevant
d'une logique commune.
Un titre est donn
chaque pav
Les participants hirarchisent

les pavs en ralisant
une pondration avec
des gommettes
Classe
Classe
C

Metaplan est un outil qui prsente plusieurs possibilits d'utilisation dans
le cadre de l'valuation des Fonds structurels :
Il peut servir la clarification de la logique des actions et l'identification
des mesures qui ncessitent un approfondissement particulier. C'est un
outil de structuration qui peut tre utilis par les gestionnaires lors de
runions prparatoires au lancement d'une valuation.
Il peut servir d'appui la dfinition des plans d'valuation et des cahiers
des charges. Metaplan facilite la dfinition des questions d'valuation (par
exemple partir des questions proposes plus haut) et, partir de ces
questions, la slection des critres d'valuation.
L'avantage de cet outil est tout fait appropri une dmarche pluraliste
d'valuation. Celle-ci permet d'associer les parties prenantes dans la
slection des critres d'valuation et ainsi d'augmenter l'utilisation des
rsultats de l'valuation, les critres tant accepts par une majorit des
parties-prenantes.
Metaplan est un outil de structuration et de formalisation, qui permet

une appropriation des conclusions par les personnes qui ont particip
la runion ; ceci quel que soit le nombre de personnes. Il facilite donc la
construction d'un consensus.
Metaplan ncessite la prsence d'une personne forme pour donner de
bons rsultats. En effet, la formulation et l'enchanement des trois types
de questions sont importants et doivent tre prpars quant au fond et
la forme. Il en va de mme pour l'animation du groupe. Du fait de son
apparente simplicit, il peut tre tentant d'organiser des sances de
travail avec cet outil, malgr un manque de formation. Les rsultats du
travail risquent alors d'tre dcevants et de prsenter des rpercussions
sur l'ensemble du groupe.
Cet outil permet l'identification des points de discordance et permet de
surmonter les situations de blocage qui tendent apparatre dans les
runions. Chaque ide propose est en effet prise en compte et discute,
ce qui permet en rgle gnrale d'viter les situations o quelques
individus dominent l'ensemble du groupe.
Si Metaplan est un outil qui permet la formalisation des ides, ce n'est
pas un outil de cration d'ides nouvelles. Cet outil n'exprime rien de
plus que ce qui est dans l'esprit des participants la sance. Si un
accord implicite sur les solutions mettre en uvre existe (exemple :
pense unique), des solutions fausses mais faisant l'objet d'un
consensus peuvent merger. En d'autres termes, un tel outil peut
contribuer verrouiller des situations.
Schnelle, E. (1979), The Metaplan-Method
: Communication
Planning and Learning Groups. Hamburg: Quickborn.
Tools for

L'enqute par questionnaire est l'outil d'observation le plus simple.
Administr par la poste, par tlphone, ou plus rcemment par courrier
lectronique, il permet de recueillir des donnes nombreuses, homognes
et susceptibles de faire l'objet de traitements statistiques. Cet outil n'est
pas adapt l'valuation ex ante.
Plusieurs outils prsents prcdemment sont galement adapts
l'observation de terrain dans le cas d'une valuation approfondie : entretien
individuel, entretien de groupe (focus group) et tude de cas.
Enfin, l'observation ethnographique permet de collecter une Information
complte et approfondie dans le cas o les populations sont difficiles
d'accs ou rticentes participer une enqute.

L'enqute
par
questionnaire
consiste poser une srie de
questions standards, selon un
schma prtabli, un chantillon
d'individus
considr
comme
reprsentatif de la population
observer
ou
quelquefois
l'ensemble de cette population de

faon exhaustive.
A
Approfon
dissement
Technicit
moyenne
Cot
lev
O
Usage
rtrospectif
Usage
stabilis
L'enqute par questionnaire et l'chantillonnage se sont dvelopps

partir des premires prvisions lectorales prcises obtenues entre les
deux guerres par les instituts de sondage d'opinion. Considre comme un
des outils de base des sciences sociales, l'enqute par questionnaire est
aujourd'hui utilise par la majorit des instituts publics et privs d'tude, de
recherche, de statistique et d'valuation.
Exemple : Une enqute ralise auprs d'employeurs sur les effets des
politiques en faveur de l'emploi
Le Ministre franais du Travail, de l'Emploi et de la Formation Professionnelle utilise
frquemment des enqutes par questionnaire, en gnral tlphoniques, pour
valuer les Interventions en faveur de l'emploi. Une enqute a t mene en 1990
pour valuer une mesure d'aide l'embauche de chmeurs longue dure sous forme
d'exonration de charges sociales pour les employeurs. Un questionnaire a t
administr, par tlphone, aux employeurs d'un chantillon reprsentatif d'environ
1000 chmeurs destinataires de la mesure. L'chantillon ne comportait que des
employeurs et des chmeurs directement concerns par la mesure.
Dans chaque entreprise, la personne interroge devait avoir une connaissance
suffisante de la dcision d'embauch et du rle jou par l'exemption de charges
sociales dans la prise de dcision. Pour viter les rponses biaises les employeurs
ont t avertis que le questionnaire serait trait de faon anonyme. Le questionnaire
comprenait plusieurs questions croises susceptibles de rvler ce qui se serait
pass dans la situation contrefactuelle, c'estdire en l'absence d'exonration. Parmi
les rponses proposes : aucune embauche supplmentaire, embauche d'une
personne prsentant des caractristiques diffrentes, embauche de la mme
personne mais dans des conditions diffrentes, etc. L'enqute a permis d'estimer,
pour chaque entreprise, le niveau de l'effet d'aubaine (c'estdire le nombre de
chmeurs qui auraient t embauchs mme sans l'existence de l'exonration), ainsi
que l'effet de substitution(c'est--dire dans quelle mesure 'exonration a incit

l'employeur recruter un chmeur eligible plutt qu'une autre personne non eligible).
L'observation de l'ensemble de l'chantillon a permis d'estimer des coefficients
moyens d'effets d'aubaine et d'effets de substitution. L'chantillon tant
reprsentatif, ces coefficients ont t gnraliss l'ensemble des entreprises
exonres pour estimer l'emploi cr par la mesure.
Source : Aides publiques l'embauche : quels effets sur l'emploi - Premires
synthses, N6, mai 1990, Ministre du Travail de l'Emploi et de la Formation
Professionnelle.

Dans le contexte de l'valuation, les enqutes par questionnaire sont
essentiellement utilises pour collecter l'opinion des destinataires. Les
questions poses peuvent tre de nature descriptive (ex : par quel canal
avez-vous t averti de l'existence de l'aide ?), de nature normative (ex : le
service qui vous a t fourni rpond-il un besoin de premire priorit pour
votre organisation ?), ou encore de nature causale (ex : qu'auriez-vous fait
en l'absence de l'intervention value ?).

L'avantage de l'enqute par questionnaire est de produire des rsultats
applicables l'ensemble de la population observe, soit directement si
l'enqute est exhaustive, soit par extrapolation partir d'un chantillon
reprsentatif. Cependant, la taille minimum d'un chantillon gnralisable
est de l'ordre de 1000 units. L'enqute par questionnaire doit donc plutt
tre utilise si la population observer est nombreuse et homogne (ex :
stagiaires, entreprises, voyageurs, etc.).
Le questionnaire est le plus utile quand l'enquteur a une Ide prcise et
claire de ce qu'il/elle veut observer. Dans ce cas, les enqutes les plus
simples consistent en une srie de rponses des questions fermes o
les rpondants choisissent parmi des rponses prdtermines. On peut
cependant se trouver face des cas o il est utile d'employer des
questionnaires o les rponses peuvent tre orientes, particulirement
lorsque l'enquteur n'a pas au pralable une ide claire de l'opinion des
rpondants ou de la faon dont a fonctionn l'intervention. Dans ces cas,
une combinaison de questions ouvertes et de questions fermes peut tre
utile. Il faut cependant noter que les questions ouvertes sont plus
complexes analyser et plus coteuses car elles exigent que l'enquteur

dtermine, regroupe et codifie les rponses similaires, une fois que les
donnes primaires ont t recueillies. Cet outil est particulirement bien
adapt pour produire une Information descriptive et pour raliser des
classements dans diffrentes catgories (ex : comment les entreprises
aides se rpartissent-elles en fonction de leur taille, de leur secteur
d'activit, de leur anciennet, de la nature de leur march, etc.). Il peut tre
utilis pour recueillir des informations aussi bien qualitatives que
quantitatives. Cependant les donnes subjectives doivent tre Interprtes
avec prudence quand l'valuation cherche dmontrer des causalits de
liens ou fournir des informations normatives
Un mme chantillon peut tre interrog deux ou plusieurs priodes
successives pour fournir des donnes longitudinales permettant de suivre
les destinataires et d'obtenir des estimations sur la prennit des effets. On
utilise par exemple des enqutes par panel pour valuer la durabilit des
rsultats obtenus en matire d'emploi (ainsi, on pourra interroger les
stagiaires avant ou aprs leur formation et une ou plusieurs reprises par
la suite).
Pour raliser efficacement une enqute par questionnaire, quatre tapes
sont respecter :
Etape 1. La conception du questionnaire : Il convient en premier lieu de
dfinir rigoureusement les objectifs de l'enqute et de concevoir les
questions appropries. Les questions devront tre formules clairement et
d'une faon intressante. Il est important de ne pas multiplier les questions
secondaires qui pourraient brouiller les rpondants et/ou les enquteurs,
et nuire ainsi la qualit de l'enqute. Lorsqu'il sera ncessaire d'tablir
une comparaison avec d'autres donnes statistiques, les termes utiliss
dans le questionnaire seront soigneusement choisis pour garantir la
cohrence.
La plupart des questionnaires sont conus l'origine pour poser des questions
fermes (choix entre un nombre limit de rponses), mais nombreux sont ceux
qui posent galement quelques questions ouvertes (comprenant un espace
vide que le rpondant doit remplir lui-mme), ou semi-ouvertes (liste d'options
comprenant une rponse autre permettant au rpondant d'mettre une
opinion diffrente de celles prvues par l'enquteur). Dans ces deux derniers
cas cependant, les rponses doivent tre codifies aprs collecte des
donnes, ce qui peut poser des problmes d'interprtation et de comparabilit
si les rpondants soulvent des points trs diffrents. Ceci dit, il s'agit souvent
d'un moyen trs utile de s'assurer que des points qui auraient chapp au
dpart l'enquteur font bien l'objet d'une analyse s'ils se rvlent importants
pour les destinataires du programme.
Il est essentiel de s'assurer que la formulation des questions n'influence
pas les rponses Les questions qui demandent au rpondant de rapporter
des vnements, situations ou dcisions passs sont gnralement
considres comme problmatiques, ainsi que les questions double
ngation . L'importance de la formulation des questions dpend de la
mthode utilise. Ainsi, dans le cas d'une enqute envoye par la poste ou
toute autre enqute que le rpondant complte lui-mme, il est essentiel de
s'assurer que les questions seront bien comprises. Ce point est moins
important dans le cas d'enqutes en face face o l'enquteur a la
possibilit de clarifier la formulation ou d'aider le rpondant qui ne
comprendrait pas la question. Encore faut-il que l'enquteur ait un niveau
d'exprience et de comprhension suffisant pour le faire. Il est donc
prfrable de ne pas compter sur l'intervention de l'enquteur, moins qu'il
ne soit trs expriment, pour lever les ambiguts.
Les questions peuvent tre nominales (ex : activit de votre organisation agriculture, industrie, commerce, autre), ordinales (ex : qu'avez vous le plus
apprci dans cette formation : sa qualit, son prix, sa pertinence ?) ou
numriques (ex : combien de jours de formation avez vous reus ?).
Si les questions sont normatives ou causales, on aura recours la
triangulation. La triangulation consiste poser plusieurs questions voisines
qui permettent de mieux cerner les limites d'une rponse qui prsente un
risque de biais. Par exemple, les trois questions suivantes permettent
d'estimer un effet d'aubaine : en l'absence de l'aide, auriez vous ralis un
investissement de mme taille, un peu plus petit, beaucoup plus petit ? ...
la mme date, un peu plus tard, beaucoup plus tard ? ... avec la mme
technologie, avec une technologie diffrente ?
Etape 2. L'chantillonnage : La population enquter doit tre prcisment
dlimite (ex : toutes les entreprises de 1 50 salaris aides au cours des
5 dernires annes) et on doit recueillir les informations disponibles sur la
structure de cette population. On doit vrifier si la population est connue
(noms, adresses et numros de tlphone) ou inconnue.
Lorsque l'on utilise un chantillon, celui-ci constitue un modle rduit de

l'ensemble de la population. Pour tre reprsentatif sa taille doit tre
suffisante et rpondre des rgles statistiques prcises. Les Indications qui
suivent sont des rgles extrmement simplifies qui doivent tre vrifies
au cas par cas par un professionnel. La taille standard d'un chantillon
reprsentatif est de l'ordre de 1 000 individus. La taille de l'chantillon ne
dpend pas de celle de la population. Un chantillon de 1 000 personnes
reprsentera aussi bien une population de 2 000 000 de personnes qu'une
population de 6 000 personnes. Par contre, la taille de l'chantillon dpend
fortement de la prcision attendue. Il faut multiplier le nombre de
questionnaires par 4 pour doubler la prcision. Finalement, la taille de
l'chantillon doit aussi tenir compte de l'htrognit des rponses. Pour
les questions les plus importantes, on doit faire une estimation anticipe de
la proportion des rpondants qui donneront telle ou telle rponse. Si on
s'attend ce que 20 80% des rpondants choisissent une des rponses,
un chantillon de 1 000 individus suffira pour que cette rponse soit valide.
SI on s'attend ce que 5% ou moins des rpondants choisissent une des
rponses, l'chantillon devra tre plus grand. L'enqute fournit un chiffre
valide pour une rponse si 100 rpondants au moins ont choisi cette
rponse.
Plusieurs techniques sont proposes dans le tableau qui suit pour
construire un chantillon reprsentatif. Seules les deux dernires sont
applicables si la population est peu ou pas connue.
Principales techniques et out
Encadr 24 - Les techniques d'chantillonnage

Technique
Principe
slection alatoire
Chaque unit d'observation est tire au sort. Elle a
simple
une chance gale de faire partie de l'chantillon et
slection systmatique
On choisit 1 individu sur 10 ou sur 100, le premier

individu tant choisi au hasard
slection alatoire
stratifie
Lorsque la population est peu homogne, elle est

divise en sous-groupes homognes et un chantillon
est ensuite pris dans chaque strate constitue
slection par grappes
La population est divise en sous-catgories ou

grappes (entreprises aides par ville,...) ; certaines
grappes sont choisies alatoirement puis tous les
individus faisant partie d'une grappe sont interrogs
par quota
On construit un modle rduit regroupant les

caractristiques connues de la population tudie ;
les enquteurs sont ensuite chargs de trouver des
boule de neige
A partir d'un chantillon comportant un nombre

restreint de personnes, on adjoint des units
supplmentaires avec lesquelles les premires sont
en relation
ne peut tre slectionne qu'une seule fols
individus correspondant ces caractristiques
Etape 3. Pr-test : Un pr-test ou test-pilote du questionnaire, auprs d'un

nombre limit de rpondants, est indispensable ; il permettra de critiquer la
forme et le contenu du questionnaire et d'en apprcier ainsi la pertinence.
La rdaction finale du questionnaire sera ensuite ralise. Ceci est
particulirement important dans le cas d'enqutes o le rpondant remplit
lui-mme le questionnaire ou dans le cas d'enqutes rponses
complexes ou filtres (moyens de guider les rpondants vers les
questions qui correspondent le mieux leur propre exprience : ainsi par
exemple, s'assurer que seuls les usagers d'un service mettent un avis sur
celui-ci et que ceux dont le jugement ne peut tre fond s'abstiennent).
Etape 4. L'administration du questionnaire : Les questionnaires peuvent
tre soit :
envoys par courrier ou par Internet ou distribus manuellement (par
exemple, l'occasion d'un vnement particulier sur lequel l'enquteur
souhaite recueillir des opinions). Il s'agit alors d'enqutes en auto
administration, ou -
complts avec l'aide d'un enquteur (par exemple par entretien

tlphonique ou en face face).
En cas d'auto-administration, il faut s'attendre un taux de rponse faible
(quelquefois 20% pour les rponses un premier envoi). Le taux de rponse
peut tre augment par des relances et, le cas chant, par une Information
dans la presse spcialise. Dans le cas d'envoi par la poste, les rponses
seront plus nombreuses si une enveloppe pr-lmprime et pr-affranchie a
t jointe au questionnaire). Selon la difficult du contexte, un bon taux de
rponse varie entre 60 et 90%. En cas d'enqutes rptes sur un mme
panel, on considre qu'il y a une perte invitable de l'ordre de 10% par an.
Plus on aura expos la finalit de l'enqute de faon convaincre les
rpondants potentiels de l'importance de leur contribution, plus Ils seront
enclins rpondre. Quand c'est possible, il faudra garantir au rpondant le
traitement confidentiel de ses rponses. Les enquteurs doivent tre
informs des rgles de conduite et tre capables de les expliquer
clairement aux personnes interroges. On pourra aussi prvoir
d'encourager la participation et la rapidit de la rponse par des offres .
De nombreuses enqutes offrent la possibilit de participer une loterie,
etc.. Ceci est moins courant dans le secteur public, mais a t utilis dans
certains contextes. Dans certains cas, il peut tre utile de proposer au
rpondant de revoir un condens du rapport d'valuation. Il est galement
recommand d'adresser une lettre aux rpondants pour les remercier de
leur contribution. Un contrle par sondage est gnralement effectu aprs
enqute pour vrifier que les entretiens ont bien eu lieu.
Etape 5. L'encodage des donnes : L'tape suivante est la codification et
l'enregistrement des rponses, presque toujours sous forme informatique
pour une analyse ultrieure. A ce stade, des redressements sont
gnralement effectus pour tenir compte des Imperfections de l'chantillon,
notamment pour corriger les biais introduits par les non-rponses.
Etape 6. L'interprtation et la diffusion des rsultats : L'tape finale
consiste analyser la signification des rsultats de l'enqute. Ceci implique
une bonne comprhension des objectifs de l'enqute et ses limites (par
exemple, les contraintes lies la taille de l'chantillon, la fiabilit des
rponses, etc..) Il est donc important que la phase d'analyse soit conduite
par un enquteur expriment qui apprhende bien ces problmes et qui
ait t impliqu ds le dpart dans la conception de l'enqute. Pour que
l'enqute soit utile, ses rsultats doivent tre prsents de faon tre
accessibles et parlants pour les dcideurs. De nombreux logiciels

spcialiss peuvent aider raliser cette tape. Par consquent, il est
gnralement important de s'assurer que le rapport final fournit
suffisamment de prcisions sur la faon dont l'enqute a t mene
(prcisions qui apparaissent dans une annexe technique destine ceux
qui veulent vrifier sa validit) mais que le texte du rapport lui-mme se
limite une explication claire et nette des conclusions.
L'enqute par questionnaire est adapte l'observation des rsultats et
des impacts d'une intervention qui touche une population de taille
importante de faon suffisamment homogne. C'est donc probablement un
outil rserver l'valuation rtrospective d'une intervention simple, par
exemple l'valuation d'une action de formation destine aux chmeurs.
Cependant, cet outil peut galement jouer un rle important dans les
analyses avant-aprs o il est utilis pour tablir au dbut du
programme un point zro destin mesurer la progression pendant et
aprs la mise en uvre de l'intervention.
L'enqute par questionnaire a l'avantage de produire une information
structure, quantifie et gnralisable, condition que l'chantillon ait
t bien construit. Elle est donc particulirement intressante pour
quantifier des indicateurs, y compris des indicateurs de suivi.
Cet outil est coteux puisque pour fournir des informations qui sont
statistiquement significatif, un chantillon doit compter plus de 1000
units. Par contre, il permet de toucher une population tendue a un cot
relativement restreint.
Il est parfois difficile de connatre la population interroger, spcialement
si celle-ci est importante et mal cerne par le systme de suivi. Dans ce
cas, l'outil perd un de ses principaux avantages : la gnralisabillt des
observations.
La ncessit de standardiser les rponses travers des questions
fermes peut conduire une trop grande simplification. Pour cette raison,
le questionnaire est habituellement rserv aux situations o les effets de
l'intervention ont t pralablement Identifis et clairement compris. Par
opposition, les impacts d'une intervention trs innovante seront mieux

valus par un questionnaire aux questions ouvertes et plusieurs autres
techniques bases sur des mthodes autres que des enqutes.
La qualit d'une enqute par questionnaire peut tre affaiblie si certaines
rponses sont bialses par la volont des rpondants qui sont
gnralement favorables une intervention dont Ils bnficient.
L'exprience rvle aussi que de nombreuses personnes rpondent aux
questions soit par politesse, soit par crainte de paratre ignorantes alors
qu'elles Ignorent en fait les rponses ou ne se sentent pas capables
d'mettre un jugement. Pour tre fiable, un questionnaire ne devrait par
consquent comprendre que des questions que tous les rpondants
Interprteront de la mme faon et auxquelles ils pourront rpondre avec
exactitude.
Javeau, C. (1992) L'enqute par questionnaire, manuel l'usage
praticien, Edition de l'Universit de Bruxelles.
Guide pratique en quinze tapes.
du
Dussaix, A.-M., Grosbras, J.-M. (1996), Les sondages : principes et

mthodes. Collection Que sals-je ? Paris : Presses Universitaires
de France.
Pratique et accessible, il contient les informations essentielles sur la
technique et pratique du sondage.
Grange, D., Lebart, L., d. (1994), Traitements statistiques des enqutes,
Paris : Dunod.
Nombreuses informations techniques et statistiques, fournies sous
forme accessible.
Fink, A. (1995), The Survey Handbook, London : Sage publications.
Guide pratique complet.
Henerson, M.E., Morris, L.L., Fitz-Gibbon, C.T. (1987) How to measure
Attitudes?, London : Sage publications.
Traite de la construction et de l'utilisation d'chelles de mesure.
L'observation
ethnographique
La technique de l'observation
ethnographique
consiste
Cot
Approfon
Technicit
moyen
dissement
moyenne
observer l'activit quotidienne des
acteurs qui mettent en uvre le
programme ou des destinataires
qui entrent en contact avec le
Usage
Usage
programme.
Par
exemple,
rtrospectif
innovant
l'enquteur assiste au processus
de slection des projets ou il
participe un stage de formation. L'enquteur cherche donc observer et
comprendre la situation de l'intrieur .
Cette technique est particulirement utile lorsque l'on doit observer une
situation mal connue ou lorsque l'on souponne que la mme situation est
comprise trs diffremment selon que le point de vue est extrieur ou
intrieur . L'observation ethnographique est la seule technique
permettant d'observer des domaines o il est difficile de mener
ouvertement des activits de recherche.
L'observation ethnographique est ne, il y a plus d'un sicle, avec la
science du mme nom.
Exemple : Evaluation d'un service public de logements sociaux
L'observation ethnographique a t applique l'valuation d'une politique de
logement social en France. Il s'agissait d'analyser l'cart entre les objectifs nationaux
de cette politique et sa mise en uvre concrte sur le terrain par les fonctionnaires
au contact avec le public.
Pendant plusieurs mois, le charg d'valuation a accompagn des quipes de
fonctionnaires d'organismes gestionnaires de logements destins des mnages
faible revenu. En compagnie de ces fonctionnaires, il a particip aux visites des
logements au moment de l'arrive et du dpart des locataires. Ces visites ont pour
but de juger l'tat du logement et de dterminer le montant des rparations qui
incombent soit au locataire, soit l'organisme gestionnaire.
La position de l'observateur lui a permis de se fondre dans le dcor et d'observer
une cinquantaine de situations dans lesquelles la politique nationale tait
concrtement applique par les fonctionnaires. Les situations observes ont t
enregistres et une vingtaine de squencestypes ont t slectionnes. Ces
squences ont t rdiges en respectant la confidentialit, puis elles ont t
prsentes aux acteurs de la politique dans le cadre de runions organises

sparment diffrents niveaux (fonctionnaires de terrain, responsables des
organismes, responsables nationaux).
L'valuation a permis de montrer comment les rgles sont mises en uvre par les
fonctionnaires locaux, comment elles sont interprtes par les locataires, et
comment ces derniers influencent leur application.
L'valuation a mis en avant le fait que les locataires avaient des difficults
comprendre la justification des rgles. Au vu de ces rsultats, plusieurs modifications
ont t apportes : les directions des organismes ont rvis certaines rgles et
engag en examen du recrutement et de la formation de leurs agents.
Source : Philippe Warin, L'valuation des usagers au cours des relations de
service , Les annales de la recherche urbaine n47 (1990).

L'observation ethnographique permet de raliser une collecte d'information
trs approfondie sur quelques situations typiques de la mise en uvre de
l'intervention. Elle claire en dtail les effets de l'intervention et l'influence

du contexte. Elle privilgie les points de vue des acteurs cl et des
destinataires.
L'observation ethnographique a t utilise pour comprendre le
fonctionnement des politiques dans les domaines de l'ducation, de la
sant (diagnostic, soins, ...), de la justice, de la police, de la recherche
scientifique, des transports urbains, etc. Dans le cadre d'une valuation,
cette technique est particulirement indique pour observer les processus
d'interaction entre les administrations et leur public.
Dans l'exemple d'observation ethnographique prsent ci-dessus
(l'valuation d'un service public de logements sociaux), l'enquteur a
galement effectu une analyse ethnomthodologlque.
L'thnomthodologie est apparue dans les annes 60 et s'est dveloppe en
Europe au dbut des annes 80. Cette science tudie le raisonnement
pratique par lequel des individus (fonctionnaires, destinataires, usagers,
etc..) jugent quotidiennement les situations qu'ils rencontrent et les actions
collectives dans lesquelles Ils sont engags. Si elle est utilise
correctement, cette technique ne perturbe personne et n'influence pas les
comportements. On peut donc y avoir recours pour les comportements
spontans de populations qui ne sont pas disposes accepter le

formalisme des enqutes par questionnaire. C'est la seule technique
applicable lorsqu'il y a de graves difficults d'accs au terrain, ce qui peut
arriver par exemple en cas de conflit au sein des organisations charges de
la mise en uvre ou lorsque le comportement des destinataires est en
partie illgal ou irrgulier. La technique est donc particulirement
intressante si l'valuation est lance dans la perspective de modifier des
rglements que l'on souponne d'tre Inefficaces.
En raison de son caractre inductif, l'observation ethnographique permet
d'observer les rsultats d'une intervention dont on connat mal le
fonctionnement. Elle est particulirement utile lorsque l'on souponne que
la ralit n'est pas vue de la mme faon par ceux qui mettent en uvre
l'Intervention et par le public qui la reoit ou qui en bnficie.
Par contre, la technique exige un dlai Important, alors mme que les
observations portent sur quelques situations trs dlimites et qu'elles
peuvent donc poser des problmes de gnralisation. L'outil convient donc
plutt l'valuation d'une intervention lourde et relativement homogne. Il
exige galement de la part de l'enquteur d'tre particulirement habile
assimiler et rendre compte fidlement du comportement des acteurs cl.
Il faut parfois un certain temps pour que l'enquteur se fonde dans le
dcor et garantir ainsi un comportement spontan des participants.
L'observation est gnralement mise en uvre selon les tapes suivantes :
Etape 1. Choix des situations d'observation : Les situations observer
sont dfinies pralablement en fonction des proccupations des
commanditaires de l'valuation. Il s'agit de situations d'interaction ou de
ngociation entre les acteurs publics et les destinataires de la politique
value.
Etape 2. Observation : L'observateur suit et enregistre le droulement des
Interactions en s'attachant perturber le moins possible le comportement
des acteurs. Ce travail consiste prendre des notes et effectuer des
enregistrements audiovisuels (les plus discrets possible).
Cette tape ne peut se limiter une simple observation directe ; elle doit
tre complte par une analyse de type Institutionnel, afin d'identifier les
champs de contraintes qui psent et Influent sur les relations entre acteurs.
L'observateur doit recueillir un maximum d'informations, et capter une vue

particulire, intime, de la situation donne.
Etape 3. Recherche et dcoupage de squences-types : Les
vnements observs au cours de la seconde tape sont analyss en
termes de squences caractristiques. Chaque enregistrement est
dcoup comme on dcouperait un film en squences.
L'observateur identifie les assertions valuatives , c'est--dire les
phrases qui comportent un jugement de valeur explicite ou implicite. Les
squences-types et leur analyse sont concentres sur ces assertions et
rvlent la faon dont la politique est juge sur le terrain. Ainsi employ,
l'outil peut apporter un nouvel clairage sur le bien fond et sur l'efficacit
de la politique.
Etape 4. Analyse des squences-types avec les acteurs: Les
squences-types et les assertions sont rcrites ou modifies de faon
tre rendues anonymes. Elles sont alors transmises des personnes
reprsentatives de celles qui ont t observes afin de recueillir leurs
commentaires et ractions. Cette tape permet de vrifier que l'on n'a pas
cr de distorsion en sortant les squences de leur contexte. Elle fournit,
pour chaque squence, des clefs d'interprtation reconnues et valides par
la communaut tudie.
L'observation ethnographique a t peu utilise, notre connaissance,
dans le contexte de I 'valuation des programmes socio-conomiques.
Cette technique est pourtant bien adapte certaines interventions des
Fonds structurels, par exemple celles qui s'adressent des publics
difficiles observer par les techniques d'enqute plus traditionnelles (ex :
chmage de longue dure).
L'observation ethnographique est un outil gnrique qui traite la fois la
collecte, l'Interprtation et le croisement des donnes. Elle partage ces
caractristiques avec la technique de l'tude de cas. Elle est donc
particulirement bien adapte l'analyse des effets d'une intervention
innovante ou mal connue, et en particulier pour clarifier les facteurs
concurrents qui ont une influence sur le succs ou l'chec apparent des
interventions communautaires values.

L'observation ethnographique permet de rvler l'cart entre la faon
dont l'intervention publique est comprise en haut lieu et la faon dont elle
est comprise sur le terrain ; elle met en avant l'interprtation qu'en font
les individus en situation oprationnelle.
L'observation est limite un petit nombre de situations. La
gnralisation n'est donc possible que si l'Intervention est suffisamment
homogne.
Elle repose sur des informations spontanes, collectes par un
observateur Indpendant et expriment. La fiabilit de l'observation
dpend beaucoup du savoir-faire professionnel de l'observateuranalyste.
En contrepartie de ses avantages, l'observation ethnographique
ncessite une prparation minutieuse pour permettre l'observateur de
s'insrer dans le contexte observ sans le perturber, ainsi qu'un temps de
collecte Important car 1 ne matrise pas le calendrier de ses observations.
Cette technique permet de collecter des donnes dans des situations
difficiles o les autres techniques d'enqute sont inapplicables.
Coulon, A. (1987), L'ethnomthodologie, Paris : PUF, Que sais-je ?
Approche la fols thorique et pratique, illustre par la prsentation
d'expriences.
Garfinkel, H. (1967), Studies in ethnomethodology, Englewood Cliffs, NJ :
Prentice Hall.
Pour revenir aux sources de l'ethnomthodologie.
Jorgensen, D.L. (1989), Participant Observation, a Methodology for Human
Studies, London : Sage Publications, Applied Social research
methods Series, No 15.
Manuel complet sur une variante de l'observation ethnographique
dans laquelle l'enquteur se place personnellement dans la situation
d'un acteur ou d'un destinataire du programme.

Dans la mesure o l'valuation porte sur un domaine circonscrit, il est
possible de raliser une analyse approfondie des liens de causalit entre
l'action et ses effets. Plusieurs outils sont susceptibles d'tre utiliss dans
ce contexte :
L'analyse de la variance (outil non prsent dans cet ouvrage) et
l'analyse factorielle permettent de dcouvrir des correspondances et
des dissemblances au sein d'un chantillon d'observations, de constituer
des typologies et d'identifier les facteurs exognes qui sont associs la
production des impacts.
L'enqute Delphi est classe dans cette section car elle a t conue
pour produire des estimations d'impacts. Elle est bien adapte aux
situations d'valuation ex ante, pour lesquelles on doit s'appuyer sur les
donnes secondaires. L'outil mobilise et analyse les donnes par le
truchement d'experts. Il se rapproche donc du panel d'experts
galement adapt la fonction d'analyse des donnes.
Les groupes de comparaison permettent d'estimer les effets nets par
diffrence entre un groupe de destinataires et un groupe de nondestinataires.
L'analyse de rgression permet d'estimer les effets nets et de
dterminer si les liens de causalit entre l'intervention et ses effets sont
statistiquement significatifs.
L'tude de cas, l'entretien de groupe et l'observation ethnographique
dj cits comme outils d'observation, sont galement des outils de
croisement et d'analyse des donnes dont l'emploi est trs souple. Il est
mme envisageable de fournir une estimation des effets (sous forme de
fourchette d'effet maximum et minimum) l'aide d'tudes de cas
conduites sur une slection de projets.
Analyse factorielle
L'analyse factorielle
est une
technique d'analyse statistique
multidimensionnelle utilise pour
Approfon
Cot
Technicit
dissement
moyen
moyenne
classer des volumes importants de
donnes quantitatives concernant
des groupes d'individus pour
lesquels on dispose d'informations
Usage
Usage
Usage
surde nombreuses caractristiques
stabilis
rtrospectif
prospectif
(variables). L'outil identifie les
ressemblances
ou
les
liens
(facteurs) entre individus et entre
variables. Il permet d'changer de l'Information contre de la lisibilit , en
produisant une reprsentation graphique simplifie des donnes disponibles
faisant apparatre les phnomnes analyser.
Les origines de l'analyse factorielle remontent au dbut du sicle mais

l'outil s'est dvelopp rcemment grce aux avances considrables du
traitement informatique des donnes.
Exemple : Les impacts sur l'emploi dans le secteur coopratif catalan
L'utilisation de l'analyse factorielle peut tre illustre par un projet d'valuation ex
post, orient vers les effets sur l'emploi (cration et maintien de postes) d'une mesure
de subvention dans le secteur des coopratives catalanes. Dans ce cas, l'valuation
tait rendue plus complexe par la diversit des coopratives formant une population
htrogne. Le problme tait double : d'une part, il fallait dterminer la pertinence
des mesures prises par la rgion au regard de cette situation ; d'autre part, il fallait
valuer l'importance des impacts sur les coopratives ayant peru une aide.
Etant donn la varit et la faible connaissance de la population ainsi que de celle des
impacts, une analyse factorielle a t retenue pour sa capacit faire merger les
principales caractristiques de la population considre (environ 3 000 coopratives).
La premire tape de l'valuation a consist envoyer un questionnaire l'ensemble
des coopratives. Il a t complt par des entretiens. Les donnes ainsi recueillies
ont d'abord t analyses par des mthodes statistiques traditionnelles (recherche
des principaux descripteurs de la population, ralisation de tableaux croiss). La
deuxime tape de l'analyse des donnes a consist raliser une analyse factorielle
en vue d'isoler les variables susceptibles d'expliquer les variations de l'emploi dans
les coopratives : y compris la taille de l'entit, l'ge, le secteur d'activit, le niveau
technologique
Source : Comit Assessor para l'Estudi de l'Organitzaci de l'Administraci,
Generalitt de Catalunya, 1995.

Entre autres finalits,
d'valuation :
l'analyse
factorielle
permet
dans
un
cadre
d'analyser finement les ractions des destinataires et leurs

caractristiques et ainsi de mieux comprendre l'efficacit relative des
interventions ;
d'explorer les corrlations entre phnomnes et donc d'identifier
d'ventuels facteurs concurrents qui ont pu amplifier ou rduire l'impact
du programme,
L'analyse factorielle est un outil de traitement des donnes qui est utilis
par les organismes statistiques nationaux, les instituts de sondage. Il
prsente l'avantage de traiter des donnes quantitatives de faon
permettre la construction de typologies. L'outil est donc trs utile lorsque
l'valuation doit construire des classes au sein de la population concerne
(par exemple : qualification, catgorie socio-professionnelle, criminalit,
concentration urbaine, etc.).
Il est Important de noter que les classements tablis par analyse factorielle
ne sont pas choisis au hasard par l'quipe d'valuation. Au contraire, ils
sont extraits d'un vaste ensemble de donnes et sont construits de faon
permettre la meilleure discrimination possible au sein de ces donnes.
Etape 1 . Constitution d'un tableau de donnes : les donnes traites
proviennent du suivi de l'information ou, plus souvent, d'une enqute par
questionnaire. L'ensemble des donnes recueillies est regroup dans une
matrice de donnes, comme il en rsulte de chaque sondage ou
recensement. Une ligne correspond aux donnes relatives une personne
(une entreprise, etc.) et une colonne regroupe les valeurs d'une mme
variable pour diffrents Individus.
Etape 2 et 3. Choix d'un espace des individus et d'un espace des
variables : ce sont deux tapes relativement semblables. Dans les deux
cas, il s'agit d'examiner l'chantillon, de rechercher les valeurs extrmes ou
errones, d'extraire les variables et les groupes de personnes pertinentes
pour l'analyse. C'est ce niveau que l'on va orienter l'analyse vers les
variables sur lesquelles l'tude doit se concentrer.
Etape 4. Analyse multidimensionnelle : l'analyse est une tape qui est

facilite aujourd'hui par l'existence de logiciels statistiques spcialiss. Il
s'agit nanmoins d'une tape cruciale, notamment parce que plusieurs
choix techniques doivent tre faits en fonction des donnes disponibles et
des rsultats recherchs. Au cours de cette tape, le nombre
d'observations sera rduit et les facteurs pertinents seront identifis. Ils
seront alors utiliss pour diffrencier la population.
Etape 5. Projection dans un espace deux dimensions (quelquefois
trois) : les logiciels statistiques produisent une partie de leurs rsultats sous
forme d'une carte o l'on peut faire figurer les individus et/ou les variables.
Encadr 25 Exemple de rsultat d'une analyse factorielle
Exemple de l'valuation de l'aide aux coopratives
catalanes
Coopratives qui ...

3
o
10
*<
xxxx
xxxx
investissent
xxxx
ont une taille
moyenne
reoivent l'aide
crent des emplois
sont en expansion
sont anciennes
xxxx
XXX *
xxxx
sont loin de la cote
*.
*.
facteur 2
,'XXXX
xxxx
',
i xxxx
xxxx
Etape 6. Interprtation des rsultats: l'analyse factorielle ne rvle pas la

signification des facteurs ni celle des regroupements qui se forment sur la
carte. L'analyste doit les Interprter et leur trouver un nom. L'idal est
d'associer les protagonistes cl de l'valuation cette tape car c'est pour
eux une occasion de mieux comprendre le fonctionnement de
l'Intervention.
L'analyse factorielle peut tre utilise comme outil d'valuation ex ante,
par exemple pour identifier des typologies de la population cible en partant
de l'ensemble de la population. On peut ainsi s'en servir pour mettre en

place des procdures de slection de destinataires ou pour identifier la
nature des problmes socio-conomiques auxquels doit faire face cette
population.
On peut galement s'en servir pour souligner les ressemblances et
dissemblances au sein de groupes d'individus ou de zones gographiques.
Ceci est particulirement utile pour raliser des analyses comparatives de
dveloppement rgional ou pour valuer les ractions des destinataires
d'actions spcifiques.
Par contre, l'analyse factorielle ne peut servir estimer les effets socioconomiques. Il s'agit avant tout d'un outil de comparaison des donnes et
d'analyse inductive.
Les analyses factorlelles sont un outil de clarification de la matire
premire qui rsulte d'enqutes grande chelle, car elles permettent
de dgager les grandeurs pertinentes (quels sont les facteurs qui
expliquent la diffrenciation ou la ressemblance d'un groupe de
donnes ?).
Les rsultats d'une analyse factorielle sont trs accessibles et se
prsentent sous une forme pdagogique (diagrammes) agrgeant un
grand nombre de donnes.
Si l'analyse factorielle permet d'illustrer l'existence de groupes de
variables autour de certaines catgories de population, ce n'est pas un
outil qui peut servir fonder l'existence de causalits ou d'effets.
L'analyse factorielle exige l'accs une quantit considrable de
donnes, dont la collecte peut s'avrer longue et coteuse.
Les techniques factorlelles ncessitent des qualifications particulires et
des prcautions mthodologiques. Mal conduites, elles risquent de
fournir des rsultats tautologiques.
Pour en savoir plus
Bry, X. (1995), Analyses factorlelles simples, Paris : Economica, 111p.
Ouvrage destin en principe tous les publics, il vaut mieux
disposer de quelques notions de statistique.
Dazy, F et Le Barzic, J. F. (1996), L'analyse des donnes volutives,

mthodes et applications, Paris : Technip.
Forme crite d'un sminaire de formation, qui requiert de bonnes
bases statistiques.
Grange, D. et Lebart, L. (1994), Traitements statistiques des enqutes,
Paris : Dunod.
Ouvrage qui en vient rapidement aux points essentiels.
Enqute Delphi
Les valuations ayant recours aux

avis d'experts peuvent se faire
dans un cadre ex ante. La
Approfon
Cot
Technicit
dissement
lev
forte
technique de l'enqute Delphi en
est une Illustration ; elle se
prsente sous la forme d'une
procdure
de
consultation
Usage
Usage
anonyme et itrative d'experts par
prospectif
innovant
voie de sondage postal. L'absence
de concertation pralable au sein
du groupe permet une explicitation des divergences entre experts et donc
de mieux comprendre la nature de l'expertise de chacun.
Cette technique est recommande lorsque les questions poses sont

simples (programme comportant peu d'objectifs, caractre technique) et
que l'on vise tablir une estimation quantitative des impacts potentiels
d'une intervention isole (par exemple : augmentation de la fiscalit, du prix
de l'nergie,...).
Exemple : Politique de vaccination contre le SIDA : une analyse de scnario

par la mthode Delphi
La mthode Delphi a t utilise pour examiner quelles seraient les rponses
appropries l'Introduction d'un premier vaccin prventif contre le SIDA en Suisse.
Trente personnes concernes par cette stratgie de vaccination ont contribu de
manire anonyme cette tude. Cette tude s'est base sur un scnario dvelopp
pralablement qui dcrivait les caractristiques d'un premier vaccin prventif
partiellement efficace contre le SIDA.
La consultation Delphi s'est droule en trois cycles autour des questions suivantes :
numrer les objectifs atteindre dans les cinq premires annes,
valuer l'acceptabilit et la faisabilit de propositions concernant le processus de
dveloppement d'une stratgie de sant publique et la vaccination contre le
SIDA,
estimer l'utilisation potentielle du vaccin par diffrents groupes d'utilisateurs.
Ces rsultats ont permis, d'une part d'apporter des enseignements importants sur
les stratgies et les recommandations dvelopper dans le cadre des campagnes
de prvention contre le SIDA et, d'autre part, de fournir un cadre de rfrence la
mise en place d'une future stratgie de vaccination contre le SIDA.
Source : Zuber, P.(1994) Introducing a first AIDS vaccine in Switzerland : A Policy
Delphi Analysis. Lausanne : Institut de mdecine sociale et prventive.

L'enqute Delphi, comme les autres dmarches s'appuyant sur les experts,
est utile pour produire, dans le cadre d'une valuation, des
recommandations dont la crdibilit est fonction de la lgitimit des experts
eux-mmes. Cette approche peut tre utilise de manire prospective pour
tablir des hypothses sur la ralisation d'vnements et sur leurs
implications socio-conomiques.
Cette mthode permet notamment d'claircir l'volution d'une situation,
d'identifier les priorits, ou encore, d'laborer des scnarios prospectifs.
Cette technique est utilisable lorsqu'il existe une expertise
le sujet, donc dans le cas de programmes qui ne sont pas
est en outre Indique dans le cadre d'une valuation ex
d'intervention publique caractre technique. Elle a
Importante sur
innovants. Elle
ante s'il s'agit
t ainsi trs
frquemment utilise dans ie cadre des politiques nergtiques pour des

tudes prospectives sur l'impact de modifications fiscales
On peut y avoir recours lorsqu'on craint que les experts s'influencent
rciproquement. L'anonymat et l'absence d'interactions favorisent de plus
une analyse en profondeur des raisonnements l'origine des opinions
exprimes.
La dmarche consiste interroger des experts l'aide de questionnaires
successifs afin de faire apparatre des convergences et dgager un
ventuel consensus. Les phases principales de ce processus sont :
Etape 1. Dtermination et formulation des questions : Un soin particulier
doit tre port au choix et la formulation des questions afin d'obtenir des
informations utilisables.
Etape 2. Slection des experts. Ceux-ci doivent avoir des connaissances
spcifiques du sujet et tre prts s'Investir dans ce type de dmarche. Le
panel est gnralement compos d'une cinquantaine d'individus.
Etape 3. Elaboration du premier questionnaire et envoi aux experts : Le
premier questionnaire doit contenir un rappel de la nature de l'tude et
comprendre deux ou trois questions semi-ouvertes ou ouvertes.
Etape 4. Analyse des rponses au premier questionnaire : Les rponses

sont analyses afin de dterminer la tendance gnrale et les rponses
extrmes.
Etape 5. Elaboration du second questionnaire et envoi aux experts : A
chaque expert inform des rsultats du premier tour, il est demand de fournir
une nouvelle rponse et de la justifier si elle s'carte de la tendance gnrale.
Etape 6. Envoi d'un troisime questionnaire : Ce questionnaire ne
s'adresse qu'aux experts ayant maintenu des rponses extrmes . Il est
en outre demand de critiquer les arguments des tenants de l'autre position
extrme. La confrontation des avis joue un rle modrateur et facilite
l'apparition de convergence de points de vue.
Une convergence suffisante des opinions apparat gnralement lors de
l'exploitation du quatrime questionnaire. Si tel n'est pas le cas, le cycle
continue.
Etape 7. Rsum du processus et rdaction du rapport final.
Dans le cas des Fonds structurels, l'enqute Delphi est conseille pour
obtenir des estimations macroconomiques lorsque les phnomnes en
cause sont peu complexes ; par exemple, pour quantifier l'impact d'un
grand projet d'infrastructure. Elle peut tre aussi envisage pour prciser
des relations de causes effets potentielles dans le cas d'interventions
innovantes.
C'est une technique particulirement avantageuse lorsque l'on a affaire
un territoire trs vaste : il n'y a pas de frais de dplacement des experts,
uniquement des frais postaux.
Les conclusions issues de ce type de dmarche permettent l'inverse de
la dmarche par panel de mieux tenir compte des points de vue
minoritaires. Elle offre de plus la possibilit de mieux comprendre les
lments sur lesquels se fondent les avis d'experts.
Cette technique offre moins de souplesse d'utilisation car le temps
ncessaire pour les diffrentes itrations est important (suprieur trois
mois).
Comme dans le cas de la dmarche par panel, la fiabilit de l'outil

dpend de la subjectivit des avis d'experts, elle-mme fonction du
stock de connaissances dont Ils disposent.
Godet, M. (1985), Prospective et planification. Paris : Economica, 119-125.
Dans le cadre de la premire partie de cet ouvrage consacre la
prospective, la mthode Delphi est prsente et illustre par des
exemples.
Nadeau, M-A. (1988). L'valuation de programme. Laval, Qubec: Presses
de l'universit de Laval. 349-352.
Manuel prsentant les mthodes et les instruments utiliss dans le
cadre de l'valuation de programme. La mthode Delphi est
expose succinctement.
>
Witkin, B.R et Altschuld, J.W (1995), Planning
Conducting
Needs
Assessments, Thousand Oaks : Sage. 193-203.

Recueil des mthodologies utilisables dans le cadre de l'valuation
des besoins, une partie du chapitre consacr aux techniques de
groupe traite de la mthode Delphi.
La technique des groupes de

comparaison consiste comparer
un groupe participant (les
Approfon
Cot
Technicit
dissement
lev
moyenne
P.M.E. bnficiant des services,
par exemple) un groupe similaire
sur lequel l'intervention n'a pas eu
d'effet. Dans l'Idal, les deux
Usage
Usage
groupes compars ne devraient
stabilis
rtrospectif
diffrer que par leur participation
ou leur nonparticipation
au
programme. Dans ce cas, le groupe qui n'a pas t affect par l'intervention
est appel groupe de contrle et remplit la mme fonction qu'un
contrle dans le domaine des sciences naturelles. Dans sa forme la
plus extrme, la construction d'un groupe de contrle fait appel une
slection alatoire des participants et des nonparticipants. En pratique
cependant il est rare de pouvoir constituer des groupes qui soient
identiques en tous points dans le domaine des sciences sociales, et en
particulier dans le contexte des Fonds structurels europens. On a le plus
souvent recours des techniques plus pragmatiques qui sont dcrites dans
cette fiche sous le nom de groupes de comparaison . Un
approfondissement est cependant propos en fin de section pour traiter la
technique du groupe de contrle.
Exemple : Estimation de l'impact d'un programme de formation et conseil aux

entreprises au Royaume Uni
Cet exemple correspond celui de Encadr 21.
Le programme anglais TEC (Training and Enterprise Council) a t valu au moyen
de la technique des groupes de comparaison. L'effet du programme a t estim par
comparaison avant et aprs d'entreprises utilisatrices des services du
programme et un ensemble de binmes apparis d'entreprises n'ayant pas particip
au programme TEC. Les binmes ont t constitus selon les critres suivants : le
type d'activit de l'entreprise, la taille de l'entreprise en termes d'effectif, ainsi que
son anciennet et sa situation gographique. Un total de 180 paires d'entreprises a
t interrog.
Le rapport examine la fois les difficults pratiques et les difficults thoriques de la
technique des groupes de comparaison. La principale difficult pratique consistait
assortir les paires. Les problmes thoriques taient quant eux lis au fait que,
mme si les paires associaient des entreprises apparemment identiques, des
diffrences imperceptibles subsistaient entre elles et pourraient expliquer les

diffrences de rsultats sans lien avec le programme valu.. Malgr ces difficults,
la technique des groupes de comparaison a permis de dfinir des normes pour
d'autres facteurs rgionaux ou nationaux ayant influenc les rsultats des entreprises.
Deux techniques de collecte de donnes ont t appliques. L'une consistait en un
questionnaire relatif l'impact sur l'emploi du programme TEC. Afin d'viter que les
rsultats ne soient fausss par des rponses < stratgiques ou intresses (par
exemple, une rponse positive donne dans l'espoir d'obtenir une aide
supplmentaire), les entreprises interroges devaient non seulement estimer les
effets sur l'emploi des services du programme TEC, mais aussi donner des dtails
sur leur chiffre d'affaires et leurs effectifs. Ceci devait permettre d'tablir des
comparaisons objectives entre les paires.
Source : Cahier MEANS N3, 41-42.

Le but de la technique des groupes de comparaison est d'estimer les effets
nets d'une intervention publique, c'est--dire les effets directement
imputables cette intervention, et non pas ceux qui rsultent de facteurs
exognes ou concurrents.
La technique des groupes de comparaison s'emploie le plus souvent
lorsque le programme offre des subventions ou des services un groupe
relativement homogne de destinataires, que ces destinataires ont dj t
atteints (situation rtrospective) et qu'il existe un groupe similaire n'ayant
pas bnfici du programme valu.
Pour produire des rsultats crdibles, les deux groupes compars doivent
tre suffisamment similaires du point de vue des facteurs concurrents
probables. Cela veut dire que l'on peut identifier et hirarchiser ces facteurs
avant de constituer les groupes comparer. L'outil est donc rserv aux
situations o l'on connat dj assez bien les mcanismes de production
des effets.
L'outil des groupes de comparaison n'Impose pas l'utilisation d'une
technique de collecte de donnes particulire. En fait, I est possible
d'appliquer plusieurs techniques de collecte de donnes (enqutes par
questionnaires, entretiens,...) et/ou des analyses secondaires.

Etape 1. La construction des groupes de comparaison : Il existe trois
faons de construire des groupes de comparaison.
La cration de binmes apparis (matching pairs), en slectionnant pour
chaque individu du groupe participant au programme un individu non
touch par le programme mais aussi ressemblant que possible selon les
autres points. La difficult consiste trouver des individus qui ne soient
pas concerns par le programme. Il est probable par exemple qu'une
entreprise oprant sur le mme march qu'une entreprise bnficiaire ait
subi le contrecoup des aides reues par l'un de ses concurrents. De
mme, il est probable qu l'on dispose a priori de trs peu d'Informations
sur les non-destinataires. L vrification des caractristiques requises et
la recherche d'individus correspondant un profil spcifique tant des
tapes souvent longues et difficiles, la cration de binmes apparis peut
se rvler onreuse.
La comparaison avec des individus connus du programme mais non
participants (candidats ayant abandonn leur demande, candidats non
slectionns, candidats slectionns ayant abandonn le programme en
cours de route). Dans ce cas, le groupe de non-participants doit tre ajust
pour ressembler, autant que possible, au groupe de participants. II reste
cependant toujours un risque li aux raisons ayant entran l'abandon ou
le rejet et qui peuvent affecter leur comportement dans son ensemble.
La comparaison peut enfin se faire, de faon gnrique, avec un groupe
de comparaison hypothtique reconstitu partir de statistiques
nationales. Pour cela, I faut que le programme n'ait touch qu'un petit
groupe de participants de faon spcifique et que le reste du pays n'ait
pas bnfici de programmes similaires.
Etape 2. La comparaison proprement dite : Le principe consiste
comparer les changements observs dans les deux groupes pour en
dduire, par diffrence, une estimation de l'effet net du programme.
Il existe diffrentes formes de comparaison prsentant chacune des avantages
et Inconvnients, et des degrs de validit plus ou moins importants.
La comparaison aprs seulement consiste analyser les
diffrences entre les deux groupes aprs obtention de la subvention ou
du service. Elle prsente l'avantage d'tre simple. Par contre cette
approche ne tient pas compte des diffrences qui existaient entre les
deux groupes au dpart.
Participation
au programme
Situation aprs
le p r o g r a m m e
Groupe participant
oui
X2
Groupe d e comparaison
non
X'2
X2 X'2
Estimation de l'effet
La comparaison avantaprs permet de contourner l'inconvnient

prcdent en prenant en compte les diffrences ventuelles entre les
deux groupes aussi bien avant qu'aprs l'intervention. Elle est donc axe
sur l'amlioration relative pour les participants en comparaison des non
participants. Par contre, cela sousentend que des donnes relatives la
situation avant l'intervention sont disponibles (par l'intermdiaire du suivi
ou grce des donnes statistiques...), ce qui n'est pas toujours le cas.
Par ailleurs, l'valuation peut galement dbuter non pas avant mais en
cours d'intervention, et dans ce cas les donnes relatives la situation
antrieure ne sont pas forcment disponibles. Enfin, il existe de
nombreux programmes pour lesquels les participants et nonparticipants
ne sont pas connus au dpart et pour lesquels les Informations relatives
aux diffrences existant entre les deux groupes avant le programme ne
sont pas disponibles. Dans toutes ces situations, les donnes
concernant la situation avant doivent tre collectes de faon
rtrospective, ce qui ne les rend pas totalement fiables.
Participation
au programme
Situation avant
Situation aprs
le programme
le programme
Groupe participant
oui
X1
X2
Groupe de
non
X'2
comparaison
Estimation d'effet
(X2 X1)
(X'2 - )
La comparaison de tendance avant-aprs est considre comme plus

fiable. Le comportement des deux groupes dans le temps est compar
pour observer dans quelle mesure les participants bnficient d'une
amlioration par rapport leur situation antrieure nettement suprieure
celle des non participants.

La technique des groupes de comparaison est adapte aux valuations ex
post, pour lesquelles l'Identification des impacts est primordiale. Il permet en
particulier d'estimer les effets d'aubaine, c'est--dire les changements qui
seraient survenus dans le groupe cible mme en l'absence du programme et
qui ne doivent donc pas tre considrs comme un impact de ce dernier.
Cependant, dans le cadre des Fonds structurels, il est souvent difficile de
dterminer des groupes de comparaison. D'une part, le public concern doit
tre suffisamment homogne et, d'autre part, il faut qu'une partie significative
des destinataires potentiels n'ait pas particip au programme (dans le cas
contraire, on parle de saturation de la population expose au programme).
Il est possible de comparer les comportements des participants avec ceux
de groupes de comparaison slectionns hors des zones ligibles, mais
peu d'tudes jusqu' prsent ont utilis cette approche.
L'analyse d'un groupe de comparaison bien conu fournit une estimation
convaincante d'un ensemble d'effets du programme.
L'un des problmes poss par cet outil provient de la ncessit de bien
prendre en compte, ds le dbut de l'tude, les facteurs susceptibles
d'influer de manire dterminante sur la production des effets. Si l'on
oublie des variables importantes (des facteurs souvent exognes au
programme) il devient difficile d'tablir de fortes inferences causales et
l'analyse perdra de sa valeur.
Une autre limite de l'outil est due son incapacit expliquer les effets
constats. Il focalise sur la mesure des effets plutt que sur les
mcanismes qui ont produit ces effets (mise en uvre, qualit des
services fournis, ractions des participants). Le programme et ses effets
sont donc traits comme une bote noire. Cette limite peut tre
partiellement compense par l'emploi d'autres outils (tude de cas par
exemple) qui donnent la comparaison une dimension qualitative.
Monnier, E. (1992), Evaluation de l'action des pouvoirs publics. Paris :
Economica, 9-51.
Prsentation largement illustre des techniques comparatives.
Conseil du Trsor du Canada, Contrleur Gnral (1991) Mthodes

d'valuation
des programmes.
Division des Communications,
Conseil du Trsor du Canada.
Approche gnrale voir le chapitre 3.1 3.35.
Matalon, . (1988), Dcrire, E xpliquer, Prvoir dmarches exprimentales
et terrain. Armand Colin Collection U. 219252.
Ouvrage plus labor et plus technique voir la troisime partie. Par
ailleurs, l'annexe 1 dveloppe le cas particulier de la construction
des groupes de comparaison par tirage au sort.
Approfondissement : les groupes de contrle et le dispositif
exprimental
Pour liminer tous risques de biais, on peut avoir recours une affectation
alatoire des individus, familles ou entreprises l'un ou l'autre des deux
groupes. Cette pratique, dite dispositif exprimental, constitue ds lors le
moyen le plus rigoureux d'tablir l'existence des liens de causalit
supposs entre l'intervention publique et les impacts escompts. Elle
suppose la comparaison entre un groupe expos au programme, dit
exprimental , et un groupe strictement identique, le groupe tmoin ,
qui permet de constater ce qui se serait pass en l'absence du programme.
Le dispositif exprimental sert vrifier la ralit des relations de cause
effets entre les changements socioconomiques observs et le
programme valu. Il permet de comparer empiriquement l'tat actuel
d'une situation sociale suite la mise en oeuvre du programme avec ce
qu'aurait t cette mme situation sans le bnfice du programme, et
valuer ainsi l'impact net du programme en contrlant l'influence des
facteurs concurrents. Il peut tre considr comme le moyen le plus
rigoureux permettant d'tablir des relations de causalit par rapport aux
rsultats d'un programme, car l'utilisation de groupes de comparaison
statistiquement quivalents renforce la validit interne de la technique.
Les dispositifs exprimentaux peuvent tre utiliss pour valuer une grande
diversit d'interventions publiques mais ont t principalement utiliss dans
les programmes ducatifs (programmes contre l'usage et la consommation
d'alcool, mfaits du tabac...). L'exprimentation peut tre approprie
lorsqu'il est possible de raliser une affectation alatoire sans craindre un
sentiment d'injustice sociale qui dcoule de l'exclusion du groupe tmoin
des bnfices de l'intervention publique. Il est galement justifi pour
l'valuation de programmes innovants coteux, pour lesquels les donnes

les plus fiables possibles sont ncessaires.
Mise en uvre d'une
exprimentation
L'exprimentation repose, d'abord, sur l'affectation alatoire des units

d'observation, rparties entre le groupe exprimental et le groupe tmoin
de faon constituer des groupes statistiquement quivalents. Ainsi, la
probabilit que les paramtres statistiques descriptifs de toute variable
dcrivant ces deux groupes soient semblables sera trs grande. La
deuxime tape consiste appliquer le traitement uniquement au groupe
exprimental (ce qui est la seule diffrence entre les deux groupes). Elle est
suivie de la ralisation de mesures d'observations sur les deux groupes
avant l'application du traitement (E (1) et E'(1)), puis aprs(E(2) et E'(2)).
Enfin, la comparaison des carts vrifis sur les deux groupes entre tat
initial et tat final fournit une mesure de l'impact du traitement, l'importance
de la diffrence permettant de juger si l'Impact est significatif ou non.
Le schma ci-dessous rsume la mise en uvre du dispositif exprimental :
mesure
pralable
application
du traitement
mesure
in fine
variation
des mesures
groupe
exprimental
E(1)
E (2)
E(2)-E(1)
groupe tmoin
E'(1)
E'(2)
E'(2)-E'(1)
Limites de
l'exprimentation
Les dispositifs exprimentaux sont difficiles mettre en uvre. Souvent,

l'affectation alatoire ne peut tre ralise : il est parfois impossible de
dfinir la variable permettant de constituer un groupe de comparaison,
lorsque par exemple la population cible bnficie en totalit du programme.
Une slection alatoire des membres des groupes tudis est rarement
possible sur la totalit de la population cible, or le volontariat est source de
biais dit d'autoslection . En outre, le recours la cration artificielle d'un
groupe tmoin nuit la validit externe du dispositif exprimental. Quel que
soit le mode de slection des personnes, la validit externe peut tre
compromise. Les facteurs contextuels lis au choix des sites limitent
galement la reprsentativit de l'exprimentation. Autant d'lments qui
confirment que le dispositif exprimental rduit la capacit de gnralisation
des conclusions l'ensemble du programme ou d'autres contextes.
Un problme thique et politique peut en outre se poser, si l'on considre

que seules les personnes du groupe exprimental bnficient du
programme au dtriment des individus du groupe tmoin. Le dispositif
exprimental ncessite par ailleurs d'importantes ressources financires,
Intellectuelles, Institutionnelles, et la constitution des groupes
statistiquement quivalents constitue en soit une tche lourde et
fastidieuse. Finalement, il ne permet pas de fournir une Information sur
l'Incidence d'vnements spontans.
Comment
utiliser l'outil pour l'valuation
Le dispositif exprimental est justifi pour les quelques cas o les relations
causales sont peu nombreuses, simples, connues, dont l'objectif est de
mesurer des impacts stables, et non d'expliquer des phnomnes
complexes et mouvants.
Cet outil est donc peu adapt l'valuation des Fonds structurels et l'on ne
trouve pas d'exemple en Europe d'application du dispositif exprimental
dans ce cas. Les difficults d'ordre pratique, relatives la mise en uvre
de cet outil, et son utilit incertaine, peuvent expliquer cette absence. Les
programmes des Fonds structurels sont appliqus sur une dure
relativement longue. Aussi, les deux groupes, exprimental et tmoin,
pourraient tre exposs certaines variations, et des diffrences nettes se
creraient entre ces groupes.
Boruch, R. F. (1997), Randomized Experiments for Planning and Evaluation,
Thousand Oaks, CA : Sage publications, 265 p.
Un ouvrage qui milite de faon mesure pour l'utilisation de la
technique d'exprimentation.
L'analyse de rgression permet

d'obtenir
une
estimation
quantitative de l'influence de
Evaluation
Cot
Technicit
moyen
d'ensemble
moyenne
plusieurs facteurs explicatifs (ex :
l'intervention valuer, les facteurs
concurrents) sur une variable
expliquer (ex : le rsultat de
Usage
Usage
l'intervention). Pour raliser une
innovant
rtrospectif
analyse de rgression, il faut se
doter au pralable d'un modle
logique explicatif. L'outil calcule
ensuite les paramtres de ce modle en les ajustant le mieux possible aux
volutions observes dans le pass. La technique de l'analyse de rgression
s'applique avec des variantes selon que les variables du modle sont
continues ou discrtes et selon que leurs relations sont linaires ou non.
L'outil est employ depuis environ un sicle par les statisticiens,

notamment en biologie. Il a t gnralis grce au dveloppement des
microordinateurs et des logiciels statistiques qui permettent d'ajuster
facilement des modles complexes sur des donnes nombreuses.
Exemple : L'valuation des stages de formation FSE en Espagne

En 1995, les Dpartements d'analyse conomique et d'conomie applique de la
Facult de Sciences Economiques de la l'Universit Autonome de Madrid ont
conduit une valuation des effets de certaines mesures de formation mises en place
avec l'aide du Fond Social Europen. Cette valuation devait rpondre aux questions
suivantes : Combien de participants ont trouv un emploi aprs avoir suivi des
cycles de formation ? Quel est le profil des participants qui ont trouv un emploi ?
Quelle est l'influence du contexte rgional ?
Une enqute a t ralise sur un chantillon de 13 127 stagiaires rels ou potentiels
sur l'ensemble du territoire espagnol (hormis trois rglons).
Un modle explicatif a t construit avec les variables suivantes :
Comme variables expliquer (variables dpendantes) : le taux d'emploi et la
dure de recherche de l'emploi ;
Comme variables explicatives : le sexe, l'ge, le niveau d'tudes, le lieu de
rsidence, le type de chmage (longue dure, recherche d'un premier emploi), et
l'exprience professionnelle ;
Une variable explicative spciale a t ajoute : la participation au programme
(dure de la formation FSE).
Principales techniques et outi
Ce modle comprend des variables continues comme l'ge ou la dure de recherche

d'emploi, ainsi que des variables discontinues comme le sexe ou le fait de trouver un
emploi. Au moyen d'une analyse de rgression, le modle a t ajust aux rsultats
d'une enqute par questionnaire.
L'analyse de rgression a permis d'estimer l'impact du programme sur l'emploi des
stagiaires. En outre, il a permis de produire des estimations supplmentaires telles
que :
Le fait d'tre un homme amliore les chances de trouver un emploi de 5% ;
La localisation rgionale est importante : les participants des stages vivant aux
Balares ont environ 20% de plus de chances de trouver un emploi que ceux de
la Galice ;
Les personnes possdant un diplme d'enseignement secondaire amliorent leurs
chances de trouver un emploi de plus de 12% par rapport celles qui ont un
niveau d'tudes lmentaire.
Source : F. Saez-Fernandez, M. Toledo, "Education, Labour Market and Employement
Policy - Empirical Evidence and Implications', 7th EALE Conference, Madrid 1995.

Lorsqu'elle est applicable, l'analyse de rgression est une excellente
technique d'estimation des effets. La technique sert alors attribuer une
part des changements observs au programme valu (effet net) et une
autre part aux facteurs explicatifs ou concurrents.
L'outil n'est applicable que si l'on dispose au pralable d'un modle
explicatif crdible et robuste. Il doit donc tre utilis dans les cas o les
effets de l'Intervention sont bien Identifis et o le processus de production
des effets est connu.
L'analyse de rgression est typiquement utilisable lorsque l'on privilgie un

des effets du programme valu (par exemple le taux de placement).
Pour pouvoir appliquer l'outil, il faut disposer d'un volume d'observations
quantitatives important : entre mille et dix mille units (stagiaires,
entreprises, exploitations,...). Les observations doivent tre dtailles selon
toutes les variables du modle explicatif.

Encadr 26 Raliser une analyse de rgression
Etape 1. Construction du
modle causal
Y = f (1.2
Xn)
Cette relation n'est pas donne
par la mthode
!
Etape 2. Construction
d'un chantillon
'
Voir
Etape 3. Collecte de
donnes
1
Etape 4. Calcul
des coefficients
du modle relation
Etape 5. Test des

coefficients obtenus
(qualit d'ajustement)
Signification des paramtres

Analyse des rsidus
Etape 6. Gnralisation
la population totale
(inference)
Etape 1. La construction du modle causal : La construction du modle

explicatif est une tape dlicate qui doit tre mene en concordance avec
la rflexion sur la thorie d'action de l'intervention. Les variables peuvent
tre de plusieurs natures. Elles peuvent tre spcialement cres, par
exemple pour prendre en compte le fait qu'un individu ait bnfici d'une
aide ou non (variable muette dummy prenant les valeurs 0 ou 1). Une
variable peut reprsenter une caractristique observable (avoir un emploi
ou non) ou inobservable (probabilit d'avoir un emploi). Le modle peut
supposer que telle ou telle variable volue de faon linaire, logarithmique
ou probabiliste. Tous les modles explicatifs sont construit sur la base d'un
schma de type :
Y : f(XO, X 1 , X2..., Xn) dans lequel :

Y est le changement que le programme est principalement cens produire
(ex : emploi des stagiaires)
f est une fonction de plusieurs variables explicatives
XO est une variable qui reprsente le fait qu'un individu bnficie ou ne
bnficie pas de l'intervention
X1,..., Xn sont les autres variables susceptibles d'expliquer le changement
Un bon modle doit slectionner des variables peu nombreuses avec un
fort pouvoir d'explication. Il ne doit pas oublier des facteurs importants. Il
doit viter les relations causales qui fonctionnent dans les deux sens, du
type X1 explique Y mais Y explique X1 (causalit circulaire).
Si deux variables explicatives sont linairement dpendantes et apportent
la mme Information, il est inutile de les considrer toutes les deux. En effet,
les phnomnes de colinarit affaiblissent l'ajustement. Par exemple, si

les femmes Interroges ont des dures de chmage pralable
systmatiquement plus longues que celles des hommes, il ne sera pas
possible de dpartager l'influence des deux facteurs explicatifs : sexe et
dure de chmage pralable.
Certaines formes d'analyse de rgression (path analysis) permettent la
sparation des effets directs et des effets indirects. Les effets indirects ont
lieu par une ou plusieurs variables interposes. Vu la complexit qui
caractrise la plupart des phnomnes socio-conomiques, cette proprit
est importante.
Etape 2. La construction d'un chantillon : Pour appliquer une rgression
multiple, il faut gnralement un chantillon de grande taille (2 000 1 5 000
individus). Voir enqute par questionnaire pour la construction
des
chantillons.
Etape 3. La collecte des donnes
: Les donnes proviennent
gnralement du systme de suivi ou d'une enqute par questionnaire ou
d'une combinaison des deux sources.
Etape 4. Le calcul des coefficients : Cette phase de l'analyse est
largement facilite par des logiciels statistiques d'un cot abordable et
utilisables sur micro-ordinateur (ex : SAS, SPSS, SPAD, etc.).
Etape 5. Test de l'ajustement effectu : Lorsqu'on labore et qu'on ajuste

le modle, on cherche expliquer la plus grande part possible de la
variabilit des changements observs. La partie qui reste inexplique
reprsente les rsidus. Ainsi, plus les rsidus seront faibles, meilleure sera la
qualit du modle et de son ajustement. L'analyse des rsidus est une tape
trs importante : c'est ce niveau que l'on voit le degr d'adaptation du
modle aux phnomnes que l'on veut expliquer. C'est l'analyse des rsidus
qui permet de dire si l'outil a permis d'estimer les effets de faon valide ou
non. Si l'on dtecte des anomalies importantes, l'emploi de l'outil doit tre
considr comme un chec et l'valuation doit s'arrter avant l'tape 6.
Etape 6 : Cette dernire phase permet la gnralisation des coefficients du
modle l'ensemble de la population. Elle permet donc de produire
l'estimation des effets.
Dans le cadre des Fonds structurels, l'emploi de cette technique rencontre
rapidement des limites contraignantes. La technique est lourde car elle
suppose la connaissance quantitative de plusieurs milliers d'individus. Elle
est donc galement longue et chre et ne s'applique qu' des interventions
qui touchent un grand nombre de personnes.
L'utilisation de l'analyse de rgression cre une occasion de prciser les
hypothses concernant la nature des effets (thorie de l'action), ainsi que
les facteurs concurrents.
Lorsqu'elle s'achve sur un succs (ajustement statistiquement valide),
l'analyse de rgression produit une estimation quantitative des effets nets
et rsout un des problmes les plus difficiles d'une valuation.
Les observations doivent prsenter des volutions suffisamment
contrastes pour permettre l'ajustement. Par exemple, si toutes les
observations concernent la tranche d'ge 30-40 ans, on ne pourra pas
estimer l'influence de l'ge sur l'emploi.
L'analyse de rgression risque d'aboutir la conclusion qu'il existe un
lien fort entre deux variables, alors qu'on a oubli d'estimer l'influence
d'autres variables, pourtant plus significatives (cette erreur est nomme
dafa snooping).
Les relations entre les diffrentes variables expliques et explicatives

sont frquemment circulaires (X explique Y et Y explique X). Dans ce cas,
la mthode est inapplicable.
La mise en uvre de l'outil pourrait tre longue et coteuse.
L'outil est d'un emploi trs sensible : les erreurs commises au niveau de
la collecte des donnes et du modle explicatif se rpercutent sur les
conclusions sans qu'il soit facile de s'en apercevoir.
Pour en savoir plus
Mohr, L.B. (1995), Impact analysis for program evaluation, London : Sage
Publications, 310 p.
Ouvrage qui aborde les principales techniques d'valuation des
programmes d'une faon claire, peu mathmatise.
Wonnacot, T.H., Wonnacot, R.J. (1984), Statistique, Economie,
Sciences, Mdecine, Paris : Economica, 790 p.
Gestion,
Manuel qui applique les principes fondamentaux de la statistique

aux sciences
exemples.
sociales. Ouvrage
clair,
illustr de
nombreux

Dans le cadre d'une intervention approfondie, il devient possible
d'employer tous les outils de jugement la disposition des valuateurs, et
notamment les outils qui ont t dvelopps pour l'valuation des projets.
L'analyse cot-efficacit juge l'efficience de l'intervention par
comparaison quantitative avec une ou plusieurs autres interventions. Elle
privilgie un objectif jug prioritaire. Elle est particulirement adapte
l'valuation ex post.
L'talonnage (benchmarking) juge l'efficience de l'intervention par
comparaison qualitative avec une autre intervention reconnue comme
excellente (talon). L'talonnage autorise la prise en compte et la
synthse de plusieurs effets.
L'analyse cot-avantages juge l'efficience de l'Intervention en prenant
en compte tous ses effets et en ralisant une synthse de faon
quantitative. L'analyse cot-avantages peut juger une intervention dans
l'absolu, sans rfrence de comparaison d'autres interventions. Elle est
gnralement employe ex ante, mais il est rare que toutes les conditions
ncessaires sa bonne application soient runies.
L'analyse multicritre (outil prsent prcdemment) compare
l'efficacit et l'efficience de plusieurs projets ou interventions. L'outil
prend en compte et synthtise plusieurs effets de faon quantitative et/ou
qualitative. Cet outil permet de prendre en compte d'ventuelles
diffrences entre les points de vue des partenaires. L'outil est
gnralement employ ex ante. Sa souplesse permet de l'utiliser dans de
nombreuses situations.
Le panel d'experts (outil prsent prcdemment) est un outil trs souple
qui permet de produire un jugement synthtique, appuy sur des
donnes qualitatives et quantitatives, mme incompltes. Cet outil
permet de prendre en compte d'ventuelles diffrences entre les points
de vue des partenaires. Dans une moindre mesure, l'enqute Delphi
(outil prsent prcdemment) peut apporter une aide similaire pour la
formulation du jugement.
Finalement, le vote color (outil prsent prcdemment) est un outil qui
peut servir lors de la synthse finale de l'valuation pour valider les
conclusions et les recommandations.
Analyse CotEfficacit
L'analyse
cotefficacit
trouve
son origine dans certaines formes

d'valuation
qui
se
sont
dveloppes, n o t a m m e n t dans le
d o m a i n e de la mdecine et d e la
scurit
approche
focalise
routire.
Il s'agit
pragmatique
directement
sur
d'une
qui
se
l'effet
Approfon
dissement

Technicit
faible
Cot
moyen
O O
Usage
stabilis
Usage
rtrospectif
Usage
prospectif
principal d ' u n p r o g r a m m e rapport
son
cot
et
qui
exclue
volontairement d'autres effets potentiels. C'est d o n c une f o r m e simplifie

d'valuation value for m o n e y (VFM) dans laquelle la valeur du
p r o g r a m m e s'exprime en une seule d i m e n s i o n . L'analyse cotefficacit se
diffrencie d e l'analyse cotavantages par le fait q u e l'effet du p r o g r a m m e
s'exprime en quantits physiques (ex : n o m b r e de morts vits) et non pas
en valeur montaire.
Exemple : Cration et maintien d'emplois au pays de Galles

En 1989, la Cour des Comptes anglaise (NAO) a utilis l'analyse cotefficacit pour
mener une valuation des politiques de cration et de maintien de l'emploi au Pays
de Galles mises en uvre sur les vingt dernires annes par trois agences cls : le
Welsh Office (WO) responsable du dveloppement urbain, la Welsh Development
Agency (WDA) pour le soutien au dveloppement industriel et le Development Board
for Rural Wales (DBRW) charg du dveloppement social et conomique des rgions
Nord et Centre du Pays de Galles. L'valuation a t mise en place conjointement par
le NAO et le WO. Elle a dur 5 mois et a port sur les effets de ces politiques sur un
chantillonnage de 303 socits destinataires, lesquelles ont t interroges sur ces
effets.
Les rsultats des entretiens ont t utiliss pour calculer le cot par emploi des
mesures, sur la base du nombre de crations d'emplois prvues, du niveau de l'effet
d'aubaine et de dplacement et des impacts bnfiques sur les fournisseurs de ces
socits. Les cots globaux du programme ont alors t diviss par les bnfices
nets pour obtenir une mesure de cotefficacit, c'estdire : CotEfficacit = Cot
du programme / (nombre brut d'emploi cr effet d'aubaine moins effet de
dplacement + effet fournisseur).
L'absence d'homognit dans la mise en uvre des actions de dveloppement
rgional au Pays de Galles a rendu difficile les comparaisons portant sur les cots
par emploi cr. Cependant, le NAO a finalement conclu, bien que l'valuation
prcdente ait surestim les effets des programmes sur l'emploi parce que les
niveaux des effets d'aubaine et de dplacement n'avaient pas bien t pris en
compte, que les programmes avaient cr un nombre significatif de nouveaux
emplois.
Source : S. Roberts and Ch. Polliti, (1994) Audit or Evaluation ? a National Audit
Office VFM Study, Public Administration.

L'analyse cot-efficacit sert valuer l'efficacit d'un programme au regard
d'une seule mesure, quantifiable et considre comme l'objectif prpondrant
ou objectif cl du programme. Sur la base de ce critre, des comparaisons
sont tablies entre le programme valu et des Interventions similaires mises
en uvre dans d'autres rgions ou des approches alternatives axes sur la
cration de rsultats semblables dans la mme rgion.
L'analyse cot-efficacit peut constituer la premire tape d'une analyse
d'talonnage (benchmarking) axe sur des programmes ou des actions
entreprises dans des contextes similaires mais qui sont apparemment d'un
meilleur rapport cot/efficacit que le programme analys.
L'analyse cot-efficacit s'emploie aussi bien dans une valuation ex ante
que dans une valuation ex post. Elle est particulirement adapte
l'valuation de programmes dont les effets escompts ont t clairement
dfinis, sont relativement homognes et/ou peuvent tre mesurs en terme
de rsultat cl (par exemple le nombre d'emplois crs).
Etape 1. Dtermination de l'objectif du programme : Cette premire tape
est celle de l'explication de la logique du programme. On rpond aux
questions suivantes : Quels sont les buts atteindre ? Quelles sont les
ralisations du programme ? Quels sont les impacts escompts ? Par
quels moyens pense-t-on atteindre ces rsultats ? Parmi ceux-ci, quel est
celui considr comme primordial ?
Etape 2. Dfinition du cot total du programme : A ce stade, on
additionne le cot de toutes les ressources publiques du programme afin
d'obtenir le cot total. En gnral, seules sont incluses les ressources

directes qui ont une valeur montaire bien dfinie. Les cots moins
tangibles, tels que le temps pass par le personnel, et en particulier, les
cots de supervision, ne sont normalement pas pris en compte. On valorise
parfois le cot du programme en fonction des avantages qui auraient pu
tre obtenus en affectant l'argent public d'autres fins (cot d'opportunit).
Etape 3. Mesure de l'impact : Cette tape est la plus difficile. De
nombreuses tudes, y compris l'valuation du NAO cite plus haut, utilisent
des approches empiriques, bases sur la collecte de donnes primaires,
pour recueillir des informations sur l'ampleur des effets positifs du
programme en cours d'valuation. Il est cependant possible aussi d'estimer
le niveau d'Impact sur la base des donnes secondaires et/ou la
modlisation de la mise en uvre du programme. Quelle que soit la
mthode employe, il est important d'obtenir une vue exacte, non
seulement des effets positifs mais aussi du niveau des effets d'aubaine, de
dplacement, et autres effets d'viction, etc. Certains valuateurs ont
estim que l'on devrait galement donner une indication des effets
multiplicateurs et des effets secondaires non attendus, mais il est en ralit
extrmement difficile dans la pratique d'valuer ces effets secondaires de
faon prcise ; La plupart des valuations n'en ont donc pas tenu compte
ou ont donn des estimations de leur niveau. Cette dernire solution est
l'vidence prfrable tant donn l'importance des effets secondaires. On
peut pallier le manque de prcision dans l'estimation du niveau de ces
impacts en ayant recours des analyses de sensibilit qui indiquent le
niveau probable de bnfices.
Etape 4. Calcul du ratio cot-efficacit : La dernire phase est celle de la
mise en uvre du calcul qui aboutit au rsultat final. Il s'agit d'une simple
division dont la formule sera du type suivant :
Cot du programme / (effets bruts - effets d'aubaine et de dplacement, et
le cas chant + les effets multiplicateurs sur les fournisseurs des
destinataires directs).
La technique cot-efficacit est difficile appliquer aux programmes des
Fonds structurels qui poursuivent souvent des objectifs multiples. De ce
point de vue, l'analyse multicritre est souvent d'un emploi plus appropri.
Elle peut cependant constituer un bon outil pour des valuations
thmatiques comme par exemple, celle des effets sur l'emploi, des effets
sur la cration de P.M.E., etc. ou pour comparer des approches destines
produire des Impacts similaires. Il est cependant important de s'assurer
que la base de calcul et la fiabilit des donnes relatives aux cots et aux
bnfices nets soient dfinies de faon homogne.
L'analyse doit tre prcde d'une rflexion sur les objectifs du

programme, sur l'identification de son objectif principal et sur un
indicateur fiable du degr d'atteinte de cet objectif.
Les analyses cot-efficacit ont tendance, par nature, se focaliser sur
les rsultats directs court et moyen terme mais ignorent plus ou moins
les impacts plus long terme dont peuvent dpendre l'efficacit finale,
ou l'absence d'efficacit, des programmes et des politiques. Par
exemple, l'efficacit des programmes des Fonds structurels dpend de
l'atteinte d'une combinaison d'objectifs multiples destins promouvoir,
l'intrieur d'une rgion, une croissance et un dveloppement
autonomes.
L'analyse cot-efficacit peut fournir une base de comparaison entre
programmes ayant un objectif similaire s'il est possible de dterminer trs
srement l'ampleur de l'impact sur cet objectif. Cependant, si des
mthodes d'enqute diffrentes sont utilises ou s'il y a des raisons de
croire que la qualit des donnes diffre selon les programmes, le ratio
cot-efficacit ne peut tre appliqu pour tablir des comparaisons.
Comme l'analyse cot-efficacit repose sur une estimation de l'impact
du programme par rapport son objectif principal, elle prsente l'autre
avantage de produire des conclusions aisment comprhensibles et qui
se concentrent sur les principales proccupations des publics cls (y
compris les politiques et les dcideurs).
Si l'analyse repose sur des liens spcifiques entre les entres et les
sorties relativement bien tablis, l'outil permet de faciliter la description
du fonctionnement rel des programmes. Ceci peut tre utile pour affiner
des politiques existantes ou pour amliorer l'efficacit des interventions
futures.
L'analyse cot-efficacit ne peut servir qu' comparer des programmes
dont la mise en uvre est simple et dont les impacts sont du mme type.
Or, ce cas de figure est beaucoup plus rare qu'on ne l'imagine. Ainsi, par
exemple, mme des programmes cibls sur un objectif principal
identique comme la cration de postes, peuvent crer des opportunits
d'emploi qui seront diffrentes qualitativement, en termes de longvit,
scurit, niveaux de rmunration, probabilit qu'ils soient accessibles
des personnes des rgions cibles, etc.
L'tablissement des liens de causalit de ce type ncessite de pouvoir
obtenir des gestionnaires de programme et des destinataires des
donnes dtailles. Lorsque celles-ci n'ont pas t recueillies dans le
cadre du suivi courant des programmes/projets, l'valuation devra avoir
recours une collecte laborieuse de donnes primaires.
Dans l'idal, les analyses cot-efficacit doivent donc tre utilises en
combinaison avec d'autres techniques conomiques pour analyser les
impacts plus long terme sur le PIB et la comptitivit au niveau rgional.
Creating and Safeguarding Jobs in Wales, A Value for Money Audit (1993),
Brunei University, MEANS.
Une valuation pilote du programme MEANS, 20 p.
Garrab, M., Ingnierie de l'valuation conomique, Paris : Ellipses, 255 p.
Ouvrage qui dcrit les principaux outils d'valuation conomiques,
parmi lesquels figure l'analyse cot-efficacit. Ouvrage accessible.
Gray, A.W. (1995), EU Structural Funds and Other Public Sector
Investments. A Guide to Evaluation Methods, Dublin : Gill &
Macmillan,106 p.
Livre traitant des techniques d'valuation conomiques, avec une
orientation particulire vers l'analyse cot-avantages. Contient une
description complte de l'analyse cot-efficacit, de son articulation
logique et des conditions de sa mise en uvre. Trs accessible.
Sanders, J.R (1994), The Program Evaluation Standards, How to Assess
Evaluations of Educational Programs, Second Edition,London :
Sage Publications, 222 p.
Un manuel ddi aux principales tapes de l'valuation des
programmes. Contient une description rapide de l'analyse cotefficacit. Trs accessible.
Etalonnage
(Benchmarking)
L'talonnage a t d v e l o p p dans
les annes
80 par les g r a n d e s
entreprises amricaines d u secteur

lectronique,
soucieuses
de
c o m b l e r leur retard en matire de

comptitivit et d e qualit face la
concurrence
japonaise.
Les
principes d e l'talonnage reposent

sur
un c h a n g e
O
Evaluation
d'ensemble
A
Approfon
dissement
Technicit
faible
Cot
lev
O
Usage
rtrospectif
Usage
Innovant
d'Informations
concernant l'organisation d e certains segments d e la production avec d e s

entreprises rputes pour leur excellence dans un domaine donn.
Dans le cadre d u New Public Management , cette pratique a t
transpose la sphre publique, particulirement la gestion des services
publics et des administrations municipales. Elle peut galement tre pertinente
dans le cadre de l'valuation concomitante d'interventions publiques.
Exemple : l'valuation de la gestion des villes

La fondation Bertelsmann, en Allemagne, a organis un concours ouvert aux villes
allemandes. Le concours jugeait la qualit des rformes administratives mises en
uvre par les villes candidates en fonction de trois critres.
Afin de se doter d'une norme de comparaison, la fondation a eu recours un jury
d'experts qui a dfini les critres permettant de juger la qualit des rformes
administratives d'une ville. Ce jury a ensuite identifi des cas de meilleures
pratiques , s'appliquant aux critres retenus, savoir : trois villes situes
respectivement en Nouvelle Zelande, au RoyaumeUni et en Sude. Il s'agit de villes
reconnues pour l'originalit et l'efficacit de leurs rformes administratives. Chacune
des villes identifies apparat comme tant exemplaire et sert de benchmark
pour au moins un des critres dfinis par le jury.
Les critres sont les suivants : modalits de commercialisation des services publics,
stratgie de qualit applique aux services publics, management stratgique
concernant l'organisation des services, gestion financire.
Outre qu'elle a fourni une rfrence incontestable pour le jugement du concours, la
technique de l'talonnage a permis, de manire plus large, d'valuer l'tat d'avancement
des rformes administratives dans un grand nombre de villes allemandes. Elle a permis
d valuer le retard global pris par les villes allemandes dans ce domaine.
Source : Frieder Naschold, "Internai Modernisation, Competition, Fiscal
Consolidation. International Experiences with Local Governement Adiministrative
Reform", WZB, 1996.

La finalit de l'talonnage est de parvenir identifier et formaliser les
forces et faiblesses d'une organisation en la comparant avec d'autres
organisations rputes comme tant les meilleures dans le domaine dans
lequel des progrs doivent tre raliss. Il s'agit d'une dmarche de
comparaison des performances qui peut se situer des niveaux diffrents
qui dpendent de l'talon de comparaison choisi :
L'talonnage externe permet de comparer les diffrentes fonctions du
processus de production d'une organisation aux fonctions similaires
dans d'autres organisations.
L'talonnage
uvre (best
appliques
aux divisions
exigeante.
interne permet d'tudier les meilleures solutions mises en

practice) et de s'en servir pour amliorer les mthodes
l'intrieur de l'organisation. L'talonnage interne s'applique
d'une mme organisation, il constitue une dmarche moins
L'apport de l'talonnage rside dans une dcomposition de la logique

productive en fonctions lmentaires qui feront l'objet de la comparaison.
L'change d'informations propos de ces fonctions lmentaires devient
donc possible entre des organisations trs diffrentes.
Une telle dmarche permet de prendre du recul par rapport aux pratiques
en cours dans l'organisation, en les confrontant aux pratiques mises en
uvre ailleurs. On peut ainsi apprendre de l'exprience des autres. Pratiqu
une plus grande chelle, l'talonnage peut permettre la diffusion de
bonnes pratiques.
Bien qu'ayant t conu l'origine pour tre appliqu aux organisations,
l'emploi de l'talonnage peut tre envisag pour l'valuation des mesures
et projets.
Dans quel cas l'utiliser
En tant qu'outil d'valuation, l'talonnage s'applique l'valuation des

mesures. Il consiste identifier des mesures (ou des projets) reconnues
comme ayant fonctionn avec succs (besf practice) et s'en servir
comme d'un talon de comparaison pour la mesure (ou le projet) valuer.
Ceci permet de clarifier le fonctionnement du programme, en dtaillant les
diffrentes mesures qui le caractrisent, et d'en identifier les points forts et
faibles.
Il peut servir dterminer des benchmarks en termes d'efficacit et

d'efficience : c'est--dire des programmes reconnus pour leur qualit et
ainsi mettre en uvre les changements effectuer dans le cadre du
programme valu, permettant ce dernier de rattraper la performance des
meilleurs programmes.
Encadr 27 - L'talonnage en quatre tapes
1.
Slectionner
les parties du
processus qui
feront l'objet
de l'talonnage
2.
Identifier
un partenaire
pour 'talonnage
3.
Observer
le processus
chez le partenaire
4.
Analyser
les carts
de performances
Etape 1. Dans une phase prliminaire, il faut identifier la nature du problme

rencontr et le reprsenter de faon claire. Un premier pas consiste dans la
conceptualisation du processus que l'on doit analyser. L'talonnage ne
pourra porter que sur certaines des tapes du processus. Celles-ci devront
faire l'objet d'un choix effectu en fonction de la nature du problme : ce
sont les critres de l'talonnage. Un deuxime pas consiste dans la
construction d'indicateurs qui doivent permettre de rendre les critres
d'valuation mesurables.
Etape 2. Le choix de l'organisation avec laquelle la comparaison doit avoir
Heu dpend des critres retenus pour l'talonnage. Notons qu'il ne doit pas
ncessairement s'agir d'une structure analogue, mais qu'elle peut tre
choisie en fonction de sa rputation dans le champ concern par les
critres de l'talonnage. Mais l'talonnage est bas sur une forme de
rciprocit. Les deux partenaires doivent y trouver un intrt. Si ce n'est
pas le cas, l'talonnage n'aura que peu d'intrt.
Etape 3. La phase de l'talonnage proprement dite se droule ce niveau.
Elle consiste dans l'analyse approfondie des critres identifis au niveau de
l'organisation partenaire en vue d'tablir une comparaison systmatique
des solutions mises en uvre pour satisfaire les critres.
Etape 4. Cette analyse peut prendre des formes diverses : des contacts en
face face par des visites dans l'organisation, l'envoi d'un questionnaire, le
recours des consultants spcialiss, des panels composs de membres
des organisations impliques.
La technique de l'talonnage comprend toujours ces quatre tapes, mais

elle peut toutefois prendre diverses formes. Dans certains cas, l'talonnage
est utilis simplement pour comparer les ralisations ou les Impacts qui ont
pu tre obtenus par diffrentes organisations ou politiques. Dans le cas
prsent, l'accent est mis sur l'valuation de l'efficience relative et le rsultat
publi, par exemple, dans des tableaux de classement par ordre de
performance. De plus en plus d'agences franchissent une tape
supplmentaire et utilisent la technique de l'talonnage comme un outil de
diagnostic qui permet aux gestionnaires, non seulement d'observer les
diffrences en terme de performance, mais aussi d'en analyser les raisons
et ainsi de mieux apprhender les stratgies qui amliorent l'efficience.
Cette dernire approche est connue sous le nom d'talonnage de
processus. Elle ncessite l'analyse des diffrents styles de gestion, des
mthodes organisationnelles et des contextes environnementaux des
programmes ainsi qu'une connaissance de la manire dont les politiques
sont mises en uvre. Son intrt rside dans son aptitude identifier les
bonnes pratiques et les transposer ou les modifier pour qu'elles
puissent tre mises en uvre dans d'autres cas de figure.

Il est souvent admis que les comparaisons entre programmes similaires
oprant dans des environnements comparables sont les plus parlantes. En
effet, on peut s'attendre ce que les performances de ces programmes
soient largement comparables et que les gestionnaires aient avantage
adopter des pratiques similaires. Cependant, ce n'est pas toujours le cas.
Certains gestionnaires de programme pensent qu'ils peuvent obtenir de
nouveaux clairages partir de l'talonnage ralis sur des organisations
trs diffrentes des leurs. On constate ainsi de plus en plus frquemment
des changes de bonnes pratiques entre les agences des secteurs priv et
public. Dans le contexte des Fonds structurels, on pourrait trouver des
exemples qui utilisent l'talonnage de processus pour comparer le
fonctionnement de programmes similaires dans diffrents Etats membres
ou bien des exemples o l'on compare les programmes subventionns par
lue et les Initiatives nationales dans les mmes Etats membres.
L'application de l'talonnage au cadre des Fonds structurels consiste dans
l'identification de projets reconnus comme relevant de bonnes pratiques et
dans leur comparaison avec des projets mis en uvre dans le cadre des
Fonds structurels. Il peut s'agir de mesures mises en uvre au sein
d'organisations internationales, d'universits ou d'autres organisations
publiques ou prives.
Il est galement possible d'avoir recours l'talonnage lors de

prparation d'un nouveau cycle de Fonds structurels, ce qui peut
traduire par des modifications de nature rglementaire, stratgique
organisationnelle. L'outil peut galement s'appliquer afin d'amliorer
systmes d'valuation eux mmes.
la
se
et
les

L'talonnage est une mthode souple, qui permet de formuler des
rponses des problmes organlsationnels, de mettre l'accent sur les
points forts et faibles.
La mise en uvre de la dmarche doit impliquer une quipe assez large
pour permettre l'acceptation des rsultats de l'talonnage l'Intrieur de
l'organisation, mais assez rduite pour conserver de la souplesse et de
l'adaptabilit vis--vis des changements effectuer. Dans le cadre de
grandes Institutions ceci peut constituer un facteur de blocage.
La dmarche doit tre initie de l'intrieur d'une organisation et tre
construite sur une base participative pour tre efficace. S'il s'agit d'un
travail formel, ralis par des consultants extrieurs sans vritable
participation interne, l'talonnage sera forcment un exercice limit, dont
l'impact au sein des organisations restera faible.
L'Identification d'un partenaire pour l'talonnage peut tre problmatique
dans le cadre de programmes publics, et il pourra tre ncessaire d'avoir
recours des panels d'experts pour mieux identifier les expriences
pertinentes (best practices).
L'talonnage est souvent bas sur le partage d'informations
stratgiques, I peut donc constituer un risque pour l'organisation qui
accepte de s'y livrer, s'il s'agit d'entreprises publiques ou de centres de
recherche appartenant des secteurs stratgiques sur un plan politique
ou conomique.
Balm, G. J. (1994) Evaluer et amliorer ses performances.
L'talonnage,
AFNOR, Paris, 159 p.
Expose les tapes du benchmarking telles qu'elles sont entreprises
par IBM aux Etats-Unis. Parfois un peu dense.
Chang, R. Y, Kelly, P. K.(1995) Progresser avec le Benchmarking, Paris : Les

presses du management, 122 p.
Dcrit de faon narrative la mise en place d'un processus de
benchmarking au sein d'une entreprise. Trs simple et vivant.
Karlf & Partners (1995), Pratiquer le Benchmarking, Paris : Les ditions
d'organisation, Paris : 144 p.
Guide pratique, illustrant de faon vivante les diffrentes tapes du
benchmarking du point de vue des entreprises.
Analyse Cotavantages
L'analyse cotavantages (ACA)

(parfois htivement traduit de
l'anglais
par
analyse
cot
Approfon
Cot
Technicit
dissement
moyen
moyenne
bnfice) est un outil d'analyse des
projets publics, qui a pour objectif
de dterminer si la ralisation d'un
projet est souhaitable du point de
Usage
Usage
vue de l'ensemble de la socit.
prospectif
stabilis
Cette technique est base sur la
prise en compte et sur une
valorisation montaire de tous les effets positifs et ngatifs du projet au
cours de sa dure de vie sur les diffrentes composantes de la socit. Afin
de valider l'opportunit du projet, il est important non seulement d'en
apprcier la faisabilit mais galement d'valuer les options alternatives de
manire slectionner la solution la plus approprie pour la collectivit.
L'utilisation de l'analyse cotavantages a t gnralise au cours des

annes 60 dans le cadre du PPBS (planning and programming budgeting
system) aux EtatsUnis. En tant qu'outil d'aide la dcision, elle permet de
justifier le choix d'un projet parmi un ensemble de possibilits. Quelques
expriences d'utilisation systmatique de l'ACA ont t conduites par
exemple par la Banque Mondiale (annes 70/80) et le gouvernement
britannique (annes 80). Aujourd'hui l'analyse cotavantages ne joue de
rle significatif que dans le domaine de l'valuation de projets de grande
dimension tels que les grands travaux d'Infrastructures.
Exemple : Le train haute vitesse du corridor MadridSeville : une valuation

par l'analyse cotavantages
Le train espagnol grande vitesse (AVE) relie Madrid Seville depuis 1992. Lors de
sa construction, plusieurs options techniques taient possibles et permettaient le
choix entre un train haute vitesse intgrale ncessitant une infrastructure spcifique
ou une technologie pendulaire ncessitant des investissements moins importants en
matire d'infrastructure mais permettant des vitesses de circulation infrieures
celles de l'AVE.
L'analyse cot avantages a t applique rtrospectivement ce projet en tenant
compte de la structure des cots et des tarifs constats depuis 1987. Les cots et
avantages suivants ont t pris en compte :
cot pour le contribuable espagnol et europen
cot pour les passagers du train
cot en termes de nuisances pour les riverains

avantages en termes de temps gagn par les passagers du train (compt en
quivalent montaire).
Sachant que les cots sont surtout concentrs au moment de la construction et que
les avantages sont rpartis sur une longue priode, tous les cots et avantages ont
t ramens une mme dimension temporelle en mesurant leur valeur nette
prsente.
L'tude a permis d'aboutir une validation rtrospective du projet en montrant que
ses avantages taient globalement suprieurs ses cots.
Source : G. de RUS, Facultad de Ciencas Econmicas de Tarifa, 1996.

L'analyse cot-avantages est principalement employe lorsque l'on
souhaite comparer l'ensemble des Impacts d'un projet public durant sa
dure de vie et que ces impacts, mme trs htrognes, peuvent tre
mesurs en termes montaires.
Dans quel cas l'utiliser
L'analyse cot avantages est trs rpandue dans le cadre des procdures
pralables la construction d'infrastructures de transport. Elle est utilise
quand les impacts escompts d'un projet sortent de la sphre prive, sont
diffrencis et concernent une population htrogne. Elle est ralise dans
le cadre de projets o l'identification des destinataires et des perdants est
possible et pour lesquels tous les effets, mme hors march, peuvent tre
Identifis et montariss.
C o m m e n t le mettre en uvre ?
Etape 1. Dfinition du projet et de son cot : Cette premire phase sert
situer le projet dans son contexte. C'est lors de cette tape que l'on
dtermine les contraintes inhrentes la ralisation du projet, que l'on
examine les diffrentes variantes possibles et la dure de vie du projet.
C'est la phase de dtermination du cot, avec l'application ventuelle de
prix fictifs (par exemple le prix fictif de la main d'uvre peu qualifie est nul
s'il y a un fort taux de chmage).
Quatre catgories de variables dfinissent l'ACA :
les cots (C) : il sera ci tenu compte non seulement des dpenses
montaires mais galement des cots sociaux engendrs par ie projet
(par exemple, le cot rel de location d'un terrain mis disposition sans
frais par une Institution publique un utilisateur) ;
les avantages (B) : tant les retombes strictement conomiques que les
incidences sociales du projet doivent tre prises en considration (par
exemple, rduction des effets de congestion suite la construction d'une
route voie rapide) ;
le temps (t) : tout investissement tant caractris par une dure de vie,
il importe d'tendre l'analyse sur toute la priode concerne par l'avenir
du projet (par exemple, chacune des annes durant lesquels un hpital
sera fonctionnel) ; le temps tant luimme limit par la dure de vie de
l'investissement gale n ( par exemple, 20 ans pour les Infrastructures
et 10 ans pour les Investissements productifs).
le taux d'actualisation (r) : les cots et les avantages tant rpartis au
cours du temps, il est Indispensable d'en actualiser au prsent les valeurs
de manire pouvoir globaliser les valeurs calcules (par exemple,
l'apprciation d'un avantage prix courant ne permet pas une
comparaison correcte de deux priodes distinctes tant donn le
phnomne d'inflation).
Encadr 28 Les tapes d'une analyse cotavantages
Etape 1 . Dfinition du projet et

de son cot
Quel est son cot d'investissement et de

1
fonctionnement ? (Application ventuelle des 1
prix fictifs)
;
Quelle est la frontire du projet ?
Quelle est la dure de vie du projet ?
Etape 2. Identification des

avantages et des Inconvnients
Identification des groupes gagnants

(bnficiaires) et perdants
Etape 3. Valorisation
montaire des avantages et
des Inconvnients
''
Etape 4. Evaluation du projet
1 Valorisation par les valeurs tutlaires, les taux ;

d'actualisation et les dispositions payer
,
',
;
Mise en oeuvre du principe de compensation '

Calcul de la Valeur actualise nette ou du
'
taux de rendement socio-conomique
1
Valeur actuelle nette du projet
;
Etape 2. Identification et quantification physique des avantages et des

inconvnients du projet : Cette phase est celle de l'identification des
avantages et des inconvnients du projet qui peuvent toucher des groupes
de personnes diffrents (par exemple le temps gagn par les personnes qui
empruntent une nouvelle ligne de train ou la quantit de nuisances subies
par les riverains de l'infrastructure). L'ACA se diffrencie de l'valuation de
projets privs sur deux points fondamentaux :
les cots et les avantages de tous les membres de la socit sont pris en
compte et non pas seulement les dpenses et recettes montaires de
l'agence responsable ;
le taux de rendement social peut diffrer de manire sensible du taux de
rendement priv suite la prise en compte des phnomnes
d'externalit, ces derniers concernant les effets positifs ou ngatifs que
doit assumer la socit comme consquence de la ralisation du projet.
Les externalits concernent les effets positifs ou ngatifs que doit assumer
la socit comme consquence de la ralisation d'une activit conomique
donne. Elles se rfrent aux incidences positives et ngatives que doit
supporter la socit sans que ces incidences ne soit prises en
considration parles seules rgles du march. Par exemple, l'amlioration
des infrastructures de transports se traduit par une rduction du risque
d'accidents, des gains de temps, des cots de transport moindre et une
diminution de la pollution. Ces effets bnficient tous sans que
ncessairement chacun contribue la ralisation du projet.
Etape 3. Valorisation montaire des avantages et des inconvnients :
Cette phase ne doit pas tre confondue avec celle de la dfinition du cot.
Il s'agit ci de donner une valeur montaire aux diffrents impacts (positifs
ou ngatifs du projet), les principaux tant en dehors de la sphre
marchande. Le principe de l'analyse cot-avantages est que chaque
Impact est valoris en proportion de ce que celui qui en bnficie est
dispos payer pour l'obtenir (s'il est favorable) ou payer pour l'viter (s'il
est dfavorable). Par exemple, un passager est dispos payer 100 euros
pour gagner une heure, un riverain est dispos payer 10000 euros de
moins pour une maison expose aux nuisances, etc. Si un avantage ou un
inconvnient ne peut pas tre valu sous forme de disposition payer
(quelle est la valeur d'un biotope ?, quelle est la valeur d'une vie
humaine ?, quelle est la valeur d'une connaissance acquise ?, etc.), on fait
intervenir des valeurs tutlaires, fixes de manire discrtionnaire. Par
valeur tutlalre, il faut entendre une valeur fixe par un processus politique
explicite (ou le plus souvent implicite). Les avantages et les inconvnients

s'chelonnent au cours du temps et il faut pouvoir les mettre en rapport
des chances diffrentes. Pour cela, on considre que le temps lui-mme
possde une valeur tutlaire : c'est le taux d'actualisation.
Etape 4. Evaluation du projet : une fois que l'ensemble des tapes
prcdentes ont t ralises, on peut passer l'valuation proprement
dite, qui permet de formuler un jugement sur le projet. C'est ce stade que
s'applique le principe de compensation. Si le projet est bon, les gagnants
doivent pouvoir indemniser les perdants, ce qui se traduit par le principe
suivant : la valorisation montaire des inconvnients et des cots ne doit
pas excder la valorisation montaire des avantages. Ce principe est
videmment de nature abstraite, car la compensation n'a jamais lieu
rellement. Les rsultats de l'ACA pouvant varier sensiblement en fonction
des hypothses de travail, il importe de complter l'apprciation du projet
par une analyse de sensibilit. Une telle analyse permet de vrifier dans
quelle mesure la rentabilit du projet est affecte par des variations des
variables essentielles.
Deux indicateurs rsument l'valuation finale qui est faite du projet :
la valeur actuelle nette de la ralisation du projet qui n'est autre que la
rsultante de la diffrence entre les bnfices et les cots socioconomiques de la ralisation du projet mesurs en tenant compte de la
dure de vie du projet et ramens des valeurs comparables sur la base
du taux d'actualisation ;
le taux de rendement interne du projet qui porte sur la dtermination du
taux d'actualisation pour lequel la valeur nette prsente du projet est
nulle et qui permet d'apprcier l'utilit sociale du projet.
L'analyse cot-avantages est applique l'valuation des grands projets.
Elle est une obligation rglementaire pour l'apprciation ex ante des grands
projets europens. Elle est ralise par les Etats membres qui la soumettent
la Commission. Elle constitue un pralable obligatoire la dcision de
financement. L'analyse cot-avantages est rarement utilise l'extrieur de
ce cadre.
Pour la priode 1989-1993, les taux de rendement conomique Interne des
grands projets financs par les Fonds structurels sont les suivants :
Secteurs
Taux moyen
Nombre de projets
Energie
13,7
Eau et environnement
21,7
21
Transport
19,2
63
Industrie
18,4
14
Autres services
18,7
Total
19,3
108
Source: Guide de l'analyse des cots et avantages des grands projets,

europenne.
Commission

La mise en place d'une analyse cot-avantages oblige ses concepteurs
poser des questions essentielles telles que : quelles sont les personnes
concernes ? Quels sont les avantages et les inconvnients du projet ?
Quelle partie de la population y gagne ou perd et comment ? En ce
sens, elle induit une clarification du projet.
L'analyse cot-avantages oblige poser la question des impacts d'un
projet dans des termes clairs. Cependant, elle ne peut pas servir
l'analyse des impacts, qui reste subordonne d'autres techniques
d'valuation.
Il n'est pas toujours possible d'effectuer de faon lgitime et crdible la
valorisation de certains avantages ou inconvnients (par exemple la
destruction d'un biotope exceptionnel).
L'analyse cot-avantages ne prend pas directement en compte les
objectifs de la politique qui est conduite. Tous les avantages et
Inconvnients sont intgrs, qu'ils soient importants ou marginaux par
rapport aux objectifs politiques.
La complexit relle d'un grand projet, le nombre de personnes
concernes, la dfinition des impacts, des effets indirects, etc. rendent
trs difficile la quantification des avantages et des cots.
La mise en uvre du principe de compensation n'est jamais effectue
dans la ralit, et l'on est loin des constructions thoriques pures
(conomie publique et conomie du bien-tre) qui servent de justification
fondamentale cette technique.

Gauthier, G et Thibaut, M (eds.) (1993), L'analyse cot-avantages, dfis et
controverses, Paris : Cetai, Economica, 526 p.
Rserv aux initis : une compilation de textes manant de
diffrents spcialistes sur les avantages et les limites de l'analyse
cot-avantages, notamment par leurs aspects plstmologiques.
Chervel, M. (1987), Calculs conomiques publics et planification. Les
mthodes d'valuation de projets, Paris : Publisud, 268 p.
Une prsentation dtaille de l'ensemble des techniques de calcul
conomique public. Les principaux aspects sont abords et une
classification est propose.
Nas, T.F. (1996), Cost benefit Analysis. Theory and application, London :
Sage Publications.
Manuel en anglais qui reprend tous les fondements
microconomiques de l'analyse cot-avantages et qui traite des
tudes de cas : rserv aux initis.
Diamond, D. and Spence, N. (1983), Regional Policy Evaluation. A
Methodological
Review and the Scottish Example, Gower
International Library of Research and Practice, Aldershot, 170 p.
Une prsentation des principaux outils d'valuation issus de la
thorie conomique appliqus aux politiques de dveloppement
rgional. Une approche critique de l'analyse cot-avantages, trs
accessible.
Commission Europenne (1997), Guide de l'analyse Cot-Avantages des
grands projets
dans le cadre de la politique
rgionale
communautaire, DG XVI, Bruxelles, 90 p.
Guide destin l'analyse cot-avantages pralable la mise en
uvre des grands projets dcrivant les principales tapes de la
mthode.
Approfondissement : l'apport de la technique l'valuation de
projets
Une fols le projet clairement identifi, ses objectifs dfinis, sa faisabilit
tablie et les options alternatives envisages, l'quipe d'valuation est en
mesure d'aborder les diffrentes phases de quantification du projet :
l'analyse financire, l'analyse cot-avantages et l'analyse de sensibilit.
Cette description des concepts est complte par une prsentation

synthtique des constats tablis sur base d'une analyse des grands projets
cofinancs par les Fonds structurels.
Analyse
financire
L'analyse financire du projet d'investissement ncessite que soit prise en

compte la programmation de cet investissement et des recettes et cots
attendus de manire apprcier au mieux les entres et les sorties
annuelles lies la ralisation et la gestion du projet. Cette approche
permet d'valuer la charge financire du projet et de s'assurer qu'il ne
risque pas d'tre arrt un moment quelconque suite un manque de
liquidits. C'est sur la base des rsultats de cette analyse que sera
effectue l'ACA au travers de la prise en compte d'un certain nombre de
composantes complmentaires de nature socio-conomique permettant
de mesurer l'Impact social du projet.
Pour apprcier la valeur financire actuelle nette d'un projet, on tient
compte des valeurs actualises un taux r des entres (E) et des

sorties (S) financires futures (en ce compris la valeur rsiduelle de
l'investissement en fin de priode) :
VFAM = ( E ^ + ^ - S ) /(1+r)+(E2-S2) /(1+r) 2 +
(Sn-Sn) /(1+r) n
Le taux d'actualisation est reprsentatif du cot d'opportunit du capital,

c'est--dire de la valeur conomique du capital Investi dans son utilisation
alternative optimale. Le taux utilis en pratique est souvent quivalent au
taux de rendement long terme du capital investi sur les marchs
financiers. Le choix du taux d'actualisation est parfois difficile et peut
apparatre comme arbitraire. Lorsque l'on compare plusieurs projets, il est
prfrable d'utiliser le taux de rendement financier interne rr qui n'est
autre que la valeur de r qui annule l'quation suivante :
(Eo-SoHEi-S,) /(1+r)+(E2-S2)/(1+r)2 +
(En-Sn) /(1 +r)n=0
Dans le cas des investissements publics, il arrive souvent que les taux de
rendement financiers observs soient faibles, voire ngatifs. Ceci
s'explique par une multitude de facteurs parmi lesquels les distorsions de
prix, les problmes de tarification et les externantes. D'o la ncessit
d'tendre l'analyse d'autres critres que les seules variables financires
pour juger de l'opportunit de raliser un investissement public. Ceci
implique de rpertorier et d'valuer montairement l'ensemble des cots et
avantages du projet.
Analyse des cots et avantages

De manire similaire l'analyse financire, on calculera la valeur
conomique actuelle nette en utilisant la formule suivante:
VEAN = ( V C r j M V C , ) /(1+r)+(A2-C2) /(1+r)2 +
(An-Cn) /(1+r)n
dans laquelle At reprsente l'ensemble des avantages attendus en priode

i et C l'ensemble des cots couvrir au cours de cette mme priode. Si
la valeur conomique actuelle nette est suprieure zro, l'valuation du
projet est favorable. Le coefficient r reprsente le taux permettant
d'actualiser l'ensemble des cots et des bnfices en fonction de l'anne
de rfrence dfinie dans ce cas comme l'anne 0. L'analyse des grands
dossiers europens de premire et de seconde gnrations ont mis en
vidence des taux d'actualisation variant de 3% 10%. En rgle gnrale,
le taux conseill est de 5%.
Toujours par analogie avec l'analyse financire, on peut calculer le taux de
rendement conomique interne du projet ( rr ) qui n'est autre que la
valeur de r qui annule la relation suivante :
( A O - C Q M V ^ ) /(1+r)+(A2-C2) /(1+r)2 +
(An-Cn) /(1+r)"=0
Tous les cots et avantages d'un projet ne pouvant faire l'objet d'une
montarisation systmatique, l'analyse sera complte par une tude
approfondie des aspects non montaires lis la ralisation du projet.
Analyse de sensibilit et des risques
Selon les cas, les rsultats de l'analyse cot-avantages peuvent tre
extrmement sensibles une modification des hypothses de travail.
L'analyse de sensibilit consiste faire varier la valeur d'un certain nombre
de variables cls de manire apprcier l'impact d'une modification des
hypothses sur le taux de rendement du projet. SI les modifications
apportes une variable-cl se traduisent par un changement Important du
taux de rendement, il est indispensable de renforcer la fiabilit de la mesure
obtenue pour cette variable.
Pas plus que les investissements privs les grands projets publics ne sont
exempts d'incertitudes. L'analyse cot-avantages tant base sur des
hypothses quant aux impacts attendus du projet, il est vital d'apprcier le
degr de risque du projet. L'analyse du risque sera effectue en associant
des probabilits de ralisation des valeurs alternatives des variables
cruciales, en dterminant les taux de rendement conomiques qui y sont
associs et en calculant alors la distribution de probabilit de ces taux de

rendement. Ceci permet notamment d'valuer la probabilit que le projet ait
un taux de rendement conomique infrieur au taux de rendement minimal
requis. Cette analyse de risque permet aux dcideurs de prendre leur
dcision finale en connaissance de cause quant aux risques encourus par
le projet.
Taux de rendement
des projets
europens
Pour les priodes de programmation 1989-1993 et 1994-1999

correspondant aux programmes de premire et deuxime gnration issus
de la rforme des Fonds structurels, l'horizon moyen (dure de vie
conomique du projet), le taux de rendement financier interne moyen et le
taux de rendement conomique interne moyen d'un ensemble de 400
grands projets cofinancs par les fonds structurels ont fait l'objet d'une
analyse.
Secteurs
Horizon
moyen
Taux de
Nombre
Taux de
Nombre
rende
ment
cono
mique
interne
moyen
de
projets
(*)
rende
ment
financier
interne
moyen
de
projets
Nombre
de
projets
(*)
(*)
Energie
24,7
7,0
12,9
Eau et
environne
ment
29,1
47
-0,1
15
15,8
51
Transport
26,6
127
6,5
55
17,1
152
Industrie
8,8
96
19,0
68
18,4
14
Autres
services
14,2
10
4,2
16,3
10
Total
20,1
289
11,5
149
16,8
233
(*) Projets pour lesquels des donnes sont disponibles

Source: Guide de l'analyse des cots et avantages des grands projets, Commission
des communauts europennes
Trs Instructif, ce tableau de synthse permet d'pingler les aspects
importants de l'apport de l'ACA l'analyse des grands projets.
Premirement, on observe que la dure de vie moyenne des projets varie

sensiblement d'un domaine l'autre. De 20 ans en moyenne, la dure de
vie varie de 9 ans pour les Infrastructures industrielles 30 ans pour les
infrastructures environnementales. L'apprciation de la dure de vie du
projet est importante si l'on veut estimer correctement les Impacts
potentiels moyen et long terme des investissements envisags.
Deuximement, la mesure du taux de rendement financier interne permet
de cerner les besoins de financement que ncessitera le projet tout au long
de sa dure de vie. Cette analyse financire est galement vitale pour la
programmation des investissements. Alors que le rendement financier est
lev pour les Infrastructures productives qui font en gnral l'objet de
recettes substantielles (loyer ou prix de vente des terrains et Installations,
prix de vente des services...) et s'lve en moyenne 19%, le taux de
rendement financier des installations environnementales qui ne font que
trs rarement l'objet d'une tarification aux prix du march est trs faible
(-0,1% en moyenne). Pour les projets qui se caractrisent par un taux de
rendement financier faible, la programmation financire est d'autant plus
Importante que se pose la question de la viabilit du projet et de son
Incidence relle sur les finances publiques.
Troisimement, l'apprciation des cots et avantages socio-conomiques
du projet permet d'valuer sa valeur conomique relle et sa contribution
au bien-tre conomique et social, objectif ultime de l'ACA. Un premier
constat est que le taux de rendement conomique interne diffre de
manire significative du taux de rendement financier interne. Pour les
projets cofinancs par les fonds structurels, le taux de rendement
conomique Interne moyen varie sur une fourchette allant de 12,9% dans
le secteur nergtique 18,4% pour le secteur industriel. Ces chiffres
mettent en vidence l'Intrt de la dmarche cot-avantages qui permet de
dpasser le cadre strict de l'analyse financire en tenant compte
notamment des externalits que gnrera le projet.
IV
Recommandations pour slectionner
et assembler les outils
Le reprage des outils les plus adapts doit tre fait dans chaque cas
pariculier d'valuation. Cette partie apporte cependant une aide ceux qui
conoivent les valuations en dcrivant quatre situations typiques : (1)
question prospective sur un programme multisectoriel, (2) question
rtrospective sur un programme multisectoriel, (3) approfondissement
d'une question prospective et (4) approfondissement d'une question
rtrospective. Dans chacune de ces quatre situations, les outils prsents
dans cet ouvrage sont passs en revue en examinant leur plus ou moins
bonne adaptation. L'ouvrage se termine par des
recommandations
applicables dans le cas o l'on assemble plusieurs outils au sein d'une
mme valuation.
Guide pour reprer les outils adapts

Le reprage des outils les plus adapts doit tre fait au cas par cas en
fonction de la nature de l'objet valuer, et surtout en fonction des
questions poses par le commanditaire. Il n'est donc pas question de
donner des recettes gnrales. Il est cependant possible d'aider ceux qui
conoivent les valuations en dcrivant quelques situations typiques. Tout
d'abord, l'objet valuer peut tre l'ensemble d'un programme
multisectoriel ou au contraire une question d'valuation particulire qu'il
s'agit d'approfondir.
Du point de vue du choix des outils, il est galement important de prendre
en compte la dimension temporelle de la question pose. La question estelle prospective ou rtrospective ? Une question est rtrospective si l'on
peut y rpondre en s'appuyant sur une observation des effets sur le terrain,
c'est le cas de l'valuation ex post. Elle est prospective dans le cas
contraire, notamment pour l'valuation ex ante. L'valuation mi-parcours
peut comporter un mlange de questions prospectives (ex : quel est
l'Impact prvisionnel des projets qui ont dj t slectionns ?) et de
questions rtrospectives (ex : quels sont les premiers rsultats obtenus sur
le terrain ?). La combinaison de ces distinctions permet de dfinir les
situations d'valuation prsentes ci-dessous.
Encadr 29 - Situations types

valuation d'ensemble
d'un programme
multisectoriel
approfondissement
d'une question
evaluative
question prospective
question rtrospective
Situation 1
Situation 2
par exemple :
valuation ex ante ou
intermdiaire d'un
programme rgional
ou d'un CCA
par exemple :
valuation intermdiaire
ou ex post d'un
programme rgional
ou d'un CCA
Situation 3
Situation 4
par exemple :
valuation ex ante ou
intermdiaire d'une
mesure ou d'un
programme sectoriel
par exemple :
valuation intermdiaire
ou ex post d'une
mesure ou d'un
programme sectoriel
Le guide prsent ciaprs propose donc une aide pour la slection des
outils dans ces quatre situations. Il est limit aux outils qui font l'objet d'une
fiche technique dans cet ouvrage. Sa logique pourrait aisment tre
tendue d'autres outils. Il ne recommande pas d'appliquer
systmatiquement tel outil telle situation mais propose gnralement
plusieurs outils parmi lesquels on pourra choisir celui (ou ceux) qui est le
mieux adapt la situation considre.
Outils pour l'valuation d'ensemble d'un programme,
Encadr 30 Evaluation d'ensemble d'un programme,
O Q.
Analyse S W O T
Cartographie conceptuelle
-o
Vote color
Entretien Individuel
Groupe projectif (focus
group)
Etude de cas
HO
>
Systme d'Info. Gographique
M o d l e entressorties
Modle m a c r o c o n o m i q u e
<y-
Panel d'experts
Analyse multicritre
Outil
(_J
bien adapt
-i
applicable sous certaines rserves
Dans cette situation, les grandes lignes du programme ont dj t

proposes. L'valuation doit contribuer ce que le programme projet ait
Slectionner et assembler les outils
des objectifs mieux justifis, plus clairs, hirarchiss et logiquement relis

aux actions prvues. Si ncessaire, l'valuation peut comporter une
observation de terrain pour vrifier la nature et l'Importance des besoins.
Elle peut galement comporter une estimation prvisionnelle des effets,
notamment pour aider quantifier les objectifs. Une valuation de ce type
mrite d'tre outille si l'on dispose d'un dlai et d'un budget suffisant.
Outils pour l'valuation d'ensemble d'un programme,
Encadr 31 - Evaluation d'ensemble d'un programme,

Analyse SWO T
Cartographie conceptuelle
-c>-
Q-
Vote color
Groupe projectif (focus
-o-
group)
Etude de cas
Systme d'Info. Gographique
Analyse structurelle-rsiduelle
Modles d'entres sorties (InputOutput)
-^th-
o-
Modle macro-conomique
Panel d'experts
--
Analyse multicritre
Etalonage (benchmarking)
C^) bien adapt
Dans cette situation, l'valuation doit observer, analyser et juger les effets
que le programme a produit sur le terrain. Ces effets sont nombreux et ils
sont produits par des processus multiples qui diffrent selon les
composantes du programme. En outre, l'valuation peut avoir tenir

compte de diffrences de points de vue entre les partenaires. Cette
situation prsente des contraintes qui limitent fortement le choix des outils.
Outils pour l'valuation approfondie, question prospective
Encadr 32 Evaluation approfondie, question prospective
Cadre logique
Metaplan
Vote color
<>
Enqute Delphi
vo
O0^>
Groupe projectif (focus group)
Analyse cotefficacit
0
-o9
Etalonnage (benchmarking)
Analyse cotavantages
Analyse multicritre
Panel d'experts
Outil
(^)
bien adapt
o-
PP'icable sous certaines rserves
Dans cette situation, on value de faon approfondie un aspect ou une

partie d'un programme complexe. Cela ramne au cas d'une intervention
simple, constitue d'actions similaires, s'adressant un public relativement
homogne et dote d'un objectif principal. Les questions prospectives qui
se posent gnralement dans cette situation est celle de la faisabilit et de
la pertinence de l'intervention projete. Pour y rpondre, l'valuation doit
aider comprendre comment cette intervention va produire ses effets,
quelle sera vraisemblablement l'ampleur de ces effets et dans quelle
mesure l'Intervention projete rpond un rel besoin.
Outils pour l'valuation approfondie, question rtrospective

Encadr 33 Evaluation approfondie, question rtrospective
Cadre logique
Metaplan
Vote color
Groupe projectif (focus group)
Etude de cas
Observation ethnographique
Analyse factorielle
Analyse cotefficacit
Etalonnage
(benchmarking)
Panel d'experts
\_)
bien adapt
Dans cette situation, l'valuation observe, analyse et juge les effets qui ont
t obtenus sur le terrain. Ces effets sont peu nombreux et sont produits
par des processus qu'il est possible de schmatiser. De ce fait, il est
possible de les tudier de faon approfondie. On peut galement consacrer
du temps rechercher de bonnes rfrences de comparaison pour juger si
les effets obtenus sont suffisants ou non. La plupart des outils classiques
de l'valuation sont applicables cette situation.
Recommandations pour assembler plusieurs outils
Dmarche pour l'assemblage des outils

Le choix des outils et leur assemblage se font gnralement par
amliorations successives. Au dpart, la nature de l'valuation (programme
multisectoriel ou question plus simple) et celle de la question pose
(prospective ou rtrospective) suggrent que certains outils pourraient tre
bien adapts. Le guide qui prcde peut aider reprer ces outils.
A ce stade, on construit une mthode provisoire et on vrifie sa qualit
l'aide des questions suivantes :
Les huit fonctions standard d'une valuation sont-elle traites ? Certaines
fonctions sont-elles inutiles ? Certaines fonctions ont-elles t oublies ?
Quels outils ont t choisis ? Quelles fonctions remplissent ces outils ?
Sont-Ils bien adapts aux fonctions traiter ? Sont-ils appliqus
conformment aux rgles ?
Est-ce que l'ensemble de la mthode est solide et homogne ?
Cette dernire question est peut-tre la plus importante. On peut en effet
comparer une mthode d'valuation une chane. Chaque fonction est un
maillon de la chane et chaque maillon est d'autant plus solide que la
fonction est traite par un outil appropri. La mtaphore de la chane
technique souligne l'interdpendance des diffrents outils qui sont
assembls au sein de la mthode d'valuation.
Un maillon est robuste si la fonction correspondante est traite avec un
niveau de technicit suffisant par rapport au risque de contestation des
rsultats de l'valuation. Il n'est pas obligatoire qu'un maillon soit outill
pour tre robuste. Cependant, si un maillon est outill, sa solidit dpend
du fait que l'outil est adapt la question pose et la situation.
La solidit de l'ensemble de la chane technique est celle de son maillon le
plus faible. Ainsi, il est inutile d'employer un outil onreux et sophistiqu
pour estimer les effets si cet outil s'applique des donnes collectes de
faon contestable. La robustesse d'une mthode d'valuation n'est que
partiellement lie la qualit des outils employs. Ce n'est pas tant la haute
technicit du traitement de certaines fonctions qui fait une bonne
valuation, c'est plutt le fait que toutes les fonctions sont traites avec un
niveau de technicit homogne. Quand on a construit une mthode
d'valuation provisoire, on doit donc vrifier en priorit si elle prsente des

maillons faibles.
Encadr 34 - La solidit d'une chane technique est celle de
son maillon le plus faible
Clarifier/ hirarchiser les effets et critres

Dfinir les Instruments d'observation
Circonscrire le champ d'observation
maillon
faible
Croiser les informations

Estimer les effets
Outils
Juger selon les diffrents critres
Formuler un jugement de synthse
maillons
forts
La construction de la mthode d'valuation procde ensuite par des

amliorations successives jusqu' satisfaire les Impratifs suivants :
toutes les fonctions qui doivent tre traites le sont ;
le ou les outils slectionns sont adapts la situation et la fonction
qu'ils remplissent ;
la mthode construite est homogne et n'a pas de point faible ;
la mthode choisie est compatible avec les contraintes de cot et de
dlai de l'valuation.
On ne peut pas rechercher une robustesse maximum, ni choisir des outils
nombreux et perfectionns si les contraintes de temps et de budget sont
trop svres. Le ralisme d'une mthode impose que sa robustesse, mais
galement son cot, soient proportionns aux enjeux de l'valuation pour

ses clients. Tant que la mthode propose ne rpond pas cette exigence
de ralisme, il faut l'ajuster en supprimant des outils ou en les remplaant
par des outils plus lgers mettre en uvre.
Un problme trop souvent oubli est qu'on ne construit pas une mthode
pour chaque valuation, mais bien une mthode pour chaque question au
sein d'une valuation. Supposons qu'une mme valuation contienne les
deux questions suivantes :
A. Le programme atil eu un impact suffisant en termes de rduction du
chmage dans la rgion ?
B. Parmi les mesures du programme, quelles sont celles qui sont les plus
efficientes pour la cration d'emploi, et pourquoi ?
La question A devra tre traite par une estimation d'impact de toutes les
mesures, au besoin avec l'aide d'un modle conomtrique. Par contre, la
question serait mieux traite avec une mthode reposant sur
l'observation et l'analyse de projets particulirement russis en termes de
cration d'emplois (tudes de cas). Il arrive qu'une mme mthode puisse
rpondre simultanment deux ou plusieurs questions, mais elle ne le fait
gnralement pas avec le mme niveau de robustesse. En premire
approximation, on peut donc dire que le cot d'une valuation augmente en
mme temps que le nombre de questions figurant dans les termes de
rfrence (et auxquelles on donne une vritable rponse).
Trois exemples d'assemblage d'outils
Les trois propositions qui suivent sont construites partir d'exemples rels
prsents dans les chapitres prcdents.
Le premier exemple est l'valuation d'ensemble du programme de
dveloppement rgional du Hainaut qui est prsent la page 129 ainsi
que dans le Volume 4 de cette Collection consacr aux techniques
innovantes dveloppes dans le cadre du programme MEANS. Cette
valuation Intermdiaire avait pour but de comparer l'efficacit des
principales mesures du programme. Elle s'est termine par une analyse
multicritre qui a permis d'aboutir un jugement synthtique. Ce jugement
s'appuyait sur une estimation qualitative des effets de chaque mesure.
Pour renforcer la solidit des estimations d'impacts, on pourrait par
exemple construire la mthode suivante :
clarification des effets valuer avec l'aide d'une

conceptuelle d'impacts ;
cartographie
rassemblement des indicateurs et des donnes secondaires disponibles

sur chaque mesure value ;
organisation d'un ou plusieurs entretiens de groupe pour chacune des
mesures values ; estimation qualitative des impacts ;
comparaison entre mesures et jugement de synthse l'aide d'une
Encadr 35 - Exemple d'assemblage d'outils pour l'valuation
intermdiaire de l'ensemble d'un programme
METHODE
Clarifier hirarchiser les effets
valuer, dfinir les critres
Cartographie
conceptuelle d'impact
Choisir les instruments

d'observation
Circonscrire le champ
d'observation
Indicateurs de suivi et
donnes secondaires

Croiser les observations
Estimer les effets
Juger selon les diffrents
critres
synthse
OUTILS
Entretiens de groupe
Analyse multicritre
Le second exemple est construit partir de l'valuation de la cration

d'emploi au Pays de Galles dcrite la page 6 ainsi qu' l'Encadr 3. Cette
valuation ex post s'attachait analyser un impact de faon approfondie.
Elle a comport une enqute par questionnaire auprs des entreprises
aides qui a permis d'estimer les effets d'aubaine et de dplacement, ainsi
qu'une analyse cot efficacit qui a permis de juger l'efficience du
programme par comparaison avec un programme cossais. Les maillons
faibles de cette valuation tait probablement l'estimation des effets
d'aubaine et la comparaison d'efficience.
Pour renforcer l'valuation sur ce point, on aurait pu amliorer la mthode

de la faon suivante :
dfinition du champ d'observation en trois groupes : les entreprises
galloises aides du programme, les entreprises non galloises aides
d'autres programmes considrs comme performants, les entreprises
galloises non touches par le programme ;
collecte de donnes au moyen d'une enqute par questionnaire ;
estimation des effets grce aux groupes de comparaison ;
analyse cot efficacit et jugement par rapport d'autres programmes
performants.
Cette mthode aurait videmment t beaucoup plus onreuse.
Encadr 36 - Exemple d'assemblage d'outils
pour une valuation ex post approfondie
METHODE
>

Choisir les Instruments
d'observation
Circonscrire le champ
d'observation
Indicateur de
cration d'emploi
Entreprises
bnficiaires et
non bnficiaires dans
la zone eligible
et en dehors

Croiser les observations
Enqute par ^
questionnaire
Estimer les effets
Groupe
/
de comparaison
synthse
m mi .
,/
/
Analyse cot-efficacit
Le troisime exemple est construit partir de l'valuation ex ante de l'aide

europenne la Rpublique d'Irlande prsente la page 39 dans
l'Encadr 13. Cette valuation s'efforait d'estimer l'Impact probable de
l'aide sur le dveloppement conomique, notamment en termes de PIB par
habitant. L'valuation a comport une premire srie d'estimations
microconomiques (impact sur la dpense publique, sur la productivit, sur

les cots de production). Ces estimations ont ensuite t introduites dans
un modle macroconomique. Les estimations d'impacts micro
conomiques sur la productivit et les cots de production taient
certainement les maillons faibles de cette valuation. Par ailleurs,
l'valuation s'est arrte l'estimation des effets macroconomiques et n'a
pas formellement t jusqu' juger si ces effets taient suffisants ou
insuffisants.
Pour amliorer l'homognit de la mthode d'valuation, on aurait pu
consacrer un peu moins de temps et d'argent au maniement du modle
conomtrique, tout en renforant les maillons faibles de la faon suivante :
clarifier et hirarchiser les impacts microconomiques probables des
diffrentes mesures, au besoin en s'appuyant sur une matrice d'impacts ;
faire raliser une estimation des principaux impacts microconomiques
par un panel d'experts ;
estimer les consquences conomiques au niveau national au moyen

d'un modle macroconomique comme cela a t fait en pratique ;
runir un panel d'experts et lui demander de conclure sur le fait que les
impacts probables sont suffisant ou insuffisants.
Sans tre beaucoup plus onreuse, cette mthode aurait t la fols plus
crdible et plus conclusive.
Encadr 37 - Exemple d'assemblage d'outils pour
l'valuation ex ante de l'ensemble d'un programme
METHODE

Estimer les effets

sypthse
Identification des
principaux impacts
micro-conomiques
Panel d'experts +
Modle conomtrique
Panel d'experts
OUTILS
Conclusion
Le recours un outil a de nombreux avantages en termes d'assurance sur
le rsultat obtenu, de scurit sur le contenu de l'valuation, de matrise
des cots, de comparabilit des rsultats et de contrle de qualit. Une
valuation plus technique est souvent plus simple commander, plus facile
contrler, plus crdible pour les lecteurs du rapport et plus prvisible pour
le commanditaire. On comprend que tous ces avantages rendent les outils
d'valuation trs attractifs.
Puisque la technicit est attirante, on a souvent tendance survaloriser les
outils employs en valuation. Tout un travail d'valuation se trouve parfois
rsum par le nom d'un des outils mis en uvre (ex : valuation cotavantages, valuation macroconomique) et qui prend une dimension
emblmatique. Il est cependant dangereux de survaloriser un outil en
oubliant qu'il ne permet le plus souvent de remplir qu'une seule fonction
d'valuation, qu'il est adapt un certain contexte, qu'il prsente des
contraintes spcifiques de disponibilit de donnes, qu'il a un cot et une
dure de mise en uvre incompressibles. Choisir un outil sans tenir compte
de toutes ces dimensions risque d'entraner des consquences graves :
absence de conclusions, dpassement de dlai, conclusions pas crdibles,
conclusions non-pertinentes, etc.
Cet ouvrage ne doit donc pas tre considr comme une publicit pour des
valuations les plus techniques possibles. L'ambition est plutt d'adapter le
niveau de technicit l'importance stratgique des questions poses, ainsi
qu'au budget et au dlai allou l'valuation. Cet ouvrage doit donc tre
considr comme une aide la matrise de la technicit des valuations.
Index
Index
analyse cotavantages 201

analyse cotefficacit 19, 24, 201,
203, 239
analyse de causalit 28
analyse de rgression 21, 85, 175,
195
analyse de variance 175
analyse factorielle 85, 138, 175, 177
analyse multicritre 121, 129, 201,
238
analyse qualitative 28
analyse quantitative 28
analyse structurellersiduelle 85, 93
analyse SWOT 22, 41, 43, 121
approche 18
approche naturaliste 12
approche pragmatique 12
benchmarking talonnage 121
cadre logique 42, 141, 143

cartographie conceptuelle d'impacts
41, 49, 141, 238
chane technique 235
champ 27
critre 26, 29
effet net 28
enqute Delphi 175, 183, 201
enqute par questionnaire 61, 138,
139, 157, 159,239
entretien de groupe 61, 71, 157, 175,
238
entretien individuel 61, 63, 139, 157
talonnage 121, 201, 209
tude de cas 61, 77, 85, 139, 157,
175
valuation miparcours 31, 229
valuation approfondie 31, 229, 232,
233, 238
valuation d'ensemble 31,229,230,
231, 237, 239
valuation ex ante 31, 229, 239
valuation ex post 31, 229, 238
valuation formative 30
valuation intermdiaire 237
valuation rcapitulative 30
valuation thmatique 32
fonction (d'une valuation) 18, 24, 235
groupe de comparaison 85, 139, 175,

187, 239
I
dmarche 18
dmarche deductive 28
dmarche inductive 27
descripteur 26
design 18
donne primaire 27
donne secondaire 27
indicateur 26
inputoutput analysis
modle d'entresortie 86
l'enqute par questionnaire 137
matrice d'impacts 41, 141, 240

Metaplan 20, 141, 151
mthode 18, 235
mthodologie 19
modle Beutel 105
modle d'entre-sortie 86
modle HERMIN 30, 118
modle macroconomique 30, 39,
86, 107, 240
modle QUEST 116
question evaluative 26
0
observation ethnographique
shift-share analysis
analyse structurelle rsiduelle 85
SIG
systme d'information
gographique 85
structuration 26
systme d'information gographique
38, 85, 87
157,
169, 175
outil 18
outil gnrique 24
outil spcialis 24
panel d'experts 121, 123, 137, 201,

240
public cible 32
technique 18
technique conomique 12
technique exprimentale 12
V
vote color 41, 121, 141, 201
Remerciements
Cinq tudes de cas ont t ralises sur la base d'valuations slectionnes en
raison de l'emploi de techniques d'valuation reconnues. Cinq universitaires euro
pens ont particip ces tudes dont la synthse a permis de dgager les rgles
d'utilisation des outils d'valuation qui sont prsentes dans ce Volume.
Prs de trois cents fonctionnaires de la Commission europenne ont particip
des sminaires de formation, comportant une journe spcialement consacre
aux outils d'valuation. Le contenu de ces sminaires a progressivement volu en
fonction des attentes des participants. Ce Volume tient compte de ces
interactions.
Plusieurs experts ont particip la rdaction et la vrification des fiches.
La coordination des travaux de ce volume a t assure par Miguel Benito Alonso
(D.G. XVI.G.2 : Coordination de l'valuation) et a impliqu plusieurs Directions
Gnrales de la Commission Europenne, notamment les D.G. Il, V, VI, XIV et XVI et
en particulier Philippe Goybet, Anastassios Bougas, Martin Hallet, Andrea Mairate et
Julius Op de Beke.
notamment avec la participation de Kristian Colletis-Wahl, Olaf Rieper et Kevin
Williams.
experts dont les noms suivent : Henri Capron (Universit Libre de Bruxelles,
Belgique), Dr. Basil Cracknell (consultant, Grande Bretagne), Prof. Massimo Florio
(CSIL, Milan), Christophe Kellerhals (Evaluanda, Genve), Steve Martin (Warwick
Business School, Warwick), Thanos Skouras (Athens University of Economies and
Business), Evert Vedung (Uppsala Universitet).

Principales tech niques et outils d'valuation

1999 247 p. 14,8 21 cm
ISBN 92-828-6627-0
Venta Salg Verkauf Sales Vente Vendita Verkoop Venda Myynti Frsljning
BELGIQUE/BELGI
OSTERREICH
HRVATSKA
Jasn De Lannoy
B T190 Bruxelles/Brussel
Tl. (322) 53fl 43 03
Fax (322) 538 OB 41
Email: jean.de.lannoyinfoboard be
URL: http ://www.|aandolannoy.be
Manz'sche Verlags u n d
Kohlmarkt 16
A1014Wien
Tel. (431) 5 3 1 6 1 1 00
Fax (431)53 16 11 67
EMail: bostellenmanz.co.at
URL: http://www.manz.at/index.htm
Medlatrade Ltd
Pavia Hatza 1
HR10000 Zagreb
Tel. (3851)481 94 1
Fax (3851)481 94 1
Rue de la Loi 244/Wetstraal 244
B1040 Bru e II e s/B russel
Tl. (322)295 26 39
Fax (322)735 08 60
Email: mail tibeurop.be
URL: hltp //www.libeurop.be
Moniteur belge/Belgi s c h Staatsblad
Rue de Louvain 4042/Leuvenseweg 4042
Tl. 322)552 22 11
Fax (322) 511 01 84
DANMARK
J. H. Schultz Information A/S
Herstedvang 1012
DK2620 Albertslund
TH. 45)43 63 23 00
Fax (45) 43 63 19 69
Email: schultz@ schultz.dk
URL: http://www.schultz.dk
DEUTSCHLAND
Burtdesanzelger Verlag G m b H
Vertriebsableilung
Amsterdamer Strae 192
D50735 Kln
Tel (49221)97 66 80
Fax (49221) 97 66 2 78
EMail: vertneb@ bundesanzeiger de
URL: htlp://www.bundesan2iger.de
/GREECE
G. C. Elefttieroudakls SA
In tem alien al Bookstore
Panopistimiou 17
GR10564 Alhina
Tel. (301) 331 41 80/1/2/3/4/5
Fax (301)323 98 21
Email: elebooks3netor.gr
ESPANA
Boletn Oficial del E s l a d o
Trafalgar. 27
E28071 Madrid
Tel. ( 3 4 ) 9 1 5 3 8 2 1 11 (Libros).
913 84 17 15(SuSCnp.)
Fax (34)915 38 21 21 (Libros).
913 84 17 14 (Suscnp.)
Email: clientes corn.boe.es
URL: http://www.boe.es
Castello, 37
E28001 Madnd
Tel. (34)914 36 37 00
Fax (34) 915 75 39 98
Email: libraria m u ndipransa.es
URL: http://wwwmundipren.sa com
FRANCE
Journal officiel
26. rue Desaix
F75727 Paris Codex 15
Tl. (33) 140 58 77 31
Fax (33) 140 58 77 00
URL: http://www.jou rna Io tf ic i el. gou v.l r
IRELAND
Government Supplies A g e n c y
45 Harcourt Road
Dublin 2
Tel. (3531) 661 31 11
Fax (3531) 475 27 60
ITALIA
Licosa SpA
Casella postale 552
150125 Firenze
Tel. (39)055 64 83 1
Fax (39) 055 64 12 57
Email: licosaeitbcc.it
URL: http://www.ttbcc.it/licosa
LUXEMBOURG
Messageries d u livre S A R L
5, rue Ra fie ise
L2411 Luxembourg
Tl. (352) 40 10 20
Fax (352) 49 06 61
Email: mailOmdl.lu
PORTUGAL
Distribuidora de Livros Bertrand L d . '
Grupo Bertrand, SA
Rua das Terras dos Vales, 4A
Apartado 60037
P2700 Amadora
Tel. (3511)495 90 50
Fax (3511)496 02 55
Rua Marqus S da Bandeira, 16A
P1050 Lisboa Codex
Tel. (3511)353 03 99
Fax (3511)353 02 94
Email: del.incmOmail.1eleD3c.pt
URL: http //www. incm.pt
SUOMI/F IN LAND
KesKuskalu 1/Centralgatan 1
PL/PB128
FIN0O101 Helsinki/Helsingfors
P./ttn (3589) 121 44 18
F ./lax (3589) 121 44 35
Shkposti: akatilaus akateeminen, com
URL: hit p://www. akaleeminen.com
SVERIGE
MAGYARORSZG
Euro Info Service
Europa Haz
Marailsziget
PO Box 475
H1396 Budapest 62
Tel (3611350 80 25
Fax (361)350 90 32
Email: euroin1oemail.matav.hu
URL. http://www.euroinlo.hu/index.ri
Subagent lor the Palestinian Authority:

Indox Information Services
PO Box 19502
Jerusalem
Tel. (9722) 627 16 34
Fax (9722) 627 12 19
MALTA
Malta International Airport
PO Box 25
Luqa LOA 05
Tel. (356) 66 44 88
Fax (356) 67 67 99
Email: gwirth@ usa.not
POLSKA
Ars Polona
Krakowskie Przedmiascie 7
Skr. pocztowa 1001
PSIJapan
Tokyo 102
Tel (813)32 34 69 21
Fax (813)32 34 69 15
Email: books@ psijapan.co.gp
URL: hltp://www.psijapan com
PL00950 Warszawa
Tel. (4822)826 12 01
Fax (4822) 826 62 40
Email: ars_pol@ bevy.hsn com.pi
ROMANIA
___
Euromedia
Str. Gral Berthelot Nr 41
RO70749 Bucuresti
Tel. ( 4 0 1 ) 3 1 5 4 4 03
F a x ( 4 0 1 ) 3 1 4 2 2 86
BTJ A B
Trakiorvgen 11
S221 82 Lund
Tfn (4646) 18 00 00
Fax (4646) 30 79 47
Epost: btjeupubbtj.se
URL: http://www.blj.se
ROY International
4 1 . Mishmar Hayarden Streel
PO Box 13056
61130TelAwiv
Tel (9723)649 94 69
Fax (9723) 648 60 39
Email: royilne1vision not.il
UHL: httpJ/www.royint.co il
EBIC Malaysia
Level 7, Wis m a Hong Le on g
18 Jalan Perak
50450 Kuala Lumpur
Tel. (603) 262 62 9
Fax (603) 262 61 98
Email: ebickl@mol net.rtiy
ROSS1YA
UNITED KINGDOM
The Stationery Office L t d
51 Nine Elms Lano
London SWS 5DR
Tel. (44171)873 90 90
Fax (44171) 873 84 63
Email: ipa.enqui nes theso.co.uk
URL: http://www.lhe stationery of ti CG. c
ISLAND
Bokabud Larusar Blnda!
Skolavrd uslig. 2
IS101 Reykjavik
Tel. (354) 551 56 50
Fax (354) 552 55 60
CCEC
60letiya Oktyabrya Av. !
117312 Moscow
Tel (7095) 135 52 27
Fax (7095) 135 52 27
SLOVAKIA
Centrum VTI SR
Nam. Slobody. 19
SK81223 Bratislava
Tel. (4217)54 41 83 64
Fax (4217) 54 41 83 64
Email: e u r o p e t b b i sitk.stuba.sk
URL: http://www.sltk.stuba.sk
SLOVENUA
NOHi.il/
Swot s Norge A S
Oslanjoveien 18
Boks 6512 Etterstad
N0606 Oslo
Tel. (4722) 97 45 00
Fax (4722) 97 45 45

c/o OSEC
Stam pen ba c hst ra e 85
PF 492
CH8035 Zrich
Te1.(411)365 53 15
F a x ( 4 1 1 ) 3 6 S 5 4 11
Email: eics@ osec.cri
URL: http://www.osec.ch/eics
Rio Panuco 141

Colonia Cuauhtemoc
MXO6500 Mexico. DF
Tol. (52-5) 533 56 56 Fax (525)514 67 99

Email: 101545.2361 6compusorve com
PHILIPPINES
EBIC Philippines
Sen. Gil J. Puyat Ave. cor. Tindalo St.
MakatiCity
Metro Manilla
Gospodarskl Vestnik
Dunajska cesta 5
SLO1000 Ljubljana
Tel (386)613 09 16 40
Fax (366) 613 09 16 45
URL: h tip:// www. g vest nik. Ei
Tel. (63-2) 759 66 80

Fax (63-2) 759 66 90
TRKIYE
EBIC Sri Lanka

Trans Asia Hotel
A. Gardiner Mawatha
Colombo 2
Tel. (941)074 71 50 78
Fax (941)44 87 79
Email: ebicsl itmin.com
Dnya Infotel AS
100, YilMahallessi 34440
TRB0O50 Bagcilarlstanbul
Tel. (90212)629 46 89
Fax (90212)629 46 27
Email: inlotel dunyagazete.com.tr
SCHWEiaSUISSE/SVIZZERA
Email: eccpcom@ globeCom_ph

URL: http://www.eccp.com
AUSTRALIA
Hunter Publications
PO Box 404
3067 Abbotslord. Victoria
Tel. (613)94 17 53 61
Fax 6t3)94 19 71 54
Email: jpdavies@ ozemail.com.au
BLGARIJA
59.blvdVitosha
BG1000 Sofia
Tel. (3592)980 37 66
Fax (3592)980 42 30
Email: Milena@ mbox.cil.bg
CANADA
3020, chemin SainteF oy
G1X 3V SamteFoy, Quebec
Tel. (1418)658 37 63
Fax (1800)567 54 49
Email: liberte@ mediom.qcca
CESKA REPUBUKA

5369 Chemin Canotek Road Unit 1
Tet. (1613)745 26 65
Fax (1613)745 76 60
Email: orrJer.depl renoufbooks.com
URL: http://www.renoufbooks.com
SIS
NISprodejna
Havalkova 22
CZl30 00Praha3
Tel. (4202) 24 23 14 86
Fax (4202) 24 23 11 14
Email: nkpospedec.nis.cz
EBIC Thailand
29 Vanissa Building. 81h Floor
Soi Chidlom
Ploenchit
10330 Bangkok
Tel. (66-2)655 06 27
Fax (662) 655 06 28
Email: ebicbkk ksct 5.th.com
URL: http:/www.ebicbkk.org
Boman Associates
4611F Assembly Drive
Lanham MD20706
Tel. (1800) 274 44 47 (toll tree telephone)
Fax (1800) 865 34 50 (toll tree fax)
Email: query@ bem
EGYPT
CYPRUS
PO Box 1455
CY1509 Nicosia
Tel. (357-2) 66 95 00
Fax (3572) 66 10 44
Email: demel rap 6 ccci.org. cy
NEDERLAND
H ESTI

Chnstoftel Planlijnslraat 2
Postbus 20014
2500 EA Den Haag
Tel. (3170) 378 96 80
Fax (3170) 378 97 83
Email: sduesdu.nl
Eesti Kau b md usToo st u s k oda (Estonian

Chamber of Commerce and Industry)
ToomKooli 17
EE0001 Tallinn
Tel. (3721646 02 44
Fax (372) 646 02 45
Email: einloQkoda.ee
URL: ht1p://www,koda.ee
^ _ ^ _ _ _ _

41 Sherif Stret
Cairo
Tel. 202)392 6 9 1 9
Fax (202) 393 97 32
Email: mafouda@ meobserve r. co m. eg
URL: hltp J/www. meobserve r. com. Bg
Bitte wenden Sie sich an ein B r o Ihrer

W a h l / Please contee! the sales office
of your choice/Veuillez vous adresser
au bureau de vente de votre choix
INDIA
EBIC India
3rd Floor, . . Chavan Centre
Gen. J. Bhosale Marg.
400 021 Mumbai
Tel (9122)282 60 64
Fax (9122)285 45 64
Email: ebicQgiasbmOl.vsnl nel in
URL: htlp://www.ebicindia.com
Office for Officiai Publications

of t h e Europeen Communities
2, rue Mercier
L2985 Luxembourg
Tel. (352)29 2942455
Fax (352) 29 2942758
Email: inlo.infoOopoce.cec.be
URL: http://europ.eu.int
"valuer les programmes socio-conomiques'
solutions.
Chaque volume est conu de manire tre lu indpendamment des autres,
0 0

L-2985 Luxembourg

Solutions techniques pour valuer
dans un cadre de partenariat
Collection
Volume 4
Solutions techniques pour valuer

Volume 4

Le programme et la Collection MEANS ont t lancs et supen/iss
sous la direction d'Eric Monnieret de Jacques Toulemonde.
Les opinions exprimes dans cet ouvrage n 'engagent que les auteurs du texte :

Luxembourg:
ISBN 92-828-6627-0
tion de la source.
Printed in Italy
Prface
SEM2000
(Sound
and
Efficient

cette dmarche.
ex-Prsidente de l'American Evaluation Association ; K. Kennedy (IRL),
E. Landaburu
informations
indispensables l'valuation
des
Collection complte comprend 6 volumes conus pour
Solutions techniques pour valuer dans un cadre de partenariat
tre complmentaires et fournir les lments

volume a t construit de telle manire qu'il puisse tre
Le premier volume de la Collection MEANS s'intitule
Conception et conduite d'une valuation . Il a une
Le second volume porte sur le choix et l'utilisation des
programmes.
L'ouvrage
propose
un
cadre
Le troisime volume prsente une slection des
Principales
techniques
et outils
d'valuation
conomiques. Ces outils sont issus des disciplines
scientifiques
pertinentes : conomie,
sociologie,
prsents est dcrit sous forme d'une fiche comprenant sa
description gnrale, les principes de sa mise en uvre,
une liste de ses points forts et faibles pour l'valuation des
Fonds structurels, un exemple d'application et une
bibliographie des ouvrages de rfrence.
La Collection MEANS

description plus complte dans le quatrime volume
Le cinquime volume traite de l'valuation transversale
impacts en termes d'galit des chances hommesfemmes ou de comptitivit des PME. Le volume offre les
lments ncessaires l'analyse de ces impacts qui ne
figurent pas ncessairement parmi les objectifs explicites
de toutes les actions values.
Enfin, le dernier volume est constitu d'un glossaire
de la Collection a en effet impos un travail rigoureux
Table des matires

Introduction
I
Dessiner la carte conceptuelle des impacts
9
15
Une solution pour valuer des mesures diffrentes
II
l'aide de critres communs
17
Mode d'emploi de la cartographie conceptuelle des impacts
29
Utiliser la cartographie conceptuelle des impacts
45
Construire et utiliser des chelles de notation
51

sous une forme homogne
53
Mode d'emploi des chelles de notation
59
Utiliser les notes pour synthtiser l'valuation des mesures
71
III Analyser le programme l'aide d'une matrice des impacts

croiss
75
Une solution pour analyser la synergie au sein du programme
77
Mode d'emploi de la matrice des impacts croiss
85
Faire une vrification empirique des principales synergies

identifies
91
IV Appliquer l'analyse multicritre dans un cadre de partenariat 97

Une solution pour juger la russite d'ensemble d'un programme
99
Mode d'emploi de l'analyse multicritre
105
Utiliser l'analyse pour produire des conclusions utiles
123
Conclusion
125
Annexe
133
Index
137
Introduction
Introduction
Les programmes de dveloppement socio-conomique font souvent l'objet

de co-financements et s'inscrivent donc dans un cadre partenarial. C'est
notamment la rgle pour les programmes des Fonds structurels. Il en
rsulte des contraintes particulires pour leur valuation, non seulement
parce que le partage de la dcision augmente le nombre des protagonistes,
mais aussi parce qu'il a tendance multiplier le nombre des objectifs et
diversifier les domaines d'intervention.
Jusqu' une date rcente, l'valuation s'est principalement dveloppe
dans le cadre d'interventions finances par une seule institution dans un
domaine prcis. De ce fait, les valuateurs manquent du savoir-faire
ncessaire pour traiter le cas d'un programme partenarial, multi-objectifs et
multi-secteurs. Les quipes d'valuation ont tendance considrer les
programmes complexes comme des sries d'analyses partielles, traitant
successivement chacune de ses composantes (axes, mesures ou actions).
Cette dmarche conduit cependant des difficults au moment o il faut
produire des conclusions synthtiques et faire des recommandations
stratgiques l'chelle de l'ensemble du programme. En appliquant les
mthodes d'valuation traditionnelles, on parvient rarement justifier des
rallocations budgtaires car on ne sait pas comparer les diffrentes
composantes du programme l'aune de critres d'valuation communs et
acceptables pour tous les dcideurs.
Au cours des dernires annes, plusieurs quipes d'valuation travaillant
dans le domaine des Fonds structurels se sont distingues en apportant
des innovations mthodologiques dans des cas d'valuation multiobjectifs et multi-secteurs . Les valuations pilotes ralises dans le cadre
du programme MEANS ont galement permis de mettre au point plusieurs
solutions oprationnelles applicables ce problme. En s'appuyant sur
l'exprience constitue au cours des dernires annes, ce Volume
rassemble quatre solutions techniques nouvelles qui sont maintenant la
disposition des professionnels et il en donne le mode d'emploi dtaill.
Deux de ces techniques (cartographie conceptuelle des impacts et analyse
multicritre) figurent galement dans le Volume 3 de la collection, qui dcrit
les outils d'valuation dans un esprit d'aide aux choix mthodologiques,
c'est--dire de faon plus synthtique sans fournir tous les conseils de
mise en uvre que l'on trouve dans le prsent Volume.
La premire technique prsente est la cartographie conceptuelle des
impacts. Cet outil peut tre employ pour dfinir les principaux impacts
intermdiaires du programme de faon commune aux diffrents

protagonistes. La cartographie conceptuelle propose des critres
d'valuation applicables, de faon transversale, l'ensemble d'un
programme multi-objectifs et multi-secteurs. Elle fournit galement une
description prcise de ces impacts, utilisable pour construire des chelles
de notation et des indicateurs. A ce jour, il n'existe pas de manuel pour la
mise en uvre de cette technique dans le contexte de l'valuation.
La seconde technique prsente est celle de la construction d'chelles de
notation. La notation est de plus en plus utilise, notamment dans les pays
d'Europe du Nord, pour la slection des projets. L'originalit de ce Volume
rside dans le fait que la notation est applique la synthse des
conclusions obtenues au niveau des mesures, et que la notation est
directement relie aux principaux critres d'valuation du programme.
Au-del de l'valuation de chaque mesure, on doit aussi s'intresser
l'interaction des mesures entre elles. On peut en effet s'attendre ce que
l'impact d'un ensemble cohrent de mesures soit plus grand que celui des
mmes mesures mises en uvre sparment. Le troisime outil prsent
dans ce Volume apporte une aide l'valuation de ces effets de synergie.
Il s'agit de la matrice des impacts croiss qui est apparue comme un
lment cl, commun aux dmarches imagines et testes par plusieurs
quipes europennes dont les travaux ont t rassembls dans le cadre du
programme MEANS.
Enfin, chacun des co-financeurs souhaite retrouver la trace de ses priorits
dans le rapport d'valuation. L'analyse multicritre, quatrime des
techniques prsentes, permet de fonder des conclusions de synthse en
respectant les attentes de chaque dcideur. L'analyse multicritre est
typiquement employe pour l'valuation ex ante en vue de classer ou de
trier des projets concurrents ou des variantes d'un mme projet. En
appliquant l'outil l'valuation d'ensemble d'un programme de
dveloppement socio-conomique, ce Volume propose une utilisation
inhabituelle. Parmi les multiples variantes techniques de l'analyse
multicritre, ce Volume prsente celle qui est la mieux adapte au contexte
des programmes cofinancs.
Les quatre outils qui font la substance de ce Volume sont prsents avec
leur mode d'emploi dtaill. Pour chaque outil, on s'est efforc de prsenter
plusieurs variantes permettant une mise en uvre trs simple ou impliquant,
au contraire, des procdures plus techniques et plus rigoureuses. Le lecteur
introduction
constatera que, dans leurs variantes les plus lgres, les propositions
contenues dans ce Volume ne sont rien d'autre que du bon sens
organis et qu'elles rejoignent nombre de pratiques actuelles.
Il tait intressant de runir ces quatre techniques dans le mme Volume
car elles ont de nombreux points communs : forte participation des
partenaires du programme, capacit traiter des informations quantitatives
et qualitatives, prise en compte de plusieurs points de vue, etc. Les quatre
techniques peuvent d'ailleurs tre runies au sein d'une mme mthode
d'valuation. La conclusion du Volume prsente deux propositions
pratiques permettant de raliser cet assemblage.
Le public vis par ce Volume est d'abord constitu des quipes
d'valuation (c'est le seul Volume de la collection qui leur est prioritairement
destin). Le Volume s'adresse galement aux responsables d'valuation qui
dsirent approfondir leurs connaissances. Par extension, il est susceptible
d'intresser ceux qui travaillent dans des situations d'valuation multidcideurs hors du domaine des Fonds structurels.
Plusieurs modes de lecture de ce Volume sont possibles, comme le
propose l'encadr ci-aprs.
Solutions techniques pour valuer dans un cadre de partenari
Encadr 1 - Utilisations possibles de ce Volume

Si vous voulez prparer l'valuation d'ensemble d'un programme socioconomique en faisant appel tout ou partie des quatre techniques,
>
Lisez la conclusion (voir page 125), puis reportez vous, autant que de besoin,
aux diffrentes parties du Volume.
Si vous voulez tudier la cohrence d'un programme, rflchir ses objectifs

implicites, trouver des critres d'valuation transversaux pour toutes les mesures,
>
Lisez la partie consacre la cartographie conceptuelle des impacts (voir

page 15) ou simplement son mode d'emploi (voir page 29).
Si vous voulez valuer toutes les mesures d'un programme avec une mme
logique homogne et transversale,
> Lisez la partie consacre la construction et l'utilisation des chelles de
notation(voir page 51) ou simplement le mode d'emploi correspondant (voir
page 59).
Si vous voulez analyser la synergie au sein du programme et comprendre
comment les diffrentes mesures renforcent mutuellement leurs impacts,
>
Lisez la partie consacre la matrice des impacts croiss (voir page 75) ou
simplement son mode d'emploi (voir page 85).
Si vous voulez conclure l'valuation d'ensemble d'un programme, classer ou

comparer les mesures qui le composent en fonction de leur plus ou moins grande
russite, prendre en compte tous les critres qui sont importants pour les
partenaires,
>
Lisez la partie consacre l'analyse multicritre (voir page 97) ou

simplement son mode d'emploi (voir page 105).
I
La cartographie conceptuelle des impacts, telle qu'elle est prsente dans
ce chapitre, est une adaptation de la technique dite de conceptmapping utilise depuis une dizaine d'annes dans le domaine de
l'valuation. L'outil est employ pour dfinir les principaux impacts
intermdiaires du programme en recherchant la plus grande transversalit
possible entre les diffrentes mesures. La carte conceptuelle des impacts
permet de clarifier les principaux objectifs du programme (explicites et
implicites) et de fonder l'valuation sur des critres clairs et accepts par
tous les partenaires. Elle fournit galement une description prcise des
impacts attendus, utilisable de faon oprationnelle dans le cadre d'une
enqute de terrain, par exemple pour construire des chelles de notation et
des indicateurs.

l'aide de critres communs
Evaluation d'ensemble d'un p r o g r a m m e

Les programmes financs par la politique europenne de cohsion visent
tous acclrer le dveloppement socio-conomique dans telle ou telle de
ses dimensions (revenu, emploi, qualit de vie, etc.). Le principal impact
est donc gnralement attendu au niveau macro-conomique ou macro
social. Pour obtenir cet impact, la plupart des programmes adoptent des
stratgies multisectorielles, comprenant des mesures diversifies autant
par leur nature (quipement, conseil, formation, communication, etc.) que
par leur domaine (transports, recherche, tourisme, etc.).
Dans le cadre de la politique europenne de cohsion conomique et
sociale, on a recours une typologie d'intervention en trois grands
domaines d'intervention, savoir : l'amlioration des infrastructures de
base (transport, communication, quipements publics en gnral), le
soutien l'environnement productif comprenant les aides aux acteurs
conomiques (pour accrotre, par exemple, leur matrise de la qualit, leur
capacit d'exportation, leur insertion dans des rseaux d'innovation, etc.),
et enfin, le dveloppement des ressources humaines (par des actions de
formation essentiellement).
Ce large ventail de domaines d'intervention htrognes est frquent en
matire de programmes socio-conomiques. Toutefois, cette diversit
atteint, pour les programmes financs par les Fonds structurels, une
ampleur rarement gale, et qui pourrait conduire la confusion si les
programmes n'taient pas fortement structurs. Le mode de structuration
qui a t adopt comporte trois niveaux principaux auxquels s'ajoutent un
ou deux niveaux intermdiaires.
Le niveau d'ensemble du programme est associ l'objectif global, par
exemple le dveloppement conomique ou l'emploi. Ce niveau
comprend gnralement quelques axes prioritaires qui dclinent l'objectif
global dans ses principales dimensions stratgiques ;
Le niveau des mesures (une dizaine plusieurs dizaines), correspond
l'unit de base de la gestion du programme, chaque mesure faisant
l'objet d'un dispositif de gestion particulier. La mesure correspond en
Solutions techniques pour valuer dans un cadre de partenaria
principe la plus petite composante homogne du programme, et

regroupe des projets similaires. Il arrive cependant que certaines
mesures rassemblent plusieurs catgories de projets diffrents. On cre
alors une subdivision supplmentaire, appele action pour dsigner
chaque catgorie homogne de projets.
Le niveau des projets (souvent plusieurs centaines) est l'unit de mise en
uvre sur le terrain. Chaque projet est le point d'articulation entre le
programme et ses destinataires.
Encadr 2 La structure d'un p r o g r a m m e (extraits)
Programme
(comprenant
4 axes)
Axe prioritaire :
Communications
(comprenant
5 mesures)
te_
Pr
o CT
Mesure :
Routes
(comprenant
plusieurs
dizaines de
projets)
Projet :
Route entre
A et
Rattrapage du
retard de
dveloppement
eu
'ro
CU
=
_c
e
C/3
3"
CD
X3
CD
r=
s\S
O
Q.
.O
Comptitivit
accrue des
Comptitivit
accrue des
entreprises
entreprises
Gains de temps
effectif pour les
voyageurs et
les marchandises
qui circulent
dans la rgion
Gains de temps
effectif pour
les voyageurs et
les marchandises
qui circulent sur
le rseau routier
rgional
"5
Gains de temps
Q)
CC
potentiels pour
CO
o
CO
O
les vhicules
utilisant rseau
routier rgional
Gains de temps
potentiels pour un
vhicule circulant
entre A et
Longueur de
route nouvelle
ou amliore
Tous les projets d'une mme mesure produisent d'abord des ralisations
(dans l'exemple de l'Encadr cidessus il s'agit de kilomtres de routes

amliores), puis des rsultats sur leurs destinataires directs (dans
l'exemple de l'encadr 2, il s'agif de gains de temps et d'argent pour les
usagers des routes amliores), puis les impacts se matrialisent par
tapes successives sur des publics de plus en plus lointains, travers des
mcanismes multiples et ramifis (par exemple, des dplacements
internationaux plus faciles pour les entreprises rgionales ou un meilleur

accs des touristes aux sites touristiques). L'existence mme du
programme prsuppose que tous ces mcanismes convergent vers
l'objectif global de dveloppement. Il n'en reste pas moins que cette
convergence se fait par des cheminements nombreux et trs ramifis.
La ralisation d'une valuation de programme pourra prendre des formes
trs diffrentes selon la faon dont on veut analyser ces impacts. Dans
cette Collection, on a choisi de prsenter les trois situations suivantes :
L'valuation d'ensemble qui se donne pour contrainte d'examiner tous
les impacts de toutes les mesures.
L'analyse plus approfondie des impacts macro-conomiques.
L'analyse plus approfondie d'un impact particulier, par exemple au niveau
d'une mesure.
Ce Volume a t prpar dans la perspective de la premire situation, c'est-dire l'valuation d'ensemble de tous les impacts d'un programme
multisectoriel. On se reportera aux Volumes 1 et 3 de la Collection pour une
introduction aux techniques d'valuation applicables aux deux autres
situations.
Synthse d'valuations spcifiques

Chaque mesure s'value naturellement en fonction de critres qui lui sont
propres. Dans l'Encadr 2 par exemple, la mesure d'amlioration des
routes sera value, sur la base de ses rsultats et de ses impacts
spcifiques, en fonction du gain de temps potentiel ou rel pour les
vhicules utilisateurs. Comme cela se fait souvent, on peut supposer que
l'quipe d'valuation estimera le nombre total d'heures de transport
conomises annuellement par les vhicules utilisateurs. Ce nombre
d'heures peut tre rapport au cot de la mesure d'amlioration des routes
de faon permettre des comparaisons avec des programmes routiers
dans d'autres rgions similaires.
Les indicateurs qui viennent d'tre cits sont des indicateurs spcifiques
un domaine d'intervention (les routes), de mme que la dmarche
d'valuation suivie est celle d'une valuation spcifique au secteur routier.
On peut conduire des valuations spcifiques pour toutes sortes de
mesures : voies ferres, ports, aroports, mais aussi pour des secteurs
d'intervention aussi divers que la formation des chmeurs de longue dure,
la rhabilitation de quartiers dgrads ou la mise en place de rseaux

d'innovation. On trouvera dans le Volume 2 de la Collection un grand
nombre d'exemples d'interventions, accompagns d'une description de
leurs rsultats et impacts spcifiques, et de propositions d'indicateurs
adapts.
Lorsqu'une quipe d'valuation doit raliser l'valuation d'ensemble d'un
programme, une pratique courante consiste raliser des valuations
spcifiques, mesure par mesure, et synthtiser ensuite les rsultats au
niveau des axes, puis du programme, comme le schmatise l'Encadr 3.
Encadr 3
La synthse d'valuations spcifiques

Programme
.__
/ ^
Axes
Synthse
Autres
Communications
/ Synthse
Mesures
V*
^^^^
Routes
^ .
/ \ 1
Synthse \
100000
0000000
L1000D
Projets
Cette procdure d'valuation de bas en haut ne prsente pas de

problme majeur quand il s'agit d'valuer une mesure en faisant la synthse
des valuations des projets qui la composent. En effet, tous les projets
d'une mme mesure se ressemblant, on peut procder par agrgation,
calcul de moyenne, comparaison des projets entre eux, identification des
projets exemplaires, etc.
L'valuation par synthse peut, au contraire, prsenter de graves faiblesses
mthodologiques si elle porte sur des mesures htrognes values de
faon spcifique. A la limite, chaque valuation spcifique utilise ses propres
indicateurs, analyse des impacts distincts et applique des critres de
jugement diffrents. Si la situation se prsente ainsi, l'valuation d'ensemble
d'un programme ne peut tre que la juxtaposition d'valuations partielles des

mesures. La notion mme de synthse n'a plus de sens. On arrive produire
un rapport d'valuation qui consacre un long chapitre chaque mesure, mais
dont la conclusion d'ensemble tient en quelques lignes au contenu trs
pauvre ou trs fragile. Dans une telle situation, il n'est pas possible d'aboutir
des recommandations intressant rellement l'ensemble du programme.
Par exemple, il n'est pas possible de justifier une recommandation de
rallocation budgtaire entre mesures car on n'a pas d'argument pour dire
qu'une mesure est plus efficace ou plus russie qu'une autre.
Evaluation selon des critres transversaux

Pour produire de vritables conclusions synthtiques, il faut disposer de
critres d'valuation qui permettent de comparer la valeur des mesures les
unes par rapport aux autres. Un lment de comparaison frquemment
utilis est celui du rythme de mise en uvre, qui se traduit par exemple
dans un indicateur de taux de consommation budgtaire ou de taux
d'avancement des ralisations. Cet lment de comparaison joue un rle
important dans le cadre du suivi. Il constitue trop souvent le principal
argument de rallocation budgtaire quand l'quipe d'valuation ne
parvient pas fonder ses recommandations sur des critres communs
d'efficacit, d'efficience ou de pertinence.
Exemple : Comparaison du taux d'atteinte des objectifs
Une mesure a pour objectif de requalifier 2 000 salaris menacs de perdre leur
emploi, et une autre mesure vise crer 500 nouveaux contacts internationaux pour
des PME rgionales. A la date de l'valuation mi-parcours, la premire mesure a
atteint 53% de son objectif et la seconde seulement 25%. Peut-on pour autant dire
que la seconde mesure est un chec relatif ? En ralit, la premire mesure est la
continuation d'une intervention ancienne dont les objectifs n'ont pas vritablement
chang, tandis que la seconde mesure est innovante et ambitieuse. Le
rapprochement des deux taux ne peut donc pas donner d'argument pour comparer
l'efficacit des deux mesures.
Pour renforcer les valuations, on peut envisager de comparer les mesures
en fonction du taux d'atteinte de leurs objectifs spcifiques (voir l'exemple
ci-dessus). Le fait qu'une mesure atteigne rapidement ses objectifs peut
tre un argument en faveur de son efficacit ou de sa russite mais cet
argument est forcment fragile. Il suffit que les objectifs aient t fixs de
manire trs prudente ou au contraire trs ambitieuse, pour fausser les

conclusions. L'valuation du degr d'atteinte des objectifs renvoie une
question d'valuation ex ante : peut-on dire q u e les objectifs de toutes les
mesures ont t fixs avec le m m e degr d ' a m b i t i o n ? Cette q u e s t i o n
renvoie elle-mme une autre question fondamentale traite dans cet
ouvrage : au n o m de quel critre c o m m u n peut-on c o m p a r e r le d e g r
d'ambition des diffrentes mesures d'un m m e p r o g r a m m e ?
Dans le cadre de l'valuation d ' e n s e m b l e d'un p r o g r a m m e , ce Volume
cherche promouvoir un vritable travail de synthse f o n d sur l'examen
de la contribution des diffrentes
mesures au d v e l o p p e m e n t
socio-
c o n o m i q u e , et non pas sur leur rythme d ' e x c u t i o n .
Contribution l'atteinte de l'objectif global du programme

Exemple : Objectif global et objectifs intermdiaires
La province belge du Hainaut reoit des aides de l'Union Eeuropenne dans le cadre
du programme de dveloppement dont la priorit est l'adaptation conomique de la
province. L'objectif global fix au dbut du programme en 1994 est le redressement
du PIB/habitant en vue d'atteindre un niveau de 79% de la moyenne communautaire
en 1999.
Le programme contient quatre axes d'intervention, chacun d'entre eux tant
subdivis en mesures. L'axe prioritaire 1 a pour objectif de relancer l'activit
conomique. Il s'agit tout la fois de contribuer la modernisation du tissu
conomique et au dveloppement endogne de la rgion, de renforcer ses capacits
en matire de recherche et dveloppement technologique, d'offrir aux entreprises un
environnement favorable leur installation et de transformer en emplois la croissance
conomique rsultant de ces efforts. L'objectif de l'axe 2 est de renforcer l'attractivit
de la rgion. La province du Hainaut porte encore les traces d'un intense pass
industriel. Rendre la zone attractive, assurer un cadre de vie de qualit et prserver
l'environnement constituent ds lors un dfi tout particulier. L'axe prioritaire 3 a pour
but de complter les infrastructures du transport dans une perspective d'intgration
par rapport aux autres mesures du programme. L'objectif de l'axe 4 est de donner
sa chance chacun. Les problmes du march du travail dans le Hainaut justifient la
mise en uvre d'une politique d'emploi qui cherche promouvoir le dveloppement
d'une conomie la fois comptitive et solidaire.
Chaque p r o g r a m m e se doit d e contribuer l'objectif global de cohsion

c o n o m i q u e et sociale qui est poursuivi par l'Union Europenne. L'objectif
global d ' u n p r o g r a m m e s'exprime lui-mme en termes de d v e l o p p e m e n t
socio-conomique, avec une pondration plus ou moins importante

accorde tel ou tel aspect de ce dveloppement : diversification
sectorielle, comptitivit, intgration sociale, durabilit de la croissance,
respect de l'environnement, etc. Comme le montre l'exemple prcdent,
l'objectif global dcrit l'impact ultime que le programme cherche obtenir.
Dans le cadre d'un programme conu de faon cohrente, chacune des
mesures contribue la production de l'impact global du programme.
Encadr 4 - Complexit des impacts et niveaux d'objectifs
Mesure
amlioration
des routes
Gains de temps
pour
les utilisateurs
habitant
la rgion
Impact spcifique
Impact intermdiaire
Impact global
Meilleure
cohsion
conomique
et sociale
On pourrait vouloir juger les mesures du programme en fonction de leur

contribution l'atteinte de l'objectif global, mais des obstacles pratiques
rendent cette faon de faire impossible. Comme le montre l'encadr 4,
l'impact d'une mesure donne sur la cohsion conomique et sociale passe
par des mcanismes trop nombreux et trop complexes pour faire l'objet
d'une valuation robuste. Certains de ces mcanismes font d'ailleurs appel
des raisonnements macroconomiques. Une quipe d'valuation peut
certainement apporter des connaissances utiles sur ces mcanismes, mais
elle pourra rarement les analyser de faon diffrencie, mesure par mesure,
avec suffisamment de robustesse pour justifier des recommandations
fortes, de type rallocations budgtaires. En pratique, l'observation

empirique des impacts doit s'arrter un niveau intermdiaire, dpassant
souvent les destinataires directs, mais n'atteignant jamais l'ensemble de
l'conomie rgionale. Audel de ce niveau intermdiaire, on travaille en
utilisant des coefficients d'extrapolation ou des modles conomtriques,
techniques qui fournissent des rsultats utiles mais qui ne permettent pas
de dpartager les mesures en fonction de leur efficacit relative.
Reprage des principaux impacts intermdiaires

Plusieurs techniques ont t dveloppes pour permettre l'identification
des liens de causalit intermdiaires entre les rsultats spcifiques d'une
intervention publique et ses impacts plus globaux . La plus simple et la plus
connue est celle du cadre logique. Originellement conue pour l'valuation
ex ante des projets dans les pays en dveloppement, cet outil donne une
prsentation structure de l'intervention value et de ses effets attendus.
En appliquant le cadre logique l'exemple cit dans l'encadr 2, on obtient
un tableau qui nonce les attentes en matire de ralisations (en bas
gauche de l'encadr 5) ainsi que pour les principales tapes logiques
sparant les ralisations de l'impact global (en haut gauche).
Encadr 5 Classement des objectifs l'aide du cadre logique

Projet de route entre A et voir Encadr 2.
Enonc
des
attentes
Impact
global
Dveloppement
conomique et social
Impact
spcifique
Economie pour les

entreprises rgionales
Rsultat
Ralisation
Gain de temps sur

parcourstype
Amlioration
des routes
Indices
de succs
vrifiables
Conditions
et risques
A chaque tape logique, l'quipe d'valuation mentionne les moyens

prvus ou prvoir pour vrifier l'atteinte des objectifs (indices de succs
vrifiables). Elle dfinit en mme temps ce qui doit tre considr comme
un succs ou un chec (ralisations, rsultats et impacts
suffisants/insuffisants). En obligeant remplir cette seconde colonne de la
matrice avec des indicateurs ou des descriptions qualitatives prcises, la
technique apporte souvent une clarification utile qui permet de revenir
une description plus prcise de la premire colonne. La troisime colonne
intitule conditions et risques tablit une liste des facteurs exognes
qui peuvent faciliter ou contrarier le passage d'une tape l'tape suivante.
On trouvera plus de dtails sur la technique du cadre logique dans le
La structure du cadre logique, comportant seulement deux niveaux
d'impact, ne permet pas de bien reprsenter les impacts intermdiaires. Un
second outil, mieux adapt la complexit des programmes socioconomiques, est celui de l'arbre des objectifs. Comme le montre
Encadr 6 - Arbre des objectifs
Travaux
portuaires
Formation /
tourisme
Aroports
Amlioration
des routes
Nouvelles
activits
touristiques
Accessibilit
voyageurs
Accessibilit
fret
Diversification
Attnuer
le caractre
priphrique
de la rgion
Dveloppement
conomique
et social
Dans la pratique, l'arbre des objectifs est dessin sous une forme couche avec les mesures
gauche et l'objectif global droite pour faciliter sa prsentation
l'Encadr 6, cette technique permet de dterminer la contribution logique

de chacun des objectifs de niveau plus spcifique un objectif de niveau
plus global, et ainsi de suite jusqu' l'objectif global du programme
constitu par le tronc de l'arbre.
Par rapport au cadre logique, l'arbre des objectifs apporte deux lments
intressants : d'une part, il permet de ramifier les branches en autant de
rameaux qu'il y a de mesures dans le programme, et d'autre part, il permet
de multiplier les niveaux intermdiaires pour mieux rendre compte de la
complexit des mcanismes de production des impacts.
L'arbre des objectifs fait galement apparatre des objectifs intermdiaires
communs plusieurs mesures. Dans l'exemple de l'Encadr 6, on voit que
l'objectif attnuer le caractre priphrique de la rgion peut servir de
rfrence commune pour juger l'efficacit des trois mesures situes en haut
gauche de l'arbre. En fait, les critres communs plusieurs mesures
apparaissent tous les embranchements de l'arbre. Cependant, chaque
embranchement cre une possibilit de comparaison limite aux branches
qui en dpendent. Pour comparer des mesures situes droite et gauche
de l'arbre, il faudrait redescendre jusqu'au tronc, or on a vu que c'est
gnralement impossible. Du fait de sa construction en arborescence, la
technique a donc un faible potentiel pour l'valuation synthtique et
transversale des multiples mesures d'un programme.
R e c h e r c h e d ' i m p a c t s intermdiaires t r a n s v e r s a u x
Pour progresser vers une valuation vritablement synthtique, on doit
abandonner l'image de l'arbre pour passer l'image d'un rseau
d'objectifs. L'outil adquat est le diagramme logique des impacts qui
permet de considrer une multiplicit de relations logiques entre les
mesures et les impacts intermdiaires. Ainsi, dans l'exemple de l'Encadr 7
ci-aprs, l'impact intermdiaire viabilit des entreprises est
indirectement reli toutes les mesures du programme, ce qui permet
d'envisager des comparaisons entre toutes les mesures sur la base de leur
contribution la viabilit des entreprises.
Le diagramme logique fait apparatre une srie d'impacts intermdiaires qui
vont permettre de fonder l'valuation d'ensemble du programme. Parmi les
impacts intermdiaires, il conviendra de rechercher ceux qui rpondent aux
deux exigences suivantes :
Dessiner la carte conceptuelle des Impacts
Ne pas tre trop globaux pour permettre une analyse empirique partir
d'observations de terrain ;
Etre connects au plus grand nombre possible de mesures pour
permettre des comparaisons et des agrgations au sein du programme.
Encadr 7 - Diagramme logique des impacts attendus
Mesures
R&D
Tourisme
Friches
industrielles
Entreprises
Agriculture
Formation
Impacts intermdiaires
Ouverture
extrieure
Impacts globaux
Meilleure
viabilit des
entreprises
Tissu
conomique
renforc
Meilleure
employabilit
Meilleur
dispositif de
production
Equilibre
structurel de
l'emploi
Le diagramme logique des impacts peut tre construit de plusieurs faons.

Une premire dmarche consiste construire l'arbre des objectifs en
s'appuyant sur la documentation du programme, puis transformer l'arbre
en rseau en s'appuyant sur des entretiens avec les gestionnaires du
programme et avec quelques oprateurs. Le diagramme est ensuite
prsent au groupe de pilotage de l'valuation pour tre discut et valid.
Cette premire dmarche n'est pas toujours suffisante, en particulier si
l'quipe d'valuation constate des ambiguts ou des incohrences dans
les objectifs intermdiaires. Dans le pass, il est arriv que l'quipe
d'valuation invoque de tels problmes pour dclarer le programme
invaluable dans son ensemble et pour arrter son travail au stade des
valuations spcifiques des mesures. Dans cette situation o les objectifs
intermdiaires ne sont pas dfinis assez clairement, l'quipe d'valuation
ne devrait pas renoncer, mais plutt s'engager dans la voie d'une
reconstitution des objectifs implicites.
Dans cette perspective, la dmarche consiste construire le diagramme
logique des impacts, non pas partir de l'arbre des objectifs, mais partir
des impacts attendus par les gestionnaires et les oprateurs du programme.

Pour ce faire, l'quipe d'valuation commence par schmatiser les mesures,
leurs rsultats et leurs impacts spcifiques (voir les cadres blancs gauche
de l'Encadr 8) ainsi que l'impact global (cadre de droite). La dmarche
consiste ensuite identifier et dcrire de faon prcise une srie d'impacts
intermdiaires attendus (cadres intermdiaires colors). Ceux-ci doivent
permettre de connecter les impacts spcifiques et globaux par
l'intermdiaire d'un rseau de relations logiques le plus dense possible.
Encadr 8 - Reconstituer les objectifs intermdiaires implicites

Mesures et
impacts
spcifiques
Impacts
intermdiaires
transversaux
,
.
'"*
*
Nouveaux produits
touristiques
?
Diversification des
entreprises
Dveloppement
des services
Dveloppement
socio-conomique
aux entreprises
Utilisation accrue
du gaz naturel
Cration
d'entreprises
technologiques
Dveloppement des
contacts rechercheentreprises
Cette dmarche a fait l'objet d'une valuation pilote dans le cadre du
programme MEANS en 1996. Le travail faisait partie de l'valuation miparcours du programme de dveloppement socio-conomique de la rgion
de Valencia, (Espagne) cofinanc par les autorits rgionales, le
gouvernement espagnol et la Commission europenne. L'quipe
d'valuation a employ la technique de la cartographie conceptuelle des
impacts dont le mode d'emploi est donn ci-aprs.
Mode d'emploi de la cartographie conceptuelle des impacts

La cartographie conceptuelle d'impacts est une adaptation de la technique
dite de concept-mapping utilise depuis une dizaine d'annes dans le
domaine de l'valuation. La technique a d'abord t utilise comme aide
la dfinition de stratgies ou la rorganisation des entreprises avant d'tre
applique la conception de politiques publiques, notamment de
programmes sociaux. L'application dveloppe dans le cadre du
programme MEANS a t spcialement conue pour prciser les objectifs
intermdiaires explicites et implicites d'un programme de dveloppement
socio-conomique et pour faciliter le choix des indicateurs associs.
L'outil est fond sur une rflexion collective et privilgie la diversit et la
richesse des points de vue. Les ides de dpart sont nonces et
regroupes par les participants eux-mmes, de faon intuitive. Un logiciel
de traitement de donnes qualitatives synthtise les reprsentations
individuelles sous la forme d'une image graphique collective (la carte
conceptuelle). Cette technique vite que l'quipe d'valuation impose sa
propre structure logique qui risquerait de rester trangre aux participants.
Constituer un o u plusieurs g r o u p e s d e travail
Exemple : Rflexion collective avec un grand nombre de participants
La technique de la carte conceptuelle a t utilise en Irlande du Nord pour valuer
un programme de rconciliation entre les communauts catholique et protestante. La
question evaluative tait la suivante : quels types d'actions de rconciliation
contribuent le mieux amliorer la comprhension mutuelle entre les
communauts ? . Grce une rflexion collective impliquant 200 personnes, un
grand nombre de propositions ont t nonces (exemple : soutien de la langue
irlandaise comme faisant partie intgrale de notre hritage culturel ).
Au cours d'une runion plus restreinte, les propositions ont t regroupes par
thme. Chaque participant a class les propositions en piles cohrentes et les a
notes de 1 5 selon leur pertinence. Les regroupements effectus par les
partenaires ont t synthtiss sous forme de carte conceptuelle. Le rsultat a
permis de regrouper les propositions en six classes qui ont reu une dnomination
(exemple : traditions culturelles ) et qui ont servi articuler la suite de la rflexion.
La technique peut tre mise en uvre au sein du groupe de pilotage de
l'valuation, condition que celui ci comprenne au moins une dizaine de
personnes. Elle peut aussi tre applique dans le cadre d'une srie de
groupes de travail. Dans ce cas, elle peut impliquer jusqu' deux cents
personnes comme dans l'exemple ci-dessus.
Pour constituer des groupes de travail, on peut regrouper les participants
par catgorie, par exemple : un groupe de gestionnaires du programme, un
groupe de reprsentants des autorits locales, un groupe de chefs
d'entreprise, etc.
Exemple : Groupes de travail par catgorie de participants
La technique de la cartographie conceptuelle a t applique aux Etats-Unis dans
le cadre d'un programme de soins Infirmiers. Les objectifs de l'tude taient, d'une
part de donner des informations aux gestionnaires sur les pratiques de soins
apports, et d'autre part, de faire tat des thories et des rsultats de recherche en
matire de soins. Trois groupes distincts ont t forms : un groupe d'infirmiers, un
groupe de patients et un groupe de thoriciens des soins infirmiers. Pour chacun
des groupes, on a appliqu paralllement la technique de la cartographie
conceptuelle.
SI l'on choisit de constituer plusieurs groupes de travail, une solution est de
regrouper les diffrents acteurs suivant les domaines d'intervention du
programme ; par exemple : un groupe pour les interventions dans le
domaine des infrastructures, un groupe pour les interventions dans le
domaine de l'environnement productif et un troisime groupe pour les
interventions dans le domaine des ressources humaines.
Il est souhaitable que chaque groupe compte entre 10 et 15 personnes. Les
groupes doivent tre composs de faon ce que leurs participants aient
le mme niveau de connaissance du programme, de sa logique et de ses
impacts. Enfin les participants doivent s'engager tre prsents de faon
continue lors des runions du groupe. Il faut prvoir deux trois runions
chelonnes sur une deux semaines. Lorsque les circonstances le
permettent, une partie du travail peut tre organise sous forme de runion
virtuelle par change de courrier lectronique.
Reprer les i m p a c t s a t t e n d u s
d a n s les d o c u m e n t s du p r o g r a m m e
Pour commencer son travail, l'quipe d'valuation consulte tous les
documents disponibles et susceptibles de faire apparatre les impacts
potentiels du programme. En premier lieu, elle s'appuie sur une analyse du

document de programmation. Les objectifs sont inventoris et on identifie
ceux qui sont associs une description des impacts attendus. Les
intituls des mesures, des sous-programmes ou des axes prioritaires
peuvent aussi servir au reprage des impacts attendus. Les constats, les
faits ou les motifs voqus, comme la raison d'tre du programme, peuvent
galement inspirer l'quipe d'valuation pour dfinir ce que le programme
est cens produire.
Au-del des documents officiels de programmation, l'quipe d'valuation
peut tendre son analyse aux travaux de prparation du programme et
notamment au plan tabli par l'Etat membre, aux analyses stratgiques
(SWOT), ainsi qu'aux justifications apportes pour l'ligibilit du territoire
ou du public cible compte tenu des dispositions rglementaires rgissant
les Fonds structurels. Le Cadre Communautaire d'Appui, lorsqu'il en existe
un, constitue galement une source d'information utile. Les rapports
d'valuation prcdents sont galement utilisables ainsi que les
informations issues des documents de gestion et de suivi, par exemple les
fiches techniques dcrivant les critres de slection des projets. On tudie
galement les bilans et les tableaux de bord, ainsi que les comptes-rendus
des runions de suivi, les communiqus de presse et les dclarations
officielles propos du programme et des bnfices qu'on en attend.
L'analyse des documents aboutit une liste d'extraits dcrivant ou
voquant les effets que le programme doit produire ou est suppos
produire. Si plusieurs groupes ont t constitus pour couvrir diffrents
domaines d'intervention, l'quipe d'valuation tablit une liste par groupe
en rassemblant tous les extraits susceptibles de concerner les diffrents
groupes, un mme extrait pouvant concerner plusieurs groupes.
Faire e x p r i m e r les i m p a c t s a t t e n d u s
par les a c t e u r s du p r o g r a m m e
Dans une seconde tape, l'quipe d'valuation ralise une enqute
qualitative auprs de dix vingt participants des groupes de travail. Le but
de l'enqute est de rvler les objectifs implicites des gestionnaires et des
oprateurs qui mettent le programme en uvre. Les questions de base
sont du type :
Parmi les interventions du programme, quelles sont celles que vous
connaissez le mieux ?
Pour les interventions que vous connaissez le mieux, pouvez-vous dire

quels sont les publics touchs directement ou indirectement ?
De quelle nature sont les effets du programme sur ces publics ?
Par quels mcanismes ces effets se produisent-ils ?
Les effets produits doivent-ils
dsirables ?
tre considrs
comme
positifs,
Pour obtenir le point de vue des acteurs sur les effets du programme,
l'quipe d'valuation procdera par entretiens individuels tlphoniques ou
en face face. L'entretien de groupe (focus group) est galement
envisageable. Il prendra alors la forme d'une premire runion du groupe de
travail. Par contre, l'entretien ne doit pas tre directif, ni faire appel un
questionnaire. Il s'agit en effet de faire merger le maximum d'ides
possibles, en respectant compltement les mots et les phrases des
personnes interroges plutt que de leur demander de se ranger dans des
cadres prtablis.
Les impacts sont ceux que les acteurs du programme s'attendent
constater court ou moyen terme. Ils peuvent tre escompts ou non dans
les documents du programme. Ils sont gnralement favorables, mais
l'quipe d'valuation n'hsitera pas retenir aussi ceux qui sont
dfavorables. Par exemple, les deux impacts suivants pourront tre
retenus : les entreprises aides augmentent leur productivit et des
emplois sont perdus dans les entreprises aides du fait des gains de
productivit . L'exprience montre que les participants n'voquent pas
facilement les impacts dfavorables. L'quipe d'valuation ne doit donc
pas hsiter insister sur l'intrt d'examiner galement ce type d'impacts.
On doit aussi veiller ce que les personnes interroges ne mentionnent pas
uniquement des impacts faciles atteindre.
L'analyse des entretiens aboutit une liste de phrases, extraites du
discours des personnes interroges, et dcrivant les effets du programme,
tels qu'ils sont attendus par ses acteurs. Si plusieurs groupes ont t
constitus, on constitue pour chaque groupe la liste des phrases
susceptibles de l'intresser.
Etablir une liste h o m o g n e d ' n o n c s d ' i m p a c t s
Tous les extraits de textes et de discours qui ont t runis dans les deux
tapes prcdentes doivent tre rcrits sous une forme homogne par
l'quipe d'valuation. Il s'agit de reformuler l'ensemble des lments

recueillis sous forme de courtes phrases appeles noncs d'impact .
Un nonc d'impact prend toujours une des formes suivantes : tel public
change son comportement de telle faon, telle variable conomique est
modifie de telle faon, tel lment de l'environnement volue de telle
faon. Par exemple, si un objectif du programme est une diminution de
l'exode rural des jeunes , il donnera lieu l'criture de l'nonc suivant :
plus de jeunes s'installent dans les bourgs ruraux . L'nonc sousentend que le changement ou l'volution sont dus au programme, mais il
n'est pas indispensable de faire rfrence cette relation causale
chaque fois. Par ailleurs, l'nonc dcrit la nature de l'impact attendu et
non pas son niveau. Par exemple, si un impact est nonc sous la forme
plus de jeunes s'installent dans les bourgs ruraux , diffrentes mesures
pourront avoir diffrents niveaux de russite de ce point de vue : un
nombre significatif de jeunes se sont installs durablement ou
quelques jeunes se sont installs de faon exceptionnelle ou encore
aucun jeune ne s'est install . Ces niveaux de russite seront voqus
plus loin sous l'appellation de descripteurs d'impact (voir page 66).
Un nonc s'applique toujours un seul impact. Par exemple, si un objectif
du programme est accrotre le revenu des exploitants agricoles par la
diversification des activits , il donnera lieu l'criture de deux noncs
d'impact :(1) les activits des exploitants agricoles se diversifient et (2)
le revenu des exploitants agricoles s'accrot .
L'quipe d'valuation doit garder l'esprit l'objectif de l'exercice qui est
d'inventorier les impacts intermdiaires. A ce stade, il convient donc
d'liminer les noncs d'impacts trop spcifiques qui ne peuvent
manifestement concerner qu'une mesure et une seule. De mme, on
pourra carter les impacts trop globaux lorsqu'on estime qu'ils ne pourront
pas tre relis, de faon empirique, aux diffrentes mesures du
programme.
A l'issue de cette tape, l'quipe d'valuation fait un premier tri pour
liminer les noncs qui font manifestement double emploi et qui sont
crits dans des termes quasiment identiques. Elle obtient une liste
d'noncs (voir exemple suivant) qui ne doit pas dpasser la centaine. Si la
liste est trop longue, on carte les impacts qui concernent trop
spcifiquement telle ou telle mesure. Si plusieurs groupes de travail ont t
constitus, on tablit une liste pour chaque groupe.
Exemple : Impacts noncs par les gestionnaires d'une mesure d'aide directe
aux PME
Les PME disposent de meilleurs systmes de gestion
La qualification des employs des entreprises artisanales s'accrot
L'offre touristique se diversifie
Un plus grand nombre d'entreprises respectent les normes environnementales
Les entreprises remplacent des sources d'nergie drives du ptrole par le gaz
naturel
Les Centres de Recherche dveloppent des projets de R&D adapts aux besoins de
l'industrie rgionale
Les entreprises amliorent leur processus de production
Les entreprises augmentent leurs ventes l'exportation
La situation financire des PME s'amliore
Des emplois sont crs dans les zones prioritaires
Les entreprises rduisent leur production de dchets
Valider les n o n c s
L'tape qui suit est ralise dans le cadre d'une runion du groupe de
pilotage ou de plusieurs runions s'il y a plusieurs groupes de travail. Dans
ce second cas, chaque groupe examine la liste des noncs d'impact qui
a t prpare son intention.
L'animateur de la sance commence par :
exposer les principes de la technique
prciser la logique qui a rgi le regroupement des participants
expliquer ce que l'on entend par nonc d'impact et comment les
noncs ont t tablis
prsenter la liste des noncs
La liste fait ensuite l'objet d'une discussion approfondie qui porte
notamment sur les points suivants :
Y a-t-il contradiction ou non entre les noncs qui proviennent des
documents de programmation, de gestion et de suivi et ceux qui
proviennent des entretiens ?
Certains noncs peuvent-ils tre rcrits de faon s'appliquer un
plus grand nombre de mesures ?
Les noncs sont-ils bien compris de la mme faon par tous les
participants ? Sinon, comment les prciser ?
Peut-on fusionner des noncs dont la rdaction est proche et qui
n'ajoutent rien en terme d'impact ?
Doit-on ajouter des noncs importants ?
P o n d r e r les n o n c s
Aprs cette premire runion, l'quipe d'valuation finalise la liste des
noncs. Les noncs sont rpartis de faon alatoire en veillant ne pas
constituer des successions d'noncs proches. L'quipe d'valuation
imprime pour chaque participant une liste des noncs numrots.
Une deuxime runion du groupe de travail a lieu peu de temps aprs la
premire. S'il y a plusieurs groupes de travail, chacun d'entre eux tient deux
runions successives et rapproches. Le premier objectif de la runion
consiste hirarchiser les impacts attendus en fonction de leur importance
pour la russite d'ensemble du programme. La runion se droule sur la
base des consignes suivantes :
Distribuer chaque participant la liste des noncs.
Demander aux participants d'attribuer chaque nonc une note en
fonction de l'importance de l'impact correspondant pour la russite du
programme (1=impact peu important
4=impact essentiel). Cette
notation vaut aussi pour les impacts dfavorables (4=impact trs
pnalisant, ..., 1=impact peu pnalisant). Les notes sont inscrites sur la
liste des noncs d'impacts. La liste des noncs d'impacts est collecte.
Regrouper les impacts conceptuellement proches

Le travail collectif se poursuit par un regroupement des noncs d'impact
en quelques grandes classes. C'est ici qu'intervient la technique de la
cartographie conceptuelle proprement dite. L'quipe d'valuation imprime
pour chaque participant un jeu de cartons ou bristols en faisant figurer sur
la mme face de chaque carton un nonc et son numro.
La runion se poursuit sur la base des consignes suivantes :
Distribuer chaque participant la srie complte des noncs d'impact.
Encadr 9 - Distribution des noncs d'impact
Demander aux participants de regrouper les cartons en plusieurs piles en

fonction de leur proximit conceptuelle. Chacun des membres du groupe
de travail va ainsi procder des regroupements d'impacts qui relvent
pour lui d'une mme classe d'impacts. La consigne est la suivante :
Mettez dans une mme pile les impacts qui vous semblent proches .
La constitution des piles est trs libre. La seule contrainte est que tous
les cartons ne doivent pas se trouver dans une seule pile et qu'il ne doit
pas y avoir autant de piles que de cartons.
On demande aux participants d'expliciter, au dos du premier carton de
chaque pile, la logique de constitution de la pile.
On rcolte les piles de chacun des participants, on agrafe chacune des
piles et on les place dans une enveloppe au nom du participant.
Les piles produites par chacun des membres du groupe font l'objet d'une
analyse statistique. Il s'agit de constituer des classes d'impact rendant
compte le plus fidlement possible des regroupements effectus par les
participants. La technique consiste compter le nombre de fois que deux
impacts ont t mutuellement associs et considrer ce nombre comme
un indice de proximit conceptuelle entre ces deux impacts, la distance
conceptuelle tant au contraire gale au nombre de fois o les deux impacts
n'ont pas t associs. On construit ensuite une matrice carre comportant
tous les noncs en ligne et en colonne, chaque cellule faisant apparatre la
distance conceptuelle de deux impacts. Cette matrice est traite par une
analyse statistique multidimensionnelle qui produit deux rsultats :
Une carte conceptuelle sur laquelle les impacts sont positionns et qui
reflte le mieux possible leurs proximits et leurs distances conceptuelles
(voir encadr ci-dessous).
Une classification hirarchique montrant les noncs
conceptuellement les plus proches (voir encadr 11).
qui
sont
L'ensemble de la dmarche peut tre conduit l'aide d'un logiciel d'analyse

statistique et d'un micro-ordinateur, sachant qu'il existe plusieurs logiciels
standards sur le march. Pour faciliter la dmarche, on peut galement
utiliser le logiciel qui a t dvelopp spcialement pour le concept
mapping (voir rfrences bibliographiques W.M.K. Trochim, 1989).
Encadr 10 - Carte conceptuelle des impacts

<1> Les PME
disposent de
meilleurs systmes
de gestion
;12> La situation
financire
des PME
s'amliore
<25> Les entreprises

rduisent leur
production de dchets
<7> Les entreprises
remplacent des sources
d'nergie drives du
ptrole par le gaz naturel
A partir de cette carte, il est possible de poursuivre l'analyse statistique en

formant un certain nombre de classes d'impacts. On utilise pour cela la
classification hirarchique en coupant l'arborescence en un point donn.
Dans l'exemple cidessous, deux dcoupages sont proposs, le premier

donnant naissance cinq classes d'impacts, le second six (classes A, B,
C, D, E, F). Dans cet exemple, il vaut mieux retenir le dcoupage en cinq
classes car l'encadr montre que si l'on regroupe les classes C et D, alors
on devrait galement tendre ce regroupement la classe E. Une fois que
les classes ont t dcoupes, il est possible de calculer un indice de liaison
pour chaque nonc. L'indice de liaison varie entre 0 et 1, une valeur proche
de 1 signifie que l'nonc a jou un rle important dans la construction de
la classe d'impacts laquelle il appartient, une valeur proche de 0 signifie
au contraire que l'nonc n'est pas reli troitement sa classe.
Encadr 11 Classification hirarchique des impacts
J&*
oe oe
12 La situation financire des

37
PME s'amliore
1 Les PME disposent de
15
meilleurs systmes de
no
gestion
45
18
6
40
39
.
D
f
F \
!
I
1
I
4
25 Les entreprises rduisent leur
|0
production de dchets
1 Les entreprises remplacent
19
des soucrces d'nergie
23
drives du ptrole par
le gaz naturel
Dans le cadre de l'valuation pilote ralise Valencia, le groupe

infrastructures a retenu trois classes d'impacts, le groupe aides
directes aux entreprises en a retenu huit et le groupe soutien
l'environnement productif sept.
Si les participants sont peu nombreux et si le nombre d'noncs d'impact
est infrieur une trentaine, on peut procder sans faire appel un logiciel
d'analyse statistique, par exemple en utilisant une technique de discussion
en groupe de type Metaplan. Cette technique est dcrite dans le
Volume 3 de la Collection. Elle aboutit un regroupement visuel des

noncs d'impact, ralis dans le cadre d'une discussion collective, ainsi
qu' une pondration de ces noncs. Cette approche simplifie a t
utilise dans le cadre de l'valuation miparcours d'un programme de
dveloppement socioconomique comme le montre l'exemple suivant.
Exemple : Utilisation de la technique METAPLAN pour obtenir les classes

d'impacts
Dans le cadre de l'valuation miparcours d'un programme de reconversion
industrielle en France, la premire runion du groupe de pilotage avait comme
principal objectif de produire une liste des impacts attendus.
La prparation du plan de discussion et l'animation de la sance ont t pris en
charge par des consultants extrieurs laide de l'outil METAPLAN. Les participants
(13 personnes) taient des gestionnaires de mesures et des oprateurs.
La sance a dur environ deux heures. Elle a fait ressortir les principaux impacts
attendus, puis les a regroups en cinq classes dnommes comme suit :
A Requalification de la main d'uvre
Adaptation des formations
C Attrait du territoire
D Reconversion/Diversification
E Cration d'emplois d'initiative locale
Valider les classes d'impacts obtenues

Dans le processus de cartographie conceptuelle, chaque groupe de travail
se runit une nouvelle et dernire fois pour discuter et valider les classes
d'impacts qui apparaissent sur la carte. L'quipe d'valuation aura au
pralable tabli et imprim la carte, ainsi qu'une liste d'noncs regroups.
Pour chaque classe successivement, les participants procdent de la faon
suivante :
Parcourir les impacts faisant partie de la classe et vrifier leur signification.
Reclasser, si cela parat pertinent, les noncs d'impact qui ont de faibles
indices de liaison.
Reprer, au sein de la classe d'impacts, ceux qui ont reu la plus forte
pondration de la part des participants et ceux qui ont le plus fort indice
de liaison.
Discuter de la logique de constitution des classes, en s'aidant au besoin

des indications crites par les participants au moment de la constitution
des piles.
Chercher un mot ou une expression qui synthtise l'ensemble des
noncs d'impact regroups dans la classe, et en particulier ceux qui ont
reu une forte pondration et qui ont le plus fort indice de liaison.
La discussion de chaque classe d'impacts conduit gnralement le groupe
de travail choisir un nom un peu abstrait comme le montre l'encadr cidessous. Certains pourront alors s'inquiter du fait qu'aprs un intense
travail collectif, le rsultat final reste imprcis et peu clair. Un tel constat
serait d'autant plus gnant dans le cas d'un travail entrepris pour clarifier
des objectifs considrs comme trop vagues. En ralit, la procdure ne se
prte pas une telle critique. Si le nom d'une classe d'impacts est abstrait,
les noncs qui composent la classe sont au contraire trs clairs et
suffisamment prcis pour constituer la base de l'valuation.
Encadr 12 - Dnomination des classes d'impacts
Meilleure gestion
Innovation
Capital humain
Viabilit environnementale
Travail avec d e u x niveaux d e transversalit

Une variante intressante a t choisie dans le cadre de l'valuation
conduite Valencia. Elle consiste travailler en deux temps. Dans un
premier temps, trois groupes de travail ont t constitus avec, dans
chaque groupe, une dizaine de responsables locaux (gestionnaires des
mesures et oprateurs). Dans un deuxime temps, un groupe
transversal a t runi avec les reprsentants de la Commission, de
l'administration nationaleet de l'administration rgionale (voir l'Encadr 13).
Encadr 13 Les groupes de travail constitus Valencia (Espagne)
Groupes sectoriels
Groupe A
Aides directes aux entreprises
12 gestionnaires de 4 institutions
administratives (tourisme, industrie &
commerce, finances, conomie et
entreprises)
Groupe
Soutien l'environnement productif (commerce, formation professionnelle,
tourisme, conomie,...)
Groupe C Infrastructures
(travaux publics, transports, industrie,
qualit environnementale...)
Groupe transversal
Groupe Responsables centraux
Reprsentants de la Communaut
Autonome de Valencia, reprsentants
de l'Etat espagnol et rapporteurs de la
Par exemple, le groupe de travail Aides directes aux entreprises

comprenait des gestionnaires et des oprateurs concerns par les mesures
suivantes :
Plan d'aide l'investissement ;
Modernisation des tablissements et des systmes productifs de
l'artisanat ;
Programme d'aides pour les zones prioritaires ;
Fonds de capital risque pour les PME ;
Soutien aux conomies d'nergie, la diversification et/ou l'emploi des
sources alternatives d'nergie par les entreprises ;
Plan de mise en valeur des services aux entreprises ;

Plan technologique ;
Soutien l'amlioration de l'offre touristique ;
Soutien aux entreprises pour l'adaptation aux normes environnementales.
Chacun des trois groupes sectoriels a tabli sa propre liste d'noncs
d'impact. Ces noncs ont t systmatiquement spars en deux niveaux,
le premier niveau tant plus proche des impacts spcifiques des mesures et
le deuxime niveau tant plus proche de l'impact global du programme.
Au niveau infrieur (plus proche des impacts spcifiques des mesures), on
a class par exemple les noncs suivants : le nombre d'initiatives
entrepreneuriales a augment , les nouvelles PME disposent de
meilleurs systmes de gestion , la qualification des employs des
entreprises artisanales s'est leve . Au niveau suprieur (plus proche de
l'impact global du programme), on a class par exemple les noncs
suivants : le nombre d'emplois au sein des entreprises rgionales a
augment , les zones qui ont bnfici des aides n'ont pas souffert
d'migration de la population .
Encadr 14 Deux niveaux de classes d'impacts
Mesure A
Mesure
Mesure C
| Mesure J
Mesure
Mesure L
Mesure R
| Mesure S
Mesure
Classe d'impacts
Chacun des trois groupes sectoriels a travaill uniquement sur les noncs
d'impact de niveau infrieur. Tous les noncs d'impact de niveau suprieur
ont t runis en une seule liste et traits par le quatrime groupe. Les
classes d'impacts ainsi constitues se sont donc organises en deux
niveaux comme le montre l'Encadr 14.
Utiliser la cartographie conceptuelle des impacts
Construction des critres d'valuation du programme

La rflexion collective sur laquelle se f o n d e la cartographie conceptuelle
des impacts privilgie la diversit et la richesse des points de vue. Cette
d m a r c h e qui tient c o m p t e de l'opinion des diffrents partenaires permet
de produire des critres d'valuation accepts par les diffrents partenaires
d'un p r o g r a m m e . La mdiation informatique apparat c o m m e un atout
majeur pour parvenir l'acceptation du referentiel c o m m u n d'valuation
par
les
diffrents
partenaires.
Cette
technique
d'valuation impose sa propre structure logique qui
vite
que
risquerait
l'quipe
de rester
trangre aux participants.

Encadr 15 - Critre d'valuation c o m m u n aux diffrentes mesures
Classe d'impacts
Viabilit environnementale
Critre d'valuation
Efficacit des mesures en termes de viabilit

environnementale.
Question evaluative
Quelle a t la contribution des diffrentes mesures

la viabilit environnementale des units conomiques
concernes par le programme ?
Exemple de mthode
d'valuation
Enqute auprs des units conomiques cibles par

les diffrentes mesures : entreprises, agents touristiques,
exploitations agricoles, artisans, etc.
Enqute par questionnaire, par entretiens ou par tude
de cas.
Les questions poses font rfrence aux noncs des
impacts qui appartiennent la classe de la viabilit
environnementale, c'est dire : Y a-t-il eu rduction
de la production de dchets ? , Y a-t-il eu transfert
de consommation d'nergie en faveur du gaz naturel ? ,
etc.
L'intrt essentiel de la cartographie conceptuelle est d e permettre la

construction de critres d'efficacit qui pourront tre appliqus de f a o n
transversale plusieurs mesures. Par exemple, en revenant l'tape de
dnomination d e s classes (voir Encadr 12), l'quipe d'valuation pourra
utiliser la classe viabilit environnementale de la faon indique dans
l'Encadr 15. A travers cet exemple on voit qu'une dmarche trs simple
conduit successivement d'une classe d'impacts un critre d'valuation,
puis une question evaluative, puis une mthode d'enqute qui
permettra de rpondre la question de faon empirique et pragmatique.
Au-del, il est possible d'utiliser les noncs constituant chaque classe
pour construire des chelles de notation.
L'valuation vrifiera que les classes d'impacts sont rellement
transversales, c'est--dire qu'elles s'appliquent un grand nombre de
mesures. La dmarche peut tre considre comme un succs si chaque
classe d'impacts est potentiellement connecte un grand nombre de
mesures. Plus les connexions sont nombreuses, plus l'valuation pourra
faire des comparaisons et des agrgations entre les mesures et plus il sera
possible de raliser une valuation synthtique du programme. Il est noter
que la technique de la cartographie conceptuelle favorise de multiples

connexions cause du mode de construction de classes d'impacts.
Rappelons en effet que ces classes comprennent tous les impacts
intermdiaires attendus par les gestionnaires des diffrentes mesures, et
que ces impacts ont fait l'objet d'un travail de regroupement systmatique.
Construction d'indicateurs gnriques
Un indicateur gnrique est un indicateur qui permet d'effectuer des
quantifications comparables sur plusieurs mesures de nature diffrente au
sein d'un mme programme (voir Volume 2 de la Collection). Un tel
indicateur permet l'agrgation des donnes au sein du programme sous
forme de somme ou de moyenne. On citera comme exemples d'indicateurs
gnriques le taux de consommation budgtaire et le taux de ralisation.
Certains indicateurs gnriques ne s'appliquent qu' une partie du

programme : nombre d'innovations (pour toutes les mesures qui favorisent
le dveloppement technologique), proportion des PME parmi les
destinataires (pour toutes les mesures qui bnficient des entreprises).
Plus les mesures d'un programme sont htrognes, plus il est difficile de
dfinir des indicateurs vritablement gnriques. Si l'on ralise une
cartographie conceptuelle, les classes d'impacts intermdiaires constituent
une trs bonne aide pour crer ces indicateurs gnriques. Il est mme
possible de consacrer une partie de la dernire runion du groupe de travail
cet exercice. La discussion portera successivement sur chaque classe
d'impacts et procdera comme suit :
Parcourir les noncs d'impact constituant la classe.
Demander aux participants de trouver des indicateurs associs ces

noncs.
Redfinir les indicateurs proposs pour qu'ils soient les plus gnriques
possibles. Par exemple, un indicateur d' emplois crs dans les
entreprises aides pourra tre remplac par un indicateur plus
gnrique d' emplois crs dans les units conomiques aides .
Privilgier les Indicateurs associs aux impacts qui ont reu les plus
importantes pondrations.
Retenir les indicateurs qu'il sera possible de renseigner pour le plus
grand nombre possible de mesures.
2 5 indicateurs pourront tre proposs pour chaque classe d'impacts.
Du fait de l'importance de la question et du temps ncessaire pour une
discussion approfondie des indicateurs, il est conseill d'aborder le sujet
aprs une pause consquente, voire de prvoir une demi-journe de
travail cet effet.
Exemple : Indicateurs associs aux classes d'impacts
Figurent ci-dessous quelques indicateurs d'impact intermdiaire correspondant aux
critres gnriques dfinis par le groupe central dans le cadre de l'valuation pilote
MEANS. Rappelons que cette valuation a port sur 25 mesures du programme de
dveloppement socio-conomique de la rgion de Valencia en Espagne pour la
priode 1994-99.
Classe d'impacts
Indicateur
gnrique
Source d'ilformation
Programme
Meilleur
amnagement
du territoire
Meilleur
environnement
productif
Frquentation
des transports
publics urbains
Nombre de
voyageurs par km
des transports
publics
Oprateurs de
transports
aids
Elvation du
niveau d'tudes
de la population
active
Oprateurs
des mesures
de formation
et d'ducation
Densit
d'tablissements
bancaires
Oprateurs de
transports
aids
Contexte
Statistiques du
Ministre des
Transports
Statistiques du
Ministre des
Transports
Institut Statistique
National
Institut Statistique
National
Une technique adapte au partenariat

La cartographie conceptuelle des impacts permet d'engager une
dynamique de groupe. Cette dynamique prsente un intrt vident dans
une dmarche d'valuation : l'valuation sera d'autant mieux accepte par

les parties prenantes du programme que ces dernires auront
collectivement particip la dfinition du referentiel commun d'valuation.
Par ailleurs, les changes entre les gestionnaires ne peuvent que renforcer
la connaissance mutuelle des actions et favoriser ainsi les effets de
synergie. La participation des gestionnaires au processus favorise une
meilleure prise de conscience par ces derniers des effets que sont censes
produire les interventions, au-del du stade des ralisations.
La possibilit de mettre en uvre la mthode et d'obtenir les rsultats en
un laps de temps relativement court, de l'ordre d'une semaine pour un
cycle de runions, rend la cartographie conceptuelle des impacts
compatible avec le calendrier d'valuation. La cartographie conceptuelle
des impacts prsente cependant des limites qui peuvent restreindre l'utilit
de la technique dans certaines circonstances.
Il apparat ainsi que cette mthode mobilise un grand nombre de
gestionnaires ou de responsables sur plusieurs jours. Mme si certaines
runions sont remplaces par des changes de courrier, un tel projet
ncessite que du temps soit consacr par de nombreux fonctionnaires.
Outre les problmes pratiques lis la gestion des agendas, une telle
mobilisation d'agents publics occasionne un cot pour la collectivit. Cette
mobilisation n'apparat justifie que dans la mesure o d'importants enjeux
motivent l'valuation.
Il est galement clair que la constitution des groupes est sensible. En cas
de conflit, si tous les partenaires n'acceptent pas de participer au
processus, ou s'il n'est pas possible de parvenir une reprsentation
quilibre, la mise en uvre de la technique est compromise. La difficult
rencontre pour constituer les groupes est aussi forte lorsqu'il s'agit
d'impliquer au processus des reprsentants des publics cibles.
L'identification, comme l'quilibre de la reprsentation, apparaissent dans
ce cas relativement complexes.
Enfin, il faut tenir compte du jeu des acteurs dans le cadre des rflexions
de groupe. La cartographie conceptuelle des impacts permet d'viter qu'un
leader au sein du groupe influence la constitution des piles ou la notation
des noncs. En revanche, cette influence est possible lors de la
production collective des noncs, et lors de la discussion de la carte des

impacts. Il revient donc l'animateur des runions de veiller ce que les
rsultats soient bien ceux de l'ensemble du groupe. Il est bon que
l'animateur matrise les techniques d'animation de groupe afin que le jeu
des acteurs ne biaise pas les rsultats de l'exercice.
Sachant que la mise en uvre de la technique ncessite une bonne
connaissance du domaine de l'intervention value, ainsi que des
connaissances statistiques suffisantes, cela peut inciter ce que le projet
soit ralis par une quipe pluridisciplinaire.
Il
Les systmes de notation sont de plus en plus utiliss dans le cadre de la
slection des projets, notamment au Royaume-Uni. La notation a l'avantage
de prendre en compte, avec une grande souplesse, toutes les informations
quantitatives et qualitatives qui permettent de juger selon un critre donn.
Son domaine d'emploi est donc plus large que celui des indicateurs qui
sont difficilement applicables certains critres cause de leur caractre
quantitatif. L'originalit de la dmarche propose dans ce chapitre rside
dans ce que la notation est utilise pour l'valuation des mesures et non pas
pour la slection des projets. Ce chapitre se relie au prcdent car il est
possible de construire une chelle de notation pour chaque classe
d'impacts. Il se relie galement au chapitre IV car l'analyse multicritre
s'appuie le plus souvent sur des valuations d'impact ralises l'aide
d'chelles de notation.

sous une forme homogne
C o n c l u s i o n s qualitatives sur les i m p a c t s d e s m e s u r e s

L'valuation de l'ensemble des mesures d'un programme se donne pour
contrainte d'examiner tous les impacts de toutes les mesures. Dans le cas
d'un programme socio-conomique qui comprendrait par exemple une
quarantaine de mesures valuer selon cinq grandes classes d'impacts
(comptitivit, emploi, galit des chances, environnement, qualit de vie),
l'quipe d'valuation devrait se prononcer sur pas moins de 200 impacts.
Ce simple chiffre montre qu'il ne sera pas possible d'analyser
systmatiquement tous ces impacts de faon approfondie. L'valuation
d'ensemble d'un programme peut s'accompagner tout au plus
d'approfondissements concernant quelques impacts particulirement
sensibles.
L'tude approfondie d'un impact donn suppose une observation de
terrain. Les techniques de base employes pour ce type d'analyse sont, par
exemple, les groupes de comparaison et l'analyse de rgression. L'emploi
de ces techniques ncessite du temps et des moyens importants, et
imposent que le champ d'observation soit limit une seule catgorie de
ralisations et un seul public. L'approfondissement porte gnralement
sur un mcanisme d'impact de niveau microconomique ou microsocial.
L'analyse d'un impact est seulement possible une date suffisamment
tardive pour que celui-ci ait eu le temps de se matrialiser (voir le Volume 1
de la Collection).
Toutes ces contraintes font qu'une vritable analyse des impacts ne peut
pas tre tendue l'ensemble d'un programme multisectoriel. Dans cette
situation, on doit donc privilgier des approches applicables de faon
pragmatique, par exemple l'utilisation de coefficients d'extrapolation pour
estimer les impacts de faon forfaitaire. Ainsi, un coefficient d'extrapolation
permettra d'estimer le nombre d'emplois temporaires crs par million
d'euros d'investissement en infrastructure ou la valeur ajoute annuelle
gnre par million d'euros d'investissement dans les PME. Un coefficient
peut tre dduit d'une enqute approfondie conduite dans le cadre de la
mme valuation ou d'une valuation prcdente. Un coefficient peut aussi
tre emprunt une valuation ou une recherche portant sur des
interventions similaires, conditions que les conclusions soient

considres comme gnralisables. Un coefficient peut galement tre
tabli pour les besoins d'une valuation par un ou plusieurs experts.
Dans une situation d'valuation mi-parcours ou dans une valuation ex
post, il est possible d'utiliser les donnes de suivi des ralisations comme
base d'extrapolation. Ainsi par exemple, on se fondera sur le nombre de lits
d'un quipement touristique rcemment construit, pour estimer le nombre
d'emplois crs l'aide d'un ratio de nombre d'emplois par lit. Dans
certains cas, il est demand aux destinataires de faire une dclaration sur
les impacts au moment o ils sont en contact avec les oprateurs. Ils
doivent par exemple indiquer le nombre d'emplois crs au moment du
dernier paiement ou le nombre d'emplois crer au moment de leur
demande d'aide. Dans ce cas il est recommand d'appliquer un coefficient
correcteur pour tenir compte des effets d'aubaine. Ce coefficient peut
varier de 0,8 dans les meilleurs cas, moins de 0,3 pour certaines
interventions o les effets d'aubaine sont particulirement importants.
L'estimation des impacts par extrapolation n'est possible qu' certaines
conditions : (1) il faut disposer d'une base d'extrapolation sous forme
d'indicateurs de suivi des ralisations et des rsultats, (2) il faut que
l'impact estimer soit dfini de faon prcise et associ un indicateur et
(3) il faut que la littrature ou les valuations prcdentes fournissent des
ratios de type impact / ralisation et que ces ratios soient considrs
comme gnralisables. Ces conditions sont relativement svres et il est
rare qu'elles soient runies pour tous les impacts et toutes les ralisations.
La situation la plus frquente est donc celle o l'quipe d'valuation ne
peut pas raliser une estimation chiffre de tous les impacts pour toutes les
mesures. S'il est exig que l'valuation donne une vue d'ensemble des
effets du programme, alors elle devra se contenter d'apporter des
conclusions qualitatives pour une partie au moins des impacts.
Mme lorsqu'une dmarche d'extrapolation permet de produire des
conclusions quantitatives, il convient encore de nuancer les estimations
d'impacts par des interprtations plus qualitatives. En particulier, l'quipe
d'valuation doit expliquer et justifier les coefficients d'extrapolation qu'elle
a choisis, en considrant l'ensemble des lments de contexte qui
conditionnent les processus de mise en uvre du programme, qui
caractrisent les publics concerns et qui ont une influence sur les
performances obtenues. Les professionnels de l'valuation reconnaissent
gnralement que les indicateurs sont seulement une des bases parmi
celles qui permettent de formuler leurs conclusions. En particulier, les

indicateurs doivent tre interprts la lumire de toutes les informations
qualitatives accessibles et pertinentes.
Pour conclure ce rapide tour d'horizon de l'valuation des impacts, on est
conduit reconnatre qu'elle dbouche souvent sur des conclusions
qualitatives.
Prsentation synoptique d e s conclusions qualitatives

En rdigeant des conclusions qualitatives sur les impacts d'une mesure
donne, l'quipe d'valuation se place naturellement dans la perspective et
dans le contexte de cette mesure. Les conclusions ont donc tendance
tre rdiges avec une logique et un vocabulaire spcifique telle ou telle
mesure comme le montre l'exemple suivant. Ce fait cre des problmes
pour rdiger le chapitre de synthse de l'valuation l'chelle du
programme. On constate ainsi que des rapports d'valuation sont
organiss avec une section par mesure contenant des conclusions solides
et argumentes, alors que la section de synthse finale est souvent la fois
courte, pauvre et fragile.
Exemple : Conclusions qualitatives htrognes pour diffrentes mesures

Conclusion sur l'impact de la mesure A (formation destine aux chmeurs de longue
dure) : Sur la base de l'examen du parcours postformation de quelques
stagiaires considrs comme typiques, on estime que l'employabilit a t amliore
dans la majorit des cas, avec des rsultats meilleurs dans les mtiers du tourisme
et des rsultats moins bons dans les mtiers de l'environnement (ces derniers ne
reprsentent qu'une petite partie des formations). Sur la base d'valuations de
programmes comparables, le taux de placement peut tre estim entre 30 et 50%.
On a identifi un impact positif en terme de rorientation des femmes vers des
emplois non menacs et considrs comme masculins. Il existe cependant un risque
important d'apparition d'effet de substitution et d'crmage.
Conclusion sur l'impact de la mesure (Aide la cration d'entreprise) : Sur la
base d'valuations de programmes comparables, le taux de survie peut tre estim
entre 20 et 30%. Il semble que le taux de survie soit suprieur pour les entreprises
cres dans le secteur de l'environnement dans lequel se situent 35% des entreprises
aides. Par ailleurs on considre que la majorit des crateurs qui chouent ont
cependant amlior significativement leur employabilit. Il est noter que 45% des
crations aides sont le fait de femmes, alors que cette proportion n'est que de 30%
dans l'ensemble du pays. La diffrence peut tre mise l'actif du programme .
Pour faciliter
la
prparation
d'un
chapitre
de
synthse
finale,
il
est
intressant de rcapituler toutes les conclusions qualitatives sous la forme

d'un tableau synoptique organis en fonction des diffrentes mesures et
des principales classes d'impact comme le montre l'Encadr ci-dessous.
E n c a d r 16 - Tableau synoptique qualitatif d e s m e s u r e s

et d e leurs i m p a c t s
Mesures
Impact sur
Impact sur
l'emploi
l'galit
Impact sur
l'environnement
des chances
Formation
L'employabilit a t
La formation a eu un
Une petite partie des
destine aux
amliore dans la
impact positif en
formations ont
chmeurs de
majorit des cas.
terme de rorientation
abouti des
des femmes vers des
qualifications dans le
Sur la base
emplois non menacs
domaine des mtiers
d'valuations de
et considrs comme
de l'environnement.
programmes
masculins.
longue dure
comparables, le taux
Cependant, trs peu
de placement peut
tre estim entre 30
de stagiaires ont
et 50%.
trouv un emploi
correspondant ces
qualifications.
Il existe un risque
important d'apparition
d'effet de substitution
et d'crmage.
Aide la
Sur la base
45% des crations
35% des entreprises
cration
d'valuations de
aides sont le fait de
cres l'ont t dans
d'entreprise
programmes
femmes, alors que
le domaine de
comparables, le taux
cette proportion n'est
l'environnement.
de survie peut tre
que de 30% dans
estim entre 20 et
l'ensemble du pays.
Il semble que leur
30%.
La diffrence peut
taux de survie soit
tre mise l'actif du
suprieur au taux
programme.
moyen.
On considre que la
majorit des crateurs
qui chouent ont
cependant amlior
significativement leur
employabilit.
Etc
Le tableau synoptique constitue une aide pour l'quipe d'valuation mais il

lui reste beaucoup faire pour produire de vritables conclusions
synthtiques. En thorie, trois dmarches au moins sont entreprendre :
En premier lieu, il convient de produire des conclusions de synthse pour
chaque classe d'impacts. Par exemple, l'quipe d'valuation pourra
identifier les mesures qui sont les plus efficaces en termes d'impact sur
l'emploi, ainsi que les mesures qui ont un effet ngligeable ou
ventuellement dommageable sur ce plan, et ainsi de suite pour les
autres impacts. Cette premire dmarche est dveloppe dans les pages
qui suivent consacres aux chelles de notation.
Ensuite, l'quipe d'valuation doit faire une analyse des synergies entre
les mesures. Par exemple, on pourra montrer que les deux mesures de
l'Encadr 16 ont des impacts qui se renforcent mutuellement dans le
domaine de l'emploi et de l'environnement. Cette seconde phase est
dveloppe dans le chapitre III, en relation avec la technique de la
matrice des impacts croiss.
Enfin, il convient de faire une synthse gnrale couvrant les principaux
impacts et la synergie entre les mesures. A l'issue de cette troisime
phase, l'quipe d'valuation devrait tre capable de classer les mesures
en fonction de leur contribution l'efficacit globale du programme. Ce
point sera dvelopp dans le chapitre IV, en relation avec la technique de
l'analyse multicritre.
Le prsent chapitre est consacr la premire de ces trois dmarches,
c'est--dire la rdaction de conclusions synthtiques portant sparment
sur les diffrentes classes d'impacts. L'esprit de la dmarche est de
formuler des jugements comparatifs entre les diffrentes mesures, de faon
transversale l'ensemble du programme. La technique propose est celle
de l'chelle de notation (scoring scale). Cette technique produit des
conclusions qui se prtent naturellement des comparaisons, des
agrgations, des calculs de moyennes. Bien que les chelles de notation
ne soient pas comparables, d'une classe d'impacts l'autre, la technique
apporte cependant une aide directe la rdaction de la synthse finale de
l'valuation.
Mode d'emploi des chelles de notation

Les chelles de notation sont utilises dans de nombreux domaines,
souvent de faon spontane et peu formalise. De ce fait, elles sont parfois
critiques pour leur caractre subjectif. Il existe cependant des cas o la
notation est tablie de faon trs rigoureuse et o elle joue un rle reconnu
par tous. Il suffit de citer l'exemple des agences internationales de notation
qui diffusent des apprciations sur la fiabilit des emprunteurs, sans parler
du rle conomique jou par les notes dcernes dans les guides
gastronomiques. Dans les domaines des politiques d'ducation, de sant
ou d'intgration sociale, il existe des centaines d'chelles de notation qui
ont t dveloppes dans le cadre de travaux de recherche et qui sont
souvent reprises par des travaux d'valuation.
A ce jour, la notation reste peu utilise pour l'valuation des politiques de
dveloppement socio-conomique. Une exception notable est cependant
celle de l'aide au dveloppement. Dans ce domaine, la technique est
employe par de nombreux bailleurs de fonds depuis la seconde moiti des
annes 1980 (voir l'exemple cit page 63). Les pages qui suivent proposent
un mode d'emploi pour l'usage de cette technique dans le cadre des
programmes socio-conomiques de l'Union europenne. Ce mode
d'emploi se dcline en trois variantes selon le moment o l'chelle de
notation est tablie :
Variante 1 : l'quipe d'valuation a dj formul des conclusions
qualitatives pour chaque mesure, l'chelle de notation aide formuler
une conclusion de synthse au niveau du programme.
Variante 2 : l'quipe d'valuation a dj collect des informations
qualitatives sur les effets des mesures, mais elle n'a pas encore rdig
ses conclusions, l'chelle de notation aide formuler des conclusions,
mesure par mesure, d'une faon homogne et facile synthtiser.
Variante 3 : l'quipe d'valuation commence son travail, l'chelle de
notation aide collecter les donnes sous une forme qui permettra de
formuler des conclusions homognes et faciles synthtiser.
Echelles pour la synthse d e conclusions qualitatives
Dans la premire variante, l'quipe d'valuation a dj formul ses
conclusions. Celles ci se prsentent sous la forme du tableau synoptique
de l'Encadr 16, chaque colonne concerne une classe d'impacts et runit

les conclusions rdiges pour toutes les mesures propos de cette classe
d'impacts. L'Encadr 17 est un extrait du tableau synoptique concernant
l'impact sur l'galit des chances.
Encadr 17 - Prsentation synoptique d e s conclusions
relatives un impact
Mesure
Description de l'impact
sur l'galit des chances
Formation destine
aux chmeurs de
longue dure
La formation a eu un impact positif en terme de

rorientation des femmes vers des emplois non
menacs et considrs comme masculins.
Aide la cration
d'entreprise
45% des crations aides sont le fait de

femmes, alors que cette proportion n'est que
de 30% dans l'ensemble du pays. La diffrence
peut tre mise l'actif du programme.
Autres mesures...
Etc....
Les deux impacts dcrits dans l'Encadr 17 sont-ils comparables ? Peut-on

dire, en lisant ces conclusions, que la mesure n1 est la plus efficace en termes
d'impact sur l'galit des chances ? Arriv cette phase de son travail,
l'quipe d'valuation constate que les impacts ne sont pas directement
comparables et qu'elle peut difficilement aller plus loin par ses propres moyens
en direction d'une conclusion de synthse. Une voie possible, pour formuler
des jugements comparatifs, consiste faire exprimer un avis par le groupe de
pilotage ou par un comit d'experts. La dmarche est la suivante :
Organiser un sminaire d'une demi-journe avec un panel d'experts ou
avec le groupe de pilotage. De prfrence il s'agira d'un groupe de
pilotage largi en forme d'instance d'valuation, comme propos dans le
Prsenter aux participants les conclusions de l'valuation mesure par
mesure. Vrifier la crdibilit des conclusions et les valider.
Prsenter le tableau synoptique des conclusions (voir Encadr 16).
Examiner la premire colonne du tableau synoptique et demander
chaque participant de situer intuitivement les impacts de chaque mesure
sur une chelle comme dans l'Encadr 18. Comparer les classements
raliss par les participants, les discuter et les faire converger autant que
possible.
Poursuivre le classement avec les autres colonnes du tableau synoptique.

Aprs le sminaire, convertir les classements effectus en notes
chelonnes de -10 (impact ngatif maximum) + 10 (impact positif
maximum) en passant par 0 (impact neutre). Convertir le tableau
synoptique de l'Encadr 16 en tableau de notes (matrice de notation des
impacts). La construction des chelles de notation autorise des
comparaisons au sein d'une mme colonne (par exemple, telle mesure
est mieux note qu'une autre). Par contre, les notes ne peuvent pas se
comparer d'une colonne l'autre (par exemple, une note 5 pour l'impact
sur l'emploi n'est pas comparable une note 5 pour l'impact sur
l'environnement).
Encadr 18 - C l a s s e m e n t des i m p a c t s obtenus
sur une chelle intuitive
Mesures
Impact en termes
d'galit des chances
Aide la cration
d'entreprises
45% des crations aides sont

le fait de femmes, alors que
cette proportion n'est que de 30%
dans l'ensemble du pays.
La diffrence peut tre mise
l'actif du programme.
Formation
destine aux
chmeurs de
longue dure
La formation a eu un impact positif

en terme de rorientation
des femmes vers des emplois
non menacs et considrs
comme masculins.
Etc..
Impact
positif
maximum
Impact
neutre
Impact
ngatif
maximum
Dans le cadre d'une valuation pilote du programme MEANS, une

procdure techniquement plus rigoureuse a t propose et applique.
Dans cette variante, il n'est pas demand aux participants de placer
intuitivement les impacts sur une chelle de notation comme dans
l'Encadr ci-dessus. On leur demande plutt d'exprimer leurs prfrences

entre tous les impacts pris deux deux. Leurs opinions sont recueillies
travers une srie de questions du type de celle-ci : laquelle de ces deux
situations prfrez-vous :
une situation o l'on constate un impact positif en terme de rorientation
des femmes vers des emplois non menacs et considrs comme
masculins,
ou..
une situation o l'on constate que des femmes ont cr leur entreprise
dans une proportion suprieure celle qui s'observe dans l'ensemble du
pays (45% des crations aides sont le fait de femmes au lieu de
30%)
? - En ce qui concerne la situation que vous prfrez, votre
prfrence est-elle trs forte, forte, faible ? .
Le questionnement se poursuit pour tous les impacts de la premire
colonne compars deux deux, puis de mme pour les autres colonnes.
L'ensemble des rponses est trait l'aide d'un logiciel informatique qui
attribue chaque impact une note comprise entre -10 et +10 de faon
reflter le plus fidlement possible les prfrences des participants. Le
logiciel utilis est dnomm Macbeth . Il a t cr par une quipe de
l'Universit de Lisbonne (voir annexe bibliographique Bana e Costa 1994).
Ce logiciel est galement voqu plus loin (voir page 115) dans le cadre
d'une des variantes de l'analyse multicritre.
Encadr 19 - Matrice de notation des impacts

Mesures
Impact
sur l'emploi
Impact sur
l'galit
des chances
Impact sur
l'environnement
Formation destine
aux chmeurs de
longue dure
+4
+3
Aide la cration
d'entreprise
+8
+7
+5
Etc
Quelle que soit la procdure retenue, le rsultat final est constitu par une
srie d'chelles de notation (une par classe d'impacts). Chaque mesure se
voit attribuer une note sur chaque chelle. On peut rassembler toutes les
notes dans une matrice de notation des impacts (voir Encadr 19) qui
complte le tableau synoptique des conclusions qualitatives (voir
Encadr 16) et qui a la mme structure. La combinaison des conclusions

qualitatives et des notes permet de formuler des conclusions transversales
l'chelle du programme pour chaque classe d'impacts.
Echelles pour la f o r m u l a t i o n d e conclusions s t r u c t u r e s
Dans la mesure du possible, il est prfrable de construire des chelles de
notation un peu plus tt dans le processus d'valuation, c'est--dire avant
la formulation des conclusions mesure par mesure. De cette faon, l'quipe
d'valuation pourra utiliser les chelles de notation pour rdiger des
conclusions d'une faon plus structure et plus comparable d'une mesure
l'autre. Lorsqu'elles sont utilises en valuation, les chelles de notation
sont gnralement conues dans cet esprit.
Dans certains cas (voir l'exemple de la Banque Mondiale ci-dessous), des
chelles de notation standard sont imposes toutes les valuations qui
s'inscrivent dans le cadre d'une mme politique. Cette formule est
difficilement applicable aux programmes socio-conomiques financs par
l'Union europenne. En effet, les diffrents programmes tant cofinancs
en partenariat avec diffrentes autorits nationales et/ou rgionales, il ne
paratrait pas lgitime de standardiser la faon de juger leurs impacts.
Exemple : Les chelles de notation utilises par la Banque mondiale
La Banque Mondiale ralise environ 200 valuations de projets tous les ans. Toutes
ces valuations comportent des conclusions qualitatives et des conclusions sous
forme de notes, structures en fonction d'un systme standard. Les chelles de
notation intgrent cinq dimensions de la performance des projets : l'impact
conomique, la durabilit, l'impact sur le dveloppement institutionnel, la
performance financire de la banque et celle de l'emprunteur. Tous les projets sont
valus par leur responsable (auto-valuation) au moment de leur achvement selon
une notation en 4 chelons pour chaque dimension ( trs satisfaisant ,
satisfaisant , insatisfaisant , trs insatisfaisant ). Dans un certain nombre de
cas, et notamment en cas de doutes sur l'auto-valuation, une deuxime notation est
ralise par le Dpartement d'Evaluation des Oprations de la Banque (OED). Cette
seconde notation fait toujours l'objet d'une discussion avec les responsables du
projet. Si les jugements ne convergent pas (le cas est trs rare), c'est une
commission d'arbitrage qu'il revient de fixer les notes dfinitives. La Banque
Mondiale ne calcule pas de note globale pondre pour synthtiser toutes les
dimensions de la performance mais d'autres organismes le font (ex : Banque
Asiatique pour le Dveloppement).
Dans d'autres cas, l'valuation est ralise par un panel d'experts qui
construit ses propres chelles de notation (voir l'exemple britannique cidessous). Dans cette dmarche, les membres du panel reoivent toutes les
informations qui ont t collectes et rassembles propos des diffrentes
mesures. Ils formulent la fois des conclusions qualitatives et des
conclusions sous forme de notes. Pour cela, ils se mettent d'accord sur une
ou plusieurs chelles de notation qui sont tablies lors de la premire
runion du panel. Chaque panel construit son propre systme de notation.
Il est noter que les panels d'experts sont peu employs dans l'valuation
des programmes socio-conomiques de l'Union europenne.
Exemple : La notation par des panels d'experts

La notation par des panels d'experts est une formule employe depuis une dizaine
d'anne pour valuer la performance des centres de recherche universitaires au
Royaume-Uni. Dans ce pays, les travaux de tous les centres de recherche font l'objet
la fois d'un suivi quantitatif et d'valuations priodiques par des panels d'experts.
Dans leur valuation, les experts prennent en compte les indicateurs (ex : nombre
de publications) mais aussi des lments purement qualitatifs (ex : qualit des
quatre meilleures publications de chaque chercheur). L'valuation dbouche sur un
classement des quipes de recherche (notes sur une chelle de 1 5). L'attribution
des fonds publics est directement lie ce classement.
Dans le domaine de la politique europenne de cohsion, une pratique
intressante est celle qui est employe au Royaume-Uni pour slectionner
les projets candidats aux financements des programmes. L'exemple qui
suit prsente la technique adopte dans la rgion des Highlands and
Islands. Cet exemple est intressant car les chelles de notation sont
construites en partenariat et sont utilises pendant toute la vie du
programme. Beaucoup de programmes britanniques adoptent d'ailleurs
des chelles de notation similaires.
Exemple : Echelles de notation pour la slection des projets
Dans le cadre du programme de dveloppement rgional des Highlands and Islands,
deux cycles d'appel projets ont lieu chaque anne. Toutes les demandes de
financement sont d'abord examines en fonction de leur ligibilit. Les projets
considrs comme ligibles font l'objet d'une notation selon huit chelles communes
l'ensemble du programme (liens avec les objectifs, efficacit probable, respect de
l'environnement, effet de levier, innovation, liens avec d'autres projets, intervention
du secteur priv et soutien des partenaires locaux). D'autres chelles sont galement
employes mais sont plus spcifiques certaines mesures.
Chaque projet est not sur chacune des chelles. Un systme de pondration vient
complter la procdure pour permettre d'attribuer une note globale pondre
chaque projet. Aprs confrontation des demandes de financement et des ressources
disponibles, une barre d'admission est tablie et une liste de projets financer est
recommande. La dcision finale revient aux responsables du programme.
Les chelles de notation tant utilises de faon frquente et satisfaisante
pour la slection des projets, plusieurs recommandations ont t faites
pour tendre l'emploi de cette technique l'valuation des programmes.
Les propositions suggrent gnralement de crer des chelles concernant
les principaux impacts du programme et de s'en servir pour noter, non plus
les projets, mais les mesures. Une dmarche de ce type a t applique
l'valuation transversale de plus de cent mesures de dveloppement socioconomique en Rpublique d'Irlande. Cette dmarche a permis de
construire des comparaisons entre mesures et elle a aboutit des
recommandations de rallocations budgtaires dont une partie significative
a t accepte.
Exemple : Echelles de notation pour valuer la pertinence des mesures
L'valuation mi-parcours d'un ensemble de programmes socio-conomiques en
Rpublique d'Irlande a port sur plus d'une centaine de mesures. Pour chaque
mesure, l'quipe d'valuation a recherch s'il tait possible de justifier son
financement par des fonds publics. Quatre catgories de mesures ont t tablies,
correspondant quatre formes de justification. Pour chaque catgorie l'quipe
d'valuation a construit une chelle de notation permettant d'apprcier plusieurs
degrs de justification. Chaque chelle a t centre sur une mesure typique
( anchor measure ) pouvant servir de point de comparaison pour les autres
mesures. Toutes les mesures ont ensuite t notes en s'appuyant notamment sur
des donnes qualitatives collectes prcdemment. La notation a permis d'identifier
une vingtaine de mesures sensibles, susceptibles de faire l'objet de dcisions
budgtaires importantes. Ces mesures sensibles ont fait l'objet d'une valuation plus
approfondie. Finalement, l'quipe d'valuation a recommand l'abandon ou le
renforcement d'une srie de mesures. Dans un nombre de cas significatif, les
dcisions prises ont t en ligne avec les recommandations.
L'exemple qui prcde s'applique une valuation de la pertinence des
mesures. On peut s'en inspirer trs directement pour raliser des chelles
de notation des impacts. La procdure aboutit crer des chelles de
notation du type de celle qui est prsente dans l'Encadr 20. Le mode
d'emploi est le suivant :
L'quipe d'valuation fait une premire rcapitulation rapide des

informations collectes et des analyses ralises. Elle identifie quelques
classes d'impacts, par exemple impact sur l'emploi, impact sur l'galit
des chances, impact sur l'environnement, etc.
Pour chaque classe d'impacts, l'quipe d'valuation slectionne des
phrases qui dcrivent les diffrents aspects des impacts constats, par
exemple : les femmes qui ont particip telle mesure ont bnfici d'une
rorientation vers des emplois non menacs et considrs comme
masculins ou telle mesure a eu un impact positif pour ses destinataires
et les femmes ont profit de cet impact dans une proportion
particulirement importante . L'quipe d'valuation rcrit ces phrases de
la faon la plus gnrale possible afin qu'elles puissent s'appliquer la
plupart des mesures. Chaque phrase dcrit prcisment et clairement une
situation considre comme une russite en terme d'obtention d'un impact.
Ces phrases sont appeles noncs d'impact . Pour une construction
plus rigoureuse des noncs d'impact et des classes d'impacts, on peut
avoir recours la cartographie conceptuelle des impacts.
Chaque nonc dcrit une situation considre comme russie du point
de vue de l'obtention d'un impact. En ralit, certaines situations feront
apparatre des russites partielles, ou une absence d'impact, ou mme
des contre-performances. Pour pouvoir traiter tous les cas de figure,
l'quipe d'valuation doit donc dcrire plusieurs niveaux de russite
possibles. On peut ainsi construire des chelles d'impact comportant
plusieurs niveaux entre 0 (pas d'impact) et 10 (excellent impact). Les
phrases dcrivant les diffrents niveaux d'impact sont appeles
descripteurs . Pour chaque nonc d'impact, il convient de rdiger
plusieurs descripteurs pour des niveaux d'impact positifs, mais il
convient aussi de prvoir des niveaux d'impacts ngatifs.
L'quipe d'valuation rassemble ensuite tous les descripteurs
concernant une classe d'impact sur une mme chelle comme cela
apparat dans l'exemple de l'Encadr 20. Si une mme chelle fait
rfrence plusieurs noncs, les plages de variation de chaque nonc
sont diminues (par exemple de -10/+10 -5/+5) de faon ce que le
total des notes d'une mme fiche soit toujours compris entre -10 (cas o
l'on choisit tous les descripteurs les plus dfavorables) +10 (cas o l'on
choisit tous les descripteurs les plus favorables).
On organise ensuite un sminaire d'une demi-journe avec un panel
d'experts ou avec le groupe de pilotage largi.
L'quipe
d'valuation
prsente
ses
travaux
aux
participants
en
c o m m e n a n t par la premire classe d ' i m p a c t s et en continuant j u s q u ' la

dernire.
Pour
chaque
classe d ' i m p a c t s ,
tous
les noncs
et
les
descripteurs sont discuts et amliors j u s q u ' c e qu'ils soient c o m p r i s

sans ambigut. L'quipe d'valuation prsente sa proposition d'chelle
d e notation. Cette chelle est discute par les participants et amliore
j u s q u ' reflter correctement leur opinion.
Encadr 20 Echelle de notation constitue avec

des descripteurs d'impact
Rorientation des femmes vers
des emplois non menacs et
considrs comme masculins
Choisir
'
un
descripteur x
Premier
nonc
d'impact
Niveaux intermdiaires
Maintien des femmes dans des
emplois menacs et considrs
comme fminins
Impact positif pour

les destinataires, les femmes
ont profit de cet impact dans
une proportion
particulirement importante
Second
nonc
d'impact
Choisir
'
un
descripteur x
+5
(maxi)
5
(mini)
+5
(maxi)
Niveaux intermdiaires
Impact positif pour
les destinataires mais les femmes
ont profit de cet impact
dans une proportion
nettement insuffisante
Note totale pour l'impact relatif

l'galit des chances
5
(mini)
entre10 et +10
Aprs le sminaire, l'quipe d'valuation fait une s e c o n d e rcapitulation

des informations collectes et de ses analyses. Pour chaque mesure, elle
choisit
sur les chelles de notation
le ou les descripteurs
qui
lui
paraissent reflter le mieux ses impacts. Cela lui permet d'tablir la

notation des impacts d e la mesure (voir Encadr 21). Les descripteurs
choisis n'ont pas besoin de s'ajuster trs exactement aux conclusions

que l'quipe d'valuation pense devoir dgager d e ses observations. En
effet, audel de la notation, l'quipe rdige aussi des
conclusions
qualitatives c o m p l t e s , ce qui lui d o n n e t o u t e latitude pour apporter des

nuances. Le principal intrt des chelles de notation est de fournir un
cadre pour tudier t o u t e s les mesures selon une structure h o m o g n e qui
facilitera
la rdaction
des
conclusions
d e synthse
l'chelle
du
programme.
E n c a d r 21 Evaluation d'une m e s u r e l'aide d'une chelle
de notation relative un impact attendu
Premier
nonc
d'impact
Choisir
un
descripteur
Rorientation des femmes vers

des emplois non menacs et
considrs comme masculins
+5
maxi)
Descripteur choisi
+2
Maintien des femmes dans

des emplois menacs et
considrs comme fminins
Choisir
Second
nonc un
d'impact
descripteur
-5
(mini)
Impact positif pour

les destinataires, les femmes
ont profit de cet impact
dans une proportion
particulirement importante
+5
(maxi)
Descripteur choisi
+3
Impact positif pour

les destinataires mais les
femmes ont profit de cet
impact dans une proportion
nettement insuffisante
5
(mini)
Note totale pour l'impact relatif

l'galit des chances
+5
A l'issue de son travail, l'quipe d'valuation obtient un tableau synoptique

des conclusions qualitatives et une matrice de notation des impacts, dans
une forme exactement similaire celles qui ont t dcrites prcdemment
(voir Encadrs 16 et 19). On verra plus loin comment cette matrice est utilise.
P a s s a g e des chelles d e notation aux indicateurs

Si de multiples chelles de notation sont construites pour les besoins de
l'valuation d'ensemble d'un programme, et si elles sont utilises une seule
fois, il convient de les construire de faon lgre, c'est--dire avec un petit
nombre de descripteurs par chelle. On peut considrer qu'un nombre
raisonnable se situe entre quatre et huit descripteurs.
On peut cependant envisager d'utiliser la mme chelle de notation
plusieurs reprises. C'est le cas, par exemple, dans les situations suivantes :
Une chelle de notation a t cre pour valuer les mesures
mi-parcours et on veut ensuite s'en servir dans le cadre de la slection
des projets.
Une chelle de notation a t cre pour valuer les mesures mi-parcours
et on souhaite la rutiliser dans le cadre de l'valuation ex post.
Une chelle de notation a t cre dans le cadre de l'valuation d'un
programme et on souhaite la rutiliser dans le cadre de l'valuation d'un
autre programme.
Encadr 22 - Affinement et harmonisation des chelles de notation
Beaucoup
Quelle est la proportion de femmes parmi
les participants?
Dans quelle proportion les femmes
participantes ont-elles ont acquis une
qualification dans un mtier considr
comme masculin ?
participantes ont-elles augment leur
employabilit ?
Un peu
Pas du tout
1,5
1,5

participantes ont-elles trouv un emploi
non menac correspondant leur
qualification aprs un an ?
Note totale pour l'impact
relatif l'galit des chances
5,5
Si une chelle de notation doit tre utilise plusieurs fois, il est justifi de la
construire de faon plus prcise. L'chelle de l'Encadr 21 pourra par
Solutions techniques pour valuer dans un cadre de par
exemple passer de quatre douze descripteurs pour aboutir une chelle

affine comme dans l'Encadr 22.
Une tape supplmentaire peut tre franchie dans la mesure o l'chelle de
notation a dj t applique au moins deux ou trois fois. A ce stade, il est
possible de la valider, de stabiliser les dfinitions et de s'en servir dans le
cadre d'une enqute par questionnaire pour quantifier des indicateurs
harmoniss et permettant des comparaisons entre diffrentes mesures ou
diffrents programmes, comme cela est montr dans l'encadr ci-dessous.
Encadr 23 - Passage des chelles de notation aux indicateurs
Mesure
value
Moyenne
des mesures
comparables
72%
45%
5%
23%
Proportion des femmes participantes qui ont

augment leur employabilit
52%
55%

trouv un emploi non menac correspondant
leur qualification aprs un an
25%
29%
Proportion de femmes parmi les participants

acquis une qualification dans un mtier considr
comme masculin
Utiliser les notes pour synthtiser l'valuation des mesures
Vue d'ensemble des impacts d'un programme

Encadr 24 - E x e m p l e d e matrice de notation des impacts dans
le cas d'un p r o g r a m m e de d v e l o p p e m e n t urbain
Contribution des mesures la
production des impacts attendus
Insertion
sociale
Emploi
Equilibre
des
quartiers
au sein de
la ville
Equilibre
entre les
villes de
la rgion
Equipements
(moyenne des notes pour
les mesures 3 8)
Actions sociales collectives

les mesures S 14)
Actions sociales personnalises

(moyenne des notes
pour les mesures 15 19)
(note entre 0 et 10)
Amnagements urbains
les mesures 1 et 2)
La technique des chelles de notation a l'avantage de donner une vue

d'ensemble du programme sous une forme trs rsume et qui constitue une
bonne base pour la rdaction des conclusions synthtiques. Par exemple,
l'valuation mi-parcours d'un programme de dveloppement urbain,
ralise l'aide d'tudes de cas, a abouti de trs nombreuses conclusions
qualitatives concernant les impacts. Pour synthtiser les conclusions,
l'quipe d'valuation a construit et utilis des chelles de notation. L'Encadr
24 montre comment l'ensemble des conclusions qualitatives a t synthtis
sous forme d'une matrice de notation des impacts. Dans une telle matrice,
les mesures (ou ci les groupes de mesures), peuvent se comparer colonne
par colonne. On dira par exemple que telle mesure russit mieux qu'une
autre en termes d'impact sur l'emploi mais qu'elle russit moins bien pour un
autre critre. Par contre, cette matrice ne permet pas des additions ou des
comparaisons entre colonnes. Une note 5 dans la premire colonne ne se
compare pas, et peut encore moins s'additionner, avec une note 5 dans la
dernire colonne. Pour faire des raisonnements ou des jugements qui

combinent
plusieurs colonnes, il faut employer la technique
d'analyse
multicritre (voir chapitre IV de ce Volume).
Jugement de la cohrence du programme

au vu des impacts obtenus
Dans l'exemple du p r o g r a m m e de d v e l o p p e m e n t urbain prsent dans
l'Encadr
24 , la matrice de notation
des impacts
a galement
prsente sous f o r m e de d i a g r a m m e afin d e montrer visuellement les

impacts
et
leur c o m p l m e n t a r i t .
Ce d i a g r a m m e
qui
apparat
dans
l'Encadr c i - d e s s o u s constitue un progrs important par rapport celui qui

peut tre ralis au dbut de l'valuation (voir Encadr 7 -
Diagramme
logique des impacts) en ce sens qu'il m o n t r e l'importance des impacts

obtenus et non plus la simple logique des impacts attendus.
Encadr 2 5 - Contribution d e s mesures l'obtention des i m p a c t s
Mesures
Contributions
paisseur des flches
proportionnelle aux notes
Impacts
intermdiaires
Equilibre entre
les villes
de la rgion
Mesures 1 et 2
Amnagements
urbains
Mesures 3 8
Equipements
Equilibre
des quartiers
au sein de la ville
Mesures 9 14
Actions sociales
collectives
Emploi
Mesures 15 19
Actions sociales
personnalises
Insertion sociale
Ce d i a g r a m m e a l'avantage de faire apparatre visuellement la cohrence

du p r o g r a m m e . On voit par exemple q u e certaines mesures contribuent
trs peu la russite d'ensemble du programme. On voit de mme que

certains impacts sont obtenus de faon importante et complmentaire par
plusieurs mesures. Au contraire, la faiblesse de certains impacts laisse
penser que plusieurs objectifs ne sont pas atteints de faon satisfaisante,
alors mme qu'ils sont considrs comme importants par plusieurs
partenaires du programme.
Analyser le programme l'aide

d'une matrice des impacts croiss
Au-del de la russite de chaque mesure, l'valuation doit aussi s'intresser
l'interaction des mesures entre elles. On peut en effet s'attendre ce que
l'impact d'un ensemble cohrent de mesures soit plus grand que celui des
mmes mesures mises en uvre sparment. Le troisime outil prsent
dans ce Volume apporte une aide l'valuation de ces effets de synergie. Il
s'agit de la matrice des impacts croiss. Cet outil a t formalis et test
dans le cadre des travaux du programme MEANS, partir d'une synthse
entre des dmarches proposes par plusieurs quipes europennes.
Une solution pour analyser la synergie au sein du programme
Liens entre programmation et synergie

Un programme est compos d'un ensemble de projets qui sont tous
orients vers le mme objectif. On peut imaginer un programme constitu
d'une juxtaposition de projets indpendants dont les effets
s'additionneraient purement et simplement. Dans une telle situation, la
programmation serait un exercice purement formel. En effet, l'objectif vis
s'atteindrait aussi bien en grant les projets indpendamment les uns des
autres. Si la programmation apporte une valeur ajoute, c'est bien parce
que les projets se renforcent mutuellement, parce qu'ils entrent en synergie.
La recherche de la synergie est une des raisons d'tre de la programmation.
Encadr 26 - QUBIST, un outil d'analyse ex ante
des synergies entre projets
En 1986, la Commission a fait raliser par la Queen's University of Belfast le
dveloppement d'un outil informatis d'aide la slection des projets. Cet outil a
t construit dans le contexte de la prparation d'un programme de
dveloppement intgr en Irlande du Nord.
L'outil s'applique tous les projets susceptibles d'tre inscrits dans le
programme. Pour chaque projet examin, on commence par expliciter sa
contribution probable aux objectifs du programme (une pondration est attribue
aux objectifs en fonction de leur importance). On dnombre ensuite les relations
probables entre le projet examin et les autres projets (synergies).
Les rsultats de ces examens sont rassembls dans une matrice de synergie qui
permet de calculer la valeur synergtique de chaque projet (1 point par relation
identifie). On classe ensuite les projets selon le meilleur rapport ente leur cot et
leur potentiel synergtique.
La slection finale des projets prend en compte ce classement tabli sur la base
du critre de synergie ainsi que la contribution potentielle des projets aux
objectifs du programme.
Ds la rforme des Fonds structurels de 1988, les notions de programmation
et de synergie sont apparues comme insparables. L'accent a t mis sur la
ncessit de rechercher une meilleure efficacit par une programmation
intgre. Un programme intgr cherche obtenir un effet de synergie
entre les diffrentes mesures et assurer la convergence des effets des
diffrents partenaires ayant des projets et des responsabilits diffrents

(Extrait des rglements des Fonds structurels de 1988).
Les caractristiques d'un programme intgr sont doubles. Il s'agit d'une
part, d'obtenir une meilleure complmentarit des projets et donc
d'optimiser l'allocation des ressources. Il s'agit d'autre part, de renforcer
mutuellement les interventions cofinances par les diffrentes institutions
qui agissent pour atteindre le mme objectif.
Ds l'apparition du principe de programmation, la Commission a cherch
mettre au point des outils d'valuation de la synergie. Un premier travail
technique a t ralis en 1986 avec la mise au point d'une technique
intitule QUBIST (voir Encadr 26). Cette technique tait destine valuer
le potentiel de synergie des projets au stade de leur slection. Elle est
reste peu utilise en tant que telle.
Pour accompagner le dveloppement de la programmation et de
l'valuation, la Commission a souhait poursuivre le dveloppement des
outils d'analyse de la synergie dans le cadre du programme MEANS. Un
sminaire d'experts a t organis Bruxelles en 1993 dans le but de
confronter les meilleures expriences existantes. Le sminaire a produit un
rapport mthodologique et des propositions techniques.
A l'occasion de l'valuation ex post des programmes d'Objectif 2 de la
priode 1989-1993, la Commission a dcid d'introduire une question
relative la synergie dans ses termes de rfrences et de remettre les
propositions techniques du programme MEANS aux quipes d'valuation.
Plusieurs quipes d'valuation ont pu tester, cette occasion, la faisabilit
de ces propositions techniques. Ce test a conduit des amliorations et
amnagements pris en compte dans les pages suivantes.
Dfinition de la synergie et des notions connexes

Le terme synergie est souvent employ et fait partie du vocabulaire
courant dans beaucoup de domaines, si bien que sa signification est
parfois floue. Ainsi une entreprise va s'allier avec une autre dans le but de
dvelopper des synergies. En pharmacologie, il y a synergie si deux
substances administres conjointement produisent un effet diffrent de
celui qui rsulte de leur injection spare. C'est cette dfinition qui est
retenue dans cet ouvrage, savoir qu'il y a synergie lorsque plusieurs
interventions publiques (ou plusieurs composantes d'une intervention)
Analyser le programme l'aide d'une matrice des impacts croiss
produisent ensemble un impact suprieur l'addition des impacts qu'elles

produiraient isolment (ex : l'intervention finance l'agrandissement d'un
aroport qui facilite le remplissage des quipements touristiques,
galement financs par l'intervention).
Si rien n'est prcis, la synergie fait rfrence des impacts positifs. On
peut cependant voquer des phnomnes de renforcement d'impacts
ngatifs, de synergie ngative ou d'antisynergie (ex : l'intervention
subventionne la diversification des entreprises alors qu'une politique
rgionale favorise le renforcement de l'activit dominante).
Le fait qu'un effet de synergie puisse apparatre au sein d'un programme peut
d'abord s'expliquer par la notion de masse critique : une impulsion
suffisamment importante est ncessaire pour franchir un certain seuil dans
l'impact du programme. En de de ce seuil, rien ne se passe, et au del, les
effets s'enchanent. Cela s'apparente un effet de boule de neige. L'Encadr
qui suit montre que la synergie peut rsulter de nombreux autres mcanismes.
Dans tous les cas de figure, la synergie est une notion dynamique: elle est le
produit d'un processus dans lequel des investissements de diffrentes natures
entrent en interaction sur un territoire donn.
Encadr 27 - Les effets dynamiques de programmation
Sous le titre de Program Induced Dynamic Effects, une tude de Cambridge
Policy Consultants, propose une liste des mcanismes qui sont susceptibles de
produire des effets de synergie :
effet de masse critique : un projet isol n'aurait aucun impact faute d'une
effet de taille : abaissement des cots du fait de la prsence de plusieurs
projets au mme endroit ;
effet de dmonstration : dmultiplication de l'action par l'exemple ;
effet d'ajustement : meilleure coordination des diffrentes actions publiques
entre elles ;
effet de capacit : une action publique isole n'aurait aucun impact faute d'une
effet de productivit : les conomies d'chelle sur l'action publique elle-mme
amliorent sa productivit ;
effet de dblocage : la ralisation d'un projet dbloque une contrainte pesant
sur un autre projet ;
effet d'entranement : la ralisation d'un projet incite raliser un autre projet ;
Solutions techniques pour valuer dans un cadre de partenar
Dans le cas des programmes socioconomiques, la synergie peut tre

obtenue par diffrents leviers : cofinancements, partenariat, articulation de
projets complmentaires sur un mme territoire, convergence de plusieurs
aides vers les mmes destinataires, circulation de l'information entre
oprateurs, etc. Dans tous les cas, la synergie est le produit de
mcanismes complexes qui se forment au sein d'un systme et qui se
concrtisent dans le moyen terme. La synergie peut d'ailleurs tre interne
ou externe selon qu'elle intervient au sein du systme constitu par le
programme o qu'elle s'tend galement aux effets d'autres interventions
publiques.
Le schma cidessous reprsente les mcanismes de production des effets
de synergie. La synergie interne est reprsente au centre du schma, la
synergie externe apparat droite, tandis que la colonne de gauche
reprsente une situation imaginaire (situation contrefactuelle), o les
mesures du programme seraient indpendantes les unes des autres et
galement indpendantes par rapport aux autres interventions publiques.
Encadr 28 Schma logique des effets de synergie
Financeurs
Codcision
Objectifs du
(Interdpendance
Codcision
Intgration
(Interdpendance avec
les autres priorits
politiques)
Intgration
programme
entre les objectifs

du programme)
Complmentarit
(entre les actions
et les objectifs)
Mesures
Somme des
effets isols
Coordination
interne
Effets de synergie
interne
u
c
5
.c
o
O
Coordination
externe
Effets de synergie
externe
Dveloppement socioconomique
La synergie interne est le produit de la cohrence interne qui est constitue

de trois lments :
L'interdpendance des objectifs (les objectifs sont relis les uns aux
autres) ;
La complmentarit entre les mesures et les objectifs (les mesures visent
les mmes objectifs) ;
La coordination entre les mesures (mesures sont choisies et mises en
uvre de faon ce que leurs effets puissent se rencontrer dans le
temps et dans l'espace).
Ces lments ne sont pas les seuls tre ncessaires pour obtenir des
effets de synergie, mais ils sont essentiels pour l'analyse. La synergie
interne peut prendre des formes trs diverses comme le montrent les
exemples suivants :
Le dveloppement d'un complexe touristique est favoris par la
construction d'une route d'accs au littoral, l'un et l'autre subventionns
par le programme (renforcement mutuel).
Les aides aux laboratoires universitaires et celles concernant le
dveloppement technologique dans les entreprises permettent une mise
en rseau des connaissances et favorisent des innovations qui se
traduisent par de nouvelles technologies industrielles (combinaison
d'effets de masse critique et de boule de neige).
La combinaison d'aides diffrents niveaux d'une filire agricole permet
de minimiser les cots (effet de taille).
A cette notion de la synergie s'oppose le phnomne inverse, qu'on peut
qualifier de synergie ngative :
La construction d'un complexe sidrurgique en bord de mer et d'un port
de plaisance cte cte (gne mutuelle).
L'attribution d'aides diffrents niveaux d'une mme filire agricole se
faisant concurrence entre elles (effet de dispersion).
La deuxime catgorie de synergie, dite synergie externe, s'applique au
renforcement ou l'affaiblissement mutuel des effets du programme et des
effets d'autres interventions. Par exemple, on recherche une synergie entre
l'aide apporte aux PME par les programmes des Fonds structurels et les
prts qui leurs sont accords par la Banque Europenne d'Investissement.
Un autre exemple moins heureux serait celui d'un programme d'insertion
des chmeurs financ par l'Union europenne et qui recruterait une partie
de ses participants aux dpends de programmes de formations financs
par les autorits nationales. Une telle synergie ngative a t dnomme
effet de cannibalisme par certaines quipes d'valuation.
L'tude de la synergie externe n'est pas toujours compatible avec les

ressources budgtaires de l'valuation. Dans le cadre d'une valuation
d'ensemble, il est cependant conseill d'inventorier rapidement les
principales politiques europennes, nationales et rgionales qui sont
voisines du champ d'valuation afin de se faire une ide des synergies
externes potentielles. Cette dmarche peut se rvler trs pertinente, sans
ncessiter un temps d'analyse important.
D m a r c h e d ' v a l u a t i o n d e la s y n e r g i e e n trois p h a s e s
La synergie est rarement value, car elle ne figure pas parmi les objectifs
explicites des programmes, bien qu'il s'agisse d'un mcanisme important
pour l'atteinte de ces objectifs. L'valuation de la synergie est souvent
limite, dans le cadre d'une dmarche a contrario, au constat d'un manque
de coordination ou de gaspillages lis des superpositions d'interventions.
L'valuation des effets de synergie est galement restreinte par la limitation
des ressources disponibles. Le temps et le budget de l'valuation sont
souvent mobiliss par d'autres thmes considrs comme plus prioritaires
tels que l'emploi ou l'environnement.
Il convient aussi de noter quelques vritables difficults techniques. D'abord,
les interactions qui favorisent la synergie sont extrmement nombreuses et
ne peuvent pas tre toutes examines. Il faut galement prendre en compte
l'absence de donnes fiables permettant de discriminer l'impact de
l'ensemble des mesures d'un programme de celui qu'auraient produit ces
mmes mesures si elles avaient t mises en uvre sparment.
La solution propose dans cet ouvrage repose sur l'utilisation d'un outil
appel matrice des impacts croiss. Cette solution a t conue de
manire pouvoir tre applique sans accrotre fortement le volume du
travail consacr l'valuation d'ensemble d'un programme. Elle se
prsente plutt comme un complment d'analyse des informations qui
devront invitablement tre collectes par ailleurs.
En testant empiriquement cet outil, il est apparu que son application devait
rester raliste et flexible. C'est pourquoi l'utilisation de la matrice des
impacts croiss a t dcompose en trois phases adapter en fonction
du temps et du budget disponibles pour l'valuation :
une phase de construction de la matrice qui permet l'identification des
synergies potentielles ;
Analyserle programme l'aide d'une matrice des impacts croiss
une phase d'analyse d'ensemble des effets de synergie l'aide de la

matrice ;
une phase de vrification empirique des principaux effets, slectionns
sur la base de la matrice.
Encadr 29 - Une dmarche pour valuer la synergie interne
Identification des synergies potentielles
Analyse d'ensemble des effets de synergie
Vrification empirique des principaux effets
Seules les deux premires phases sont rellement indispensables

l'valuateur confront un agenda serr. Elles offrent de bonnes garanties
pour une analyse des synergies au sein du programme considr. La
troisime phase apporte quant elle des informations en provenance du
terrain qui permettent de confirmer ou d'infirmer les hypothses mises par
les gestionnaires lors de la seconde phase. Elle est vivement recommande
dans le cas o la question de la synergie doit tre approfondie et/ou lorsque
les deux premires phases n'ont pas donn de conclusion crdible.
Mode d'emploi de la matrice des impacts croiss

La construction et la validation de la matrice d'impacts croiss s'effectuent
en plusieurs tapes successives : laboration de la structure de la matrice,
notation des effets de synergie, validation avec les gestionnaires, calcul des
coefficients de synergie potentielle, prsentation d'ensemble.
Choix d u niveau d'analyse d e la synergie

Selon la structure du programme concern, il sera plus pertinent d'analyser
les synergies entre les axes, entre les mesures, entre les actions ou entre
les projets. Le niveau d'analyse choisi dpend videmment du nombre des
composantes du programme chaque niveau. Certains programmes ne
comportent que quelques projets, ce qui permet d'analyser rapidement la
synergie leur niveau. Si le nombre de projets est trs important, on pourra
prfrer analyser la synergie au niveau des mesures.
Encadr 30 Choix du niveau d'analyse de la synergie
dans un arbre des objectifs
Programme
Axes
Mesures
Actions
Projets
11
1
Soutien aux
activits
productives
Formation
du personnel
dans les PME
Stages , Y,
Cration
12
Soutien
l'investissement1
des PME
'Modernisation
Entreprises , Y,
Entreprises , Y,
13...
21...
/
Croissance t
de l'emploit
22
Centres de
gestion des
dchets
Amlioration
de l'environ
nement
3
Soutien la
R&D et aux
universits
4...
23...
4c
31
Construction
V^ de centres "
\ de recherche
*
' Industriels
Urbains
Centres , Y,
Centres , Y,
* Centres , Y,
32...
Les traits en surpaisseur indiquent les synergies potentielles les plus videntes.
Le choix du niveau d'analyse peut tre fait en revenant l'arbre des objectifs
(voir Encadr 6 - Arbre des objectifs). Sur cette prsentation schmatique
du programme, on peut en effet dessiner les liens de synergie potentielle qui
paraissent les plus vidents comme indiqu dans l'Encadr 30.
Dans l'exemple du programme catalan d'Objectif 2, le niveau d'analyse le
plus appropri semble tre celui des mesures car c'est ce niveau qu'on a
repr le plus grand nombre de synergies potentielles.
Les interactions entre m e s u r e s
Une fois le niveau d'analyse choisi, la matrice des impacts croiss est
construite avec autant de lignes et de colonnes qu'il existe de
composantes du programme au niveau choisi. Les cellules de la matrice
permettent de cocher les synergies repres comme indiqu dans
l'encadr suivant. La matrice tant considre comme symtrique ce
stade, on n'en remplira que la moiti.
Encadr 31 - Construction de la matrice des impacts croiss
I.
II.
III.
IV.
Cration et
Protection et
Investis
Amlioration
du rseau des
Axes
mesures
I. Cration et dveloppe
1.2
productives
1.3
amlioration de
2.1
2.2
l'environnement
2.3
III. Investissement
R&D & formation
IV. Amlioration du
rseau des tlCommunications
amlioration
sement
d'activits
de l'environ
en R&D &
tlcom
productives
nement
formation
munications
11
12
13
21
22
23
31
32
41
42
43
1.1
ment d'activits
II. Protection et
dveloppement
3.1
3.2
4,1
4.2
4.3
X
X
X
X
X
Cette approche reste cependant peu nuance et purement thorique. C'est

pourquoi il convient d'aller plus loin en qualifiant de manire plus prcise
l'importance des effets de synergie attendus et en validant cette analyse au

cours d'entretiens avec les gestionnaires du programme.
Les dveloppements qui suivent constituent le cur de la mthode : il
s'agit du minimum raliser pour procder une analyse raisonnable des
effets de synergie. Cette phase requrant des entretiens, il convient de les
prvoir assez tt dans l'agenda de l'valuation.
La notation d e s effets d e synergie

L'quipe d'valuation effectue un rapprochement des mesures deux deux
pour reprer des synergies ventuelles. Lorsqu'un effet de synergie lui
parat possible, elle choisit une valeur sur une chelle variant en fonction de
l'importance de l'effet :
2
pour un effet de synergie particulirement important
pour un effet de synergie plus faible
-1
mme chelle applique une synergie ngative
-2
mme chelle applique une synergie ngative
Encadr 32 - Notation d e s synergies potentielles

I.
II.
III.
IV.
Cration et
Protection et
Investis
Amlioration
du rseau des
Axes
mesures
dveloppement
amlioration
sement
d'activits
de l'environ
en R&D &
tlcom
productives
nement
formation
munications
11
12
13
21
22
(2)
d)
23
31
ment d'activits
1.1
1.2
(2)
productives
1.3
(2)
(2)
2.1
2.2
(1)
amlioration de
(1)
-1
l'environnement
2.3
(2)
(1)
(1)
3.1
3.2
(D
(D (2)
(D
(2)
(2)
(D (D
IV. Amlioration du
4.1
(D
(2)
rseau des tl-
4.2
4.3
(2)
(2)
I. Cration et dveloppe
II. Protection et
III. Investissement
R&D & formation
Communications
(D
(2)
(D
32
41
42
43
Si l'quipe d'valuation anticipe des effets de synergie plus ou moins

importants, elle peut aussi estimer que certains effets sont trs probables
et que d'autres sont trs alatoires. Elle pourra noter les synergies
incertaines par des parenthses.
A ce stade, la matrice d'impacts croiss reprsente une synthse quantifie
des hypothses de synergie identifies par l'quipe d'valuation. Bien que la
matrice des impacts croiss soit d'allure quantitative, elle ne contient que des
apprciations subjectives. Les commentaires et remarques de l'quipe
d'valuation sont donc des lments essentiels qui mritent d'tre conservs.
Il arrive que des synergies ne soient pas rciproques entre des mesures
prises deux deux. Par exemple, une route d'accs au littoral est
indispensable au succs d'un complexe touristique, mais en revanche le
dveloppement touristique escompt grce la construction de la route
peut se raliser en partie sans que le complexe touristique soit cr. On
parle dans ce cas de synergie asymtrique, c'estdire qu'un effet positif
important existe si la mesure A s'ajoute la mesure B, alors que l'effet est
moindre si la mesure s'ajoute la mesure A. On signale cette particularit
dans le commentaire qualitatif.
Lors du remplissage de la matrice, les valeurs de chaque ct de la diagonale
sont identiques en cas de synergie symtrique. Il suffit de complter la moiti
de la matrice, l'autre partie (en gris) tant identique. Si l'on souhaite
mentionner les cas de synergie asymtrique (relation d'interdpendance non
rciproque), il conviendra de les inscrire de l'autre ct de la diagonale.
Exemple : Cas de synergie asymtrique releve en Catalogne dans un
programme de reconversion conomique
Entre autres exemples de synergie asymtrique, l'quipe d'valuation a constat que
la formation des chmeurs et des travailleurs issus du secteur de l'environnement
et de la recherchedveloppement a un effet fortement positif sur les efforts de
dveloppement et de modernisation des PME. Par contre, le soutien au
dveloppement et la modernisation des PME a pour sa part une influence positive
comparativement plus faible sur la formation des chmeurs et des travailleurs issus
du secteur de l'environnement et de la recherchedveloppement .
La validation a v e c les gestionnaires

Une fois la matrice remplie, l'quipe d'valuation organise des entretiens ou
une runion avec les principaux gestionnaires du programme. Le but est de
discuter et de valider les hypothses de synergie prsentes dans la

matrice.
Pour chaque questionnaire de synergie, les explications et les arguments
retenus par les gestionnaires sont rpertoris sous forme de commentaires
qualitatifs annexs la matrice avec une indication de la probabilit pour
que cette synergie apparaisse (voir Encadr suivant).
Le commentaire dtaill est trs important, car en cas de temps limit, il
permet de mener une analyse qualitative dj porteuse de rsultats et qui
peut tre rpercute sur la mise en uvre du programme concern.
Encadr 33 Commentaires sur les synergies potentielles

Liens entre
les mesures
Effets des
interactions
Avis des
gestionnaires
Probabilit
11 &12
Un personnel
mieux form
facilite la dcision
de moderniser
une PME
oui
forte
21 & 2 3
La formation
favorise le choix
de mthodes de
production
non polluantes
non
faible
Les coefficients de synergie potentielle

Une fois les hypothses de synergies valides avec les gestionnaires, on
peut finaliser la matrice des impacts croiss par le calcul des coefficients
de synergie ( C ). Ils sont calculs pour chaque mesure et pour l'ensemble
du programme. La formule est la suivante :
c
Somme des notes positives

(Nombre de notes positives) 2
Si toutes les synergies potentielles entre les mesures recevaient la note

maximum, le coefficient serait gal 1,00. Le coefficient serait gal 0,00
pour un programme ne comportant aucune synergie positive. S'il existe des
synergies ngatives, on calcule galement le coefficient de synergie

ngative ( C ) :
Somme des notes ngatives
C =
(Mombre de notes ngatives) 2

Pour faciliter le calcul de ces coefficients, il convient d'ajouter six colonnes
la matrice des impacts croiss comme indiqu dans l'Encadr suivant.
Les colonnes "s+" et " s-" font respectivement la somme des valeurs de
synergie positive et ngative, tandis que les colonnes "n+" et " n - " comptent
le nombre de notes positives et ngatives prsentes dans la matrice. Les
colonnes Cs+ et Cs- calculent les coefficients synthtiques de synergie
positive et ngative.
Encadr 34 - Calcul des coefficients synthtiques de synergie

I.
II.
1.1
1.
1.1
1.2
1.3
II. 2.1
2.2
2.3
III. 3.1
3.2
1.3
2.1
2.2
2.3
1
-1
1
2
2
4.2
4.3
4.1
4.2
Nombre
Coefficient
S+
n+
Cs+
0,83
0,57
n-
Cs-
0,87
- 1 2
-1
0,83 -0,5
-1
0,50 -0,5
1
1
Somme
4.3
IV.
3.2
2
1
1
3.1
IV. 4.1
T.
III.
1.2
0,66
0,60
0,80
0,75
0,83
65
-2
46
0,50
2
0,7
-0,5
Le calcul des coefficients synthtiques peut tre tendu l'ensemble du

programme en faisant la moyenne de tous les coefficients non-nuls
(coefficient synthtique de synergie positive = 0,7 et coefficient synthtique
de synergie ngative = -0,5). On doit cependant noter que l'intrt de ce
calcul est limit au cas o le mme travail a t fait pour d'autres
programmes par des quipes d'valuation adoptant les mmes modes de
notation. Ce dernier cas tant peu probable, les coefficients de synergie
auront une plus grande utilit en tant que critre pour un jugement comparatif
des mesures dans le cadre d'une valuation d'ensemble du programme.
Faire une vrification empirique

des principales synergies identifies
Prsentation d e l'valuation d ' e n s e m b l e d e la synergie

Sur la base des calculs de coefficients complts par les commentaires,
l'quipe d'valuation proposera des recommandations pour amliorer ou
dclencher des effets de synergie au sein du programme valu.
Dans l'exemple ci-dessus, inspir de l'valuation du programme d'Objectif
2 en Catalogne, il apparat donc que les mesures 1.1, 1.3, 3.2, et 4.2 sont
essentielles la russite du programme compte tenu de leurs effets
synergtiques. A l'inverse, la disparition de la mesure 4.3 ne devrait pas
affecter significativement l'efficacit des autres interventions. La question
se poserait pour 1.2 qui a un coefficient de synergie assez faible (0.57),
mais qui entre en synergie avec beaucoup d'autres mesures (7). On ne peut
conclure dans ce cas que 1.2 a un faible potentiel de synergie car ses
interactions, bien que de faible importance, sont nombreuses. La mesure
2.1 qui combine des effets de synergie positifs et ngatifs doit galement
tre examine de faon nuance. En fait, il convient toujours de nuancer la
lecture des coefficients en fonction du nombre de synergies (colonnes "s"
et "n" du tableau).
Pour une approche globale d'un programme, on peut ainsi se servir des
coefficients de synergie positive et ngative comme deux critres
d'valuation parmi d'autres. Dans l'optique d'une analyse multicritre telle
que dcrite dans le chapitre suivant, on peut intgrer ces deux colonnes de
rsultats dans la matrice multicritre. Les notes concernant la synergie
ctoient alors d'autres critres relatifs l'impact sur l'environnement,
l'emploi, etc.
Identification des synergies valuer

Cette phase n'est raliser que si les synergies prcdemment repres
prsentent un intrt prpondrant pour la continuation ou la russite du
programme. Elle a l'avantage de transformer les hypothses formules lors
des phases prcdentes en une vritable valuation des effets de synergie,
tels qu'ils sont observables dans la ralit. Elle ncessite d'tendre les
entretiens aux destinataires du programme (public-cible), ce qui suppose
de pouvoir les identifier et les rencontrer pour obtenir des informations

pertinentes. Pour un bon droulement de cette phase, il faut disposer de
ressources suffisantes pour les entretiens et d'un agenda pas trop serr
avant la rdaction du rapport final de l'valuation.
La matrice des impacts croiss peut servir galement reprer les
interactions les plus critiques entre les mesures prises deux deux. Une
interaction est considre comme critique si elle fait l'objet d'une hypothse
de forte synergie (positive ou ngative) ou si elle fait l'objet d'hypothses
trs divergentes entre les personnes interroges (mentionnes dans les
commentaires qualitatifs). Il y a galement lieu de considrer comme critique
l'interaction entre des mesures dont les gestionnaires se coordonnent
particulirement bien ou mal. Par exemple, si une comptition entre
partenaires d'un programme vient contrarier la russite des mesures
pourtant programmes dans le but de crer des synergies.
Lorsqu'une interaction est considre comme critique, on ouvre une
fentre , au format le plus adapt, dans la matrice des impacts croiss.
Les hypothses de synergie seront alors dveloppes et vrifies de faon
fine l'intrieur de ces quelques fentres.
E n c a d r 3 5 - Ouverture de fentres Dour a vrification
empirique de la synergie
I.
1.1
1.
II.
III.
IV
1.1
1.2
1.3
1.2
1.3
III.
2.2
2.3
3.1
(D
(D
(D
3.2
IV.
4.1
4.2
0
0
4.3
(2)
(2)
2
1
(2)
(2)
(1)
(D
3.1
3.2
d)
(2)
(1)
(2)
(2)
(2)
4.1
(D
(2)
4.2
4.3
(2)
(2)
(D
(D
2.1
2.2
2,3
II.
2.1
(1)
(1)
-1
(2)
(1)
d)
Le commanditaire de l'valuation est appel donner son avis sur le nombre

et l'emplacement des fentres ouvrir, puisque cela influence la dure et le
cot de l'opration. Dans l'Encadr 35, on a considr que les synergies
l'intrieur des axes (en gris) ne sont pas prioritaires et on a privilgi les
zones contenant les valeurs les plus leves (note 2) et/ou les plus
contestes (note entre parenthses). Cela a conduit ouvrir trois fentres
pour la vrification empirique de la synergie.
Vrification e m p i r i q u e des effets d e synergie
La vrification empirique de la synergie ncessite d'effectuer des entretiens
avec les destinataires des mesures concernes. Un destinataire est un
individu, une entreprise ou une institution qui a t touche d'une
quelconque manire par le programme, directement ou indirectement.
Les fentres ouvertes l'tape prcdente peuvent concerner :
des individus, des entreprises ou des institutions figurant au sein d'un
mme groupe cible ;
une srie d'individus / entreprises / institutions appartenant un mme
territoire ;
ou encore, une srie d'entreprises appartenant un mme rseau (filire
de production ou secteur d'activit).
Dans tous les cas, on doit rechercher des destinataires qui ont t touchs
ou qui ont pu tre touchs par les mesures tudies.
L'quipe d'valuation tente par cette opration de confronter les
hypothses de synergie, faites avec l'aide des gestionnaires ce qui peut
tre observ empiriquement. En fonction du nombre de destinataires,
l'quipe d'valuation ralise des entretiens individuels ou un entretien de
groupe, voire une succession d'entretiens de groupe lorsque cela est
possible. On se reportera au Volume 3 de cette collection consacr aux
outils d'valuation pour en savoir plus sur les entretiens de groupe.
Le contenu des entretiens passera en revue les hypothses faites lors de la
construction de la matrice des impacts croiss. L'intrt des entretiens est
d'ordre qualitatif ; il faut donc essentiellement relever l'argumentation des
bnficiaires.
De faon exceptionnelle, on peut tenter une analyse approfondie de la
synergie entre les mesures concernes par une fentre . Cela suppose
de multiplier les entretiens de faon recouper les informations ou de
raliser une srie d'tudes de cas. Cette opration permet de comprendre
en profondeur la nature et les mcanismes de tel ou tel effet de synergie.
Elle est onreuse et doit tre prvue trs tt dans le droulement de

l'valuation. Elle peut tre particulirement utile si les conclusions obtenues
sont gnralisables d'autres programmes (validit externe).
Consolidation d e l'analyse e t r e c o m m a n d a t i o n s
L'quipe d'valuation ralisera une comparaison systmatique entre les
estimations des gestionnaires et ses observations de terrain. Cette
comparaison sera restitue aux gestionnaires des mesures et aux
responsables du programme sous forme qualitative.
Il s'agit ici d'expliquer les divergences d'interprtation, mais aussi de valider
les diffrents types de synergies qui apparaissent dans le programme et
d'en connatre la nature. A cet gard, il est important pour les gestionnaires
d'obtenir cette information le plus tt possible afin qu'ils puissent procder
aux amnagements ventuels concernant la mise en uvre.
La matrice des impacts croiss est corrige pour tenir compte des
vrifications empiriques si cela est jug utile. On peut ensuite ritrer le
calcul des coefficients synthtiques de synergie mesure par mesure.
L'encadr qui suit prsente, domaine par domaine les effets de synergie qui
ont t relevs le plus frquemment par les quipes d'valuation des
programmes financs par les Fonds structurels dans les zones de
reconversion industrielle.
Encadr 36 - Principaux effets de synergie constats
dans les valuations
Domaine
Aide aux
entreprises
Tourisme
Infrastructure
Formation
Technologie
Aide aux
entreprises
Lgende : Effets de synergie
Tourisme
Infrastructure
Forts
t Moyens
Formation Technologie
3 Faibles
Les valuations qui ont abord la question de la synergie, surtout au sein

des programmes d'Objectif 2, ont rvl des expriences intressantes de
coordination dcentralise. Par exemple, dans les rgions de Twente et

Groningen-Drenthe (NL), on a utilis des groupes de travail pour
promouvoir l'intgration entre les mesures de diffrents axes. Dans la
rgion de Bremen (R.F.A.), un Fonds de Cohrence a t adopt
comme instrument pour inciter les oprateurs se coordonner. Dans la
rgion Nord-Pas-de-Calais (F), une Structure Centrale d'Observation
agit dans la mme optique.
IV
Appliquer l'analyse multicritre
L'analyse multicritre permet de fonder des conclusions de synthse en
tenant compte, comme son nom l'indique, de tous les critres qui ont t
considrs comme pertinents par l'quipe d'valuation. Cette capacit est
particulirement utile dans un cadre d'valuation en partenariat car elle
permet de respecter les attentes de chaque dcideur. L'analyse multicritre
est traditionnellement employe en tant qu'outil d'aide la dcision. Il existe
de multiples variantes techniques de cet outil, dont les principales sont
dcrites dans ce chapitre. En faisant un choix parmi ces variantes et en
utilisant l'analyse comme outil d'aide au jugement, ce Volume propose une
utilisation nouvelle de la technique. Il s'agit de fonder des conclusions
classant les mesures d'un programme en fonction de leur russite, et selon
une procdure acceptable pour tous les partenaires. Pour mettre en uvre
cette technique, l'quipe d'valuation doit disposer de conclusions
compltes sur toutes les mesures et sur leurs principaux impacts, si
possible rsumes l'aide d'chelles de notation.
Une solution pour juger la russite d'ensemble

d'un programme
Tenir compte de tous les critres pertinents

pour fonder le jugement
Au moment de conclure son travail, l'quipe d'valuation doit se prononcer
sur les mrites respectifs des diffrentes mesures, et en particulier sur leur
contribution la russite globale du programme. Si l'valuation ne parvient
pas jusqu' ce stade, alors elle ne peut pas dboucher sur des
recommandations d'un niveau suffisamment stratgique en termes
d'amlioration ou de rorganisation du programme. Pourtant, l'exprience
montre que les quipes d'valuation hsitent formuler de telles
conclusions, notamment parce que cela implique un jugement sur la valeur
relative des rsultats et des impacts obtenus.
Exemple : Conclusions comportant un jugement mal justifi

Parmi les conclusions d'un rapport d'valuation, on peut lire les deux jugements
suivants :
la mesure A est hautement apprcie par les professionnels
la mesure a un cot par emploi cr trs lev
Dans cet exemple, l'quipe d'valuation termine son rapport de faon conclusive, ce
qui tmoigne d'une qualit qui ne se rencontre pas en toutes circonstances. De plus,
ses jugements sont tays par des lments factuels, ce qui est galement un point
positif. Cependant, on peut regretter que ces conclusions ne soient pas mieux
justifies. Par exemple, en ce qui concerne la mesure A, le rapport n'explique pas
pourquoi on se contente du point de vue des professionnels. En ce qui concerne la
mesure B, on aimerait savoir pourquoi, et par rapport quelle norme, on peut conclure
que le cot par emploi cr est trs lev. On aimerait galement savoir si la mesure a
d'autres effets positifs susceptibles de contrebalancer son cot lev par emploi cr.
Si l'quipe d'valuation ou le groupe de pilotage sont rticents comparer
les mrites des diffrentes mesures, c'est souvent par crainte de formuler
un tel jugement de valeur, et surtout par crainte que ce jugement soit
considr comme trop subjectif. Pourtant, il est normal qu'une valuation
parvienne formuler des jugements de valeur, le mot valuation n'estil pas
luimme apparent au mot valeur ? Dans cette perspective, l'quipe
d'valuation doit s'efforcer de fonder son jugement sur des critres
explicites et accepts. Comme le montre l'exemple qui prcde, des

progrs restent raliser pour une meilleure justification des conclusions.
Si l'quipe d'valuation n'explique pas suffisamment ses jugements, cela
fragilise l'ensemble du rapport. Toute la crdibilit de l'valuation repose
alors sur la confiance que l'on porte l'impartialit de l'quipe d'valuation,
laquelle peut toujours tre mise en doute (au besoin avec un peu de
mauvaise foi). Pour viter ce danger, tout en ne renonant pas produire
de vritables conclusions, l'quipe d'valuation peut s'aider d'un certain
nombre de techniques qui permettent d'expliciter ses jugements et qui la
mettent l'abri des principales critiques. L'Encadr 37 prsente quatre de
ces techniques et leurs principales caractristiques.
Encadr 37 - Techniques d'aide au jugement
Nombre de critres
d'efficacit
Qui dcide de
l'importance
respective
des critres ?
Analyse
cotefficacit
Enqute
de
satisfaction
Analyse
cotavantages
Analyse
multicritre
Un seul
Nombreux
Nombreux
Nombreux
(pas
ncessaire)
Les
L'quipe
Le groupe
destinataires
d'valuation,
avec le
point de vue
des publics
de pilotage
de
l'valuation
gagnants ou
perdants
Les critres sont-ils
explicits ?
Oui
Non
Pas
Oui
totalement
La technique la plus simple consiste dcider que le jugement fera

rfrence un impact prioritaire, gnralement li l'objectif global du
programme. On fait alors intervenir deux critres : l'obtention de l'impact
prioritaire et les ressources mobilises. L'valuation prend alors la forme
d'une valuation cot-efficacit ou value for money. Par exemple, elle
compare les diffrentes mesures du programme en fonction du cot par
emploi cr. Dans le cadre des programmes socio-conomiques de l'Union
europenne, il est difficile de se contenter d'une technique aussi
simplificatrice. En ralit, il est difficile d'estimer la contribution de toutes
les mesures l'atteinte d'un objectif global (ex : dveloppement socio-
Appliquer l'analyse multicritre dans un cadre de partenariat
conomique) car celui ci est la fois trop vague et trop lointain (voir
page 22). On est plus souvent dans une situation o les mrites d'une
mesure se jugent par rapport plusieurs critres (ex : comptitivit,
diversification, emploi, environnement, etc.). L'quipe d'valuation doit tre
attentive ne pas oublier un critre pertinent sous peine de rendre les
conclusions inacceptables pour l'un ou l'autre des lecteurs du rapport. Il
faut donc avoir recours des techniques qui permettent de juger en tenant
compte de plusieurs critres.
Une premire forme de jugement multicritre, souvent choisie implicitement,
consiste faire juger la mesure par ses destinataires. Lorsqu'une quipe
d'valuation conclut, aprs enqute auprs des entreprises aides, que la
mesure est hautement apprcie par les professionnels , cela revient dire
que les professionnels interrogs ont identifi tous ses avantages et
inconvnients et les ont synthtiss au moment de rpondre l'enquteur.
Aprs extrapolation partir de l'chantillon enqut, on obtient bien un
jugement multicritre mais son dfaut est d'tre totalement opaque. Il est
impossible de retrouver la trace de ce qui a compt dans les jugements
individuels. Son autre dfaut est de s'appuyer seulement sur les
destinataires directs, sachant que leur jugement peut tre biais par
complaisance l'gard de l'administration qui leur a apport une aide.
Pour bien structurer les jugements en prenant en compte tous ses impacts,
les manuels d'valuation proposent galement la technique de l'analyse
cot-avantages. Selon cette technique, chaque impact est identifi et estim
de faon quantitative par l'quipe d'valuation, puis il est pondr l'aide
d'une valeur montaire (appele dans certains cas prix fictif). Cette valeur
reprsente ce que la socit est prte payer ou plutt ce que les personnes
concernes sont prtes payer, pour obtenir l'impact. On valorise galement
les impacts ngatifs par la disposition payer pour les viter.
L'analyse cot-avantages est une mthode qui aboutit en principe un
jugement tranch en forme de oui ou non sans avoir besoin de trouver
une norme de comparaison. Le jugement est positif si les avantages
actualiss pour les publics gagnants sont plus grands que les inconvnients
actualiss pour les publics perdants. En pratique, cette simplicit est rarement
mise profit parce que trop de projets ou d'interventions russissent le test
de l'analyse cot-avantages et que leur nombre dpasse les possibilits de
financement public. Un bilan cot-avantages positif n'est donc pas suffisant
pour porter un jugement dfinitif sur une intervention isole.
L'emploi de l'analyse cot-avantages est souvent dlicat parce que de

nombreux impacts sont difficiles montariser de faon incontestable
(impacts sur l'environnement notamment). De plus, la technique est
extrmement exigeante en termes de quantification des impacts, ce qui la
rend difficile appliquer un vaste programme de dveloppement socioconomique. En pratique, son emploi n'est vritablement Indiqu que pour
certaines valuations ex ante de grands projets.
Au contraire des trois approches prcdentes (cot-efficacit, enqute de
satisfaction et cot-avantages), la technique de l'analyse multicritre est une
approche qui fait expliciter les critres de jugement par le groupe de pilotage
de l'valuation, ce qui peut constituer un avantage dans un contexte de
partenariat. La technique n'est pas trs exigeante en termes de quantification
des impacts. Elle prend facilement en compte des conclusions qualitatives,
pour peu qu'elles aient t structures l'aide d'chelles de notation.
Encadr 38 - Un atelier europen sur les techniques d'valuations
adaptes au contexte du partenariat
Les valuations des programmes socio-conomiques de l'Union europenne sont
organises et ralises dans un contexte de partenariat entre la Commission et les
autorits nationales et/ou rgionales. Dans le cadre du programme MEANS, un
atelier a runi plusieurs reprises une vingtaine d'experts et de praticiens
europens dans le but d'identifier les difficults de l'valuation partenariale et de
faire des propositions techniques pour les traiter.
Les participants ont reconnu que des divergences d'intrts apparaissent
frquemment lorsque l'on procde en commun la clarification des objectifs, la
construction d'indicateurs ad hoc et l'tablissement de rfrences de comparaison.
De nombreuses techniques ont t voques au cours des trois runions de
l'atelier : diagramme logique des impacts, chelles de notation, analyse
multicritre, SWOT, Metaplan, vote color. Ces techniques sont gnralement
simples, au point que certaines ont t accuses d'tre enfantines. Leur point fort
est cependant de structurer la rflexion des partenaires et de grer leurs
dsaccords sans mettre en danger leurs relations de travail.
En effet, l'valuation partenariale n'chappe pas aux jeux de pouvoir et au fait que les
participants ont tendance parler le langage officiel de leur institution. Si le groupe de
pilotage est largi aux principaux partenaires du programme, on constate souvent qu'il
est victime d'une sorte de rituel de courtoisie qui conduit gommer les diffrences
de point de vue, et censurer certaines questions sensibles. Des techniques telles que
l'analyse multicritre permettent de faire exprimer des dsaccords au sein du groupe
de pilotage, ce qui vite les phnomnes d'autocensure et augmente la pertinence des
conclusions. Par contre, la technique canalise les discussions au sein du groupe de
pilotage en vitant les risques de conflit.
Critres d'valuation : dfinition et exemples

Pour bien justifier ses conclusions, l'quipe d'valuation explicite ses
rfrences de jugement, c'est--dire qu'elle dcrit ses principaux critres,
chacun d'entre eux tant ventuellement associ une unit de mesure et
une norme atteindre, comme le symbolise l'exemple du thermomtre
prsent ci-dessous.
Encadr 39 - Rfrence de jugement, norme et critre
degr Celsius ou
% de stagiaires employs
aprs 12 mois
unit de mesure
Rfrence de
jugement
critre
temprature ou
taux de placement
Les principaux critres d'valuation sont la pertinence, l'efficacit,
l'efficience et l'utilit. La pertinence juge si les objectifs correspondent aux
vritables besoins de l'conomie et de la socit. L'efficience juge si les
rsultats et les impacts ont t obtenus un cot raisonnable, ou s'ils
avaient pu tre obtenus moindre cot. L'efficacit juge si les rsultats et
les impacts obtenus permettent d'atteindre les objectifs explicites. Dans les
pages qui suivent, on tendra la notion d'efficacit l'atteinte des objectifs
implicites, ce qui donne au terme une signification proche de celle du
quatrime critre, l'utilit, qui juge l'ensemble des rsultats et des impacts
obtenus, attendus ou imprvus, au regard des besoins socio-conomiques.
Dans les pages qui suivent, l'analyse multicritre est employe en
privilgiant l'efficacit entendue au sens large, c'est--dire l'obtention des
impacts attendus. L'analyse est dite multicritre parce que les

partenaires attendent plusieurs impacts, chacun d'entre eux tant
considr comme un critre de russite pour l'analyse du programme.
Mode d'emploi de l'analyse multicritre

La problmatique de choix multicritre est trs ancienne. Elle a fait l'objet
de dveloppements techniques importants depuis les annes 1960 dans le
cadre de recherches sur l'aide la dcision inities par des
mathmaticiens, spcialistes de la recherche oprationnelle. Son
dveloppement a longtemps t port par deux coles spares, l'une
ayant son centre en France, l'autre aux Etats-Unis. Les deux courants ont
maintenant tendance se rejoindre.
L'analyse multicritre permet d'clairer une dcision complexe en aidant
comparer toutes les solutions envisages et en tenant compte de tous les
points de vue jugs pertinents. En tant qu'outil d'aide la dcision,
l'analyse multicritre est couramment utilise dans le secteur priv, par
exemple lorsqu'une entreprise choisit un site pour sa localisation ou dans
le secteur public, par exemple lorsqu'une collectivit choisit un mode de
stockage de ses dchets spciaux.
Dans le domaine de l'valuation des interventions publiques, l'analyse
multicritre a t peu utilise, si ce n'est dans l'valuation ex ante des
projets d'infrastructure de transport. Les pages qui suivent proposent une
utilisation de la technique, non plus dans un contexte d'aide la dcision
concernant un projet, mais sous la forme d'une aide au jugement
concernant un programme. Il s'agit de juger la russite des diffrentes
mesures d'un programme de dveloppement socio-conomique et
d'aboutir des conclusions synthtiques, en prenant en compte les
principaux critres pertinents pour le groupe de pilotage.
Dans une telle situation, l'emploi de l'analyse multicritre constitue une
originalit. Le mode d'emploi qui suit doit cependant tre considr comme
oprationnel dans la mesure o il prend en compte les rsultats de
plusieurs tests en vraie grandeur. Le droulement de la procdure est dcrit
en cinq tapes, plusieurs d'entre elles pouvant faire l'objet de variantes.
Structuration de l'analyse
Choix des objets comparer
En principe, la procdure qui est dcrite ci-dessous va permettre de
comparer entre elles les mesures d'un programme. On doit cependant
s'interroger sur l'intrt ventuel de travailler un autre niveau en

dcomposant certaines mesures (niveau souvent appel action ) ou au
contraire, en regroupant des mesures similaires. Le choix ne doit pas
conduire comparer un trop petit nombre d'objets (deux ou trois groupes
de mesures par exemple) car la formalisation multicritre ne se justifierait
pas dans ce cas. Le nombre d'objets comparer peut au contraire tre
aussi grand que l'on veut (50 mesures par exemple, ou plus) car l'analyse
multicritre ne comporte pas de limite dans ce sens.
On peut tre conduit limiter le nombre de mesures analyses, non pas
pour des contraintes lies la technique d'aide au jugement, mais pour des
raisons de collecte de donnes. Telle qu'elle est dcrite ci-dessous,
l'analyse s'appuie en effet sur une matrice de notation des impacts, matrice
dont la construction peut tre simplifie si on choisit d'analyser seulement
les mesures les plus sensibles. La dcision prendre est de nature cot /
utilit. S'il s'agit d'clairer une dcision de rallocation budgtaire ou une
nouvelle programmation, la logique voudrait que l'on s'intresse en priorit
aux mesures les plus importantes en terme de budget ou aux mesures plus
innovantes ou celles dont l'efficacit est mise en doute.
Choix des critres
Dans le cas des programmes socio-conomiques de l'Union europenne,
la russite d'une mesure se juge normalement par sa contribution
l'atteinte des objectifs intermdiaires affichs dans les documents de
programmation. Les grandes priorits politiques de l'Union europenne
(ex : environnement, galit des chances) font galement partie des critres
de jugement. Une variante consiste s'appuyer plutt sur les objectifs
implicites du programme, tels qu'ils ont t reconstitus par le groupe de
pilotage ou par des groupes de travail largis, par exemple avec l'aide de
la cartographie conceptuelle des impacts (chapitre I).
C'est cette seconde option qui est prsente ci-aprs. A l'aide d'un
diagramme logique des impacts (voir Encadr 7 - Diagramme logique des
impacts), et en accord avec le groupe de pilotage, l'quipe d'valuation
dfinit la liste des critres, chaque critre tant driv d'un impact
intermdiaire. A ce stade, l'quipe d'valuation doit veiller ce que les
critres choisis soient logiquement indpendants les uns des autres. Ainsi,
dans l'Encadr 40, l'impact intitul meilleure viabilit des entreprises
est logiquement reli l'impact intitul attractivit environnementale
qui le prcde. L'analyse multicritre devra choisir de juger les mesures

selon l'un ou l'autre de ces critres, mais pas sur les deux. Par contre, le
diagramme montre que l'attractivit environnementale et l'amlioration de
l'employabilit sont considres comme des impacts indpendants. Tous
deux pourront donc tre choisis comme critres de jugement.
Encadr 40 - Indpendance et interdpendance

des critres d'valuation
Mesures
R&D
Tourisme
Friches
industrielles
Entreprises
Agriculture
Impacts intermdiaires
Ouverture
extrieure
Attractivit
environ
nementale
Meilleure
viabilit des
entreprises
Diversification
sectorielle
Multiplication
des PME
Meilleure
employabilit
Formation
Impacts
interdpendants
Impacts
indpendants
Pour faciliter la formulation des conclusions et leur comprhension, on

vitera galement de mlanger des critres de nature trop diffrente. Si
l'valuation porte principalement sur l'efficacit du programme, l'analyse
multicritre s'intressera aux rsultats et impacts obtenus par les diffrentes
mesures (c'est l'option prise dans ce chapitre). Si l'valuation porte
principalement sur la pertinence du programme, on peut galement raliser
une analyse multicritre, mais elle s'intressera alors aux principales forces
et faiblesses de l'conomie rgionale et la faon dont les diffrentes
mesures s'appuient sur les forces ou compensent les faiblesses.
La synergie entre les impacts des diffrentes mesures constitue un cas

particulier. Il est logique d'en faire un critre de jugement part entire si
l'on pense que certaines mesures sont indispensables pour permettre la
russite d'autres mesures. Si l'tude des effets de synergie a t ralise
dans l'esprit du chapitre III de ce Volume, il est possible d'utiliser une
matrice des impacts croiss et en particulier les coefficients de synergie
pour prendre en compte ce critre dans la formulation du jugement de
synthse sur les mesures.
Contrairement au nombre de mesures comparer, qui peut tre
potentiellement trs grand, le nombre de critres doit tre, quant lui,
infrieur une limite raisonnable. L'exprience a montr que les
participants d'un groupe de pilotage ou d'un groupe de travail ne peuvent
pas s'exprimer valablement sur un nombre de critres suprieur huit.
C'est ce nombre qui a t retenu dans l'exemple suivant.
Exemple : Critres retenus pour l'valuation d'un programme socioconomique en Belgique
Dans le cadre d'une valuation pilote, une analyse multicritre a t ralise en
impliquant un groupe de pilotage largi une dizaine de personnes. Huit critres ont
t choisis et le groupe de pilotage leur a donn les dnominations et les
significations suivantes :
Diversification sectorielle (la mesure roriente l'activit conomique de la rgion
vers des marchs porteurs.
Renforcement des PME (La mesure renforce la part des petites ou moyennes
entreprises dans l'activit conomique de la rgion).
Ouverture extrieure (La mesure renforce les exportations hors de la rgion).
Renforcement des services aux entreprises (La mesure permet plus
d'entreprises de se fournir en services dans la rgion).
Meilleure insertion environnementale (La mesure rduit le nombre d'entreprises
rgionales dont le dveloppement ou la survie est contrari par des problmes
d'environnement).
Meilleure rpartition territoriale (La mesure roriente l'activit conomique de la
rgion vers les zones les plus dfavorises).
Meilleure employabilit (La mesure amliore l'employabilit des personnes de la
rgion qui travaillent ou cherchent un emploi).
Synergie (La mesure contribue la russite d'autres mesures du programme).
Matrice d'valuation multicritre

Une fois choisis les critres de jugement et les mesures valuer (ou les
groupes de mesures, ou parties de mesures), l'quipe d'valuation
construit une matrice d'valuation multicritre. Cette matrice n'est rien
d'autre qu'un tableau comportant autant de colonnes que de critres et
autant de lignes que de mesures comparer. Chaque cellule reprsente
l'valuation d'une mesure pour un critre. L'analyse multicritre impose de
faire une valuation de toutes les mesures pour tous les critres (aucune
cellule ne doit tre vide), mais elle n'impose pas que toutes les valuations
aient la mme forme. Comme le montre l'Encadr 41, la technique peut
prendre en compte un mlange de critres quantitatifs exprims par des
indicateurs, de critres qualitatifs exprims par des descripteurs, et de
critres intermdiaires exprims part des notes.
Encadr 41 - Combinaison d e critres qualitatifs et quantitatifs
Diversification
(% des entreprises
aides intervenant
dans des secteurs
en forte croissance)
Employabilit
(descripteurs
d'impact)
Environnement
(note d'impact
entre 0 et 10)
Aide
l'investissement
72%
Impact neutre
Formation
en entreprise
21%
Augmentation
significative de
l'employabilit
pour les stagiaires
dj qualifis,
impact neutre
pour les autres
Friches industrielles
52%
Impact neutre
Critre
Modalits
d'valuation
du critre
Mesures
La faon la plus pragmatique de remplir la matrice d'valuation multicritre

est de structurer toutes les conclusions de l'valuation, qu'elles soient
quantitatives ou qualitatives, l'aide d'chelles de notation construites
cet effet par l'quipe d'valuation (voir page 63). La matrice d'valuation
multicritre est alors quivalente la matrice de notation des impacts
dcrite dans l'Encadr 19.
Solutions techniques pour valuer dans un cadre de part
Avant de poursuivre l'analyse multicritre, l'quipe d'valuation doit vrifier si

ses premires conclusions vont permettre de comparer les mesures entre elles
de faon satisfaisante. En choisissant ses critres, l'quipe d'valuation a dj
veill ce qu'ils s'appliquent au plus grand nombre possible de mesures.
Cependant, il faut encore que la majorit des mesures aient produit des
impacts au regard de la majorit des critres. En d'autres termes, il faut que la
matrice de notation des impacts ne comporte pas trop d'impacts neutres, nuls
ou insignifiants. A la limite, si les seules notes non nulles sont situes dans la
diagonale (comme dans l'Encadr 42), cela veut dire que les mesures values
n'ont aucun point en commun et que leurs critres d'valuation sont
spcifiques. L'analyse multicritre doit alors tre abandonne.
Encadr 42 - Cas de cri tres d'valuat on trop spcifiques
Diversification
Employabilit
Environnement
(note d'impact)
(note d'impact)
(note d'impact)
entre 0 et 10)
entre 0 et 10)
entre 0 et 10)
Aide l'investissement
Formation en entreprise
Friches industrielles
Critre
Modalits d'valuation
du critre
Mesures
Choix de la procdure d'analyse

Deux possibilits principales s'offrent l'quipe d'valuation pour
comparer les mrites des diffrentes mesures : l'analyse multicritre par
compensation ou par surclassement. La variante la plus connue est la
premire, qui consiste attribuer une pondration chaque critre, puis
calculer une note globale pour chaque mesure en faisant la moyenne
arithmtique pondre des notes attribues cette mesure pour les
diffrents critres. Cette variante s'appelle compensatoire parce que le
calcul de la moyenne pondre permet une compensation entre critres.
Par exemple, une mesure qui a un trs mauvais impact sur l'environnement
pourra malgr tout obtenir une bonne note globale pondre si son impact
sur l'employabilit a t jug excellent.
Dans la variante du surclassement, on ne calcule pas une note globale car
on considre que les critres ne sont pas tous commensurables. Dans ce
cas, l'analyse repose sur des comparaisons multiples du type : estce

que la mesure A surclasse la mesure du point de vue du critre
d'environnement ? , estce que la mesure A surclasse la mesure du
point de vue du critre d'employabilit ? , etc. On peut rpondre ces
questions, par oui ou par non (critre franc) ou nuance, auquel cas on
introduit la notion de prfrence faible et de critre seuil. L'analyse fait
toutes les comparaisons possibles et prsente une synthse du type : la
mesure A est au moins aussi bonne que la mesure relativement une
majorit de critres (cas de concordance), sans tre nettement trop
mauvaise relativement aux autres critres (cas de discordance) .
Ce type d'analyse intgre souvent une protection pour viter de juger
favorablement une mesure qui serait catastrophique du point de vue d'un
critre donn. A cet effet, on dtermine un seuil de veto pour chaque
critre. Tout comme on peut tablir des prfrences nuances entre
critres, il est possible de nuancer le seuil de veto en introduisant un veto
progressif. L'introduction d'un seuil de veto diffrencie fortement la logique
du surclassement et celle de la compensation. S'il existe un seuil de veto,
un trs mauvais impact sur l'environnement interdira de considrer la
mesure comme bonne, mme si son impact sur l'employabilit a t jug
excellent par ailleurs.
Le surclassement a l'avantage de mieux reflter la nature des relations entre
institutions publiques. En effet, quand on dit que la mesure A surclasse la
mesure pour la majorit des critres et elle n'est pas exagrment
surclasse pour aucun des critres , on adopte un mode de raisonnement
trs familier pour un responsable politique. Chacun sait en effet qu'une
dcision publique est plus facile prendre si la majorit des protagonistes
sont d'accord et s'il n'y a pas un groupe de pression violemment oppos.
On peut d'ailleurs constater qu'il s'tablit souvent une correspondance
entre les critres et les protagonistes de l'valuation. Dans le cas o le
groupe de pilotage est largi une dizaine de partenaires, il n'est pas rare
qu'un participant s'identifie fortement au critre environnement ou un
autre au critre emploi . Dans cette situation la variante du
surclassement est probablement de nature mieux reflter le processus
collectif de formulation du jugement au sein du groupe de pilotage.
D'un point de vue technique, la variante de compensation est trs simple
mettre en oeuvre avec n'importe quel logiciel tableur. La variante de
surclassement ncessite au contraire l'emploi de logiciels spcialiss qui
diffrent selon les types d'analyse, dont les plus connus sont prsents
dans l'Encadr ci-dessous :
Encadr 43 - Variantes d'analyse multicritre
utilisant le surclassement
Les principales variantes de l'analyse multicritre utilisant le surclassement sont
les suivantes :
ELECTRE I - Cette variante fonctionne avec un Indice de concordance et un indice
de discordance, prsents sous forme de notes. Un seuil de discordance (veto) est
introduit pour tous les critres. Les surclassements et les seuils de veto sont francs.
Le logiciel traite une situation o il s'agit de choisir la ou les meilleures mesures par
exemple une situation o l'on cherche identifier les meilleures pratiques.
ELECTRE TRI - Cette variante permet de trier les mesures en diffrentes
catgories, par exemple les mesures les plus russies, les mesures qui n'ont pas
d'impact significatif et les mesures intermdiaires.
ELECTRE II produit un classement entre les mesures depuis la plus russie
jusqu' la moins russie. Les surclassements et les seuils de veto sont francs.
ELECTRE III ralise galement un classement mais introduit des relations de
surclassement floues.
PROMETHEE, utilise seulement un indice de concordance et introduit des
surclassements progressifs.
Pour en savoir plus, voir annexe bibliographique : Vincke 1989
Le surclassement n'aboutit pas toujours des conclusions tranches. Par
exemple, si l'analyse produit un tri, elle montrera que certaines bonnes
mesures surclassent nettement les autres, que d'autres mesures plutt
mauvaises sont frquemment surclasses et qu'un troisime groupe de
mesures sont inclassables.
Au contraire, si l'analyse repose sur une compensation, elle est toujours
conclusive. Dans la suite de ce chapitre, on a opt pour la variante utilisant
la compensation, la fois pour sa simplicit technique et pour sa capacit
conclure de faon tranche. En effet, dans une logique d'valuation
d'ensemble du programme et dans une perspective de rallocation
budgtaire, on considre que les lecteurs du rapport d'valuation ont besoin
d'obtenir des conclusions sur toutes les mesures values. La formule de la
note globale pondre est adapte cette situation, mais elle correspond
une application simplificatrice de l'analyse multicritre. Pour une application
concrte, il est prudent de vrifier avec chaque membre du groupe de
pilotage qu'aucun problme majeur ne justifierait un systme de veto.
Choix des assesseurs

L'analyse multicritre constitue une aide au jugement pour l'quipe
d'valuation. Elle lui permet d'expliciter ses jugements et de rdiger ses
conclusions finales en se mettant l'abri des principales critiques
concernant sa subjectivit. En ralit, la technique produit un jugement
fond sur des lments factuels et objectifs concernant les impacts, mais
aussi sur la prise en compte impartiale des points de vue et les prfrences
des principaux partenaires.
L'analyse multicritre est une technique qui ne peut pas tre mise en uvre
sans la participation effective des partenaires du programme. Lorsqu'elle
utilise cette technique, l'quipe d'valuation doit avoir des entretiens
individuels ou des entretiens de groupe, avec un certain nombre de
personnes porteuses des points de vue considrs comme les plus
pertinents pour juger les mesures. Ces personnes seront dsignes cidessous sous le nom d'assesseurs.
Une premire formule consiste considrer comme assesseurs les
membres du groupe de pilotage de l'valuation. Il faut pour cela que le
groupe de pilotage ait t largi suffisamment pour reflter les principaux
points de vue en prsence. En effet, mme si la commande de l'valuation
est presque toujours le fait d'un des partenaires, il serait dangereux de
considrer l'valuation comme un exercice unilatral command par un seul
dcideur pour son usage exclusif. Pour cette raison, la pratique conduit
souvent instituer un groupe de pilotage qui permet l'expression de
plusieurs points de vue. L'largissement du groupe de pilotage une dizaine
de protagonistes prsente de nombreux avantages : les personnes invites
font entendre les attentes et les craintes qui s'expriment leur niveau, elles
amliorent la pertinence des questions poses, et leur prsence crdibilise
l'valuation. Une plus grande diversit au sein du groupe de pilotage met en
prsence un plus grand nombre de points de vue, facilite leur confrontation,
et permet d'lever le degr de consensus. Chaque participant apporte ses
questions, son systme de valeurs, ses critres de jugement et ses normes.
Sous rserve de savoir tirer parti de cette pluralit, l'valuation aboutit des
conclusions plus riches, plus crdibles et plus utiles. La prise en compte des
attentes de plusieurs partenaires permet une meilleure acceptation des
rsultats et augmente l'intrt qui sera port ces rsultats. On trouvera
dans le Volume 1 de la Collection, une srie de recommandations pour
constituer et faire fonctionner un groupe de pilotage largi.
Si le groupe de pilotage a t largi au-del de dix personnes, toutes ne

pourront pas participer efficacement l'analyse multicritre. Un groupe de
six dix assesseurs sera alors choisi au sein du groupe de pilotage. Comme
on le verra ci-dessous, l'quipe d'valuation pourra tre amene travailler
avec les assesseurs de faon collective ou par entretiens individuels.
Expression d e s p r f r e n c e s entre critres
L'tape d'expression des prfrences est destine tablir les
pondrations des diffrents critres. Cette pondration est tablie en tenant
compte des prfrences des assesseurs.
Expression directe des prfrences des assesseurs
Une premire variante consiste runir les assesseurs et leur demander
d'exprimer leurs prfrences sous forme d'une pondration attribue
chaque critre. On peut procder par un vote par rpartition de points. La
discussion peut galement tre conduite au moyen de plusieurs runions
successives comme dans l'exemple ci-dessous.
Exemple : Cration d'un systme de notation-pondration en Angleterre
Dans le cadre du programme de dveloppement socio-conomique de la rgion
North-East England pour la priode 1991-93, un petit groupe de dix personnes a mis
au point un systme de slection des projets. Le groupe de travail s'est runi
plusieurs reprises pendant trois mois. Il comprenait des reprsentants des
principales autorits responsables du programme et de sa mise en uvre. Il a tabli
la liste des critres et le poids de chaque critre ainsi que des chelles de notation
pour les diffrents critres.
Certaines runions ont t conflictuelles et le travail a travers une priode de crise.
Les membres du groupe sont toutefois parvenus un accord, sachant qu'il existait
dans la rgion un excellent esprit de partenariat et une unanimit en faveur de la
politique de dveloppement rgional. Aprs que le groupe de travail soit arriv un
accord, toutes les agences impliques dans le programme ont t consultes et les
autorits responsables du programme ont valid le systme qui a t ensuite
appliqu la slection de tous les projets et qui a servi de modle pour la plupart des
autres programmes britanniques.
Rvlation des prfrences par classement de portraits robots

Une autre formule consiste prsenter aux assesseurs des portraitsrobots de mesures ou de projets dcrits de telle faon qu'ils rvlent les
prfrences entre les critres. On procdera par exemple en proposant aux

assesseurs de comparer deux mesures thoriques A et ayant des
impacts schmatises comme dans l'Encadr cidessous.
La mesure thorique A sera dcrite comme une mesure dont l'impact est
neutre, c'estdire nul, pour tous les critres, l'exception du critre
insertion environnementale pour lequel son impact est bon, c'estdire
que la mesure a contribu de faon systmatique amliorer la viabilit
environnementale des activits de ses destinataires. La seconde mesure
thorique sera dcrite comme une mesure dont l'impact est neutre, c'est
dire nul, pour tous les critres, l'exception du critre renforcement
des PME pour lequel son impact est bon, c'estdire que la mesure a
touch des PME, dans une large proportion, et a contribu de faon
dcisive amliorer leur comptitivit.
Encadr 44 Portraitsrobots de deux mesures privilgiant
deux critres
&
P"
vO
.?
Cis
c<
0<
v<^
Bon impact
Impact neutre
(~)
Portrait robot de la mesure A

Portrait robot de la mesure
Entre ces deux portraits robots, les assesseurs doivent choisir celui qu'il
prfre et, si possible, ils doivent dire si leur prfrence est faible, moyenne,
forte ou trs forte. L'exercice est rpt pour tous les couples de portraits
Solutions techniques pour valuer dans un cadre de par
robots. L'ensemble des rponses est trait l'aide d'un logiciel informatique
qui attribue chaque impact une pondration en % de telle faon que le
total des pondrations soit gal 100%. Le logiciel utilis a t prsent par
ailleurs dans le chapitre consacr aux chelles de notation (voir page 62).
Rvlation d e s p r f r e n c e s p a r c l a s s e m e n t d e projets rels
Le choix propos aux assesseurs dans la variante prcdente pourra avoir
l'inconvnient d'apparatre c o m m e artificiel. Pour viter ce problme, il est
prfrable d e d e m a n d e r
aux
assesseurs
d e se p r o n o n c e r
sur
leurs
prfrences entre des projets rels. Cette variante a t applique dans le

cadre de l'valuation d ' u n p r o g r a m m e franais d e d v e l o p p e m e n t urbain
(voir l'Encadr
24). C'est
celle qui d o i t
tre
privilgie
par
l'quipe
d'valuation dans la mesure d u possible. La procdure est prsente dans

l'exemple qui suit.
Exemple : Classement de projets rels par les assesseurs

Un programme franais de dveloppement urbain, co-financ au niveau national et
rgional, a fait l'objet d'une valuation mi-parcours. Huit critres d'valuation ont t
choisis. L'quipe d'valuation a ralis une enqute par tudes de cas, portant sur
une vingtaine de projets dj raliss. Chaque projet a fait l'objet d'une monographie
dcrivant ses impacts selon les diffrents critres. L'quipe d'valuation a eu ensuite
des entretiens individuels et confidentiels d'environ deux heures avec six assesseurs
dsigns par le groupe de pilotage. Ces entretiens ont pris la forme suivante :
L'quipe d'valuation a montr l'assesseur plusieurs monographies de projets
dont il avait une bonne connaissance personnelle. Il a t vrifi que les
monographies refltaient fidlement la ralit aux yeux des assesseurs.
L'assesseur a ensuite pris connaissance de trois ou quatre monographies de
projets qu'il ne connaissait pas. Les projets taient choisis de faon ce que les
uns soient plutt russis du point de vue de certains critres et les autres soient
plutt russis du point de vue d'autres critres. Les monographies ont
gnralement t considres comme suffisamment prcises pour permettre de
juger les projets.
L'assesseur a alors t invit classer ces trois ou quatre projets de faon intuitive
en les rangeant depuis le meilleur (le plus digne d'tre financ par le programme)
jusqu'au moins bon.
L'quipe d'valuation a dbattu avec l'assesseur les raisons de son classement et
en a dduit une pondration entre les critres qui a t discute et valide par
l'assesseur. Il s'est confirm que les assesseurs avaient des points de vue trs
diffrents sur l'importance donner aux diffrents critres.
Diffrences de points de vue entre assesseurs

La rvlation des prfrences des assesseurs peut se faire en runion ou
en entretien individuel. Dans le premier cas, on en dduit un seul et unique
systme de pondration entre les critres. Dans le second cas, l'quipe
d'valuation et le groupe de pilotage peuvent dcider d'tablir des
pondrations moyennes, ce qui a pour effet de gommer les diffrences de
points de vue entre assesseurs.
Une variante consiste, au contraire, conserver les pondrations
individuelles de chaque assesseur. Dans ce cas, les pondrations ralises
individuellement par un assesseur doivent tre traites en prservant son
anonymat. Il peut alors tre intressant de prsenter les pondrations de
faon spare pour telle ou telle catgorie d'assesseurs. Dans l'exemple de
l'Encadr ci-dessous, les pondrations ont t prsentes de faon
spare pour deux catgories d'assesseurs, ceux qui ont dclar se sentir
plus proche des proccupations nationales et ceux qui ont dclar se sentir
plus proche des proccupations rgionales.
Encadr 45 - Diffrences de pondrations entre les assesseurs
pondration
faible
Ouverture extrieure
Diversification sectorielle
Renforcement des PME
Insertion environnementale
Amlioration de l'employabilit
L"
H Assesseurs proches des proccupations nationales

assesseurs proches des proccupations rgionales
-forte
Classement multicritre des mesures

Note globale et classement des mesures
Arriv ce stade de son travail, l'quipe d'valuation dispose de tous les
lments pour calculer les notes globales pondres des diffrentes
mesures. On considre en effet que les rsultats et impacts de chaque
mesure ont t valus au regard des mmes critres, que l'ensemble de
ces valuations ont t prsentes sous forme de notes dans une matrice
de notation des impacts, et que l'on dispose d'un systme de pondration
exprimant les prfrences moyennes des assesseurs pour tel ou tel critre.
E n c a d r 4 6 - C a l e ni d e s n o t is globale:> des m e s j r e s
Contribution des
mesures la
production des
impacts attendus
(note entre 0 et 10)
Insertion
sociale
Emploi
Equilibre
des
quartiers
au sein de
la ville
Equilibre
entre les
villes de
la rgion
Note
moyenne
pondre
Amnagements
urbains
(moyenne des notes
pour les mesures
1 et 2)
1,2
Equipements
(moyenne des notes
pour les mesures
3 8)
4,1
Actions sociales
collectives
(moyenne des notes
pour les mesures
9 14)
4,4
Actions sociales
personnalises
(moyenne des notes
pour les mesures
15 19)
4,2
35%
20%
20%
25%
100%
Coefficient de
pondration des
critres
Le calcul de la note globale se fait alors en multipliant chaque note

lmentaire par sa pondration et en additionnant les notes lmentaires
pondres, comme dans l'exemple de l'Encadr 46 qui reprend la matrice
de notation des impacts de l'Encadr 24.
A partir des notes moyennes pondres, l'quipe d'valuation peut classer
les mesures par ordre de contribution la russite d'ensemble du
programme. Ce jugement de synthse sur l'efficacit des mesures peut tre
considr comme solide et impartial la condition que l'quipe
d'valuation ait pris les prcautions ncessaires et qui sont prsentes ci
dessous.
Faire valider les critres d'valuation par le groupe de pilotage.
Prsenter et faire valider les conclusions relatives aux impacts de chaque
mesure, ainsi que la matrice de notation des impacts qui les rsume.
Etablir les coefficients de pondration des critres avec
d'assesseurs choisis avec l'accord du groupe de pilotage.
l'aide
Vrifier avec le groupe de pilotage s'il y lieu d'instituer des seuils de veto
sur certains critres, auquel cas il conviendra de prfrer une procdure
de surclassement.
Si, au contraire, l'quipe d'valuation effectue elle-mme le choix et la
pondration des critres, sans interaction avec les partenaires, l'impartialit
des rsultats en souffrira et l'intrt de l'analyse multicritre sera moindre.
Analyse multicritre-multijuge
Si la rvlation des prfrences entre les critres a t faite grce des
entretiens individuels avec les assesseurs, et si ces entretiens ont montr
des divergences de points de vue notables entre les assesseurs, il est
possible d'tablir plusieurs classements des mesures. Sur la mme matrice
de notation des impacts, l'quipe d'valuation appliquera diffrents
systmes de pondration (un jeu de pondrations diffrent pour chaque
assesseur). Il en rsultera des diffrences entre les notes globales
pondres, et donc des diffrences de classement, telle mesure pouvant
tre considre comme une russite du point de vue d'un assesseur et
comme un chec du point de vue d'un autre. L'Encadr 47 montre
comment vingt mesures ont t notes par six assesseurs diffrents en
utilisant les pondrations selon une formule appele analyse multicritremultijuge .
Encadr 4 7 - Classement multicritre-multijuge des mesures

selon leur contribution la russite du programme
Assesseurs
10 11 12 13 14 15 16 17 18 19 20
Mesures
Dans cet exemple, le graphique laisse apparatre des zones de consensus

et des zones de dissension. Pour certaines mesures, il existe en effet un
consensus sur le fait qu'elles sont des russites (2, 12 par exemple) ou
qu'elles n'en sont pas (19, 20 par exemple). Par contre, certaines mesures
donnent lieu des jugements htrognes au sein du groupe des
assesseurs (1, 4, 11 par exemple).
L'valuation multicritre peut donc tre organise en vue de produire une
conclusion synthtique unique la fin de l'valuation, ou au contraire, en
vue de produire des conclusions adaptes aux prfrences et aux priorits
de plusieurs partenaires diffrents. Dans le cas des programmes socioconomiques de l'Union europenne, les diffrents niveaux de partenariat
(europen, national rgional) peuvent tre concerns. Chacun de ces
niveaux est en effet lgitime pour tablir ses propres priorits et exprimer
ses propres prfrences entre critres.
L'objectif de l'analyse multijuge consiste donc tenir compte de ces
priorits diffrentes dans la restitution des rsultats de l'valuation. Elle est
bien adapte au mode de fonctionnement du partenariat en ce sens qu'elle
dessine des zones consensuelles dans lesquelles les partenaires sont
d'accord sur le classement des mesures, et des zones de dissension qui

rvlent des mesures considres comme des russites pour les unes et
des checs pour les autres. L'exprience a montr que les conclusions
consensuelles sont gnralement les plus nombreuses. Cela s'explique par
le fait que les diffrentes pondrations s'appliquent la mme matrice de
notation des impacts. Une mesure ayant de mauvaises notes pour tous les
critres ne pourra donc jamais avoir une bonne note globale pondre
quelles que soient les diffrences de priorits entre partenaires. Les
diffrences de points de vue entre partenaires ne peuvent donc pas
contredire fortement les conclusions qui rsultent de l'observation
empirique si celles ci montrent que certaines mesures font rellement partie
des meilleures pratiques et que d'autres posent de rels problmes
d'efficacit. L'exprience montre aussi que les partenaires sont beaucoup
plus disposs accepter les conclusions du rapport si l'quipe d'valuation
a recueilli leur point de vue avec soin et si elle a pris la peine de prsenter
ses conclusions en tenant compte de leurs prfrences.
Utiliser l'analyse pour produire des conclusions utiles
Recommandations de rallocations budgtaires

Dans le cadre de l'valuation des programmes socio-conomiques,
l'valuation pourra orienter les dcisions de rallocations budgtaires, soit
en cours de programme, soit dans le cadre de la prparation du programme
suivant. Les principales dcisions de rallocations budgtaires sont en effet
prises au niveau de la mesure. Les mesures juges les moins russies
devront tre rexamines, soit dans le sens d'une rduction de leur budget,
soit dans le sens d'une rorganisation tendant les rendre plus efficaces.
Les mesures les mieux classes pourront faire l'objet de recommandations
d'augmentation budgtaire si cela est pertinent.
Diffusion des meilleures pratiques
L'analyse multicritre permet d'identifier les succs du programme et les
mesures les plus efficaces. La communication et la diffusion de ces
conclusions au sein des acteurs du programme sont intressantes. Il est
possible de prsenter les mesures juges comme les plus russies
(meilleures pratiques) au cours de sminaires et de diffuser des brochures
ou des monographies dcrivant ces mesures. La diffusion peut galement
tre tendue aux mdias si les autorits gestionnaires du programme
souhaitent montrer au public l'usage qui a t fait des ressources
budgtaires du programme.
Il est galement possible de publier des exemples concrets de mesures
russies en vue d'informer les gestionnaires de mesures similaires
finances dans le cadre d'autres rgions. En effet, l'change d'informations
sur les pratiques identifies comme les meilleures, est un excellent moyen
d'augmenter terme la performance de la politique europenne de
cohsion.
Rtroaction sur les mthodes de slection des projets
Le choix des critres d'valuation, leur dfinition prcise et leur pondration
constituent un apport intressant de l'analyse multicritre. Ce travail permet
de constituer une description claire, complte et cohrente des intentions
et des priorits des partenaires du programme. Il est ensuite possible
d'utiliser ces rsultats pour diffuser des messages clairs aux gestionnaires
des mesures et aux oprateurs.
Les rsultats de l'analyse multicritre pourront aussi servir renforcer le
processus de slection des projets. En effet, il est relativement facile de
transfrer les critres, les chelles de notation, et les pondrations vers le
systme de slection des projets si celui-ci est organis galement sur le
principe de la notation-pondration (voir l'exemple dcrit la page 64). En
rapprochant la logique de la slection des projets et la logique de
l'valuation des mesures, on a de meilleures chances de susciter
l'mergence et le financement de projets contribuant bien aux priorits
fixes dans le cadre du programme. Pour tre globalement russi un
programme doit slectionner ses projets sur des critres les plus proches
possibles de ses propres critres d'efficacit.
Approfondissement des analyses
Si l'analyse multicritre a t conduite dans sa variante multijuges . Il
convient de savoir galement utiliser ses non-conclusions, savoir les cas
de mesures juges favorablement par certains et dfavorablement par
d'autres. Dans ce cas, le groupe de pilotage peut recommander aux
autorits responsables du programme de lancer un approfondissement de
l'valuation pour mieux comprendre les raisons qui ont conduit un
dsaccord sur ces mesures : Le dsaccord tient-il une insuffisante
dfinition des critres ? Les critres prennent-ils bien en compte les
objectifs de la politique, donc les points de vue de l'ensemble des
partenaires de manire quitable ?
Conclusion
Cet ouvrage a prsent quatre solutions techniques adaptes l'valuation
d'ensemble d'un programme de dveloppement socio-conomique. Ces
quatre solutions sont construites dans le mme esprit. Elles donnent une
grande importance l'interaction entre l'quipe d'valuation et les
partenaires runis au sein d'un groupe de pilotage largi. Elles sont
structures et formalises sans toutefois tre trop exigeantes en termes de
donnes quantitatives. Elles peuvent aisment tre combines entre elles
comme cela est montr en conclusion.
Combinaison des quatre solutions techniques

Pour rcapituler les quatre solutions techniques on peut schmatiser la
dmarche d'valuation en quatre tapes standard comme indiqu dans
l'Encadr 48. L'quipe d'valuation commence par examiner les documents
de programmation pour reprer les impacts attendus. Au besoin, elle clarifie
ces impacts avec l'aide du groupe de pilotage (tape 1). Il faut ensuite choisir
des indicateurs quantitatifs ou des descripteurs qualitatifs pour tudier les
impacts (tape 2). A l'aide de ces instruments, l'quipe d'valuation ralise
une observation empirique des rsultats et des impacts sur le terrain
(tape 3). L'valuation s'achve par un jugement synthtique sur le
programme, jugement qui prend en compte les diffrents impacts obtenus et
l'Importance relative de ces impacts pour les diffrents partenaires (tape 4).
Dans le cas d'une valuation ex ante, l'tape 3 est remplace par une
simple estimation prvisionnelle des impacts, sur la base des
connaissances disponibles.
Encadr 48 - Enchanement des quatre solutions techniques
1
Clarifier les
principaux
impacts
attendus
Choisir des
indicateurs et
des descripteurs
adapts
chaque impact
Rassembler des
informations et
les analyser
pour estimer
les impacts
Porter un
jugement
synthtique
au regard des
diffrents impacts
obtenus
Dessiner la carte
conceptuelle
des impacts
Construire des
chelles
de notation
Evaluer les
mesures par
observation
empirique
des rsultats et
impacts sur
le terrain
Appliquer
l'analyse
multicritre
Analyser la
synergie entre
mesures l'aide
d'une matrice
des impacts
croises
Conclure
l'valuation
et faire des
recommandations
E n c a d r 4 9 - Etude empirique d e s i m p a c t s au m o y e n
d'tudes de cas parallles
Une tude de cas examine un projet individuel (le cas) et aboutit une
monographie dcrivant ce projet en quelques pages. L'enquteur rassemble tous
les documents disponibles sur le projet et sur sa gestion. Il visite le site et
interroge le gestionnaire de la mesure dont le projet fait partie, ainsi que
l'oprateur responsable du projet. Il ralise aussi des entretiens individuels avec
plusieurs destinataires directs et indirects. Chaque tude de cas reprsente une
dpense non ngligeable (2 000 5 000 euros) mais le nombre de cas tudis est
suffisamment rduit pour contenir le cot total de l'valuation dans une limite
raisonnable.
Une enqute par tude de cas parallles porte typiquement sur dix trente
projets, observs et analyss avec la mme grille d'enqute. Une telle enqute
permet d'obtenir des informations gnralisables sur les motivations des
destinataires, sur leurs vritables besoins, sur les raisons de leur participation au
programme, sur leur faon de juger la qualit du programme, sur les mcanismes
d'apparition des impacts, sur l'existence d'effets imprvus, etc. L'enqute par
tude de cas tant essentiellement qualitative, sa principale fonction est de mieux
faire comprendre le fonctionnement du programme.
Les tudes de cas peuvent galement produire des estimations d'impact
quantitatives ou qualitatives, ou encore structures l'aide d'chelles de
notation. Dans ce cas, chaque monographie produit des conclusions sur les
impacts du projet tudi et de lui seul. Le nombre limit d'tudes de cas ne
permet pas de procder des extrapolations de caractre statistique.
Il est cependant possible d'utiliser une enqute par tude de cas pour produire
des conclusions systmatiques sur les rsultats et impacts des mesures d'un
programme socio-conomique. Par exemple, on pourra slectionner un ou
plusieurs cas considrs comme typiques de chaque mesure. Les
conclusions obtenues seront utilises pour estimer l'ordre de grandeur des
impacts, mesure par mesure. Plus intressante est sans doute la dmarche qui
consiste tudier deux projets par mesure, un projet considr comme trs
russi par les gestionnaires de la mesure et un cas de relatif chec. De cette faon
on obtient une fourchette d'estimation des effets, mesure par mesure. Les
conclusions formules par l'quipe d'valuation pourront donc utilement
s'appuyer sur une enqute par tudes de cas parallles, sachant que les autres
sources d'informations ne doivent pas tre ngliges (donnes de suivi sur les
ralisations, opinions des gestionnaires de mesure, analyses d'impacts de
mesures comparables, etc.
Pour une prsentation plus complte de la technique de l'tude de cas, on se
reportera au Volume 3 de la Collection.
Conclusion
Pour raliser l'valuation d'ensemble d'un programme dans un cadre de

partenariat, il est possible d'articuler les diffrentes solutions techniques
prsentes dans ce Volume, de la faon qui est prsente dans
l'Encadr 48. Ce schma fait cependant apparatre que les quatre solutions
techniques ne suffisent pas assurer la ralisation complte de
l'valuation. En particulier, elles ne touchent pas au cur de l'valuation,
c'est--dire l'observation empirique des rsultats et des impacts produits
par les mesures sur le terrain (tape encadre en gras dans le schma).
Aucune valuation n'a de sens si cette fonction n'est pas remplie.
Diffrentes stratgies peuvent tre adoptes pour raliser l'observation
empirique des rsultats et des impacts, sachant que la difficult majeure
consiste ici observer plusieurs classes d'impacts pour de nombreuses
mesures qui ne s'adressent pas aux mmes publics. Chaque quipe
d'valuation doit choisir la meilleure dmarche possible compte tenu des
caractristiques du programme et de ses publics. L'Encadr 49 montre une
des solutions possibles, base sur le principe des tudes de cas parallles.
Une dmarche d'ensemble privilgiant la rapidit
S'agissant de combiner entre elles les solutions techniques prsentes
dans ce Volume, plusieurs dmarches sont possibles. On a choisi de
prsenter en premier lieu une dmarche qui privilgie la facilit de mise en
uvre de l'valuation. Cette dmarche peut se drouler comme suit :
Constituer un groupe de pilotage largi (voir pages 29 et 113).
Reprer les impacts attendus dans les documents de programmation
(voir page 30).
Dfinir cinq sept classes d'impacts en utilisant la technique
METAPLAN selon la procdure prsente page 39. Cette tape
ncessite une premire runion du groupe de pilotage, ventuellement
combine avec la validation du plan de travail de l'valuation.
Raliser l'valuation des impacts des mesures (cette tape est importante
et difficile, mais elle est commune tous les types d'valuation).
Rassembler toutes les conclusions qualitatives et quantitatives
concernant les impacts des mesures sous forme d'un tableau synoptique
(voir Encadr 16).
Transformer le tableau synoptique des conclusions en matrice de
notation des impacts selon la procdure simplifie qui est prsente en
page 59. Cette tape ncessite une seconde runion du groupe de
pilotage, ventuellement combine avec la prsentation des travaux

d'enqute raliss par l'quipe d'valuation.
Construire la matrice des impacts croiss, faire l'analyse d'ensemble des
effets de synergie potentiels et produire les coefficients de synergie (voir
page 83 et suivantes).
Faire tablir les pondrations des critres par le groupe de pilotage selon
la procdure simplifie qui est prsente en page 114. Cette tape
ncessite une runion du groupe de pilotage, ventuellement combine
avec la prsentation d'une premire srie de conclusions par l'quipe
d'valuation.
Calculer des notes globales pondres pour toutes les mesures (voir
page 118) et les utiliser pour fonder des conclusions d'ensemble et des
recommandations de rallocations de ressources.
Comme le montre l'Encadr 50, l'ensemble de cette dmarche n'impose
pas un travail beaucoup plus volumineux que celui qui s'impose de toutes
faons pour la ralisation d'une valuation de bonne qualit.
Encadr 5 0 - T e m p s ncessaire pou r m e t t r e e n oeuv're
une d m a r c h e simplifi e
Temps ncessaire
(selon la complexit du programme):
Constitution du groupe de pilotage largi
Identification des impacts attendus
et constitution des classes
Ralisation de l'valuation des mesures
Jours min.
Jours max.
(hors valuation)
(hors valuation)
15
(comme dans une (comme dans une

autre valuation)
autre valuation)
Tableau synoptique des conclusions

et matrice de notation des impacts
Identification des synergies potentielles et

analyse d'ensemble des effets de synergie
15
Faire la pondration des critres et

le calcul des notes pondres
Produire le rapport d'valuation,

les conclusions de synthse et
les recommandations
Temps supplmentaire par rapport
une autre valuation
(comme dans une (comme dans une

autre valuation)
autre valuation)
14
42
Conclusion
Une dmarche d'ensemble privilgiant la rigueur technique

La seconde dmarche propose privilgie l'emploi des quatre techniques
dans leur forme la plus rigoureuse. Cette dmarche s'applique une
valuation mi-parcours ou une valuation ex post. Elle se droule de la
manire suivante :
Constituer plusieurs groupes de travail sectoriels, ainsi qu'un groupe de
pilotage largi qui fonctionnera comme groupe transversal (voir pages
29,41 et 113).
Dessiner la carte conceptuelle des impacts (voir pages 30 41).
Pour chaque classe d'impacts, dfinir une chelle de notation structure
(voir Encadrs 20 22) en s'appuyant sur les noncs d'impact qui
composant cette classe (voir Encadr 12).
Construire la matrice des impacts croiss et tudier la synergie entre les
mesures (voir pages 85 90) et identifier les synergies tudier de faon
plus approfondie.
Slectionner un ou plusieurs projets typiques de chaque mesure ainsi
que des projets porteurs d'importantes synergies potentielles.
Raliser une enqute par tude de cas parallles portant sur tous les
projets slectionns. Prsenter les conclusions de chaque tude de cas
sous forme d'une srie de notes en utilisant les chelles de notation
construites pour l'valuation (voir Encadr 20).
Rdiger des conclusions qualitatives mesure par mesure en se basant sur
les tudes de cas et sur toutes les autres informations disponibles et
pertinentes. Rsumer toutes les conclusions sous forme d'une matrice
de notation des impacts (voir Encadr 19).
Raliser l'analyse multicritre dans sa variante multijuge (voir pages 97
106).
Conclure l'valuation et procder aux recommandations de raollocations
budgtaires ou de rorientations stratgiques (voir page 123).
Il n'est pas raliste d'indiquer des lments de cot pour la mise en uvre
de cette dmarche plus technique, car elle doit faire l'objet d'une
adaptation fine au contexte et la nature du programme valu. Il faut
cependant noter qu'elle implique une srie de runions avec les partenaires
du programme sous forme de travail en groupe, de sminaires du groupe
de pilotage ou d'entretiens individuels avec les assesseurs choisis pour
l'analyse multicritre. La dmarche comporte galement une observation
empirique des effets des mesures. A ce titre, elle implique des visites sur le
terrain et des entretiens avec des destinataires.
Au total, le souci de privilgier la qualit technique conduit un calendrier
d'valuation qui s'tend sur au moins huit mois. Il est donc clair que cette
dmarche est plus lourde que celle qui est adopte ce jour par de
nombreuses valuations. Cet investissement supplmentaire dans
l'valuation peut tre justifi si le retour sur investissement est
suffisant. Rappelons les rsultats qui peuvent tre attendus d'une telle
valuation et qui ne sont gnralement pas atteints de faon satisfaisante
ce jour :
Des conclusions et des recommandations qui proposent et qui justifient
des rallocations budgtaires et des changements de priorits entre les
mesures du programme.
Des conclusions et des recommandations fondes non pas sur les taux
de consommation budgtaire et les taux de ralisation, mais sur un
vritable examen des impacts et sur la contribution des mesures la
russite globale du programme.
Des conclusions et des recommandations qui tiennent compte, de faon
impartiale, de tous les points de vue en prsence, dans le cadre du
partenariat.
Annexe
Rfrences bibliographiques
Bana e Costa, C A . et Vansnick, J.C. (1994) 'MACBETH An interactive
path towards the construction of the cardinal value functions', in :
International Transactions in Operations Research, 1(4), pp 489500.
Guba, E.G., Lincoln, Y.S. (1989) Fourth Generation E valuation, Newbury
Park: Sage Publications.
Hemerson, M.E., Morris, L.L., FitzGibbon, G.T (1987) How to Measure
attitudes ?, London : Sage publications.
Knox, C. (1995) 'Concept mapping in policy evaluation: a research review
of Community relations in Northern Ireland', in : E valuation, the
International Journal of Theory, Research and Practice 1(1), 6579.
Miller, D. C. (1991) 'Guide for the selection and construction of social scales
and indices', in Handbook of Research Design and Social
Measurement, London : Sage publications, 174188.
Monnier, E, (1992) E valuations de l'action des pouvoirs publics,
Economica.
Paris :
OECD DAC Expert Group on Aid evaluation (1996) The Role of Rating
Systems in Aid Management E xperiences of DAC Member
Organisations, Paris : OECD (non publi).
Schrlig, ., (1985) Dcider sur plusieurs critres, Lausanne : Presses
polytechniques et universitaires romande.
Roy, B. (1997) "Un chanon manquant en Recherche Oprationnelle Aide
la Dcision : les conclusions robustes", Cahiers du LAMSADE ,
144, Paris : Universit Dauphine.
Toulemonde, J., Fontaine, C , Laudren, E., Vincke, Ph. (1998) 'Evaluation in
partnership: Practical suggestions for improving their quality', in :
Evaluation, the International Journal of Theory Research and
Practice, 4(2).
Trochim, W.M.K. (1989), 'An introduction to concept mapping for planning
and evaluation', in : Evaluation and Program Planning, 12, 116.
Vincke, Ph ., (1989) L'aide multicritre la dcision, Bruxelles : Editions de
l'Universit de Bruxelles,. Traduction anglaise (1992), Multicriteria
Decisionaid, Chichester : Wiley.
Yin, R.K., Kaftarian, S.J., Jacobs, N.F. (1996) 'Empowerment Evaluation at

Federal and Local Levels : Dealing with quality', FETTERMANN & al.
Empowerment evaluation, London: Sage, pp 188-207.
Yoon, K. P. (1995) Multiple Attribute
publications.
Decision Making, London: Sage
Young, F.WW., Harris, D.G. (1994) 'Multidimensional Scaling', Norusis M.J.

SPSS Profesional Statistics : SPSS Inc.
Index
Index
action 18, 85, 106

analyse cotavantages 101
analyse cotefficacit 100
analyse de rgression 53
analyse multicritre 12, 57, 102, 105,
131
arbre des objectifs 25, 27, 86
axe 17, 22, 85, 93
besoin 103
cadre logique 24
cartographie conceptuelle des
impacts 11,29, 106, 131
classement 64, 77, 112, 119, 121
coefficient d'extrapolation 53
cohrence interne 80
cohsion conomique et sociale 17, 22
commanditaire 92
comparabilit 70
compensation 110
complmentarit 72, 73, 78, 81
coordination 81
crdibilit 60, 100
critre 21, 103
D
descripteur 66, 67, 69, 109, 127
destinataire 18, 24, 54, 91, 93
destinataire direct 101
diagramme logique des impacts 72
donne qualitative 29
chantillon 101
effet d'aubaine 54
effet de cannibalisme 81
efficacit 103
efficience 103
galit des chances 106
nonc d'impact 33, 66
enqute par questionnaire 45
entretien de groupe 32
entretien individuel 32, 93, 113, 114,
119
quipe d'valuation 25, 32, 53, 63,
110, 117
tude de cas 45, 71, 128, 131
valuation miparcours 21, 28, 54
valuation approfondie 53
valuation d'ensemble 12, 14, 19, 20,
22, 53, 82, 125
valuation ex ante 12, 22, 24, 105
valuation ex post 54
valuation partenariale 102
financeur 12
gestionnaire 27, 28, 31, 41, 83, 88, 93

groupe de comparaison 53
groupe de pilotage 29, 60, 66, 102,
105, 106, 111, 113, 124, 129, 131
H
harmonisation 70
impact
impact
impact
impact
18
global 24, 28
intermdiaire 26, 106
spcifique 19
impartialit 100, 119

indicateur 19, 20, 21, 25, 46, 54, 70,
102, 109, 127
instance d'valuation 60
interdpendance 81
programme 17
programme intgr 77
projet 18
protagonistesfinanceur 12
public concern 54
M
masse critique 79
matrice de notation des impacts 61,
62, 68, 71, 118
matrice des impacts croiss 57, 85,
86, 131
meilleure pratique 112, 121, 123
Metaplan 38, 102, 129
quantification 100
ralisation 18
rsultat 18
russite 35, 119
robustesse 23
N
norme 103
notation 12, 35, 57, 59, 63, 85, 90,
102, 106, 114, 116, 131
note globale pondre 63
0
objectif global 17, 22, 26, 100
objectif implicite 27, 31, 103, 106
objectif spcifique 21
oprateur 27, 28, 31, 41, 54
panel d'experts 60, 64, 66

performance 54
pertinence 103
pondration 39, 64, 77, 110, 114,
116, 117, 118, 119, 123
priorit politique 106
slection des projets 65, 69

situation contrefactuelle 80
succs 25, 123
suivi 21, 54
surclassement 110
SWOT 31, 102
synergie 57, 77, 78, 83, 87, 91, 92
synergie interne 80
synergie externe 80
synergie ngative 81
tableau synoptique des conclusions

56, 59, 62, 68
V
vote color 102
Remerciements
Plusieurs ateliers et runions ont permis de rapprocher les perspectives des
experts des diffrents thmes et la perspective transversale (ou multi-thmatique)
des responsables des Fonds structurels.
Une srie d'valuations pilotes a permis de tester et de stabiliser les solutions
techniques proposes dans cet ouvrage.
La coordination des travaux de ce volume a t assure par Miguel Benito Alonso et
Andrea Mairate (D.G. XVI.G.2 : Coordination de l'valuation) et a impliqu plusieurs
Directions Gnrales de la Commission Europenne, notamment les D.G. Il, V, VI, XIV
et XVI et en particulier Philippe Goybet et Anastassios Bougas.
notamment avec la participation de C.Diaz-Gomez et Cline Fontaine.
experts dont les noms suivent : J.Aidas (ME - Valencia), J. Anselmo (Universit
Bocconi - Milan), C. Bana e Costa (CESUR, Lisbonne), J.Bign (IVIE - Valencia),
J.Cuadrado (QUASAR - Madrid), C.Gillo (Ministre de l'Equipement, Paris), S.Green
(Department of Environment, Londres), C. Knox (University of Ulster), J.Malone (Ernst
& Young, Londres), S Martin (Warwick Business School), C. Mouilleron (RIDER Universit de Louvain), M.Rey (CEAT, Lausanne), P. Tyler (Cambridge Policy
Consultants,UK), Ph.Vincke (Universit Libre de Bruxelles), P.Viveret (Cour des
Comptes, Paris).
Les auteurs souhaitent remercier galement les responsables des institutions
rgionales qui ont coopr de faon particulirement ouverte ces valuations
pilotes et notamment : Luc Vandendorpe (Rgion Wallonne, Belgique), Javier
Quesada-lbaez (Communaut autonome de Valencia, Espagne), Manuel Vaquero et
Delphine Vincent (Rgion Poitou-Charentes et Prfecture de Rgion, France).

Luxembourg: Office des publications officielles des Communauts europennes

1999 141 p. 14,8 21 cm
ISBN 92-828-6627-0
BELGI QU E/BE LG IE
STERREICH
HRVTSKA
Jean De Lannoy
B1190 Bruxelles/Bru ssel
T! (322)538 43 08
Fa* (3221 533 08 41
Email : jean .de.lannoy inloboard be
URL: http://www.jeandelannoy.be
Manz'sche Verlags u n d
Universittsbuchhandlung G m b H
Kohlmaikt 16
A1014 Wien
Tel. (431)53 16 11 00
Fax (431)53 16 1167
EMail: Destel1enmanz.co.at
URL: http://www.manz.at/index htm
Mediatrade Ltd
Pavia Hatza 1
HR10000 Zagreb
Tel (3851)481 94 11
Fax (3851)481 94 11
Rue de la Loi 244/Wotslraat 244
Tl. (322) 295 26 39
Fax (322) 735 08 60
Email: mail@ libeurop.be
URL: http://www.libeurap.be
Moniteur be Ige/Bei gl s c h Staatsblad
Rue de Louvain 4042/Leuvenseweg 4042
01000 Bru e Ile s/Brussel
Tl. (322)552 22 11
Fax (322) 511 01 84
DANMARK
Hersledvang 1012
DK2620 Albertslund
TU. (45) 43 63 23 00
Fax (45)43 63 19 69
Email: sch ullz sch ultz.dk
URL: ht1p://www.schultz.dk
DEUTSCHLAND
B undes.!nzeiger Verlag GmbH
Vertriebsabteilung
D50735 Kln
Tel. (49221) 97 66B0
Fax (49221) 97 66B2 78
EMail: ver1heb@ bundesanzeiger.de
URL: http://www bunrJesanzeiger.de
/GREECE
G. C. Elcfthcroudiiki SA
International Bookslore
Panepistimiou 17
GR10564 Ainina
Tel. (301) 331 41 80/1/2/3/4/5
Fax (301)323 9 8 2 1
Email: elebooksnetor.gr
ESPANA
Trafalgar, 27
E28071 Madnd
Tel.(34) 9 1 5 3 8 2 1 11 (Libros).
9 1 3 8 4 17 15(Suscrip.)
Fax (34) 915 38 21 21 (Libros),
9 1 3 8 4 17 14(SuSCfip.)
Email: dientes com. boe. es
URL: hnp://www.boe.es
Mundi Prensa Libros. SA
Castello, 37
E28001 Madrid
Tel. (34)914 36 37 00
Fax (34) 915 75 39 98
Email: libieriamundiprensa es
URL: http://www.mundiprensa.com
FRANCE
Journal officiel
26. nja Desaix
Tl. ( 3 3 ) 1 4 0 58 77 31
Fax ( 3 3 ) 1 4 0 5 8 77 00
URL: http://www.journalofficiel.gouv.tr
IRELAND
45 Harcourl Road
Dublin 2
Tel (3531)661 31 11
Fax (3531) 475 27 60
ITALIA
Licosa SpA
Via Duca di Calabria, 1/1
Casella postale 552
150125 Firenze
Tel. (39) 055 64 83 1
Fax (39) 055 64 12 57
Email: licosa9f1bcc.it
URL: http://wwwftbcc.it/licosa
PORTUGAL
Distribuidora de L i v r o s Bertrand Ld."
Grupo Bertrand, SA
Rua das Torras dos Vales, 4A
Apartado 60037
-270 Amadora
Tel. (351-1)495 90 50
Fax (351-1)496 02 55
Imprensa Nacional-Casa da Moeda. EP
1050 Lisboa Codex
Tel. ( 3 5 1 - 1 ) 3 5 3 0 3 99
Fax (3511)353 02 94
Email: dGl.irjcmmail.telepac.pt
URL: http://www.incm pi
SUOMI/FINLAND
A k a d e m i s k a Bokhandeln
Keskuskatu 1/Centra Ig at a n 1
PL/PB 128
FIN00101 Helsinki/Helsingfors
/tfn (3589) 121 44 18
F/fax (3589) 121 44 35
Shkposti: akaiilauseakaleeminen.com
URL: httpy/www.akateeminen com
SVERIGE
BTJ AB
Traktorvgen 11
S22I 82 Lund
TIn (4646) 18 00 00
Fax (4646) 30 79 47
Epost: btjeupubbtj.se
URL: http://www.btj .se
UNITED KINGDOM
Trie Stationery Offici; Ltd
Internattonal Sales Agency
51 Nine Elms Lane
London SWB 5DR
Toi. (44171)873 90 90
F a x ( 4 4 1 7 i ) 8 7 3 84 63
Email: ipa.enquirieslheso co.uk
URL: http ://www.thestatior\eryof ficee
ISLAND
Bokabud Larusar Blndal
Sklavrduslig, 2
IS101 Reykjavik
Tel. (354)551 56 50
Fax (354) 552 55 60
NORGE
Swets Norge AS
Ostonjovoien 18
Baks 6512 Etterslad
N0606 Oslo
Tal. (4722) 97 45 DO
Fax (4722) 97 45 45
SCHWEIZ/SUISSE/S VIZZE RA
c/o OS EC
Stampfenbachstrae 85
PF 492
CH8035 Zrich
Tel. (411)365 53 15
F a x ( 4 1 l J 3 6 5 54 11
Email: ecsosec.ch
URL: ht1p://www.osec.ch/eics
BLGARIJA
Europruss Euromedia Ltd
59, btvd Vitosha
BG1000 Solia
Tel. (3592)980 37 66
Fax (3592) 980 42 30
Email: Milena mbox.cit.bg
CESK REPUBLIKA
SIS
NISprodejna
Havelko va 22
C2130 0 0 P r a h a 3
Tel. (4202) 24 23 14 B6
Fax (4202) 24 23 11 14
Email: nkposp dec. nis.cz
URL: tittp://U5iscr.cz
LUXEMBOURG
MAGYARORSZG
Euro Info Service
Europa Haz
,',-,-
PO Box 475
H-1396 Budapest 62
Tel. (36-1)350 80 25
Fax (36-1) 350 90 32
E-mail: euroinlo@mail.matav.hu
URL: http .//www. euroinlo. hu/index. htm
MALTA
Walla International Airport
PO Box 25
Luqa LOA 05
Tel. (356)66 44 88
Fax (356) 67 67 99
E-mail: g w i r l h i i u s a net
POLSKA
A r s Polona
Skr. pocztowa 1001
PL-OO-950 Warszawa
Tel. (48-22) 826 12 01
Fax (48-22) 826 62 40
E-mail: ars_polbevy.hsn com.pl
ROMANIA
Euromedia
Sir. G-ral Berthelot N r 4 i
RO-70749 Bucuresti
Tel. (40-1)315 44 03
Fax (40-11314 22 86
4 1 , Mishmar Hayarden Street

PO Box 13056
61130 Tel Aviv
Tel ( 9 7 2 - 3 ) 6 4 9 94 69
Fax (9723) 648 60 39
Email: royiienetvision.net.il
URL: htlp://www.royint.co.il
Subagent lor the Palestinian Authority:
PO Box 19502
Jerusalem
Tel. (9722) 627 16 34
Fax (9722) 627 t2 19
PSIJapan
Tokyo 102
Tel (813)32 34 69 21
Fax (813) 32 34 6 9 1 5
Email: booksepsijapan co jp
URL: hfp://www.psijapan com
EBIC Malaysia
Level 7. Wisma Hong Leong
18 Jalan Perak
50450 Kuala Lumpur
Tel. (603) 2G2 62 98
Fax (603) 262 61 98
Email: ebickl&mol.net.my
F10SSIYA
60-ieliya Oktyabrya Av. 9
117312 Moscow
Tel. (7-095) 135 52 27
Fax (7-095) 135 52 27
SLOVAKIA
Centrum VT1 SR
Nam. Slobody, 19
SK-81223 Bratislava
Tel. (421-7)54 41 83 64
Fax (421-7) 54 41 83 64
E-mail: europ@tbbl.sllk.stuba.sk
URL' http://www.snk.stuoa.sk
SLOVENIJA
Gospodarskl Vestnik
Dunajska cesta 5
SLO-1000 Ljubljana
Tel. (386)613 09 16 40
Fax (366) 613 09 16 45
E-mail: europgvestnik.st
URL: ht!p://www.gvesinik.si
Ro Panuco No 141
Colonia Cuauhtemoc
MXO650O Mexico, DF
Tel. ( 5 2 - 5 ) 5 3 3 56 56
Fax (525)514 67 90
Email: 101545.2361 CompuServe.'
EBIC Philippines
191h Floor, PS Bank Tower
Sen. Gil J. Puya! Ave. cor. Tindalo
Makaii City
Melro Manilla
Tel. (632) 759 66 80
Fax (632) 759 66 90
Email: eccpcomglobecom.ph
URL: http://www.eccp.cofn
TURKIYE
EBIC Sri Lanka
Dnya Infotel AS
100, YtlMahallessi 34440
TR80050Bagcilarlstanbul
Tel (90212)629 46 89
Fax (90212) 629 46 27
Email: inloteiedunyagazete.o
Trans Asia Holet

115Sirchit1ampulam
A. Gardiner Mawatha
Colombo 2
Tel. ( 9 4 - 1 ) 0 7 4 71 50 7 8
Fax (941) 44 B7 79
Email:ebicsietmin.com
AUSTRALIA
Hunter Publications
P O Bo x 404
3067 Abbotstord, Viciona
Tel. (613)94 17 53 61
Fax (613) 94 19 71 54
Email: jpda vies ozemail.com. au
CANADA
Les editlons La Libert Inc.
3O20, chemin SainleFoy
G t X 3V SalnteFoy, Quebec
Te!.(141B) 658 37 63
Fax (1600)567 54 49
Email: liberiemediom qc.ca
K U 9J3 Ottawa. Ontario
Tel. (1613) 745 26 65
F a x ( 1 6 1 3 j 7 4 5 76 60
E ma il : o rder.dopt re no ulbook s. c o m
URL: http://www.r9nuufbook5.corn
EGYPT
CYPRUS
ROY International
Messageries du livre SARL

5. rue flailteisen
L2411 Luxembourg
Tl. (352)40 10 20
Fax (352)49 06 81
Email: mailmdUu
URL: http://www.nidl.lu

PO Box 1455
CY1509 Nicosia
Tol. (357-2) 66 9 5 0 0
Fax (3572^66 10 44
Email: de met rap ceci. org. cy
NEDERLAND
EESTI
INDIA

Christoffel Plantijnstraal 2
Postbus 20014
2500 EA Den Haag
Tal. (3170) 378 98 80
Fax (3170) 378 97 83
Email: sduasdu.nl
Eesti KaubandusTostuskoda (Estonian

ToomKooli 17
EE0001 Tallinn
T e l . ( 3 7 2 ) 6 4 6 02 44
Fax (372) 64 02 45
EBIC India
3rd Floor. Y. B. Chavan Centra
Gen. J. Bhosale Marg.
400 021 Mumbai
Tel (9122)282 60 64
Fax (9122) 285 45 64
Email: ebicOgiasbmOI.vsnl.net.in
URL: httpJAivww.ebicindia.com

41 Sheril Streel
Cairo
Tel (202)392 69 19
Fax (202) 393 97 32
Email: maloudaQrneobserver.comeg
URL: htip://www.meobserver.com.eg
THAILAND
EBIC Thailand
29 Vanlssa Building. Bth Floor
Soi C h id lom
Ploenchit
10330 Bangkok
Tel ( 6 6 - 2 ) 6 5 5 06 2 7
Fax (66-2) 6 5 5 06 2 8
Email: ebicbkk0ksc15.lh.com
URL: http :/www ebicbkk.org
B e m a n Associates
Lanham MD2076
Tol. (1800) 274 44 47 (loll free lelephone)
Fax (1800) 855 34 50 (toll free lax)
Email: query bernan.com
URL: http / / w w * . be man. com
Bitte wenden Sie sich an aln Bro Ihrer

Wahl/ Please contact the sales office
of your choice/ Veuillez vous adresser
au bureau d e vente do voire choix
Office for Official Publications
of the European Communities
2. rue Mercier
L2985 Luxembourg
Tel.(352)29 2942455
Fax (352) 29 2942758
Email: info infoOopoce.cec be
URL: httpJ/europ.eu Int
"valuer les programmes socio-conomiques'
solutions.
op *

L-2985 Luxembourg
valuation transversale des

impacts sur l'environnement, l'emploi et
les autres priorits d'intervention
Collection
MEANS
Volume 5
-ommission europenne
valuation transversale des

impacts sur l'environnement, l'emploi et
les autres priorits d'intervention
Volume 5

Les opinions exprimes dans cet ouvrage n 'engagent que les auteurs du texte :

Luxembourg:
ISBN 92-828-6627-0
tion de la source.
Printed in Italy
Prface
SEM2000
(Sound
and
Efficient

cette dmarche.
exPrsidente de 'American Evaluation Association ; K. Kennedy (IRL),
E. Landaburu
K--
La dmarche d'valuation des interventions structurelles de l'Union
europenne est entre dans une phase de maturit ainsi qu'en
atteste l'extension prise par les travaux raliss tant par les Etats
membres que par la Commission. Les obligations rglementaires
issues des dcisions du Conseil ont largement contribu rpandre
la pratique de l'valuation et ont galement stimul le dveloppement
mthodologique.
Pendant ces dix dernires annes, la Commission s'est employe
promouvoir et amliorer les mthodes d'valuation des interventions
des Fonds structurels. Les principaux enseignements mthodolo
giques ont t dbattus et diffuss dans le cadre du programme
MEANS initi par la Commission ds 1991. Les acquis sont mainte- '
nant suffisamment substantiels pour nourrir une publication
complte et accessible pour un public plus large : une Collection de
six ouvrages traitant tous les aspects de l'valuation des pro
grammes socio-conomiques. Ces ouvrages sont rdigs dans une
perspective plus large que celle du strict cadre administratif actuel.
En effet, celui-ci est amen voluer priodiquement alors que les
standards professionnels ont une plus grande stabilit.
De manire gnrale, la Collection s'adresse des lecteurs non-sp
cialistes dsireux de disposer des informations indispensables
l'valuation des programmes de dveloppement socio-cono
miques. Ces programmes ont une multiplicit d'objectifs, une
dimension de partenariat et un contenu multisectoriel, plusieurs
caractristiques qui appellent des mthodes d'valuations adaptes
et des solutions que n'offre pas encore la littrature technique inter
nationale. La Collection complte comprend 6 Volumes conus pour
tre complmentaires et fournir les lments indispensables au pro
fessionnel qui souhaite dvelopper de faon autonome ses pratiques
d'valuation. Chaque Volume a t construit de telle manire qu'il
puisse tre lu et compris indpendamment des autres.
Le premier Volume de la Collection MEANS s'intitule Conception et
conduite d'une valuation . Il a une fonction de porte d'entre dans la
Collection, ainsi que dans le domaine de l'valuation des programmes
socio-conomiques. Il permet au lecteur de comprendre les enjeux de
l'valuation et de savoir ce qu'il peut ou ne peut pas attendre d'une
valuation un moment et dans un contexte donns. Il apporte les
Evaluation transversale des impacts sur les priorits
d'intervention
lments ncessaires pour piloter une valuation de A : rpartir les

responsabilits de l'valuation, dfinir sa finalit et les grandes lignes
de sa mthode, fixer son calendrier et son budget, apprcier la qualit
des travaux et enfin grer l'utilisation de ses conclusions.
Le second Volume porte sur le choix et l'utilisation des indicateurs

pour le suivi et l'valuation . Il traite des indicateurs utiliss pour le
suivi et l'valuation. Il montre comment les indicateurs peuvent tre
utiliss pour appuyer des dcisions politiques, pour renforcer la
gestion et pour mesurer la performance globale des programmes.

L'ouvrage propose un cadre mthodologique et un guide pratique
d'utilisation des indicateurs dans ces diffrentes situations.
Le troisime Volume prsente une slection des < Principales tech
niques et outils d'valuation applicables l'valuation des pro
grammes socioconomiques. Ces outils sont Issus des disciplines
scientifiques pertinentes : conomie, sociologie, management, go
graphie, etc. Chacun des 23 outils prsents est dcrit sous forme
d'une fiche comprenant sa description gnrale, les principes de sa
mise en uvre, une liste de ses points forts et faibles pour l'valuation
des Fonds structurels, un exemple d'application et une bibliographie
des ouvrages de rfrence.

Plusieurs mthodes adaptes l'valuation des programmes socio
conomiques font l'objet d'une description plus complte dans le
quatrime Volume intitul Solutions techniques pour valuer dans
un cadre de partenariat . Plusieurs valuations pilotes du
programme MEANS ont permis de concevoir et de tester des tech
niques nouvelles dont le mode d'emploi est dcrit en dtail : carto
graphie conceptuelle d'impact, matrice d'impacts croiss, chelles
de notation et analyse multicritre.
Le cinquime Volume traite de l'valuation transversale des impacts
sur l'environnement, l'emploi et les autres priorits d'intervention de
l'Union Europenne et des Etats membres. Il aborde entre autres la
question des impacts en termes d'galit des chances hommes
femmes ou de comptitivit des PME. Le Volume offre les lments
ncessaires l'analyse de ces impacts qui ne figurent pas ncessaire
ment parmi les objectifs explicites de toutes les actions values.
Enfin, le dernier Volume est constitu d'un glossaire des concepts
et termes techniques . La mise au point de la Collection a en effet
impos un travail rigoureux d'homognisation et de dfinition des
termes employs. Chacun des cinq premiers volumes est suivi d'un
index dont les termes sont repris parmi les centaines de dfinitions
rassembles dans le glossaire.
Table des matires

Introduction
I
II
Considrations techniques relatives l'valuation

d'impacts thmatiques
13
Analyse thmatique des impacts relatifs

aux priorits politiques
27
Evaluer l'impact des interventions structurelles sur l'environnement

29
Evaluer les impacts des interventions structurelles
sur la comptitivit des Petites et Moyennes Entreprises
61
Evaluer les impacts sur l'emploi des interventions structurelles
81
Evaluer l'impact des interventions structurelles
sur l'galit des chances
113
III Evaluations thmatiques transversales des domaines
d'intervention
Evaluer les impacts des interventions dans le domaine
de la Recherche et du Dveloppement Technologique
Evaluer les impacts dcoulant d'interventions dans les domaines
des transports, des tlcommunications et du tourisme
IV Cadres de ralisation des valuations thmatiques
Une dmarche "pas pas" pour une analyse thmatique
Les valuations thmatiques transnationales
137
139
161
177
179
191
Conclusion
201
Annexes
205
Annexe 1 : Outils d'valuation et thmes correspondants

Annexe 2: Extraits d'un cahier des charges d'valuation d'un
programme intgrant des lments thmatiques
Annexe 3: Exemple de cahier des charges pour une valuation
thmatique transnationale
Annexe 4 : Liste des encadrs
Index
207
209
211
221
225
Introduction
Les programmes financs par les Fonds structurels poursuivent l'objectif
global de cohsion conomique et sociale, qui se dcline en objectifs de rat
trapage des rgions en retard de dveloppement, de dveloppement des
zones urbaines et rurales en reconversion conomique et sociale ou encore
de soutien aux groupes sociaux en difficult. Les interventions mises en
uvre au titre de chacun de ces objectifs majeurs doivent en outre satisfaire
quatre priorits politiques communes l'Union europenne et aux E tats
membres (voir Encadr 1).
Ces priorits transversales sont le plus souvent rappeles dans le prambule
des programmes. Toutefois on ne trouve pas ncessairement des axes qui
leur soient entirement consacrs au sein des programmes. On trouvera,
parfois un sousprogramme ou un axe environnemental ou encore des
mesures spcifiques en matire de comptitivit des P.M.E. Rares sont les
pays ou les rgions qui ont inclus, dans leurs programmes 199499, des
mesures spcifiques en matire d'galit des chances.
Evaluation transversale
des impacts sur les priorits
d'intervention
Encadr 1 - Priorits, domaines et thmes

Les priorits politiques dfinies pour la priode de programmation 199499 des Fonds structurels comprennent :
la lutte contre le chmage et la cration de nouveaux emplois ;
l'augmentation de la comptitivit des structures productives et plus
particulirement des P.M.E. ;
la protection de l'environnement ;
et enfin, la rduction des ingalits entre les femmes et les hommes.
La notion de domaine , quant elle, fait rfrence des domaines sp
cifiques au sein desquels des interventions sont conduites et des ralisa
tions sont programmes. Ainsi par exemple les impacts en terme d'am
lioration de la comptitivit sont la consquence des interventions
dans le domaine de la recherche-dveloppement, dans les domaines des
transports, des tlcommunications, etc.
La notion de thme est utilise dans cet ouvrage indiffremment pour
les priorits politiques et les domaines d'intervention. Une valuation th
matique peut donc examiner le respect d'une priorit dans l'ensemble
des secteurs d'intervention. A l'inverse, une autre valuation thmatique
s'intressera d'abord aux interventions dans un domaine donn et

analysera l'ensemble des impacts possibles (notamment pour les quatre
priorits ci-dessus).
Les quatre priorits nonces ci-dessus, d'importances variables selon le
contexte, sont transversales l'ensemble des programmes financs par les
Fonds structurels. Tous les gestionnaires et oprateurs sont tenus de les
appliquer dans la mise en uvre des mesures, le mode de slection des
projets, la dfinition des publics viss, etc.
Le plus souvent, l'valuation d'un programme privilgie l'analyse des impacts
explicitement dcrits par les objectifs principaux des priorits communau
taires et des mesures. Elle tend ngliger les priorits transversales qui
concernent de faon plus diffuse l'ensemble des mesures des programmes.
Des progrs doivent encore tre faits si l'on veut que les rapports contiennent
des conclusions thmatiques fiables un cot raisonnable. Ces conclusions
doivent tre prsentes sous une forme homogne et suffisamment synth
tique pour que les services de la Commission puissent eux-mmes, dans un
deuxime temps, produire des synthses au plan europen.
Par ailleurs, conformment au principe de subsidiante, il appartient la
Commission d'valuer priodiquement les diffrentes modalits d'interven
tion appliques dans tel ou tel Etat membre pour identifier les meilleures
Introduction
pratiques et ainsi organiser un transfert de savoir-faire en Europe. Cela s'est

traduit par des valuations qui ont t ralises l'chelle europenne pour
analyser de faon plus approfondie tel ou tel domaine d'intervention comme
les infrastructures de transport, le soutien aux activits de recherche, la
formation professionnelle, etc. Ces domaines d'intervention se retrouvent
gnralement dans la plupart des programmes rgionaux avec des intensi
ts variables selon les choix oprs.
PJ Un Volume destin aux commanditaires d'valuation
au niveau d'un programme ou de l'Union europenne
Ce Volume est destin aux personnes qui, au niveau du programme ou
celui de l'Union europenne, souhaitent examiner de faon transversale les
impacts correspondant une priorit ou un domaine d'intervention.
Ces valuations dites thmatiques se conoivent diffremment selonqu'elles sont ralises au niveau du programme lui-mme ou l'chelle
europenne. Au niveau d'un programme, l'valuation thmatique englobe
la fois les impacts directs de mesures ddies une priorit donne
(mesures en faveur de l'environnement, par exemple) et les consquences
indirectes des autres mesures (consquences de travaux routiers pour l'en
vironnement, par exemple).
Par rapport un thme donn, ce premier type d'valuation fait une
synthse de l'ensemble des impacts possibles, directs et indirects, et vrifie
galement la cohrence d'ensemble (et le renforcement mutuel) des diff
rentes mesures contenues dans un programme. Les conclusions sont le
plus souvent consignes dans une srie de chapitres consacrs chacun
des thmes et placs la fin du rapport d'valuation.
Le deuxime type d'valuation thmatique, qui est de la responsabilit des
services de la Commission, s'attache dgager des conclusions perti
nentes pour plusieurs rgions ou pays de l'Union europenne. Ces valua
tions procdent par une analyse trans-programme des impacts d'inter
ventions semblables. Elles permettent d'identifier les interventions les plus
performantes et de faire la part, pour une intervention russie, entre ce qui
est propre au contexte conomique, administratif ou institutionnel et ce qui
constitue des enseignements gnralisables d'autres units territoriales,
nationales ou rgionales. Ce type d'valuation met en vidence l'efficacit
relative des interventions et joue un rle central dans l'identification des
meilleures pratiques.
d'intervention
Ce volume contient des conseils et propose des solutions l'intention des

responsables publics qui souhaitent inclure ces thmes dans leur cahier des
charges et l'intention des quipes d'valuation qui voudront concevoir un
programme de travail (voir les exemples de cahier des charges en annexe).
Pour relever le dfi qui consiste obtenir des conclusions d'valuations th
matiques fiables un cot raisonnable, on trouvera dans les pages qui
suivent des grilles d'analyse et des propositions mthodologiques pour :
identifier les impacts potentiels d'un programme en relation avec un thme ;
prendre en compte ces impacts de faon transversale au sein d'un mme
programme ou au sein d'un ensemble de programmes rgionaux ou
nationaux ;
identifier et dfinir des indicateurs appropris pour suivre et valuer ces
impacts ;
raliser une collecte et un traitement des informations adquats ;
et enfin, prsenter de faon synthtique les conclusions de l'valuation.
La structure du Volume
Cet ouvrage ne prtend pas contenir de manire exhaustive les concepts et
les mthodes spcifiquement lis aux thmes annoncs. On peut en effet
facilement imaginer que les experts des politiques de l'emploi considreront
que le sujet n'a pas t suffisamment dvelopp ou que des spcialistes de
l'environnement jugeront l'analyse des impacts environnementaux trop
superficielle. Toutefois, la raison d'tre de ce volume tient prcisment aux
exigences parfois irralistes de chacun des spcialistes des diffrents
thmes concerns par les programmes structurels.
Le dfi pour l'valuation thmatique est d'analyser les mrites d'un
programme par rapport ses objectifs propres et aussi par rapport aux
quatre priorits politiques communes l'Union europenne et aux Etats
membres. Pour des raisons de budget et de temps, on est contraint d'ap
porter des simplifications au sein de chaque thme. Pour cela, des concepts
et des solutions spcifiques chaque domaine d'expertise ont t slec
tionns, et un compromis a d tre trouv entre la fiabilit et la faisabilit.
Le texte est organis en quatre parties. Des considrations mthodolo
giques gnrales l'ensemble des valuations thmatiques sont regrou
pes dans la premire partie avec le souci de mettre en vidence les points
communs. Soulignons que certains points constituent de simples rappels
Introduction
de dveloppements plus substantiels que l'on trouvera dans le premier et

troisime Volume de la Collection MEANS. Le Volume 1 dcrit en effet la
dmarche complte d'valuation et le Volume 3 prsente l'ensemble des
outils de collecte et de traitement des informations auxquels il est fait
rfrence plus loin.
La deuxime partie de l'ouvrage est consacre aux principales priorits poli
tiques : environnement, comptitivit des P.M.E., emploi et galit des
chances. Les exigences mthodologiques varient d'une priorit l'autre,
notamment en fonction de l'anciennet du thme sur l'agenda politique
europen. Ainsi, la prise en compte d'impacts environnementaux dans une
valuation repose sur une mthode adapte l'estimation d'impacts diffus
et htrognes. En revanche, les impacts sur l'emploi sont par nature plus
homognes dans la mesure o il s'agit de personnes physiques et d'entre
prises. Ainsi par exemple, une enqute auprs des destinataires directs est
adapte l'tude des impacts sur l'emploi mais pas l'tude des impacts
sur l'environnement.
L'enjeu de la cration et du maintien d'emploi figure depuis le dbut des
annes 80 parmi les proccupations de l'Union europenne. Il s'est donc
traduit trs concrtement par de nombreuses mesures ddies l'emploi au
sein des programmes financs par les Fonds structurels. En outre, un grand
nombre de travaux conceptuels et techniques ont t conduits sur ce thme
par les centres de recherche, ce qui a permis d'accumuler un savoir-faire
important. Dans le cadre du programme MEANS, plusieurs ateliers et
rapports ont t consacrs au thme de l'emploi. Ce Volume met l'accent
sur une simplification et une slection de solutions ralistes dans un
contexte d'valuation thmatique qui ne peut prtendre la mme sophisti
cation que l'valuation d'une politique d'emploi proprement dite.
Un thme comme celui de la promotion de l'galit des chances entre les
hommes et les femmes a donn lieu des avances conceptuelles impor
tantes, par exemple, la notion d'intgration (gender mainstreaming) dcrite
dans l'Encadr 2.
Evaluation
transversale
d'intervention
Encadr 2 - L'intgration de l'galit des chances : une dfinition

L'intgration (gender mainstreaming) correspond la prise en compte
systmatique des priorits et des besoins spcifiques des femmes et des
hommes dans toutes les actions et les politiques communautaires. Cela
implique la prise en compte visible et active, ds l'tape de planification,
des effets des interventions sur les situations particulires des femmes et
des hommes pendant la conception, la mise en oeuvre et l'valuation des
programmes communautaires. L'intgration suppose la slection de
mesures visant adapter l'organisation sociale et conomique pour
assurer une distribution des rles plus galitaires entre les hommes et les
femmes.
Cependant, les valuations qui abordent ce thme sont encore peu nom
breuses compte tenu de la nouveaut de cette proccupation dans la plupart
des pays. Ces valuations thmatiques sont plus souvent de type ex ante que
ex post. Les exemples d'valuation prsents sont ds lors davantage
tourns vers l'analyse prospective que rtrospective. Il a donc t ncessaire,
pour prparer ce chapitre, d'aller au-del des pratiques existantes.

La troisime partie du texte traite des valuations thmatiques par domaine
d'intervention. Quatre domaines ont t retenus, non pour des raisons stra
tgiques mais, plus prosaquement, parce qu'ils ont fait rcemment l'objet
d'valuations thmatiques europennes dans le cadre des Fonds structu
rels. Sont examins : la recherche-dveloppement, les transports et les tl
communications et le tourisme. Le premier de ces secteurs est abord de
faon dtaille, les deux autres sont succinctement voqus. Pour une vue
plus complte on pourra se reporter au second Volume de la Collection qui
traite de l'ensemble des secteurs d'interventions du point de vue des indica
teurs de suivi et d'valuation.
La partie IV de ce volume est centre sur la mise en pratique des approches
thmatiques dans les deux situations types : l'valuation d'un programme et
l'valuation thmatique trans-programme. Pour la premire situation, une
procdure standard est fournie afin de structurer la mise en place des va
luations au niveau d'un programme et pour que les conclusions puissent tre
agrges et synthtises au niveau supranational. Pour la deuxime
situation, les principes fondamentaux des valuations thmatiques au
niveau europen sont prsents, en particulier, les problmes organisationnels et d'utilisation propres ce type de dmarche. Enfin, cette dernire
partie du Volume contient des recommandations pour renforcer la qualit
des valuations transnationales.
I
Considrations techniques relatives
l'valuation d'impacts thmatiques
L'valuation des impacts des interventions structurelles se construit autour

d'un certain nombre de tches lmentaires mais d'une grande importance.
Elles doivent tre entreprises de telle sorte que l'valuation soit centre sur
un thme, une priorit politique ou un programme dans sa totalit. Ces
tches essentielles sont notamment : la clarification des objectifs explicites
et implicites, la slection d'indicateurs, la collecte de donnes et l'estimation
des impacts nets. Cette partie du Volume a pour objectif de prsenter les
concepts pertinents et les approches communes aux diffrents thmes qui
sont examins dans la suite du texte et d'viter des redondances entre les
chapitres. Cette prsentation n'est donc pas spcifique un thme, elle
contient des exemples tirs des sections thmatiques du prsent ouvrage.
Clarifier les objectifs explicites e t implicites

des interventions c e n t r e s sur un t h m e
La clarification des objectifs d'un programme est l'une des premires tapes
d'une valuation. Lors de l'valuation ex ante d'un programme, il est
important de clarifier non seulement ses objectifs centraux ou globaux, mais
galement les objectifs associs des priorits spcifiques, telles que celles
mentionnes dans le prsent ouvrage. En ce qui concerne les valuations
mi-parcours, des objectifs supplmentaires sont susceptibles d'apparatre
en cours de programme et doivent tre clarifis.
Mme s'il existe un objectif prioritaire unique (par exemple la promotion d'un
dveloppement durable pour l'environnement), il est probable que cet
objectif ne sera atteint que si des objectifs spcifiques et intermdiaires,
sont eux-mmes atteints. Il est donc ncessaire d'tablir une hirarchie
claire des objectifs et de spcifier leurs relations.
Il est possible de construire un arbre d'objectifs afin d'tablir cette hirar
chie. Cet outil permet d'examiner la cohrence interne entre les diffrentes
mesures d'un programme par rapport aux objectifs prioritaires gnraux :
la fois verticalement, entre diffrents niveaux d'objectifs, et horizontalement,
entre objectifs du programme sur une mme branche de l'arbre d'objec
tifs. Il facilite galement l'examen de la cohrence externe d'un programme
avec d'autres politiques publiques. Ainsi, par exemple, une intervention
structurelle en faveur des PME peut viser le dveloppement de leur capacit
d'innovation, le renforcement des rseaux et le transfert de technologie.
Paralllement, de nombreux Etats membres cherchent crer un environne
ment commercial gnral favorable au dveloppement des petites entre
prises. Un examen de la cohrence externe peut s'intresser plus particuli
rement la compatibilit des objectifs de ces diverses interventions
europennes, nationales et rgionales.
Si la hirarchie des objectifs est gnralement base sur des documents
officiels, il peut galement tre utile, dans le cas des valuations thma
tiques, d'intgrer des objectifs implicites dans l'analyse. Un arbre d'objec
tifs construit de cette faon peut donc tre considr comme un arbre
d'objectifs thmatique. Bien que l'intgration d'objectifs implicites dans
l'analyse permette de mieux comprendre la logique d'un programme, l'utili
sation d'objectifs implicites comme critres d'valuation exige une certaine
prudence. Lorsqu'il s'agit de juger le travail d'oprateurs et de gestionnaires
Considrations
techniques
de programmes, les objectifs implicites ne peuvent tre utiliss qu'en

relation avec les objectifs explicites d'une intervention.
Le principe de l'arbre d'objectifs thmatique est illustr dans l'Encadr 3 qui
met en vidence comment les actions finances par les Fonds structurels
sont conues pour atteindre un objectif global explicite, la cohsion cono
mique et sociale. Dans le cas de la promotion de l'galit entre hommes et
femmes, les objectifs associs cette priorit politique sont en grande
partie implicites et l'arbre d'objectifs sera par consquent plus dlicat
construire.
Les objectifs gnraux ( gauche du diagramme) sont clairement indiqus
dans les textes officiels. Ce n'est pas souvent le cas des objectifs interm
diaires et spcifiques. Ces objectifs sont habituellement construits impli
citement par les diffrents acteurs du programme et servent orienter leurs
dcisions oprationnelles. La hirarchie des objectifs implicites est
prsente dans un arbre d'objectifs thmatique qui permet de clarifier les
relations entre les actions et les objectifs de la priorit politique et ainsi de
structurer la dmarche d'valuation.
Encadr 3 Construire un arbre d'objectifs thmatique

Objectifs globaux
Objectifs intermdiaires
et
spcifiques
Actions
Arbre d'objectifs
du p r o g r a m m e
Cohsion
conomique et
sociale
Dveloppement!
quilibr entre '_ _~'
les femmes et
les hommes
<
A r b r e d'objectifs
thmatique
Objectlts explicites
Objectits implicites
d'intervention
Les arbres d'objectifs des chapitres suivants sont prsents titre d'illustration
uniquement. Ils doivent tre construits par l'quipe d'valuation en consultation
avec le groupe de pilotage de l'valuation et en fonction du programme spci
fique valuer. En outre, ces arbres d'objectifs ne sont ni exhaustifs, ni dfinitifs
et doivent tre modifis au fil du temps pour tenir compte de l'volution des
priorits politiques et du contexte socioconomique.
Pour en savoir plus sur la clarification des objectifs l'aide d'un arbre d'ob
jectifs, consultez le Volume 1 de la Collection MEANS.
Slectionner des indicateurs pour les valuations thmatiques
Le Volume 2 de la Collection MEANS est consacr aux indicateurs pour le
suivi et l'valuation des interventions des Fonds structurels. Seuls les
lments essentiels sont dvelopps ciaprs.
Afin d'valuer les impacts associs un thme donn, il convient de dfinir
des indicateurs fournissant une estimation du phnomne mesurer. Il peut
tre ncessaire de slectionner plusieurs indicateurs complmentaires pour
estimer un impact jug important. Pour estimer la qualit de l'air, par
exemple, il faudra utiliser un certain nombre d'indicateurs associs diff
rents types d'missions atmosphriques.
Compte tenu de la multiplicit des objectifs, des diffrentes composantes
d'un programme (axes, mesures, actions) et de la ncessit de tenir compte
des priorits politiques transversales, il est difficile d'imaginer un systme
oprationnel d'indicateurs comprenant des indicateurs pour toutes les com
posantes tous les niveaux. Il est par consquent ncessaire de slection
ner des indicateurs qui rpondent aux besoins les plus importants des ges
tionnaires et des responsables politiques et pouvant tre collects un cot
raisonnable. Les indicateurs retenus doivent tre fiables, donner la mme
indication quelle que soit la personne qui les quantifie et fournir des informa
tions jour sur les effets mesurs. La construction d'un systme d'indica
teurs pour une valuation thmatique exige, avant toute chose, que les
questions valuer soient dment tablies.
En outre, les critres d'valuation selon lesquels une intervention sera juge
doivent tre dfinis. Enfin, les indicateurs de contexte, qui fournissent des
informations sur la situation de rfrence d'une intervention, et les indica
teurs de programme, centrs sur les effets directs et indirects sur les desti
nataires d'une intervention, doivent tre slectionns la lumire des
questions et des critres d'valuation retenus.
Considrations
techniques
L'analyse approfondie des impacts exige galement de prendre en compte

les facteurs exognes, c'est dire les paramtres socio-conomiques sur
lesquels le programme n'a pas d'influence et qui ont une incidence sur les
effets produits. Il est par consquent utile d'identifier l'influence spcifique
des facteurs concurrents au moyen d'indicateurs appropris.
Un systme d'indicateurs est conu pour permettre le suivi d'une interven
tion depuis les ressources employes lors de la mise en uvre jusqu'aux
impacts les plus loigns dans la chane de causalit. Pour cela, les indica
teurs fournissent des informations sur les ressources humaines et finan
cires employes pour mettre en uvre une intervention (indicateurs de res
sources), sur les ralisations matrielles et immatrielles produites
(indicateurs de ralisations) et sur les impacts subsquents sur les destina
taires directs et indirects (indicateurs d'impact).
Dans la mesure o il existe diffrents types d'indicateurs et de concepts qui
leur sont associs, il est ncessaire d'utiliser des dfinitions standards, (voir
le Volume 2 de la Collection MEANS).
Exemple : Indicateurs de mesure des effets d'interventions visant amliorer la
qualit et les ressources en eau
Afin d'amliorer et de prserver la qualit de l'approvisionnement en eau, un
programme d'investissement est prvu dans le but d'augmenter la quantit d'eaux
uses traites et de rduire les pertes d'eau dues aux fuites. Les indicateurs de rali
sation slectionns mesurent les ralisations physiques des interventions, telles que,
par exemple, les kilomtres de canalisations d'alimentation moderniss, la capacit
des nouvelles stations d'puration construites pour assurer un traitement primaire /
secondaire. Un indicateur de rsultat mesure par exemple le nombre de maisons indi
viduelles ou d'entreprises raccordes la station. Les indicateurs d'impacts mesurent
notamment le volume d'eau consomm et le volume d'eau perdu correspondant aux
fuites. Les indicateurs d'impact refltent galement les amliorations qualitatives et
quantitatives des nappes phratiques et la qualit des rivires. Ils mesurent, par
exemple, le taux de prlvement sur les sources, le pourcentage d'chantillons
d'eaux uses conformes aux directives de la CE et le pourcentage de kilomtres de
rivires surveilles subissant une pollution lgre modre.
Il est ncessaire de tenir compte de la dure des effets, faute de quoi l'esti
mation serait fausse par des informations incompltes. Cela entranerait
une sous-estimation des effets prvus qui ne se sont pas encore produits
et/ou une surestimation des effets temporaires qui sont susceptibles de dis
paratre.
d'intervention
Exemple : Dtermination de la durabilit des impacts sur l'emploi de mesures en

faveur de la R&D.
Un projet pour amliorer la collaboration entre les PME et les organismes publics de
recherche produira des effets d'emploi diffrents sur des dures diffrentes. A court
terme, les effets d'emploi seront essentiellement temporaires, avec des emplois
prservs ou crs pendant la mise en place du projet (conseillers, consultants, etc.).
A moyen terme, le recrutement de techniciens, de chercheurs et de scientifiques parti
cipant au projet crera des emplois permanents pour les individus associs la
recherche. A plus long terme, on aura des impacts sur l'emploi au sein des PME impli
ques dans les projets de recherche, lorsque les innovations cres seront commer
cialises et lorsque les niveaux de production augmenteront.
Il convient de tenir compte de quatre caractristiques de base des indica
teurs lors de l'interprtation des donnes. Premirement, l'information
fournie peut ncessiter un traitement complmentaire, dans la mesure o
elle n'est pas toujours utilisable ou communicable sous sa forme initiale.
Ensuite, les changements mesurs peuvent ne pas tre entirement impu
tables l'intervention value et, en tout tat de cause, l'analyse d'un indi
cateur ne suffit pas tablir des relations de cause effet.
En outre, lorsque l'on compare des informations fournies par un indicateur, il
est important que la comparaison soit pertinente (c'est dire que la situation
de rfrence soit la mme). Enfin, les indicateurs doivent galement fournir
des informations sur les facteurs concurrents qui influencent l'volution de la
situation de rfrence (par exemple, lorsque l'on value l'impact d'un
programme de cration d'emploi sur le chmage, il faut tenir compte des
changements de volume de la population active).
R a s s e m b l e r des d o n n e s sur un t h m e
Lorsque l'valuation d'un thme est ralise dans le cadre d'un programme,
il est recommand de la fonder sur une recherche documentaire et sur des
donnes existantes (par exemple, donnes de suivi, enqutes statistiques et
rapports d'valuation existants), compltes par des tudes de cas, des
entretiens individuels et des entretiens de groupe (Voir l'approche pas
pas prsente dans la partie IV).
Considrations
techniques
Encadr 4 - La construction d'une mthode d'valuation

et le choix d'outils pour une analyse approfondie des impacts
Lorsqu'une analyse approfondie des impacts est ncessaire, il convient
de construire une mthode d'valuation en plusieurs tapes (une
chane technique ) qui intgre un ensemble d'outils interdpendants
pour la collecte et l'analyse des donnes primaires. L'approche pas
pas des valuations thmatiques, proposes dans le chapitre IV du
prsent Volume, reste fidle au concept de chane technique mais
favorise l'utilisation d'une gamme d'outils limite qui facilite une
approche quick and dirty de la collecte des donnes primaires. Les
outils ncessaires l'analyse approfondie ne sont parfois spcifiques
qu' un thme. C'est la raison pour laquelle ils sont prsents spar
ment dans les chapitres consacrs chacun des thmes spcifiques.
Le choix et l'utilisation d'outils d'valuation dans le cadre de l'valuation
des interventions structurelles sont abords de faon plus approfondie
dans le Volume 3 de la Collection MEANS.
Le suivi et la mise en uvre des interventions utilisent pleinement les indica
teurs de ressources, de ralisations et de rsultats. Ils sont quantifis par les
gestionnaires de programme et leurs services, qui effectuent les paiements
et crent ou recueillent des informations sur : le nombre de ralisations et /
ou le niveau de ralisation physique ; les dpenses ; la description des
projets ; les rapports sur les activits des services de gestion. Plusieurs
services sont en principe impliqus dans cette activit, et il est donc gnra
lement ncessaire de centraliser ces donnes l'avance, en se concentrant
sur les donnes les plus utiles la gestion et l'valuation des interventions.
Pour que ces informations de base soient adaptes et compltes, la collecte
des informations de suivi doit tre planifie ds le dbut, en tenant compte
des besoins de l'valuation.
Il n'est toutefois pas toujours possible de renseigner les indicateurs via les
systmes d'information existants. C'est en particulier le cas pour la majorit des
indicateurs d'impacts court et moyen terme des interventions structurelles.
L'utilisation des donnes de sries statistiques chronologiques des fins
d'valuation est relativement rapide et bon march, mais prsente un certain
nombre d'inconvnients : le dcalage inhrent la production de donnes
d'intervention
dans le cadre des enqutes des offices statistiques nationaux ; l'absence

d'un lien direct entre un critre d'valuation et les statistiques disponibles ; la
diffrence entre la zone gographique couverte par une intervention et les
territoires ou groupes de territoires utiliss pour compiler les statistiques.
Des observatoires statistiques rgionaux ont parfois t crs mais, mme
lorsque des statistiques sont prsentes au niveau des subdivisions territo
riales des Etats membres, ces subdivisions ne correspondent pas toujours
avec les zones ligibles au titre des Fonds structurels. Dans ces conditions,
les tendances soulignes par les statistiques ne permettent pas d'tayer des
conclusions relatives aux effets d'un programme donn.
Des systmes d'information statistique sont toutefois en cours de dvelop
pement pour pallier cet inconvnient. Eurostat coordonne la collecte des
donnes utilises pour renseigner les indicateurs d'activit de 35 secteurs
industriels dans toutes les zones ligibles pour l'aide au dveloppement
socio-conomique et la reconversion industrielle. Ces donnes sont dis
ponibles pour la priode 1985-1993 et seront galement disponibles pour la
priode 1994-1999.
Les diffrentes sources d'information sont prsentes ci-dessus avec leurs
points forts et leurs points faibles (Encadr 5).
Encadr 5 - Forces et faiblesses typiques des sources

d'information existantes
Forces
Faiblesses
Systmes de suivi
Produits intervalles rapprochs

Relativement jour
Gnralement disponibles
Signification explicite
Relativement peu coteux
Rapports parfois peu fiables

Rarement disponibles pour toutes les
mesures/actions
Les donnes sur les ralisations et les
rsultats physiques des diffrentes
composantes sont souvent htrognes
Difficilement comparables
Enqutes statistiques
permanentes
Faible cot
Fiabilit
Richesse
Comparabilit
Facilit d'obtention de l'information
Souvent sans lien direct avec les

critres d'valuation
Niveau gographique pas toujours
adapt
Les informations ne sont pas jour
Autres recherches et
valuations
Faible cot
Donnes dj analyses
Les informations ne sont pas jour

Souvent trop limites pour fournir une
rponse fiable et gnralisable
Considrations
techniques
Compte tenu de leurs forces et faiblesses respectives, ces sources d'infor

mation sont plus complmentaires qu'alternatives. Ainsi, les enqutes sta
tistiques permanentes fournissent des donnes de comparaison (exemple :
volution de l'emploi au niveau rgional et national) et des indications sur
l'volution du contexte (exemple : situation conomique, volution de la
population active, croissance ou dclin de certains secteurs) qui permettent
d'approfondir l'analyse des impacts, voire dans certains cas, fournissent
des indicateurs d'impacts pertinents faible cot. Les valuations et les
recherches existantes, fournissent quant elles des lments de comparai
son (effets d'interventions similaires), des lments d'estimation des coeffi
cients d'effets d'aubaine ou de dplacement permettant de calculer des
effets nets et des hypothses sur les faons dont les effets se produisent.
Estimation des impacts nets
La ncessit d'estimer l'impact net d'une intervention existe pour tous les
thmes d'valuation. Toutefois, les indicateurs ne peuvent fournir des infor
mations que sur l'impact brut d'une intervention (c'estdire sur le change
ment observ dans la situation de rfrence et la situation des destinataires
directs ou indirects). L'impact brut d'une intervention n'est pas une bonne
approximation de son impact net, ce dernier devant tre estim de faon
prcise. La quantification des impacts bruts ne constitue donc qu'une
premire tape du processus d'valuation des impacts qui sont vritable
ment imputables une intervention. Bien que les facteurs qui doivent tre
pris en compte lors du calcul des impacts nets dpendent dans une certaine
mesure du thme de l'valuation et des indicateurs employs, la convention
cidessous constitue une dfinition minimale commune :
Impacts nets =
Impacts bruts Effet d'aubaine Effet de dplacement (substitution)*
(Involontaire ou indsirable)
L'effet d'aubaine est un terme qui dsigne le changement qui se serait
produit mme en l'absence de l'intervention publique value. L'effet de
dplacement ne survient que pour les interventions cibles sur des zones
gographiques. Quant l'effet de substitution, il est prendre en compte
pour les interventions cibles sur un groupe social donn. Soulignons que
les effets de dplacement et de substitution sont soustraits des impacts
bruts uniquement lorsqu'ils ne sont pas des objectifs d'une intervention (voir
page suivante).
d'intervention
Pour apprcier l'ampleur de l'effet d'aubaine, il est ncessaire d'tablir la

situation contrefactuelle (ou le scnario sans intervention) qui est base sur
des projections dtailles de l'volution probable des variables cls en
l'absence de l'intervention. La reconstruction de la situation contrefactuelle
est d'une importance critique pour la prcision de l'valuation des impacts
des interventions structurelles. Elle constitue, toutefois, une tche plus
complexe au niveau d'un programme car il faut tenir compte de diffrentes
interventions en interrelation. En pratique, il est trs rare de pouvoir recons
truire la situation contrefactuelle avec certitude. Tout au plus, peuton faire
une estimation raisonne et justifie de cette situation.
L'Encadr 6 contient une illustration du principe de l'effet d'aubaine. Dans
l'exemple choisi, l'volution du nombre d'emplois pendant la priode de l'in
tervention (de l'anne de base jusqu'au moment o l'valuation est faite) est
javec moins j 0 , c'est l'impact brut sur l'emploi. Toutefois, on estime qu'au
cours de cette priode, en l'absence de l'intervention, le volume des emplois
s'lverait j sans L'impact de l'intervention, aprs dduction de l'effet de
dplacement correspond la diffrence entre javec et j sans
Encadr 6 Estimation des impacts nets d'effet d'aubaine

Emploi
I avec
Avec politique
,
'
/
/
/
Sans politique
Impact net
d'effet
d'aubaine
Changement
situation
(impact brut)
Effet
d'aubaine
lo
Anne de base
Evaluation
Considrations
techniques
Lorsqu'il y a effet de dplacement, les impacts sur les destinataires sont

accompagns d'effets sur des non-destinataires dans la zone du
programme. Par exemple, la rduction de la pollution automobile grce la
construction d'une nouvelle route peut entraner un dplacement non
souhait du trafic et de la pollution automobile vers une autre zone du
programme. Dans ce cas, l'effet n'est pas voulu et le dplacement doit tre
soustrait des impacts bruts. Par contre, si le dplacement est un impact
recherch de l'intervention (par exemple, le dplacement de petites entre
prises industrielles crant des nuisances sonores et atmosphriques d'une
zone urbaine forte densit de population vers un site vert), le dplacement
n'est pas soustrait de l'impact brut.
Lorsque l'intervention entrane une substitution imprvue de destinataires
au dtriment d'autres personnes ou groupes, l'effet doit tre considr
comme ngatif et soustrait des impacts bruts (par exemple, la reconversion
d'employs de sexe masculin remplaant des femmes dans les entreprises
locales). Toutefois, si ces effets sont prvus ou recherchs (par exemple, l'in
sertion de chmeurs long terme aux dpens de chmeurs court terme),
l'effet ne doit pas tre soustrait des impacts bruts.
Il ne faut pas accorder l'effet de dplacement la mme importance qu'
l'effet d'aubaine dans la mesure o ce dernier est plus essentiel pour l'esti
mation de l'impact des interventions structurelles. L'effet d'aubaine est
souvent d'ampleur importante et l'impact d'une intervention est par cons
quent rduit d'autant. La plus ou moins grande homognit des impacts a
des rpercussions sur la faon dont l'effet d'aubaine, l'effet de dplacement
et l'effet de substitution peuvent tre analyss. En ce qui concerne l'emploi,
les impacts sont homognes et l'estimation de l'effet d'aubaine et de dpla
cement se concentre donc sur un seul critre d'valuation : le nombre
d'emplois crs ou maintenus.
En revanche, les impacts sur l'environnement sont htrognes (qualit de
l'air, qualit de l'eau, biodiversit, etc.). Il est donc ncessaire d'analyser
l'impact d'une intervention l'aide de plusieurs indicateurs pertinents. De
mme, les impacts des interventions sur la comptitivit des PME (en
termes d'innovations, de produits, de chiffre d'affaires, de valeur ajoute,
etc.) peuvent tre estims l'aide d'un ensemble d'indicateurs et l'estima
tion de l'effet d'aubaine et du dplacement sera plus dlicate.
d'intervention
L' effet de levier , correspond aux sommes que le secteur priv a investies
comme contreparties des projets financs par les Fonds structurels (voir
Encadr 7). Il s'agit donc d'un autre effet qui doit tre estim chaque fois que
l'un des objectifs de l'intervention est d'encourager la participation finan
cire du secteur priv.
Outre les effets prsents ci-dessus, il existe diffrents effets qui, en
fonction du thme de l'valuation, devront tre pris en compte. Dans le cas,
par exemple, d'interventions en faveur de l'emploi, on peut tre amen
estimer l'effet multiplicateur de revenu (c'est dire l'emploi cr ou
maintenu indirectement par le revenu supplmentaire gnr par les effets
d'emploi directs d'une intervention) et l'effet fournisseur (c'est dire
l'emploi supplmentaire cr ou maintenu indirectement chez les fournis
seurs des entreprises aides). Ces effets multiplicateurs et fournisseurs aug
mentent l'impact net rsultant de la formule ci-dessus.
Les impacts nets sont parfois appels effets additionnels , terminologie
qui entrane des confusions avec la notion d'additionnalit utilise par la
Commission europenne. Ce dernier concept est illustr dans l'Encadr 7 :
si le principe d'additionnalit est compltement respect, le financement
des Fonds structurels s'additionne celui du gouvernement national ; le cas
contraire est reprsent en haut droite. Cette notion n'est pertinente que
pour le contrle financier au niveau national et non pour l'valuation de
programme.
Considrations
techniques
Encadr 7 - Additionnante, effets d'aubaine et de levier

Niveau du programme
Financement
des FS
Financement
des FS
Financement
priv
Financement
priv
Financement
public
national
Financement
public
national
Financement
priv
Financement
public
national
100% effet d'aubaine
Financement
priv
Financement
public
national
Effet de levier
Niveau national
/
Financement
priv
Financement
des FS
Financement
priv
Financement
Financement
des FS
priv
Financement
priv
Financement
public
national
Financement
public
national
100% additionnante
Financement
public
national
Financement
public
national
0% additionnalit
Il
Analyse thmatique des impacts relatifs
aux priorits politiques
Les interventions structurelles ont pour but de promouvoir la cohsion conomique et sociale et compltent les politiques des diffrents Etats
membres. Pour atteindre cet objectif, elles doivent respecter les priorits
politiques de l'Union europenne et les principales proccupations des
citoyens europens. Il existe actuellement quatre priorits politiques spcifiques auxquelles les interventions des Fonds structurels doivent plus particulirement rpondre : la protection de l'environnement, la comptitivit des
entreprises, l'emploi et l'galit des chances entre les femmes et les
hommes.
L'valuation des priorits politiques peut se drouler dans le cadre d'un
programme ou de plusieurs programmes (valuation thmatique transrgionale ou transnationale). Dans le premier cas, l'objectif est de fournir des
conclusions sur la porte des impacts des programmes sur une ou plusieurs
politiques prioritaires. Dans le deuxime cas, l'valuation est spcifiquement
centre sur un thme prcis couvrant diffrentes rgions sur diffrents pays.
L'un des principaux objectifs de ce type d'valuation est de dtecter des
exemples de bonne pratique.
Les chapitres suivants sont structurs autour des points cls prsents dans
la premire partie. Ces points sont examins et dvelopps dans le contexte
de chacune des quatre priorits politiques. Outre ces points, diffrents outils
d'valuation susceptibles d'tre utiliss pour des valuations plus approfondies des impacts sont prsents.
Evaluer l'impact des interventions structurelles sur

l'environnement
Pourquoi fautil valuer les impacts sur l'environnement ?
Le cadre rglementaire
Le problme de l'environnement est devenu, au cours de ces trente
dernires annes, une proccupation internationale qui se traduit par une
plus grande prise en compte de ces questions dans la lgislation et les poli
tiques publiques. En 1972, l'Union europenne a fait un premier pas avec la
Dclaration de Paris sur l'environnement. L'anne suivante, la Commission
europenne a publi son premier Programme d'action sur l'environnement
et finance depuis 1975, une recherche sur l'Evaluation de l'Impact Environ
nemental (EIE). En 1977, elle a entam des travaux sur l'laboration d'une
directive relative l'valuation de l'impact environnemental qui a t
approuv par le Conseil en 1980 aprs une vaste consultation.
En 1985, la Directive 85/337/CE a rendu obligatoire l'valuation des effets
d'un large ventail de projets publics et privs, en s'appuyant sur le principe
que la meilleure politique environnementale consiste prvenir la cration
de pollution ou de nuisance la source, plutt que de lutter contre les effets
a posteriori .
Le Trait de l'Union de 1992 a marqu une tape vers une approche plus
active, en exigeant que les considrations environnementales soient
intgres dans la formulation et la mise en uvre de toutes les politiques.
Une stratgie pour obtenir un dveloppement durable (c'estdire le dve
loppement qui satisfait les besoins du prsent sans compromettre la
capacit des gnrations futures satisfaire les leurs) a t dcrite de faon
dtaille dans le Cinquime Programme d'Action sur l'Environnement,
adopt par le Conseil en 1993. Ce texte prvoit que le mot "durable"
renvoie une politique et une stratgie pour un dveloppement conomique
et social sans prjudice pour l'environnement et les ressources naturelles
desquelles dpendent la poursuite de l'activit humaine et du dveloppe
ment .
Ainsi, les politiques de dveloppement conomique de l'Union europenne
admettent de plus en plus le rapport entre dveloppement et environne
ment, et reconnaissent que la cohsion de l'Union imposera de suivre une
Evaluation
transversale
d'intervention
trajectoire durable, la fois en termes conomiques et environnementaux.

La rforme des Fonds structurels de 1993 prvoit de manire explicite que,
dans toutes les activits bnficiant de l'aide des Fonds, l'on tienne compte
de l'impact sur l'environnement. De fait, tous les projets soumis par les Etats
membres pour l'obtention de subventions dans le cadre des Objectifs 1, 2
ou 5b doivent depuis cette date inclure une apprciation de l'tat de l'envi
ronnement de la rgion concerne ainsi qu'une valuation de l'impact envi
ronnemental de la stratgie et des oprations... \ Cette exigence a t
souligne par la cration, en 1993, du Fonds de cohsion qui consacre une
partie substantielle de ses ressources des projets dont les objectifs
premiers sont environnementaux. Toutefois, pour les Fonds structurels en
gnral, l'objectif principal de nombreuses interventions n'est pas environ
nemental et il existe souvent une tension entre le type d'activits qui est
considr comme ncessaire la promotion du dveloppement cono
mique, et les proccupations environnementales.
La relation entre l'environnement et la cohsion

Il n'existe videmment pas de corrlation immdiate ou automatique entre le
niveau de dveloppement conomique d'une rgion et l'tat de son environ
nement. Les rgions conomiquement dveloppes, comme les rgions
sous-dveloppes, peuvent avoir un environnement sain ou connatre de
graves problmes d'environnement. Par le pass, on a souvent considr
que le contrle de l'impact sur l'environnement occasionnait des cots, et
avait donc invitablement un effet contraignant sur le dveloppement co
nomique. Aujourd'hui, il est de plus en plus largement reconnu que la pro
tection et / ou l'amlioration de l'environnement et le dveloppement de
l'conomie sont non seulement interdpendants long terme, mais offrent
en outre des possibilits d'activits complmentaires significatives plus
immdiates.
Les stratgies de forte croissance et de faible protection de l'environnement
ne peuvent tre maintenues sur le moyen et long terme. Elles doivent donc
tre identifies et remplaces par des stratgies orientes vers la durabilit.
En outre, les stratgies de dveloppement conomique peuvent tirer parti de
l'effet attractif sur l'investissement que reprsente un environnement de
qualit et utiliser les activits associes l'amlioration de l'environnement
comme moyen d'impulser une croissance conomique. Une rponse des
problmes environnementaux, mme trs spcifiques, peut la fois
1. Rglementation du Conseil n 2081/93, partie I
Evaluer l'impact sur
l'environnement
apporter des opportunits d'emploi court et moyen terme et alimenter

des stratgies de dveloppement conomique plus diversifies.
Le dveloppement d'co-industries constitue peut-tre l'exemple le plus
vident de la complmentarit de la protection de l'environnement et du
dveloppement conomique. Ces industries ont t dveloppes afin de
rpondre la demande croissante des consommateurs pour des produits
qui respectent l'environnement. Elles rsultent galement du dveloppe
ment des contrles de pollution et de la prise de conscience gnrale de
l'importance de l'impact de l'activit humaine sur l'environnement.
Le besoin d'valuation
Dans la mesure o la cohsion ne peut tre atteinte qu' travers une activit
durable la fois en termes conomiques et environnementaux, le suivi et
l'valuation doivent systmatiquement en tenir compte. La Commission est
en effet dsormais tenue de respecter les proccupations environnementales
dans la conception, le suivi et l'valuation des interventions structurelles.
En ce qui concerne les interventions structurelles dans les rgions moins
dveloppes et dans les zones rurales, un nombre non ngligeable de
mesures ont des objectifs environnementaux clairs. Les rpercussions sur
l'environnement des ralisations financires dans ces zones sont relative
ment directes, mme si la mesure des effets rels de ces activits s'avre
techniquement difficile. Dans les autres rgions, les consquences sur l'en
vironnement des activits aides sont souvent plus diffuses et plus difficiles
valuer.
Les techniques d'valuation de l'impact environnemental sont devenues de
plus en plus sophistiques au cours des dernires dcennies. Toutefois,
elles sont pour la plupart limites la mise en uvre de projections ex ante
d'impacts dans une perspective d'aide au choix entre diffrentes politiques
et projets possibles. De fait, l'valuation ex ante des impacts sur l'environne
ment est prise en compte de manire de plus en plus significative et syst
matique dans la formulation et la planification des interventions structurelles.
En revanche, l'valuation des impacts rels de ces interventions (consid
res individuellement ou globalement) est encore peu dveloppe.
Quoi qu'il en soit, la Commission doit veiller ce que des mthodes soient
disponibles pour valuer l'impact rel sur l'environnement de l'ensemble
des activits souvent htrognes soutenues par les Fonds structurels et ce
pour trois raisons principales :
d'intervention
premirement, il faut mesurer le degr de russite des efforts de promotion

de la cohsion que l'on a obtenu dans l'esprit du dveloppement durable.
Pour ce faire, des indications sur l'impact environnemental des politiques
structurelles dans leur ensemble doivent tre recueillies.
deuximement, il convient de vrifier que les priorits environnementales,
dfinies dans les programmes cofinancs, ont effectivement t respectes ;
enfin, concernant les projets individuels, les critres de slection en
rapport avec l'environnement doivent tre valids en comparant les impacts
escompts avec les rsultats rels.
Les politiques structurelles de l'UE sont mises en uvre par l'intermdiaire
de programmes complexes et htrognes. Dans la mesure o il est nces
saire d'apprcier l'impact global de ces politiques, il convient d'valuer non
seulement l'ensemble des consquences sur l'environnement des projets
dots d'objectifs environnementaux explicites, mais aussi les implications
environnementales des projets et des politiques socioconomiques, qui
n'ont pas d'objectif environnemental explicite ou ne prsentent pas
d'impact direct sur l'environnement.
Malheureusement, les mthodologies pour l'valuation de l'impact sur l'en
vironnement sont appropries pour des projets spcifiques, mais peu
adaptes des programmes ou des politiques de plus grande envergure. Il
est vrai qu'au cours des dernires annes, l'approche dite Evaluation Envi
ronnementale Stratgique (EES) a t dveloppe pour l'valuation de
l'impact de politiques plus globales. Il apparat toutefois que cette approche
n'est pas encore tout fait au point techniquement et s'avre plus appro
prie dans le cadre d'une valuation ex ante que pour des valuations mi
parcours ou ex post.
Au vu de ce que nous venons de dire, le prsent chapitre s'intresse plus
particulirement aux techniques qui semblent, sous une forme la fois sim
plifie et oprationnelle, adaptes l'un ou l'autre des types d'valuation.
Dfinir ce qu'il faut valuer

o L'environnement et ses influences
Le concept d'environnement couvre un large ventail de sujets aux interrela
tions complexes. Il est par consquent important d'identifier clairement les
caractristiques principales de l'environnement et les mcanismes les plus
fondamentaux qui le constituent.
l'environnement
On peut considrer que les ressources naturelles sont simplement un

ensemble de ressources consommables. Cette consommation a bien
entendu un impact sur l'environnement et peut entraner des modifications
dramatiques de l'cosystme, modifications qui peuvent tre juges
positives ou ngatives. En fait, l'intervention humaine sur l'environnement va
toujours au-del de la simple consommation de ressources naturelles. Elle
entrane la construction d'infrastructures et d'habitations, l'utilisation
d'nergie, le transport de personnes et de biens, ainsi que la production de
dchets provenant de ces activits, qui sont autant d'lments ayant un
impact sur l'environnement. Tous sont imbriqus et les changements qui
s'oprent peuvent tre ngatifs mais parfois positifs.
Exemple : Les effets de l'activit agricole sur l'environnement

L'activit agricole est trs diversifie aussi bien en termes de production que de tech
niques utilises. L'utilisation de l'agriculture intensive peut avoir des effets ngatifs sur
l'environnement. Elle peut, par exemple, entraner une dtrioration de la qualit du
sol, de l'eau et de l'air, ainsi que la disparition d'habitats et la rduction de la biodiver
sit. Mais l'activit agricole peut galement avoir des effets positifs lorsqu'elle utilise
des cultures qui absorbent le gaz carbonique, et peut contribuer, grce une bonne
gestion des terres, la conservation et l'amlioration de la biodiverslt et du
paysage ainsi qu' la prvention des crues et des glissements de terrain.
Les dterminants de base de l'volution de l'environnement sont exposs
schmatiquement dans une adaptation du cadre Driving Force-StateResponse ( Force Motrice-Etat-Rponse ) (DF-S-R) (voir Encadr 8). Ce
modle reprsente l'environnement comme tant compos essentiellement
d'lments non humains voluant en interaction pour former des cosys
tmes complexes et l'quilibre dlicat. C'est l'un des nombreux modles
qui ont t labors pour expliquer les dterminants du changement envi
ronnemental (d'autres exemples plus rcents comprennent le modle Force
Motrice-Etat-Impact-Rponse) de l'Agence Europenne de l'Environnement
et le cadre DF-S-R adapt par l'OCDE pour inclure les liens agri-environnementaux et l'agriculture durable.
d'intervention
Encadr 8 Adaptation du modle de dveloppement durable

Force MotriceEtatRponse
Etat de
l'environnement
Economie
Acteurs
Richesse et bientre
transport
industrie
i
Pressions
(conomiques)
ou forces
motrices
tourisme
administrations
menages
sols
entreprises
agriculture
commerce
air
eau
Bientre
(public et
priv)
faune et flore
Utilisation
(conomique)
des ressources
Ressources
naturelles
Rponses
(des pouvoirs
publics)
agences
internationales
rponses
Department of the Environment. {1993), Environmental Appraisal of Development Plans, A good practice
guide, London: HMSO.
L'environnement peut tre dfini de manire large comme l'ensemble des

lments naturels qui entourent un individu (homme, animal ou vgtal).
Dans le modle cidessus, cet ensemble d'lments naturels comprend l'air,
l'eau, la terre, la faune et la flore et les ressources naturelles. Les change
ments environnementaux dans le contexte du dveloppement de secteurs
conomiques spcifiques sont identifis plus prcisment sous la forme :
des Forces Motrices qui peuvent tre dfinies comme les lments provo
quant des changements (aussi bien positifs que ngatifs) de l'tat de l'envi
ronnement. Elles comprennent les processus et les facteurs environnemen
taux naturels, les donns biophysiques et les pressions socioconomiques ;
des changements prcis d'tats de l'environnement qui traduisent les
changements intervenus et q ui peuvent tre attribus ces Forces ;
des rponses en termes de politiques et de comportement qui sont
apportes suite ces changements de l'tat de l'environnement.
Ce cadre permet d'examiner les problmes de faon claire et systmatique,
favorisant ainsi une apprhension quilibre des considrations environne
mentales, conomiques et politiques. Par contre, il ne permet pas le rappro
l'environnement
chement final des diffrents types de critres alors que ce rapprochement

est crucial en matire de dveloppement durable cause des tensions qui
existent entre l'activit conomique et les proccupations environnemen
tales. Le concept mme de dveloppement durable est bas sur le principe
que la croissance conomique ne devrait pas entraner de cot inacceptable
pour l'environnement. Mais il est souvent difficile de dfinir des critres qui
permettent de formuler des jugements qui soient valables la fois en termes
conomiques et environnementaux.
Les impacts environnementaux induits par la ralisation d'objectifs
non environnementaux
Le cadre prcdent est un outil intressant de conceptualisation des dter
minants des changements environnementaux. Cependant, construit sur la
base d'une chane de causalit circulaire, son utilisation est limite pour
valuer les impacts des interventions structurelles sur l'environnement. Une
approche plus adapte consiste construire une typologie des impacts
environnementaux qui associent des proccupations socio-conomiques et
environnementales.
Une telle typologie construite en vue d'intgrer l'ensemble des problma
tiques de l'Union europenne comprend les six catgories suivantes :
Qualit de l'eau et ressources en eau ;
Atmosphre et polluants atmosphriques ;
Gestion de l'environnement et innovation des entreprises ;
Utilisation des terres et paysages ;

Faune et flore ;
Comportement environnemental des individus.
Les catgories de cette typologie ne s'excluent pas mutuellement. Ainsi, par
exemple, une action ayant pour but de dvelopper les transports en
commun, peut avoir un impact direct sur le comportement environnemen
tal des individus et un impact direct sur l'atmosphre et les polluants
atmosphriques . En effet, elle rduit l'utilisation des vhicules privs et,
par consquent, les missions de gaz d'chappement ainsi que la consom
mation des ressources nergtiques non-renouvelables. De mme, les
impacts entrant dans la catgorie gestion de l'environnement et innovation
des entreprises auront tendance tre en amont d'impacts entrant dans
d'autres catgories. Il est toutefois peu probable que tous ces niveaux
d'impact puissent tre suivis avec prcision. Ce type d'approche permet de
d'intervention
dterminer l'impact le plus direct tout en laissant ouvertes des possibilits

d'identifier les impacts indirects. Cette approche permet galement d'analy
ser et de travailler sparment sur des thmes spcifiques.
L'Encadr 9 donne les exemples d'effets (impacts et rsultats) qui ont servi
construire cette typologie des impacts.
Encadr 9 - Typologie dtaille des impacts des interventions
structurelles sur l'environnement
Catgories d'impact
Exemples d'impacts et de rsultats
Qualit de l'eau et
ressources en eau
proportion accrue des dchets industriels et toxiques traits

proportion accrue de la population raccorde des installations de traitement
des eaux uses
baisse de l'utilisation de nitrates dans l'agriculture
amlioration de la qualit des eaux souterraines, des rivires et des eaux
marines
rduction des fuites des eaux traites au niveau des conduites d'eau
augmentation du traitement des eaux uses
Atmosphre et
polluants
atmosphriques
amlioration de la collecte, du traitement et du recyclage des dchets

Industriels solides
accroissement de la rutilisation, de la collecte et du recyclage des dchets
urbains
rduction en nombre et en taille des dpts d'ordures et baisse de la pollution
des eaux souterraines
rduction des missions Industrielles de C02, d'oxydes de soufre et de
nitrogene et d'hydrocarbones
Gestion de
l'environnement et
innovation des
entreprises
nouveaux brevets dans les technologies lies l'environnement

nouvelles entreprises spcialises dans les produits et les services lis
l'environnement
accroissement de l'investissement dans les technologies propres
Utilisation des terres

et paysages
traitement et rcupration de friches industrielles et de zones urbaines

l'abandon
accroissement du nombre de zones classes et protges
aires naturelles protges interdites au dveloppement industriel et aux projets
de dveloppement
protection des zones et des monuments historiques et ayant un intrt
architectural
Flore et faune
Comportement
environnemental des
individus
accroissement de la proportion des banlieusards qui utilisent les transports en

commun
augmentation de la proportion des touristes hors saison
diminution de l'utilisation des vhicules individuels
diminution de l'utilisation de pesticides et d'herbicides

maintien de la biodiversit
nettoyage des zones ctires, des plages et des rivires
amlioration de la gestion des zones boises et des ressources
Evaluer l'impact
sur
l'environnement
Clarifier les objectifs environnementaux

L'valuation de l'impact environnemental des interventions structurelles a
pour objet d'obtenir une mesure des effets d'un ensemble d'activits qui
sont toutes conues pour favoriser la cohsion conomique et sociale, mais
dont certaines seulement comportent des objectifs environnementaux.
Lorsque des objectifs environnementaux sont explicitement intgrs une
intervention, celle-ci est videmment conue pour avoir un impact positif sur
l'environnement. Toutefois, les impacts des autres interventions sur l'envi
ronnement peuvent tre positifs ou ngatifs. Aussi, une valuation complte
de l'impact sur l'environnement doit prendre en compte la totalit de ces
effets.
Les objectifs de chaque composante d'un programme et les rapports entre
les diffrents niveaux d'un programme sont rarement articuls aussi claire
ment et aussi explicitement qu'on pourrait l'esprer. En outre, comme les
rpercussions de certaines interventions sur l'environnement sont souvent
confuses, il est habituellement conseill de commencer par clarifier les
objectifs. L'approche propose dans la 1re partie du Volume pour la clarifi
cation des objectifs des interventions des Fonds structurels consiste
construire un arbre d'objectifs .
A titre d'exemple, la typologie des impacts potentiels a t intgre dans un
arbre d'objectifs spcifique aux impacts environnementaux des interven
tions structurelles (voir Encadr 10). L'objectif global du programme, qui est
de favoriser un dveloppement durable d'un point de vue environnemental,
est li, via des objectifs intermdiaires, des exemples d'objectifs spci
fiques relatifs des mesures ventuelles d'un programme et d'autres inter
ventions. Les liens entre les objectifs intermdiaires sont indiqus en
fonction de leur position relative et de leurs relations entre eux. Cet arbre est
principalement bas sur des objectifs environnementaux supposs expli
cites dans la mesure o les objectifs implicites d'un programme sont
seulement rvls par des entretiens avec les dcideurs et les gestionnaires
du programme.
d'intervention
Encadr 10 Priorits environnementales des interventions des

Fonds structurels prsentes sous forme d'arbre d'objectifs
Exemples d'objectifs spcifiques
Objectifs globaux
Promouvoir le
dveloppement
durable sur
le plan
environnemental
Amlioration de la qualit
de l'eau et de la gestion
des ressources en eau
Augmentation du nombre de mnages et

sites industriels raccords un systme de
traitement des eaux uses
Amlioration de la
qualit de l'air et
rduction des
polluants
atmosphriques
Amlioration de la collecte, du traitement

et du recyclage des dchets industriels
_L_
Meilleure gestion de
l'environnement et
innovation des
entreprises
Meilleure utilisation
des terres et protection
des paysages
Protection de la flore
et de la faune
Augmentation de la recherche sur

l'environnement
Augmentation de l'efficacit nergtique
des PME
Augmentation du nombre de sites indus

triels dans les zones dveloppes
Amlioration de la protection des sites
classs
Amlioration de la protection des zones

ctires et maritimes
Comportements humains
plus responsables par
rapport l'environnement
Dveloppement des transports en commun

Renforcement du tourisme vert
L'arbre d'objectifs facilite l'identification prcise des objectifs environne

mentaux d'un programme, la clarification des relations et des priorits
internes ainsi qu'un meilleur jugement la fois de la cohrence interne des
lments d'un programme en relation avec l'environnement et de leur
cohrence externe avec d'autres politiques publiques.
o Effets nets et bruts sur l'environnement
L'environnement est soumis une combinaison complexe de pressions
provenant de l'activit conomique et des effets du comportement indivi
duel et collectif, ainsi que des effets d'un ventail d'interventions de poli
tiques publiques. Ainsi, un impact environnemental observ n'est pas enti
rement attribuable une intervention. Il est donc important d'en dterminer
l'effet d'aubaine, afin de pouvoir valuer ses effets nets. Dans ce contexte,
l'effet d'aubaine est le changement environnemental qui peut tre conforme
aux objectifs environnementaux poursuivis mais qui se serait produit mme
en l'absence de l'intervention.
Evaluer l'impact
sur
l'environnement
L'effet de dplacement fait rfrence dans ce contexte au dplacement go

graphique d'impacts environnementaux ngatifs plutt qu' leur diminution.
Le dplacement est devenu un sujet de proccupation en matire d'environ
nement, avec, par exemple, des pratiques consistant dlocaliser >> des
activits produisant des dchets toxiques et radioactifs vers d'autres sites
qui ne sont pas mieux quips pour prendre en charge de telles substances
mais qui sont moins contrls.
Exemple : Calcul de l'effet net d'une rocade sur l'environnement

La construction d'une rocade a entran une importante rduction du trafic dans le
centre d'une ville. Aprs achvement du projet, on a enregistr une baisse d'environ
20% des missions de gaz d'chappement. Ce chiffre reprsente l'impact brut de l'in
tervention. Or, dans la mme priode, l'accroissement dans le reste du pays de l'utili
sation des vhicules privs a conduit une augmentation de 5% des gaz d'chappe
ment (situation contrefactuelle). Cependant, bien que la rocade ait eu un effet
environnemental positif vident, un certain nombre de zones rsidentielles de
banlieue, situes proximit de la rocade, ont subi une augmentation du trafic car les
automobilistes ont modifi leurs trajets habituels pour tirer parti de cette nouvelle
configuration. L'augmentation des gaz d'chappements qui en rsulte et qui corres
pond l'effet de dplacement de l'intervention a t estime 10%. Pour passer de
l'effet brut de l'intervention son effet net, il faut enlever l'effet d'aubaine (situation
contrefactuelle situation de base) et l'effet de dplacement.
Il est galement important de vrifier qu'aucune des mesures contenues
dans un programme ne conduira dupliquer des politiques rgionales dj
en place. En admettant que des mcanismes d'aide aux projets de R&D
accroissent la R&D sur l'environnement, l'impact positif sur l'environnement
d'une mesure d'aide la R&D d'un programme pourrait ne pas tre entire
ment attribuable cette mesure. Une partie de cet impact devrait tre par
consquent soustraite de l'impact brut.
Exemples d'impacts par d o m a i n e d'intervention

Trois grands types d'interventions sont gnralement pris en charge par les
Fonds structurels : la fourniture d'infrastructures de base ; l'aide l'environ
nement productif et le dveloppement des ressources humaines. Chacun de
ces types d'interventions peut avoir des impacts sur l'environnement,
comme l'illustrent les trois exemples cidessous.
d'intervention
Les impacts potentiels de la fourniture en infrastructures de base

La prise en charge de la fourniture d'infrastructures de base a gnralement
pour but de favoriser indirectement la cohsion en allgeant certaines
contraintes spcifiques qui psent sur l'activit conomique (par exemple
en fournissant une eau de bonne qualit conforme des procds de pro
duction spcifiques) ou en rduisant les cots de production (par exemple
en amliorant le rseau routier). Que les projets d'infrastructure aient ou non
des objectifs environnementaux explicites, ils ont des impacts significatifs
sur l'environnement, et l'valuation de l'impact conomique d'un projet de
ce type doit tre complte par une valuation de son impact environne
mental permettant d'apprcier la durabilit du dveloppement induit.
Exemple : Programmes pour un systme de rail lger au Royaume-Uni
Le South Yorkshire Supertram et le Midland Metro ont t financs dans le cadre de
l'Objectif 2 au Royaume-Uni. Ces deux projets devraient entraner la cration de
nouveaux emplois, non seulement dans la construction et le fonctionnement des
nouvelles infrastructures, mais galement en raison de la plus grande comptitivit de
la rgion compte tenu de ses meilleures liaisons avec les grands axes de transport et
de la rduction des temps de dplacement. Ces deux projets devraient galement

gnrer une baisse de la pollution sonore et atmosphrique et une augmentation de
l'investissement immobilier rsidentiel et commercial ainsi qu'une augmentation de la
valeur de celui-ci.
Ralisations
c>
S.
Construction d'un
nouveau systme
de transport
sur raif
>
Effets
Baisse de
l'utilisation de
vhicules privs
L
Meilleur
systme de
transport collectif
Baisse des
niveaux
sonores
Baisse des
missions de gaz
d'chappement
Rduction des
temps de trajet
Amlioration
de la qualit
de l'air
>
Meilleure
comptitivit
Priorit
L'environnement productif
Diffrents types d'aides l'investissement productif constituent traditionnel
lement une composante majeure de la plupart des stratgies de dveloppe
ment rgional. Ces aides soutiennent le dveloppement d'une plus grande
Evaluer l'impact
sur
l'environnement
capacit de production, d'une plus grande productivit et d'autres types

d'aide directe aux entreprises (par exemple en termes de marketing, de R&D
ou de pratiques de gestion spcifiquement respectueuses de l'environne
ment). Il peut aussi s'agir d'aides indirectes favorisant des activits compl
mentaires et pouvant inclure des services environnementaux. L'impact sur
l'environnement de ce type d'intervention peut tre positif ou ngatif selon la
nature de l'activit subventionne.
Exemple : Audits et conseils en matire d'nergie auprs des PME (Royaume-Uni)
Afin d'amliorer la comptitivit des PME de la rgion de Knowsley, Liverpool, le
projet Powersave a commissionn des experts de la compagnie d'lectricit locale
pour visiter les entreprises, valuer leur rendement nergtique et proposer des plans
d'amlioration. La mise en uvre de ces plans a t cofinance part gale par le
FEDER et la compagnie d'lectricit. Pour un investissement total de 3.7 MECU, on
est parvenu des rductions de cots de plus d'1 MECU par an et une diminution
significative des missions de C02.
Ralisations
Gestion
nergtique
des PME
^>
Effets
Baisse d e
la consommation
de carburants
Rduction des
besoins
nergtiques
Baisse
des missions
de C 0 2
Amlioration
de la qualit
de l'air
Baisse des cots

de production
Amlioration de
la comptitivit
Priorit
Les interventions dans le domaine des ressources humaines

Les interventions d'aide au dveloppement des ressources humaines ont
pour but de renforcer et d'amliorer les comptences et les aptitudes des
personnes actives afin d'augmenter leur employabilit. L'objectif est
galement de rendre plus comptitive l'conomie locale dans laquelle ils tra
vaillent grce de meilleurs niveaux d'adaptabilit et de productivit. Dans
la mesure o ces interventions augmentent soit la sensibilisation l'environ
nement des destinataires soit leur capacit s'engager dans des activits
qui ne sont pas prjudiciables pour l'environnement voire qui ont un impact
positif sur l'environnement, elles augmentent le potentiel de durabilit du
dveloppement induit. La probabilit que l'activit soutenue ait un impact
d'intervention
positif sur l'environnement est bien videmment plus leve si le dveloppe

ment des ressources humaines luimme, ou l'emploi pour lequel ses desti
nataires ont t forms, ont un objectif environnemental.
Exemple : Le dveloppement d'activits de recyclage en A llemagne
Une socit de Geissen (Allemagne), destinataire d'une aide des Fonds structurels, avait
pour objectif de fournir au niveau local des emplois et des qualifications pour les
chmeurs, une formation aux employs ainsi que des services ayant un impact positif sur
l'environnement. La socit a t cre en 1988. En 1996, elle employait 370 personnes,
en formait 150 et avait recycl des milliers d'appareils lectromnagers (rfrigrateurs,
lavelinge et schelinge). Le travail de recyclage de cette socit a galement gnr
une rduction significative des missions de CFC et des rejets d'huile.
Effets
Ralisations
Cration d e
centres de
formation
Recyclage d'appareils
lectromnagers
Augmentation
de l'emploi
Meilleur niveau de
comptences dans le
domaine du recyclage
Rduction des
missions de CFC
Rduction des
dchets d'huile
Diversification d e
l'conomie dans des
coindustries
Priorit
Il est gnralement difficile de prvoir si le dveloppement conomique sera

accompagn de retombes environnementales positives et, par cons
quent, s'il sera durable long terme. Il convient toutefois de garder prsent
l'esprit qu'un projet qui a des effets ngatifs sur l'environnement n'implique
pas ncessairement un dveloppement conomique non durable. Des
mesures d'attnuation peuvent tre introduites pour viter, rduire ou pallier
l'impact environnemental ngatif d'une intervention. Ces mesures peuvent
russir stopper la dtrioration de l'environnement, voire conduire une
nette amlioration, permettant ainsi un dveloppement durable.
Dfinir e t slectionner d e s indicateurs
L'utilit et les limites des indicateurs
Le Volume 2 de la Collection MEANS est consacr aux indicateurs de suivi et
d'valuation des interventions des Fonds structurels. Ce Volume consacre,
en particulier, une section aux indicateurs sur l'environnement.
Evaluer l'impact
sur
l'environnement
Les impacts globaux sur l'environnement des politiques structurelles de

l'U.E rsultent d'un trs grand nombre de types d'activits qui se situent
elles-mmes dans un ensemble de contextes locaux varis du point de vue
environnemental. Pour obtenir une vue d'ensemble prcise de la nature et
de l'ampleur des impacts, il est ncessaire de se doter d'informations
refltant les aspects les plus importants du changement de l'environnement.
Pour pouvoir suivre les changements de l'environnement, les indicateurs
doivent montrer quelle en est l'volution en incorporant une description de la
situation un moment prcis (valeur au point zro) qui permet par la suite de
mesurer, grce au suivi, les changements intervenus. Pour ce faire, il est
ncessaire de slectionner et de dfinir un nombre d'indicateurs suffisam
ment limit pour pouvoir tre renseigns et donc centrs sur les questions
les plus pertinentes, tout en tant suffisamment large pour reflter les dve
loppements les plus significatifs. Par exemple, il est probable que les
niveaux globaux de pollution atmosphrique ou aquatique ne peuvent pas
tre influencs de manire notable par des projets individuels, mme relati
vement importants. Dans ce cas, une simple mesure de la rduction des
missions de polluants, mis par des sources prcises et connues de conta
mination (industries spcifiques, points d'mission importants), sera proba
blement plus utile. Par contre, pour des sources diffuses telles que celles de
certains secteurs de production (par exemple le niveau d'utilisation
d'engrais artificiels) ou celles provenant des habitudes et des comporte
ments individuels (par exemple les niveaux d'utilisation des vhicules
privs), une estimation des rductions attendues de ces missions pourrait
suffire.
Les efforts rcents en matire de dveloppement d'indicateurs de

dveloppement durable
Des efforts considrables ont t faits depuis 1992, notamment par les
Nations Unies, l'OCDE et Eurostat, pour dvelopper des indicateurs dits de
dveloppement durable . La Commission des Nations Unies pour le
dveloppement durable, a produit un cadre mthodologique pour la dfini
tion, la collecte et l'interprtation de 132 indicateurs. Ces indicateurs sont
construits dans le cadre de rfrence Force Motrice-Etat-Rponse (dcrit
plus haut) pour quatre catgories de donnes : donnes conomiques,
sociales, environnementales et institutionnelles. EUROSTAT publie des
informations sur l'environnement (qui, pour un certain nombre d'entre elles,
ont t prpares conjointement par l'OCDE) et propose deux bases de
d'intervention
donnes en ligne (New Cronos et Envstat). Eurostat est galement impliqu

dans un projet sur les indices de pression (ou Forces Motrices) dont le
but est la fois d'tablir un cadre de rfrence pour mesurer l'impact de l'ac
tivit conomique sur l'environnement et, pour ce faire, de construire des
indicateurs de base. Enfin, l'Agence Europenne pour l'Environnement a t
cre pour fournir des informations relatives l'tat de l'environnement, y
compris un rapport triennal sur l'environnement en Europe, dont le premier a
t publi en 1995.
La Commission europenne travaille galement sur les indicateurs pour
l'environnement, notamment sur la construction d'un Systme europen
d'indices de pression sur l'environnement . Ces indicateurs permettent de
dcrire l'volution des tendances pour dix domaines politiques cls.
Lorsque ces sries de donnes seront tablies, elles pourront tre
pondres et combines avec des indices, pour donner des informations
plus utilisables et mieux adaptes aux besoins particuliers de chaque
politique. Ces indices sont essentiellement des approximations de mesures
plus directes de l'impact des politiques, moins faciles tablir. Par exemple,
dans le cas de la deforestation, un indice idal ne serait pas un simple indi
cateur du taux de deforestation, mais associerait cet indicateur avec un indi
cateur des incitations au dfrichage des forts. De mme, un indice utile ne
se limiterait pas comptabiliser les quantits d'herbicides utilises chaque
anne, et reflterait plus directement le problme.
Il est toutefois possible de construire des indicateurs ad hoc au niveau
rgional pour valuer les impacts sur l'environnement, comme le prouve
l'exemple suivant.
Exemple : L'utilisation d'indicateurs ad hoc (France)
L'valuation du programme d'aide au dveloppement des zones rurales, dans le
cadre de l'objectif 5b, en Bourgogne, exigeait la construction d'indicateurs d'impact
environnemental au niveau rgional. Le pourcentage de haies dtruites a t utilis
comme indicateur d'impact sur l'environnement pour les oprations de remembre
ment. En outre, cette mesure a t affine en dfinissant diffrentes qualits de haies
dtruites. Dans le secteur des travaux publics, les impacts ont t mesurs en
fonction du nombre de nouveaux bnficiaires d'installation de traitement des eaux et
en termes d'augmentation du nombre quivalent d'habitants ayant accs aux installa
tions. L'impact des projets de gestion des ordures a t mesur par l'augmentation en
tonnes/mois des ordures collectes en dcharges et l'augmentation en tonnes/mois
des ordures ayant fait l'objet d'une collecte slective.
l'environnement
Slectionner des indicateurs pour un programme donn

Les indicateurs ne sont utiles que s'ils refltent les changements valuer.
Dans une certaine mesure, la nature de ces changements est parfois
vidente. Une certaine rflexion est toutefois ncessaire pour veiller ce
qu'ils soient identifis et interprts de faon adquate. Que les indicateurs
de l'impact environnemental obtenus soient en rapport avec l'tat de l'envi
ronnement ou avec les changements des forces agissant sur l'environne
ment, les valuateurs doivent tre conscients de la varit des impacts
potentiels sur l'environnement.
Ces Impacts peuvent tre, soit les consquences directes d'une activit
soutenue (par ex. les dommages occasionns par la construction d'une infra
structure importante, telle qu'une autoroute), soit les consquences indi
rectes de ces mmes actions, (la cration d'un parc naturel peut avoir un
impact direct positif sur l'environnement, mais a finalement des impacts
ngatifs, en raison du comportement des visiteurs se rendant sur le site et
utilisant le parc). Les impacts sur l'environnement peuvent tre de plus ou
moins long terme. Ils peuvent tre temporaires ou cumulatifs. Il est important
de s'assurer que les diffrents types d'impacts sur l'environnement auxquels
il est fait rfrence ci-dessus soient pris en compte dans toute valuation.
Au cours de ces dernires annes, les indicateurs de l'tat de l'environne
ment sont devenus de plus en plus sophistiqus. En voici quelques
exemples :
un indice de l'vapotranspiration fournit une indication relative l'tat et au
caractre de la vgtation dans une rgion donne ;
un indice de l'utilisation totale de la production primaire nette d'une rgion
fournit une indication relative au degr d'exploitation de sa vgtation.
En pratique, l'utilisation de tels indicateurs pour l'valuation des oprations
diverses et fragmentaires cofinances par les Fonds structurels reste
presque inconcevable. En outre, la capacit de ce type d'indicateurs
reflter l'tat de l'environnement est largement due leur indpendance vis-vis d'influences individuelles. Dans le cas des interventions des Fonds
structurels, ce type d'indicateur est trop gnral et les impacts des projets
soutenus ne pourraient pas tre clairement identifis. Pour cette raison, une
approche bottom-up est plus approprie pour slectionner les indica
teurs d'valuation des impacts environnementaux des programmes structu
rels. Cette approche consiste tablir un systme d'indicateurs qui
permette de suivre les impacts des interventions du niveau microcono
mique au niveau macroconomique.
d'intervention
Ces valuations cherchent rpondre deux types de questions fondamen

talement diffrentes et qui exigent l'utilisation d'informations de diffrente
nature. Pour ce qui concerne les composantes d'un programme environne
mental, la question portera bien videmment sur l'atteinte des objectifs
explicites. Concernant toutes les autres interventions, la question peut tre
formule ainsi : quel est l'impact environnemental potentiel au niveau du
programme donn (ou d'un ensemble homogne de programmes dans un
Etat membre particulier) ?
Il est souvent difficile d'attribuer avec certitude des projets spcifiques,
des modifications spcifiques de l'tat de l'environnement. Il faut donc
mettre des hypothses raisonnables sur l'impact probable d'une activit
sur la base d'informations qui ne refltent pas avec prcision l'tat de l'envi
ronnement. Dans certains cas, cela est parfaitement satisfaisant
(notamment dans le cas de rductions de sources prcises et connues de
pollution de l'air ou de l'eau). Toutefois, plus la relation entre les impacts des
interventions et leur impact sur l'tat de l'environnement est indirecte, plus il
est difficile de dvelopper une mesure de l'impact convaincante (exemple :
des mesures de formation des ressources humaines pour l'acquisition de
comptences environnementales).
Ce problme est moins gnant que l'on pourrait s'y attendre car les objectifs
environnementaux d'une intervention structurelle sont souvent exprims en
termes de changement des pressions sur l'environnement. Ces objectifs
intgrent donc des hypothses sur les relations entre ces causes et l'tat de
l'environnement. En supposant ces hypothses valides, il est possible de
centrer l'valuation de l'impact environnemental du programme sur l'analyse
des Forces Motrices concernes.
Lorsque l'on value l'impact sur l'environnement un niveau multiprogramme/politique, il est ncessaire de faire rfrence systmatiquement
des sries de donnes sur des variables d'tat, mme s'il est impossible
d'tablir un lien direct entre ces sries de donnes et l'impact rel des inter
ventions.
Evaluer l'impact
sur
l'environnement
A titre d'exemple, un systme d'indicateurs qui pourrait tre utilis pour

rechercher les impacts, la fois sur le plan environnemental et socio-cono
mique, provoqus par la construction d'une station d'puration, est
prsente dans l'Encadr 11.
Encadr 11 - Exemple d'un systme d'indicateurs pour la

construction de stations d'puration
(concernant l'intervention et ses effets)
(concernant les zones assistes)
Progrs
Respect des dlais du projet
Capacit
Nombre de nouvelles stations

d'puration construites
Capacit maximale annuelle
de traitement (m1)
Traitement par
rapport la demande
et aux standards
de traitement
% des eaux uses subissant

un premier traitement
% des eaux uses subissant
un traitement supplmentaire
Indicateurs d'Impact
Consommation
Volume des eaux uses trait

Nombre de mnages et/ou d'entreprises
raccords un systme de traitement
des eaux uses par programme
aprs une anne
Effet conomique
indirect
Environnement
% des eaux uses traites

% des mnages et/ou d'entreprises
raccords un systme de traitement
des eaux uses
(entreprises, exploitations agricoles,
etc.) qui dclarent que le nouveau
systme d'alimentation en eau les a
librs d'une contrainte pesant sur
leur dveloppement
% des chantillons d'eaux uses

prlevs sur des points prcis et connus
de pollution qui montrent une baisse
de certains polluants
% de km de rivires soumises
un contrle dont le niveau
de pollution standard
a t dpass
Source : Volume 2 de la Collection MEANS
Alors que l'approche top-down de la mesure des impacts environnemen

taux est domine par l'utilisation d'indicateurs quantitatifs (par exemple les
indices construits par EUROSTAT), une approche bottom-up peut tre
base sur des indicateurs qualitatifs. Le cas chant, ce type d'indicateur
peut tre par la suite transform en indicateur quantitatif.
d'intervention
Exemple : Utilisation d'un indicateur qualitatif d'impact sur l'environnement

Une quipe d'valuation franaise devait valuer l'impact environnemental d'une
autoroute. Leur mthode a consist envoyer un groupe de personnes photographier
ce qu'ils considraient tre des points noirs dans le paysage, vu de l'autoroute,
avant que des mesures correctrices ne soient prises. La mme enqute photogra
phique a t faite une fois les mesures correctrices prises. La diffrence entre le
nombre de points noirs avant et aprs les mesures a t enregistre.
Pour rsumer, il conviendra de slectionner des indicateurs environnemen
taux qui vont audel de ceux habituellement utiliss dans l'valuation des
politiques structurelles, et qui ne sont pas pour autant les indicateurs
sophistiqus dvelopps par les spcialistes pour suivre le changement de
l'tat de l'environnement. Ces indicateurs d'impact seront de prfrence
constitus d'indicateurs de l'volution des forces motrices agissant sur l'en
vironnement plutt que d'indicateurs d'volution de l'tat de l'environne
ment. On trouvera, dans le Volume 2 de la Collection MEANS, consacr aux
indicateurs de suivi et d'valuation, une prsentation plus dtaille des indi
cateurs ainsi que de nombreux exemples.
Les principales s o u r c e s d'information
Pour valuer l'impact sur l'environnement des interventions structurelles, il
faut d'abord disposer d'une apprciation la plus juste possible de la
situation environnementale actuelle. Chaque document de programmation
devrait donc contenir les informations suivantes sur l'environnement :
une description des principales caractristiques environnementales de la
zone gographique couverte par le programme ;
une identification de toutes les zones particulires prsentant une signifi
cation environnementale marque ;
la nature, la cause et l'emplacement de toute pollution significative ou de
tout autre problme environnemental ;
une description des politiques environnementales nationales/rgionales
en cours ;
une information sur les autorits et les procdures environnementales
nationales et rgionales ;
une projection de l'impact environnemental prvu du programme dans son
ensemble et de chacune des priorits et des mesures qui le constituent ;
les dtails de toutes les mesures proposes pour attnuer les impacts
ngatifs sur l'environnement des mesures contenues dans le programme.
Evaluer l'impact
sur
l'environnement
S'il n'est pas toujours possible de trouver tous ces dtails dans un
document de programmation, celuici reste le point de dpart incontour
nable pour structurer les informations.
Les systmes de suivi de programme devraient pouvoir fournir des donnes
sur la production et l'utilisation des ressources qui sont indispensables pour
rpondre de nombreuses questions d'valuation. Par contre, ils ne
peuvent pas, a priori, fournir de donnes sur l'volution de l'environnement
dans la rgion concerne. Lorsque, dans la phase de prparation d'une
intervention, on s'aperoit que des donnes spcifiques au contexte parti
culirement importantes pour l'valuation des impacts, ne sont pas dispo
nibles, on doit envisager d'inclure une collecte d'information dans le cadre
du systme de suivi mettre en place.
Les sries temporelles statistiques existantes sur les donnes environne
mentales constituent une source d'information de plus en plus riche qui peut
tre utilise en complment de l'information fournie par les documents de
programmation. Les sries de donnes actuelles tendent se concentrer
sur les variables d'tat au niveau macroconomique. L'une des tches de
l'valuateur est d'tablir des relations entre ce niveau d'information et celui,
microconomique, du systme de suivi. Enfin, il peut galement tre amen
utiliser des informations provenant de prcdentes recherches et valua
tions ou se lancer dans une collecte et / ou une production de donnes ori
ginales.
Exemples de pratiques actuelles dans l'Union e u r o p e n n e
Tandis que le Volume 3 de la Collection MEANS dtaille les outils d'valua
tion en gnral, les outils prsents cidessous sont ceux utiliss dans le cas
d'analyses en profondeur des impacts.
Diffrentes techniques ont t utilises pour identifier et analyser l'impact
environnemental des politiques publiques. Le choix des techniques d'va
luation les mieux adaptes chaque cas dpend des exigences particu
lires de chaque valuation. Il est important de noter cependant que chaque
technique possde ses points forts et ses limites. Au sein de l'Union euro
penne, ce choix est susceptible d'tre influenc par les lgislations natio
nales en la matire ainsi que par les pratiques nationales au niveau de la pla
nification de projet, des tudes de faisabilit ou encore des tudes
techniques habituellement demandes.
d'intervention
Une apprciation de l'impact des interventions structurelles sur l'environne

ment peut tre ralise en utilisant l'approche pas pas qui est
prsente dans la partie IV de ce Volume. Les outils que l'on suggre dans
ce cas de figure sont principalement des tudes de cas, des entretiens indi
viduels et de groupe. En revanche, pour une analyse en profondeur des
impacts sur l'environnement, d'autres outils doivent tre utiliss que l'on
peut choisir parmi les survivants.
Evaluation Environnementale Stratgique de programme aux PaysBas
L'Evaluation Environnementale Stratgique (EES) se rfre l'valuation
environnementale de programmes ou de politiques par opposition aux
projets qui font l'objet en principe d'une valuation de l'impact environne
mental (EIE). LEES a t cre pour pallier le risque d'une intervention trop
tardive de dans le processus de planification et pour analyser diff
rentes alternatives. L'EES formalise la manire dont les techniques sont
appliques et propose des guides d'utilisation des techniques de scnario,
de radioscopie et de focalisation, d'tudes de cas, etc.
L'Evaluation Environnementale Stratgique s'inscrit dans un processus de
planification en cascade au sein duquel on considre que les politiques au
niveau international et national dterminent les programmes au niveau
rgional et les projets au niveau local. Au sein de l'Union europenne, cette
approche est de plus en plus frquemment adopte en matire de gestion
des dchets et d'nergie.
Au sein de l'Union europenne c'est aux PaysBas que la pratique de l'EES
est la plus dveloppe. L'exprience nerlandaise dans ce domaine
remonte au dbut des annes 1980 et l'EES constitue aujourd'hui une obli
gation lgale pour de nombreux services telles que la fourniture d'eau et
d'lectricit, la prservation de la nature, les loisirs de plein air ou la gestion
des dchets.
Ainsi par exemple, le programme national de gestion des dchets cr aux
PaysBas en 1992 est rvis tous les trois ans. Des valuations comprenant
des EIE et une EES ont t ralises l'initiative du Conseil de gestion des
dchets qui fonctionne en partenariat avec les autorits locales, rgionales
et nationales. Il s'agit d'une approche trois niveaux :
Une valuation environnementale stratgique est ralise au niveau
national avant la prise des dcisions relatives au choix des options et des
techniques de traitement des dchets.
l'environnement
Une valuation environnementale stratgique est galement faite au

niveau rgional pour les dcisions relatives l'emplacement des installa
tions de traitement.
Enfin, les projets alternatifs sont slectionns pour chacun des sites
choisis sur la base d'une valuation de l'impact environnemental.
L'EES envisage deux scnarios possibles : premirement les objectifs du
Plan national de politique environnementale sur la production et le recyclage
des dchets sont atteints ; deuximement, les objectifs ne sont pas atteints
mais les mesures et les programmes peuvent atteindre leurs objectifs moins
ambitieux. Une stratgie, fonde sur cette analyse, a t formule pour le
dveloppement moyen terme d'installations d'limination des dchets.
Des runions rgulires avec les autorits provinciales (responsables de la
mise en uvre de la politique) et avec des groupes d'intrt font partie int
grante du dveloppement de l'EES.
La politique a ensuite t mise en oeuvre par les douze autorits provinciales,
chacune d'entre elles dveloppant des programmes sur quatre ans. Dans
chaque cas, on a fix des objectifs globaux (par exemple, 400 usines
doivent avoir un plan de rduction des dchets la fin du programme),
calcul les besoins, estim l'amlioration probable en fonction d'indicateurs
spcifiques et tabli les critres de slection des projets.
Dans le cas des programmes provinciaux, la slection de projet s'est gn
ralement effectue en fonction des valuations de l'impact environnemental
(EIE). Leur mthodologie tant mieux tablie, il n'est pas surprenant que le
travail au niveau des projets ait t plus mthodique et plus solidement
tay par un choix prcis d'indicateurs. Toutefois, la relation entre les
rsultats de ce travail au niveau du projet et ceux de l'valuation environne
mentale stratgique n'est pas clairement dfinie. Il semble que cette
dernire apporte des informations de moins bonne qualit. Mme s'il n'est
pas ncessaire d'adopter des techniques d'valuation sophistiques dans
le cadre des EES, l'exprience a prouv que la formalisation du processus
d'valuation est bnfique pour la conception et la mise en uvre de poli
tiques ayant un impact sur l'environnement. Les avantages d'avoir recours
l'approche formelle intgre que reprsente l'EES ont t analyss par les
administrateurs de la manire suivante :
les questions environnementales ont plus d'influence sur la formulation de
la politique gnrale ;
les dcideurs utilisent rgulirement les rsultats de la procdure d'EES
qui sont clairs et bien conus ;
d'intervention
bien que les expriences-tests ne puissent pas tre, stricto sensu, gnra
lisables, leur pertinence apparat de faon plus vidente grce une EES et
leurs rsultats peuvent ainsi mieux influencer la prise de dcision.
Les autres avantages potentiels du choix d'une approche d'EES sont les
suivants :
elle favorise la prise en compte d'alternatives qui pourraient tre ignores ;
elle permet une analyse plus efficace des effets cumulatifs des projets ;
elle facilite la fois la planification et l'analyse des effets synergiques ;
elle permet de mieux valuer les effets indirects des actions ;
elle est capable de prendre en compte des impacts diffrs ;
elle permet le dveloppement de dispositions d'attnuation de mesures
croises ;
elle peut amliorer la communication entre les responsables et le public ;
et enfin, elle fournit un cadre dans lequel les impacts environnementaux
cumulatifs et synergiques peuvent tre pris en compte de faon systmatique.
Radioscopie et focalisation d'un programme au Royaume-Uni
Le terme de radioscopie est quelque peu droutant dans la mesure o il fait
rfrence deux types de processus en fonction du niveau auquel il est
appliqu. Au sein d'une mesure, la radioscopie permet de slectionner des
projets devant tre aids, en appliquant un ensemble standard de critres de
slection de projet (un exemple de ce processus est donn ci-aprs). Au
niveau de la mesure elle-mme, la radioscopie fait rfrence l'examen
initial qui vise prciser le niveau d'valuation d'impact environnemental qui
est escompt.
Le processus de focalisation, par contre, analyse en dtail les impacts
potentiels des diffrents projets dans le cadre d'une EIE. En pratique, il s'agit
d'un processus plus complexe dans la mesure o les parties prenantes
peuvent ne pas tre d'accord sur le choix des impacts pertinents.
Dans la lgislation britannique, les diffrents types de projets sont classs et
selon les cas, soumis une valuation d'impact environnemental obligatoire
(en principe uniquement pour les projets impliquant de gros capitaux et
ayant un impact environnemental direct) ou sont contrls au moyen d'un
certain nombre de critres (tels que la localisation, l'ampleur, la nature des
dchets produits, etc.) afin de juger si une EIE complte est ncessaire. Les
impacts environnementaux des projets proposs sont estims grce cette
tape de focalisation qui s'appuie sur des discussions entre les promoteurs
du projet et les autorits locales de planification.
Evaluer l'impact
sur
l'environnement
La rgion du Merseyside, en Angleterre, fait l'objet pour la priode 1994

1999 d'un programme d'activits soutenu dans le cadre de l'Objectif 1 par
les politiques structurelles. Chaque projet souhaitant tre subventionn
dans le cadre de ce programme est radiographi par une procdure qui se
droule en deux tapes :
une premire tape vise vrifier la conformit du projet propos aux
rgles obligatoires en vigueur au Royaume-Uni ;
une deuxime tape consiste noter les propositions en fonction de
critres environnementaux tablis sparment pour chacune des priorits et
des mesures du programme et en fonction de l'emplacement prcis du
projet propos.
Un exemple rcapitulatif d'une radioscopie environnementale pour une
mesure particulire du programme Merseyside est prsent ci-dessous.
Cette approche constitue un exemple particulirement intressant d'asso
ciation d'objectifs conomiques d'autres objectifs poursuivis dans le cadre
d'un programme spcifique subventionn par les Fonds structurels.
Encadr 12 - Exemple de formulaire de radioscopie
environnementale
Priorit 1 : Mesure 1 : Sites et locaux de qualit pour investisseurs industriels et commerciaux.
Objectif : Garantir la fourniture adapte de sites industriels et commerciaux de qualit pour encourager la
croissance locale et l'augmentation des opportunits d'emploi.
Projet :
Rfrence :
Oui
1. Si le dveloppement est appliqu un site industriel rhabilit, va-t-il rduire

la zone en friche et/ou reconvertir certains btiments en sites de production ?
2. Le dveloppement respecte-t-il les consignes relatives l'environnement
naturel ou au patrimoine immobilier ?
3. Le dveloppement intgre-t-il de bonnes pratiques d'conomie d'nergie,
de recyclage de l'eau ou de rduction des dchets, et/ou implique-t-il
des mesures environnementales innovantes ?
4. Le site bnficiera-t-il d'un plan de gestion de l'environnement et/ou des
mesures sont-elles en place pour la gestion de l'environnement
post-dveloppement ?
5. Des mesures ont-elles t prises pour garantir que le site soit facilement
accessible par les transports en commun ?
6. Le dveloppement est-il conu pour amliorer l'environnement immobilier
local, par exemple en minimisant les effets de la dlinquance, du vandalisme
ou du manque de civisme ?
0.75
7. Le projet de dveloppement comprend-il des propositions d'amliorations
environnementales telles que l'amnagement paysager ?
Note totale :
0.75
N/A
Non
0.5
0.5
0.5
0.5
0.5
0.38
0.38
Si le projet est dans une zone de priorit, multiplier la note par 1,5 et arrondir l'entier le plus proche.
Evaluation
transversale
d'intervention
Dans les secteurs du Merseyside identifis comme ayant des problmes

d'environnement particulirement importants, ou encore dans les zones o
l'amlioration de l'environnement pourrait avoir un impact exceptionnelle
ment fort sur le dveloppement, la note totale reoit un coefficient de pond
ration suprieur aux autres critres de slection de projet. Ces zones parti
culires ont elles-mmes t dfinies selon un certain nombre de critres,
notamment : la visibilit et la rputation du site en question, sa proximit par
rapport des couloirs stratgiques de transport ou des sites considrs
comme des atouts, ainsi que leur ventuelle slection pour d'autres sources
de financement.
Dans le contexte des programmes subventionns par les Fonds structurels,
les Etats membres sont tenus de veiller ce que toute opration soit compa
tible avec la lgislation et la politique environnementales de l'Union euro
penne. Une forme de radioscopie est par consquent ncessaire pour
toutes les composantes de tout programme, la qualit des critres spci
fiques dvelopps et la conception du processus adopt dans chaque cas
jouant un rle essentiel.
La radioscopie est de toute vidence ncessaire au cours de la phase ex
ante et doit au moins tre confirme au cours des phases ultrieures de
l'valuation. Il est galement utile que les valuations ex post adoptent une
technique de radioscopie afin de concentrer l'analyse sur les mesures qui
sont susceptibles de produire les impacts les plus importants.
Etudes de cas des projets en Ecosse
On slectionnera parfois des exemples particuliers d'un phnomne qui
servent de base des tudes en profondeur. Cette dmarche est souvent
utile :
lorsqu'un travail exploratoire sur le site est ncessaire faute d'information
adquate ;
pour fournir une analyse dtaille d'un processus particulier d'impact sur
l'environnement;
pour tester une hypothse ou une affirmation sur un projet particulier.
Une tude de cas peut tre simple ou multiple et, dans ce dernier cas, peut
ncessiter l'utilisation de techniques sophistiques pour que l'on puisse
gnraliser les rsultats. La slection des cas tudis est particulirement
importante pour la pertinence des rsultats. Les cas peuvent tre slection
ns soit parce qu'il s'agit de cas-types, soit parce qu'ils sont reprsentatifs
l'environnement
d'une situation intressante d'autres gards (par exemple cas limites, cir
constances particulires). La collecte des donnes peut inclure l'utilisation
d'enqutes et d'entretiens.
Afin de dvelopper une mthode utile pour valuer les projets environne
mentaux destins restaurer ou protger des sites spcifiques, le Scottish
Office a demand des valuateurs d'examiner les mthodes possibles
d'estimation des impacts sur l'environnement. Ils ont considr, sur la base
de la premire tape de l'tude, et compte tenu du type de projets considr
que la mthode d'valuation contingente (les diffrents impacts tant
valus par les gagnants et les perdants au moyen de questionnaires), en
particulier, mritait des recherches approfondies. La deuxime tape du
travail a consist appliquer cette mthode sept projets. Les cas tudis
comprenaient, entre autres, la rnovation d'un ancien site industriel, la res
tauration d'une zone urbaine, la protection d'une zone de montagne et l'aide
un centre de patrimoine industriel. Dans chaque cas, des membres du
public ont t interrogs. Les rsultats de cette tude de cas ont confirm la
valeur de la technique et donn une indication plus claire des circonstances
dans lesquelles elle pouvait tre utilise utilement.
Les tudes de cas multiples peuvent tre utilises pour analyser les effets
des interventions dans certains contextes et dans l'ensemble de la rgion
concerne par le programme. Si des dispositions ont t prises pour
qu'elles puissent tre reproduites, elles peuvent tre utilises pour mieux
identifier les impacts en comparant les situations o une mesure a t
applique aux situations o cela n'a pas t le cas. Un autre sujet qui semble
offrir un champ d'action particulier l'application de cette technique est la
relation entre les changements des variables de pression et les variables
d'tat. Des coefficients peuvent tre dvelopps partir des tudes de cas
pour permettre des calculs de l'impact sur l'tat de l'environnement partir
d'indicateurs de changement des pressions.
La nature des effets peut tre dtermine de faon inductive en utilisant la
technique des tudes de cas ; par contre, cette mthode ne permet pas de
dterminer de relation de causalit.
Associer l'analyse cot-avantages et l'analyse multicritre pour
valuer des projets en Irlande
L'analyse cot-avantages repose sur une estimation en termes montaires
de tous les cots et avantages d'un projet pendant sa dure de vie. Elle est
d'intervention
couramment utilise pour les valuations ex ante des projets, afin de choisir
entre diffrents projets alternatifs et pour dterminer lequel est le plus avan
tageux sur le plan conomique.
Une version plus sophistique de l'analyse cot-avantages cherche
formuler un jugement fond sur d'autres valeurs de rfrence que la
monnaie. A partir de la dtermination de diffrents critres d'valuation, les
dcideurs pondrent ceux-ci pour obtenir le classement des projets alterna
tifs existants. Cette approche est connue sous le nom d'analyse multicritre.
Dans le cas prsent, elle offre l'avantage de prendre systmatiquement en
compte, dans le processus de dcision, les cots environnementaux et les
cots conomiques. Elle vite ainsi de traduire tous les critres environne
mentaux en termes montaires, traduction qui est souvent contestable dans
le cadre des analyses cot-avantages.
En Irlande, le Ministre de l'environnement a demand des consultants
d'entreprendre des valuations la fois pour rpondre aux exigences de
l'Union europenne dans la slection de projets spcifiques d'infrastruc
tures environnementales (cofinancs dans ce cas par le Fonds de cohsion)
et pour tablir une mthodologie utilisable pour les prises de dcisions
venir. L'analyse cot-avantages traditionnelle a t carte par les consul
tants qui ont estim que la quantification des avantages en termes mon
taires prsentait trop de difficults dans ce cas particulier (projets d'approvi
sionnement en eau, de traitement des eaux uses et de gestion de la qualit
de l'eau).
L'une des faiblesses potentielles associes l'adoption d'une approche
multicritre rside dans la subjectivit des pondrations et l'attribution des
scores parfois arbitraires. C'est pourquoi l'approche adopte associe les
techniques d'identification de critres de l'analyse multicritre un dnomi
nateur commun des valeurs montaires driv d'tudes pertinentes. La
base des pondrations utilises est explicite dans chaque cas. Cette
approche a t applique chacun des trois types de projets valuer, avec
des variantes dans sa mise en uvre. Ainsi par exemple, pour des projets
d'approvisionnement en eau, l'approche comprenait quatre composantes :
l'identification de tous les cots associs chaque projet alternatif ;
la quantification de tous les avantages directs et indirects ;
l'attribution de valeurs aux avantages de chaque projet ;
et enfin, le calcul du ratio cot-avantages.
l'environnement
Pour chaque projet, on a recueilli des donnes sur les niveaux de demande
avant et aprs, pour les diffrents secteurs et populations desservies. Des
cots d'exploitation standard ont t appliqus chaque projet alternatif et
trois types d'avantages ont t identifis :
l'amlioration de la qualit ;
l'augmentation du nombre de nouveaux consommateurs ;
l'limination et le contrle des fuites.
On a ensuite assign une valeur unitaire spcifique et un coefficient de pon
dration chacun de ces trois avantages bass sur les tudes existantes.
Les valeurs utilises ont t justifies et les raisons pour lesquelles elles ont
t utilises et les limites de leur applicabilit ont t expliques. Les projets
concurrents ont alors t analyss en utilisant des scnarios diffrents
d'volution probable de la demande et un ratio avantage/cot a t calcul
pour chacun d'entre eux. Les projets ont ensuite t classs et les rsultats
de ce classement ont t clairement expliqus afin que les implications
soient videntes pour les dcideurs.
Cette approche s'appuie sur des outils de prise de dcision dans le cadre de
la slection de projets qui ncessite un professionnalisme de l'valuateur. En
effet, il doit clairement indiquer, soit les hypothses retenues pour tablir le
classement des projets (dans le cas de l'analyse multicritre), soit la
ncessit pour les dcideurs d'arbitrer euxmmes entre les diffrents
critres.
Dans la mesure o elles sont appliques de faon rigoureuse, ces tech
niques peuvent constituer un bon moyen d'valuer les forces et les fai
blesses relatives des diffrents projets envisags, mais aussi de fournir une
note synthtique de leur durabilit qui peut ensuite tre compare aux per
formances relles.
R s u m d e s points essentiels
La qualit de l'environnement et la faon dont elle peut tre prserve face
aux pressions conomiques est devenue une proccupation politique priori
taire. Il est de plus en plus largement reconnu que le dveloppement cono
mique ne s'effectue pas ncessairement au dtriment de l'environnement, et
qu'ils peuvent se renforcer mutuellement. S'assurer que le dveloppement
conomique et la cohsion soient durables exige que l'valuation des inter
ventions structurelles tienne compte la fois des facteurs conomiques et
d'intervention
environnementaux. Cela signifie que l'valuation intermdiaire et ex post

des impacts environnementaux des projets et des programmes doit tre
ralise en complment des pratiques existantes d'valuation des effets des
projets sur l'environnement.
Bien que le cadre Force MotriceEtatRponse standard constitue un outil
utile dans certaines circonstances, il ne prsente qu'un intrt limit pour
l'valuation des effets des interventions des Fonds structurels sur l'environ
nement. Une approche bottomup est donc propose qui se concentre, en
termes d'impacts, sur les forces motrices et associent les proccupations
la fois socioconomiques et environnementales.
Les valuations ex ante de projets prdominent et il existe peu d'exemples
de bonne pratique d'utilisation des outils dans les valuations intermdiaires
et ex post. Pratiquement tous les exemples prsents sont donc des
exemples d'outils utiliss dans le cas d'valuation de projet ex ante, mais qui
peuvent gnralement tre adapts d'autres situations d'valuation.
Agence europenne pour l'environnement. (1995), E nvironment in the
European Union, Report for the Fifth Environmental Action Programme,
Copenhagen:EEA.
Agence europenne pour l'environnement. (1996), Guidelines for Data Col
lection for The Dobris+3 Report, Technical Report, Copenhagen: EEA.
Commission europenne (1998), A Handbook on E nvironmental Assess
ment of Regional Development Plans and E U Structural Funds Programmes,
Commission europenne, DGXVI.
Commission europenne (1999), The Thematic E valuation of the Impact of
the Structural Funds on the E nvironment, Commmission europenne, DG
XVI.
Department of the Environment. (1993), Environmental Appraisal of Develop
ment Plans, A good practice guide, London: HMSO.
Ecotec Research and Consulting Ltd. (1997), E ncouraging
Sustainable
Development through Objective 2 Programmes: Guidance for Desk Officers,
Note of the European Commission (DGXVI).
Fehily, Timoney, Weston. (1995), The Economic Appraisal of E nvironmental
Projects Supported by the EU Cohesion Fund, Report for the Department of
the Environment, Dublin.
Evaluer l'impact
sur
l'environnement
Ministre de l'Environnement (1998), Evaluation conomique et environne

mentale dans les dcisions publiques, Coll. Rapports officiels. Paris : la
Documentation franaise.
OCDE. (1996), La Cohrence dans l'E valuation E nvironnementale, Orienta
tions gnrales pratiques pour les projets de coopration pour le dveloppe
ment, Paris: OCDE.
OCDE. (1997), Environmental Indicators for Agriculture, Paris: Publications
Service, OECD.
Sadler . (1996), Environmental Assessment in a Changing World : Evalua
ting Practice to Improve Performance, International Study of the E ffective
ness of E nvironmental Assessment, Canadian Environmental Assessment
Agency, Minister of Supply and Services Canada.
Statistical Office of the European Community. (1997), Indicators of Sustai
nable Development, Luxembourg: Office for Official Publications of the
European Communities.
Wood C. (1995), Environmental Impact Assessment, A comparative review,
Harlow: Addison Wesley Longman Ltd.
Evaluer les impacts des interventions structurelles sur la

comptitivit des Petites et Moyennes Entreprises
Pourquoi valuer les impacts sur les Petites et M o y e n n e s
entreprises ?
Les Petites et Moyennes Entreprises (PME) contribuent la cration
d'emploi, la comptitivit et la croissance. La cration d'emploi nette, en
particulier dans les entreprises de moins de 100 employs, a plus que
compens les pertes d'emploi dans les grandes entreprises au cours de la
priode de 1988 1995. Malgr ce dynamisme apparent, l'emploi cr par
les nouvelles entreprises est souvent prcaire, la moiti seulement des
nouvelles entreprises dpassant le cap des cinq premires annes d'exis
tence.
Encadr 13 Dfinition des PME
La Commission europenne a adopt une dfinition standard des PME :
Les moyennes entreprises ont moins de 250 employs, un chiffre d'af
faires annuel infrieur 40 MECU ou des actifs infrieurs 27 MECU et
doivent tre indpendantes, c'estdire que 25% maximum de leur
capital peut tre dtenu par une grande entreprise. Les petites entre
prises ont moins de 50 employs, un chiffre d'affaires infrieur 7 MECU
ou des actifs infrieurs 5 MECU et doivent tre indpendantes. Les
microentreprises ont moins de 10 employs (La recommandation sur la
dfinition des PME du 3 avril 1996 est publie au JO L107 du 30.4.1996).
La dclaration politique de Madrid sur les PME2 souligne que le potentiel de

croissance et de cration d'emploi des PME europennes n'a pas t plei
nement utilis pour diffrentes raisons. On remarque tout d'abord que la
complexit de l'environnement juridique, fiscal et administratif auquel les
entreprises europennes sont confrontes pse relativement plus lourd sur
les PME que sur les grandes entreprises. De plus, les PME ont du mal
obtenir des prts des taux intressants ou des capitaux sur les marchs
financiers. Enfin, il est difficile pour les petites entreprises d'accder
certains marchs, en raison d'un manque d'information commerciale ou de
difficults identifier les partenaires. D'une manire gnrale, l'environne
ment conomique europen (en particulier le manque de capitalrisque,
2. Communication de la Commission du 29.11.1995 intitule Small and Medium Sized
Enterprises A dynamic source of employment, growth and competitiveness in the
European Union, Document CSE (95)2087
d'intervention
l'existence de barrires rglementaires et une certaine aversion la prise de

risque) favorise beaucoup moins le dveloppement des PME et, en particu
lier, des entreprises bases sur les nouvelles technologies. Dans ce Volume,
le terme entreprises de haute technologie s'applique toute entreprise
active dans les secteurs de haute technologie ou qui produit des biens de
haute technologie (une typologie des secteurs et des produits a t faite par
l'OCDE). Les entreprises moins innovatrices doivent faire un meilleur usage
des technologies dj disponibles pour maintenir leur comptitivit. En effet,
rares sont les PME faisant appel aux banques de donnes de brevets pour
trouver les technologies prtes l'emploi qui pourraient les aider.
Dans les zones rurales moins favorises, les PME, qui reprsentent une
partie relativement leve de l'emploi dans l'conomie locale, font face
des problmes particuliers. Si les difficults varient d'une rgion l'autre, on
peut noter que la qualit des infrastructures et Ploignement des principaux
marchs peuvent poser problme, de mme qu'un accs rduit l'informa
tion, une base industrielle peu dveloppe mais aussi la difficult trouver
des employs dont les qualifications rpondent la demande. Bien que ces
facteurs posent problme au dveloppement des PME en gnral, dans
certaines rgions le travail indpendant et l'esprit d'entreprise sont des
valeurs reconnues et encourages. Ainsi, certaines rgions rurales moins
favorises font partie des rgions les plus dynamiques, en termes de dve
loppement de nouvelles et petites entreprises, et affichent un taux de
cration d'emploi suprieur la moyenne nationale.
Le contexte communautaire
Les derniers Conseils europens ont envoy un signal politique clair en
faveur des PME, en particulier Amsterdam (juin 1997), Luxembourg
(novembre 1997) et Cardiff (juin 1998). Le groupe de travail BEST, cr
l'issue du Conseil d'Amsterdam, a prsent son rapport la Commission en
1998. Ce rapport comprend diffrentes recommandations pour amliorer
l'environnement commercial, notamment en aidant les PME saisir les
opportunits offertes par les programmes communautaires. Le Conseil
europen de Luxembourg, spcialement consacr l'emploi, a dfini la
promotion de l'esprit d'entreprise en tant qu'orientation commune des poli
tiques pour l'emploi de tous les Etats membres. La Commission a ensuite
adopt une communication intitule Favoriser l'esprit d'entreprise en
Europe - Priorits pour l'avenir qui prcise les diffrentes questions priori
taires la fois aux niveaux europen et national. De plus, les conclusions du
Evaluer les impacts sur la comptitivit
des PME
Sommet sur l'emploi ont soulign l'importance du rle des PME en

soutenant la poursuite du dveloppement d'instruments financiers et de
partenariats transfrontaliers. Le Conseil europen de Cardiff a demand la
Commission de prsenter fin 1998 au conseil de Vienne un rapport sur le
suivi des recommandations de BEST.
Dans la mesure o les PME jouent un rle essentiel dans le dveloppement
local et rgional et constituent une force motrice de l'adaptation efficace au
changement structurel et l'innovation, la Commission europenne a
recommand que, dans le cadre des interventions au niveau de l'industrie et
des services, l'on tienne systmatiquement compte des besoins des PME
dans la mise en uvre des programmes. A cette fin, la Commission a
dvelopp un Programme intgr, qui constitue un cadre global de coordi
nation de toutes les activits auprs des PME. Il comprend le Troisime
programme multi-annuel pour les PME (1997-2000), les contributions
d'autres politiques au dveloppement des PME et les Actions concertes
qui ont pour objectif de promouvoir la coordination des politiques pour les
PME des Etats membres par l'change des meilleures pratiques.
Pour atteindre cet objectif, le Programme intgr dfinit les cinq priorits
suivantes :
1. Simplifier et amliorer l'environnement administratif et rglementaire des
entreprises ;
2. Amliorer l'environnement financier des entreprises ;
3. Aider les PME europaniser et internationaliser leurs stratgies, en parti
culier grce de meilleurs services d'information et de coopration ;
4. Augmenter la comptitivit des PME et amliorer leur accs la
recherche, l'innovation et la formation ;
5. Promouvoir l'esprit d'entreprise et aider des groupes cibles spcifique,
tels que les femmes et les jeunes chefs d'entreprise.
Les Fonds structurels participent aux objectifs des politiques en faveur des
PME en aidant la cration et le dveloppement de PME dans le cadre des diff
rents programmes oprationnels. La Banque europenne d'investissement et
le Fonds europen d'investissement apportent galement une aide aux PME.
Bien que les objectifs principaux des interventions structurelles en faveur
des PME soient les mmes sur l'ensemble de l'Union europenne, il existe
des diffrences entre rgions, qui sont lies aux objectifs spcifiques. Ainsi,
pour les rgions de l'Objectif 1, l'accent est mis sur le renforcement du
Evaluation
transversale
d'intervention
systme d'aide aux PME. Pour les rgions de l'Objectif 2, qui ont subi le
dclin des grandes industries traditionnelles, les mesures sont centres sur
la promotion de l'esprit d'entreprise et la cration d'opportunits d'emploi
alternatives. Pour les rgions de l'Objectif 5b, l'accent est mis sur l'aide la
diversification et la modernisation des PME rurales et, enfin, dans les
zones de l'Objectif 6, la priorit est d'aider les PME surmonter les
problmes associs l'loignement des grands centres urbains.
Le dveloppement du potentiel des PME europennes en gnral, et plus
particulirement de leur rle dans la cohsion conomique et sociale,
constitue un objectif stratgique essentiel de l'Union europenne. Le niveau
de l'aide accorde aux PME en termes de ressources alloues par les Fonds
structurels pour la priode de 1994 1999 reflte l'importance accorde par
la Commission aux petites et moyennes entreprises. Par exemple, 10% en
moyenne des ressources du FEDER sont allous des mesures ddies la
promotion des PME et l'amlioration du contextecadre dans lesquelles
elles fonctionnent (les conditions de cadre correspondent l'environnement
des entreprises au sens le plus large, y compris : les conditions macroco
nomiques globales, le systme fiscal, l'environnement rglementaire, la
lgislation sur la faillite, la politique de concurrence, etc.). L'aide fournie a
pratiquement doubl par rapport la priode 198993.
La finalit de l'valuation des interventions structurelles en ce qui concerne
la priorit de comptitivit des PME est dfinie par la Commission euro
penne comme suit : Fournir une analyse approfondie et systmatique de
la contribution et de l'impact de l'aide structurelle aux PME dans les Etats
membres de l'Union et les rgions . Ainsi, l'valuation des interventions
structurelles dont l'objectif est d'aider les PME joue un rle majeur dans
l'valuation des ralisations passes ou en cours des objectifs politiques.
Les conclusions de ce type d'valuations fournissent des informations sur
les impacts des Fonds structurels sur les PME, permettent de guider le
processus d'orientation politique et, par consquent, amliorent l'efficacit
des futurs programmes dans ce domaine.
Dfinir c e qu'il f a u t valuer
Les valuations des interventions structurelles en faveur des PME doivent
s'intresser aux stratgies qui soustendent la mise en uvre des pro
grammes (c'est dire au bien fond des stratgies compte tenu des forces
et des faiblesses des rgions aides, des autres politiques publiques
associes aux PME et des ides en cours sur l'aide aux PME).
des PME
Elles doivent galement examiner la mise en uvre des mesures en faveur

des PME afin d'en valuer l'efficacit et les performances. Les impacts de
mesures qui ne sont pas spcifiquement cibles sur les PME doivent
galement tre valus afin de voir si ces interventions apportent quelque
chose aux PME en plus de leurs objectifs dclars (c'est dire l'augmenta
tion de l'emploi ou de la croissance).
Guide et questions cls des valuations relatives aux PME
L'efficacit des interventions structurelles en faveur des PME dpend autant
de la faon dont l'aide est apporte que de sa conception. C'est pourquoi il
est important d'examiner la mise en uvre des programmes. Les lments
cls ci-dessous peuvent servir d'orientation :
Comment les mesures d'aide sont-elles organises ? La fragmentation
des structures et des systmes d'aide aux PME qui existe dans certains
pays a-t-elle t rduite par l'introduction d'innovations telles que les
guichets uniques (fonction assure, par exemple, par les Chambres de
Commerce en Allemagne et Business Links au Royaume-Uni) ? Les destina
taires sont-ils moins dsorients par les systmes d'aide ? Qui gre les pro
grammes en faveur des PME et dans quelle mesure sont-ils mis en uvre
avec des partenariats entre organismes privs et publics ? Dans les rgions
o les structures institutionnelles sont relativement faibles, dans quelle
mesure les mcanismes d'attribution des programmes d'aide ont-ils t
renforcs par une restructuration des institutions, le renforcement des
capacits de gestion ou l'implication du secteur priv ?
Comment les diffrents types de programmes d'aide aux PME sont-ils
eux-mmes valus ? Comment la mise en uvre des mesures est-elle
suivie et value par les diffrentes autorits nationales et rgionales ?
Comment les rsultats de l'valuation seront-ils pris en compte dans la for
mulation des dveloppements politiques futurs ou la rorientation des pro
grammes en cours ?
Un certain nombre de questions cls sont associes l'impact sur le dve
loppement rgional des interventions structurelles en faveur des PME :
Les interventions ont pour but, la fois d'encourager le dmarrage de
nouvelles entreprises (en fournissant les capitaux de dpart), et d'aider les
PME existantes. Les questions relatives la survie et aux performances des
entreprises aides sont donc pertinentes.
Les interventions ont pour but de promouvoir l'change d'information et la
diffusion des bonnes pratiques entre PME situes dans diffrentes rgions.
L'importance des rseaux transfrontaliers constitue par consquent une
question importante pour l'valuation.
d'intervention
La cration d'emploi et la cration de richesse au niveau microeconomique peuvent tre contradictoires. Il est donc important d'examiner dans
quelle mesure les entreprises aides rinvestissent leurs bnfices pour
assurer leur survie moyen et long terme, ainsi que le potentiel de cration
d'emploi de ces investissements. En outre, lorsque les interventions structu
relles contribuent la cration ou au maintien d'emploi, le cot de cette
contribution doit tre estim chaque fois que possible.
Beaucoup de petites entreprises produisent une gamme rduite de
produits et de services. Cela signifie que lorsqu'une intervention possde un
objectif de diversification, le principal moteur de ce processus sera l'mer
gence de nouvelles entreprises spcialises dans les nouvelles niches du
march, et non pas la rorientation d'entreprises existantes.
Les PME peuvent galement avoir une base de clientle trs limite, et,
dans certains cas, leurs produits et services peuvent n'avoir qu'un seul et
unique acheteur. Dans cette situation, des relations troites avec des
socits plus importantes peuvent avoir un effet positif dans la mesure o
les sous-traitants adoptent les normes technologiques et de productivit de
leur client ou bnficient d'un transfert de technologie, d'une formation ou

d'une assistance technique. Par contre, la position concurrentielle de ces
entreprises sera faible, et le tissu conomique de la rgion sera fragile. La
place des entreprises aides dans les chanes et les grappes d'approvision
nement reprsente dans certains cas un lment d'valuation cl.
Pour comparer diffrents programmes au niveau national ou rgional, on
peut utiliser des techniques top-down pour analyser les informations perti
nentes sur le contexte. L'utilisation de techniques bottom-up, par contre,
permet de collecter des donnes sur les ralisations et les rsultats des pro
grammes, tels que le nombre de PME aides, le nombre de nouvelles entre
prises aides et l'efficacit de la mise en uvre des interventions. L'estima
tion des impacts des interventions au niveau d'un projet ou d'une mesure se
prte galement l'approche de bas en haut.
Il est important de distinguer les mesures directement cibles sur les PME,
qui sont facilement identifies dans les Programmes oprationnels, et celles
dont les PME ne bnficient qu'indirectement, et dont le suivi est donc
beaucoup plus difficile.
En dernier lieu, il est essentiel de distinguer les diffrents destinataires en
fonction de leur taille en utilisant la classification des PME, microentreprises
incluses, tablie par la Communaut europenne.
des PME
Clarifier les objectifs des interventions auprs des PME

Le dveloppement d'une hirarchie des objectifs permettant d'examiner les
objectifs stratgiques des programmes structurels diffrents niveaux est
une tape prparatoire de l'valuation des interventions auprs des PME.
Cette hirarchie peut tre tablie en construisant l'arbre d'objectifs thma
tique, qui permet d'associer des objectifs spcifiquement dirigs vers les
PME des objectifs socioconomiques plus vastes dans le cadre des
Fonds structurels. Un exemple d'arbre d'objectifs pour des interventions
structurelles dans le domaine des PME est prsent dans l'Encadr 14. Les
objectifs intermdiaires d'augmentation de la comptitivit et de promotion
de l'esprit d'entreprise et, dans une moindre mesure, d'europanisation et
d'internationalisation des activits des PME sont les plus troitement
associs aux interventions structurelles.
En intgrant des objectifs qui ne sont pas ncessairement uniquement ceux
des interventions structurelles (la simplification des procdures de
dmarrage et du cadre lgislatif, etc.), l'arbre d'objectifs permet d'examiner la
cohrence des objectifs et de prendre en compte les synergies potentielles.
Encadr 14 Exemple d'un arbre d'objectifs pour les
interventions auprs des PME
Objectifs globaux
Amliorer l'environne
ment conomique
|_
pour les PME
Maximiser la
contribution des
PME la cohsion
conomique
et sociale
Europaniser et interna
tionaliser les activits
des PME
Augmenter la
comptitivit
des PME
Promouvoir l'esprit
d'entreprise au seinde
groupes cibles spcifiques
Amliorer l'accs au capital risque

Rduire les charges administratives
Augmenter la fourniture de capitaux propres
Simplifier les procdures de cration
Simplifier le cadre lgislatif
Rduire les cots de transactions internationales
Amliorer les stratgies de tormation et
de coopration
Rduire les barrires commerciales visvis
de pays tiers
Amliorer l'accs lis aux programmes RDT
Adapter les programmes de formation
aux ncessits des PME
Encourager la culture d'entreprise
Augmenter le dveloppement de nouvelles
PME
Augmenter le nombre de femmes et de
jeunes crateurs d'entreprises
Liens entre objectifs court terme
Objectifs hors Fonds structurels
<
d'intervention
Impacts nets dcoulant d'interventions en faveur des PME

Chaque fois que cela est possible, les impacts nets des programmes
destins aux PME doivent tre valus. Cela implique que les effets
d'aubaine doivent tre estims de manire dfinir la situation contrefac
tuelle (c'est dire le niveau de chiffre d'affaires, le montant des investisse
ments, le nombre d'innovations, etc. qui auraient t observs en l'absence
de la politique). Il peut galement tre ncessaire de prendre en compte les
effets de dplacement . Des effets de substitution peuvent galement tre
observs et, dans certains cas, tre recherchs (exemple : une augmenta
tion de la proportion de femmes et de jeunes chefs d'entreprises, une diver
sification des activits de production locales vers des secteurs plus dyna
miques).
Exemple: Calcul des impacts nets dans le cas d'une aide la cration d'entre
prise
Un Plan, partiellement financ par les Fonds structurels, fournissant le capital initial
pour le dmarrage de nouvelles entreprises, a permis le lancement de 60 nouvelles
microentreprises, avec un chiffre d'affaires total de 1,36 million d'euros aprs la
premire anne d'exercice. Les enqutes sur les destinataires du plan ont tabli que
15 nouvelles entreprises, reprsentant un chiffre d'affaires de 0,38 million d'euros,
auraient t cres mme sans l'aide du plan (effet d'aubaine). On a galement
dcouvert que deux destinataires exeraient auparavant des activits non dclares,
reprsentant un chiffre d'affaires total de 32 000 euros. Toutefois, dans la mesure o
l'on a estim qu'il s'agissait d'un effet positif de l'intervention (remplacement d'activi
ts non dclares par des activits dclares), on ne l'a pas dduit des effets bruts.
L'effet net de l'intervention a donc t estim 0,98 million d'euros.
Dans le cas de l'aide aux investissements (infrastructures physiques, biens
d'quipement, recherche et dveloppement, etc.), l'effet de levier des
dpenses structurelles est souvent explicitement recherch. Le cas
chant, l'effet de levier, qui est dfini comme le financement priv dans un
projet subventionn pouvant tre directement attribu un cofinancement
du projet par le Fonds structurel, doit tre estim (cf. les dfinitions dans la
premire partie du Volume).
E x e m p l e s d ' i m p a c t s par d o m a i n e d'intervention
Les PME sont directement concernes par les interventions qui ont pour but
de soutenir l'investissement productif. En outre, les interventions qui ont
pour objectif la construction d'infrastructures de base et le dveloppement
des ressources humaines ont, bien videmment, des effets directs et
indirects sur les PME parmi les autres acteurs conomiques.
des PME
o Les impacts des infrastructures de base

Les investissements d'infrastructure en faveur des PME visent rpondre
directement aux besoins des entreprises. C'est le cas, par exemple, des
interventions qui soutiennent la construction d'installations spcialement
conues pour favoriser la venue de petites entreprises de haute technologie
ou de nouvelles entreprises. Ce type d'infrastructures fait souvent partie
intgrante d'un ensemble plus large d'interventions en faveur des PME.
D'autres interventions structurelles au niveau des infrastructures ont un
impact indirect sur l'industrie, gnralement en rduisant les contraintes
d'environnement et d'accessibilit (transport, nergie, information).
Exemple : Projet d'amlioration routire en Irlande
L'un des objectifs premiers des interventions structurelles dans le domaine de l'infra
structure de base est l'augmentation de la mobilit l'intrieur des rgions. Le projet
de rocade d'Athlone a impliqu la construction d'une rocade quatre voies de 10 km
et d'un pont pour franchir un cours d'eau. Le projet ne comportait pas de mesures
spcifiques d'aide l'industrie ou aux PME, mais, en permettant au fret routier d'viter
le centre ville, il a rduit les contraintes pesant sur le dveloppement industriel local et
l'accs aux ports et, par consquent, aux marchs d'exportation. Outre ces effets
indirects, les PME locales ont t directement impliques dans le projet en qualit de
sous-traitants.
Ralisations
>
>
Cration d'emploi
temporaire
Emplois crs
ou maintenus
Rduction des temps

de livraison aux
principaux marchs
Meilleure accessibilit
des PME locales
Cration d'une
nouvelle route
quatre voies
Priorit
Evaluation
transversale
d'intervention
Les interventions dans le domaine de l'environnement productif ont un effet
plus direct sur les PME. Il peut s'agir d'interventions dans le domaine du
dveloppement rural et de l'agriculture, du tourisme, de la pche, etc., qui
sans viser spcifiquement les PME, sont conues pour avoir un impact sur
les petites entreprises et leur dynamisme. D'autres interventions visent
explicitement les PME (services d'information, fourniture d'installations sur
mesure et services de conseil sur site, plan d'aide au capital risque...).
Exemple : Initiative Ouest Douze (France)
L'initiative Ouest Douze, situe Capdenac, Aubin et Decazeville, dans le sud de la
France, est cofinance par le FEDER, le gouvernement franais, les collectivits
locales et le secteur priv. C'est un organisme but non lucratif offrant des conseils
techniques et une aide financire (prts sans intrts) aux crateurs d'entreprises
locaux. Cet organisme gre galement un programme de jumelage des crateurs
avec des socits en place par lequel les anciens destinataires transmettent leur
exprience leurs successeurs dans le cadre du programme.
Ralisations
^>
Effets
>
>
Sessions d'aide
et de conseil avec
les chefs d'entreprises
potentiels
Augmentation de
l'activit dans
la rgion
1
Formation de
nouvelles entreprises
+
I
Possibilits de prts
taux bonifis pour
le lancement de
nouvelles entreprises
Renforcement de
la base de PME dans
la rgion
Priorit
Ressources humaines
Les interventions concernant l'ducation, la formation et la recherche en ce
domaine peuvent tre soit directement cibles sur l'industrie dans son
ensemble, soit explicitement orientes vers l'aide aux PME (formation des
personnes souhaitant crer leur activit, aide aux projets de recherche &
dveloppement, prise en charge des partenariats de recherche avec
d'autres socits ou instituts, etc.).
des PME
Exemple : Projet de technologie et de design de meubles (Finlande)

Ce projet, bas Pijt-Hme, dans le sud de la Finlande, a pour objectif d'augmenter
la comptitivit des entreprises du secteur de l'ameublement. Il favorise la coopra
tion et le travail en rseaux entre fabricants, fournisseurs et organismes de formation.
Les programmes de formation professionnelle sont adapts aux besoins des diff
rentes socits, qui reoivent des conseils sur les stratgies de formation et sur les
prvisions des besoins en formation. Ce projet est parvenu augmenter le niveau de
technologie et de design des socits participantes et donc leur comptitivit sur les
marchs intrieurs et internationaux.
Ralisations
>
Effets
Les employs amliorent

leurs comptences en
suivant une formation
Les PME participantes

augmentent leurs ventes
l'exportation
Les PME participant

au projet amliorent
la qualit de
leur personnel
Les PME participantes

se dveloppent sur
de nouveaux marchs
l'tranger
Formations
spcifiquement conues
pour les PME
Priorit
LZ^
Dfinir et slectionner des indicateurs

Les indicateurs et autres exemples relatifs aux interventions en faveur des
PME sont prsents en dtail dans le Volume 2 de la Collection MEANS
consacr aux indicateurs de suivi et d'valuation. Le prsent Volume
contient cependant une fiche d'information sur les indicateurs relatifs la
comptitivit des PME et des entreprises.
Les interventions peuvent cibler directement les PME ou bien seulement les
concerner indirectement. La dfinition et la slection des indicateurs dpen
dront, dans une certaine mesure, du type d'intervention tudi. Pour les
interventions qui ne sont pas strictement centres sur les PME, mais sur le
secteur de production dans son ensemble, un systme d'indicateurs doit
systmatiquement intgrer le pourcentage de ressources alloues aux PME,
le pourcentage de projets concernant les PME, etc. Cette approche corres
pond au mainstreaming imagin initialement pour faire apparatre la prise en
compte du principe de l'galit des chances entre les femmes et les
hommes dans les programmes (voir Encadr 2).
d'intervention
La demande de nombreux services d'aide aux PME dpend en grande

partie du contexte conomique. La consommation financire aura donc
tendance fluctuer au fil du temps, en fonction de la situation des
conomies nationales par rapport au cycle conomique. Il est galement
intressant d'examiner le pourcentage d'aide absorb par les projets dans
les secteurs de haute technologie plus dynamiques.
Les indicateurs de ralisations informent sur le nombre d'infrastructures ou
de services d'aide qui sont financs. Pour les aides sous forme de presta
tions de services qui sont souvent intangibles (gestion de l'information,
formation ou conseil), les indicateurs de ralisations concernent la quantit
d'aide et de services financs par le programme (heures de conseil reues
par les destinataires, par exemple). Ils renseignent galement sur le nombre
de destinataires ou de projets aids.
Les indicateurs de rsultats donnent des informations sur la faon dont une
structure de l'offre d'une rgion a t modifie par l'intervention, par
exemple en comptabilisant les crations d'entreprises. Il existe galement
des indicateurs plus complexes, qui peuvent s'intresser, par exemple
l'effet de levier gnr par le financement.
Les indicateurs d'impact des interventions en ce domaine refltent l'htro
gnit des impacts sur les PME. Ils se concentrent gnralement sur l'aug
mentation de valeur ajoute d'une intervention, les ractions en chane sur
les fournisseurs et les impacts sur l'emploi qui peuvent se produire. Pour les
entreprises nouvelles, les indicateurs s'intressent au taux de survie au bout
de quelques annes. Il convient toutefois d'tre raliste quant aux impacts
qui peuvent tre observs pendant la dure d'une intervention. Si certains
impacts directs sur l'emploi peuvent se manifester dans un dlai relative
ment court, les impacts indirects sur l'emploi, les ractions en chane et les
impacts sur les innovations en matire de produits et de processus se pro
duisent gnralement moyen et long terme. L'estimation de ces impacts
doit le plus souvent tre base sur les rponses des destinataires.
A titre d'exemple, un systme d'indicateurs est prsent dans l'Encadr 15.
Il peut tre utilis pour suivre la production d'impacts d'une aide la
promotion des exportations des PME.
des PME
Encadr 15 Exemple de systme d'indicateurs pour une intervention

fournissant une aide pour la promotion des exportations des PME
(Associs l'intervention et ses effets)
(Associs au domaine aid)
Nombre de
destinataires
Nombre de PME aides
Nombre de PME dans la zone eligible

satisfaits par les services d'aide fournis
Diversification
gographique
Nombre de PME devenues exportatrices

Nombre de PME exportant vers de
nouveaux marchs
Exportations
% du chiffre d'affaires des ventes

l'exportation des PME aides
aprs 10 mois
Exportations rgionales des PME

en fonction du PIB
Valeur ajoute
Augmentation de la valeur ajoute

gnre aprs 18 mois

dans la rgion
Emploi direct
Nombre d'emplois crs /

maintenus nets (dont les quivalents
pleins temps occups par des femmes)
associs aux exportations aprs 18 mois
Nombre total de chmeurs

dans la zone aide
Obtenir des informations utiles

La porte de l'approche qui est envisage pour valuer les interventions
auprs des PME dpendra de la qualit et de la disponibilit des donnes.
Elle dpendra galement de la possibilit de dcomposer les donnes sta
tistiques sur les conomies rgionales au niveau des rgions aides. Il faut
souligner que certains impacts ne peuvent pas tre quantifis et qu'il faut
adopter alors dans ce cas une approche purement qualitative. Dans une
large mesure, l'valuation des interventions structurelles reposera sur des
donnes primaires, compltes de statistiques issues de donnes secon
daires.
Utiliser la dfinition qui est base sur les niveaux d'emploi des petites (de 0
50 employs) et moyennes entreprises (de 51 250 employs) pose un
problme particulier. En effet, une entreprise de taille moyenne de 250
employs n'a pas grand chose en commun avec une entreprise employant
Evaluation
transversale
d'intervention
moins de 50 personnes. De mme, une petite entreprise de 50 salaris est

trs diffrente d'une micro entreprise qui en compte mois de 10. Lors de la
collecte des donnes primaires, l'htrognit de ces catgories d'entre
prises doit tre prise en compte. Aussi, l'chantillonnage et le choix des
tudes de cas doivent-ils tre faits avec soin. Toutefois, les sources de
donnes disposent rarement d'informations sur des entreprises de moins de
20 salaris, alors que cette catgorie peut tre particulirement intressante
pour certains types d'interventions (par exemple l'aide financire visant
aider les petites entreprises passer le cap des 20 salaris ou la cration de
microentreprises). Les donnes secondaires ont aussi l'inconvnient suivant:
la cration d'une entreprise est immdiatement enregistre ds lors que son
propritaire s'engage dans les procdures administratives, tandis que sa dis
parition peut tre enregistre trs longtemps aprs la cessation d'activit. Ce
dcalage peut entraner une surestimation de l'activit globale des PME et la
prise en compte de socits inexistantes dans certaines analyses.
De nombreux indicateurs de contexte, comme par exemple le dmarrage
d'entreprises, peuvent tre obtenus partir d'archives administratives euro
pennes ou nationales, de statistiques ou d'enqutes (par exemple les ren
seignements obtenus par les services fiscaux). Eurostat a dvelopp une
base de donnes rgionale spcifique, appele Regio, regroupant les statis
tiques industrielles rgionales avec des donnes annuelles comparables
pour toute l'Europe depuis 1994.
La DG XXIII et Eurostat publient rgulirement un rapport intitul Entre
prises en Europe . Ce rapport contient des informations dtailles par
secteur, par activit conomique et par tranche d'effectifs sur toutes les
entreprises de l'Union europenne (en fonction de leur nombre, de leur
effectif et de leur chiffre d'affaires), ainsi que des analyses thmatiques
(dmographie des entreprises, innovation des PME, cots de main d'uvre
et productivit des PME, etc.).
Une publication annuelle de l'Observatoire europen des PME donne un
aperu des performances et des perspectives des PME de tous les Etats
membres de l'Espace conomique europen et de la Suisse depuis 1993, et
fournit des donnes structures sur les PME la fois en termes qualitatifs et
quantitatifs, ainsi qu'un certain nombre d'tudes thmatiques dtailles
(tourisme, environnement, etc.).
des PME
La base de donnes BACH est construite partir de donnes trs dtailles

sur les bilans comptables et couvre 23 secteurs de production dans 12 Etats
membres sur la priode 19871995. Ces donnes sont ventiles selon les dif
frentes classifications de taille base sur une dfinition harmonise. L'infor
mation est fournie par les banques centrales et les organismes de statistiques.
Cette base de donnes est particulirement adapte l'analyse financire.
Outils adapts l'analyse des impacts sur les PME

Les outils d'valuation font l'objet d'une prsentation dtaille dans le
Volume 3 de la Collection MEANS. Un certain nombre d'outils particulire
ment adapts l'valuation des impacts sur les PME sont toutefois
prsents ciaprs.
Il est possible d'entreprendre une valuation de l'impact des interventions
sur les PME en utilisant l'approche pas pas prsente dans la partie IV
de ce Volume. Dans ce cas, le choix des outils s'organise autour d'tudes de
cas minimales, d'entretiens individuels et d'entretiens de groupe. Toutefois,
pour une valuation approfondie des impacts, d'autres outils d'valuation
doivent tre employs.
Lorsqu'il s'agit d'examiner les aspects stratgiques des interventions struc
turelles on peut avoir recours des entretiens en face face ou approfondis.
Ces entretiens concernent les acteurs cls des autorits nationales et les
principaux responsables des programmes d'aide aux PME dans les Etats
membres. L'inconvnient de cette technique est qu'elle exige beaucoup de
temps si un nombre important d'entretiens doit tre organis. Lorsqu'un
grand nombre de personnes partageant une exprience collective (par
exemple la mise en uvre d'interventions) doit tre interrog, l'utilisation
d'entretiens de groupe peut s'avrer plus rapide et plus utile. Toutefois, s'il
permet de rassembler des informations qualitatives utiles sur la mise en
uvre d'interventions, cet outil n'est pas adapt toutes les situations (par
exemple lorsqu'une description dtaille de processus est ncessaire, des
entretiens individuels sont mieux mme de fournir des informations utiles).
Les questionnaires permettent une valuation de base des impacts des
mesures et donnent un aperu de la contribution des diffrents programmes
la comptitivit et la croissance des PME. Ils permettent aussi de rensei
gner sur la mise en uvre de programmes (c'est dire l'accessibilit et la
livraison de plans financs par l'Union europenne). Un questionnaire bien
Evaluation
transversale
d'intervention
conu permet de faire des jugements sur l'importance de la relation entre

l'amlioration des performances et l'aide des programmes financs par l'UE.
Il est plus rapide et moins coteux d'utiliser des donnes de suivi pour
constituer des chantillons. Cette pratique n'est pas toutefois sans
comporter un risque de biais d'chantillonnage. Il est vrai que les donnes
de suivi peuvent inclure des socits non-destinataires, c'est--dire des
socits qui ont pris contact avec les oprateurs mais ne sont pas devenues
destinataires par la suite. Cependant, en utilisant des donnes sur ces entre
prises pour construire la situation contrefactuelle on ne prend pas en
compte le comportement d'entreprises non-destinataires qui, pour diff
rentes raisons, n'ont pas contact les responsables du programme, soit
parce qu'elles n'en connaissaient pas l'existence, soit par ce qu'elles
jugeaient que le cot des dmarches pour obtenir une aide tait suprieur
aux avantages qu'elles pouvaient en tirer.
L'analyse factorielle est particulirement utile pour analyser les caractris
tiques de populations homognes. Puisque les PME sont trs diffrencies,
cette technique peut tre utilise pour constituer des groupes d'entreprises
en fonction de leurs caractristiques cls. Les impacts sont ensuite analyss
en fonction de ces caractristiques cls. L'analyse factorielle utilise gnra
lement des donnes provenant de questionnaires. Cette technique a t
utilise avec succs en Espagne pour valuer les impacts sur l'emploi des
subventions l'emploi dans le secteur coopratif catalan (Voir Encadr 16).
des PME
Encadr 16 - Exemple d'une analyse factorielle du secteur

coopratif catalan
L'utilisation de l'analyse factorielle peut tre illustre par un projet d'va
luation ex post, orient vers les effets d'emploi (cration et maintien de
postes) d'une mesure de subvention dans le secteur des coopratives
catalanes. Dans ce cas, l'valuation tait rendue plus complexe par la
diversit des coopratives formant une population htrogne. Le
problme tait double : d'une part, il fallait dterminer la pertinence des
mesures prises par la rgion au regard de cette situation ; d'autre part, il
fallait valuer l'importance des impacts sur les coopratives ayant peru
une aide.
Etant donn la varit et la faible connaissance de la population et des
impacts potentiels, une analyse factorielle a t retenue pour sa capacit
faire merger les corrlations au sein de la population considre
(environ 3000 coopratives)
La premire tape de l'valuation a consist envoyer un questionnaire
l'ensemble des coopratives. Il a t complt par des entretiens. Les
donnes ainsi recueillies ont d'abord t analyses par des mthodes
statistiques traditionnelles (recherche des principaux descripteurs de la
population, ralisation de tableaux croiss). La deuxime tape de
l'analyse des donnes a consist raliser une analyse factorielle en vue
d'isoler les variables susceptibles d'expliquer la cration d'emplois dans
les coopratives : y compris la taille de l'entit, l'ge, le secteur d'activit,
le niveau technologique, etc.
Source : Volume 3 de la Collection MEANS.
Les enqutes peuvent tre prpares ou compltes l'aide de diffrentes

tudes de cas. Ces dernires en effet rvlent l'origine des impacts des
mesures sur les PME et permettent de tester, justifier ou qualifier les
rsultats obtenus partir des enqutes ou l'aide d'autres mthodes. Elles
peuvent se concentrer sur des types particuliers d'interventions structurelles
(organisation de financement, ressources humaines, services d'aide com
merciale, innovation et technologie, etc.). Il est toutefois important de slec
tionner soigneusement les tudes de cas si l'on veut pouvoir ensuite raliser
une analyse approfondie et une comparaison utile entre diffrents projets.
Evaluation
transversale
des impacts sur es priorits
d'intervention
Bien que le choix dpende beaucoup de l'implication des bailleurs de fonds

et des organisations partenaires responsables de l'action, ainsi que de la
disponibilit d'information de qualit (y compris les donnes de suivi), il est
souhaitable de couvrir les diffrents types d'actions. Le choix des tudes de
Encadr 17 - Exemple de l'utilisation d'une technique d'tude

de cas dans l'valuation du programme NordTek au Danemark
Ce programme, destin aux petites et moyennes entreprises, comportait
une centaine de projets offrant des services aux entreprises dans les
domaines de la formation, du conseil, de l'accs des installations infor
matiques modernes,... Il s'agit donc d'un programme que l'on peut
qualifier de soft par opposition aux programmes hard , visant
l'amlioration des infrastructures. Les rsultats de tels programmes sont
difficiles valuer prcisment car ils sont immatriels.
Six mesures de taille importante ont t slectionnes en tant que cas
tudier. Les mesures devaient, selon les critres de slection, tre repr
sentatives de la diversit au niveau des stratgies d'intervention, mais
aussi au niveau de leur localisation. De plus, elles devaient avoir bnfici
de financements importants dans le cadre du Programme NordTek et tre
orientes exclusivement vers les entreprises (et non des instituts de
recherche ou des administrations). Les six cas tudis reprsentaient une
partiellement importante du programme total que l'analyse des impacts
de ces interventions permettait de couvrir l'ensemble des phnomnes
importants. Il a t reconnu sans ambigut que les projets choisis repr
sentaient une slection des meilleurs cas du programme.
La collecte de donnes a t faite deux niveaux oprationnels : au
niveau de la mesure proprement dite et au niveau des entreprises.
Chacun des cas de mesure a t tudi 4 ou 5 reprises sur le terrain par
les valuateurs en l'espace de deux ans. A chaque fois, les gestionnaires
taient interrogs, et ils devaient garder les traces des services proposs
et des entreprises concernes dans un cahier d'enregistrement conu
spcialement pour l'valuation. L'analyse des documents ainsi obtenus
tait retransmise aux chefs de projet et discute lors des visites. Au
niveau des entreprises, des donnes ont t collectes au cours d'entre
vues auprs d'un chantillon de 20 PME qui avaient utilis les services
offerts. Enfin, 40 PME qui n'ont pas utilis les services proposs ont t
interroges dans une dernire tape de l'valuation.
Source : Volume 3 de la Collection MEANS.
des PME
cas peut se faire en tenant compte des initiatives affectes d'un budget
lev, et celles qui sont importantes du point de vue des stratgies de dve
loppement rgional. L'Encadr 17 donne un exemple d'valuation s'ap
puyant sur une tude de cas.
Rsum des points essentiels

L'importance du rle jou par les petites et moyennes entreprises (PME)
dans la croissance et la cration l'emploi au sein de l'Union europenne a
t fortement soulign au cours des dernires annes. La flexibilit et la
capacit d'innovation des PME leur permet de ragir rapidement aux chan
gements structurels et de s'adapter rapidement l'volution de la demande.
Il existe toutefois un certain nombre de facteurs qui freinent la comptitivit
des PME europennes. Les imperfections du march de base et des poli
tiques inhibent la croissance et la cration d'emploi. L'valuation des inter
ventions structurelles en faveur des PME doit donc avoir un rle essentiel
dans l'apprciation de la contribution effective des politiques la rsolution
de ces problmes.
Les interventions peuvent tre centres directement sur les PME ou agir sur
les PME en tant qu'lment du tissu industriel. Les PME sont galement
implicitement vises par des interventions dans d'autres domaines, en parti
culier par les interventions ayant pour objectif la diversification des struc
tures de production (dveloppement rural, pcheries et tourisme).
En ce qui concerne les techniques empiriques d'valuation des interven
tions structurelles en faveur des PME, l'exprience de leur application dans
ce domaine est limite, mais pourrait s'enrichir rapidement au fur et
mesure que ce type d'interventions devient plus courant.

OCDE. (1993), Les Petites et Moyennes E ntreprises: technologie et compti
tivit, Paris: OCDE.
OECD. (1998), Best Practice Policies for Small and Mediumsized E nter
prises, Paris: OECD.
OECD. (unpublished), Assessment of SME
Policies:
Framework, Working Document, DST/IND/PME (98)2.
An
Analytical
d'intervention
Grant Thornton International Business Strategies Ltd. (1998), European

Business Survey: Prospects and Issues for S MEs, Spring (6).
EIM Small Business Research Consultancy (1997), European
forSMEs: Fifth Annual Report, The Netherlands: EIM.
Observatory
European Commission. (1997), Report from the Commission to the

European Parliament, the Council, and the Economic and Social Committee
and the Committee of the Regions on the Coordination of Activities to Assist
Small and Medium-sized Enterprises (SMEs) and the Craft Sector.
European Commission. (1995), Activities in favour of SMEs and the craft
sector, Luxembourg: Office for Official Publications of the European
Community.
Evaluer les impacts sur l'emploi des interventions

structurelles
Pourquoi valuer les impacts sur l'emploi ?
o Le contexte communautaire
Le chmage structurel est un problme persistant contre lequel l'Union
europenne doit lutter, mme en priode de forte croissance conomique.
Les victimes du chmage subissent plus qu'une simple perte financire. La
communaut dans son ensemble doit la fois prendre en charge cette partie
conomiquement inactive de la population, les cots rsultants de l'exis
tence de poches de plus en plus permanentes de chmage de longue dure
ainsi que les carences qui l'accompagnent et qui tendent se concentrer
la fois socialement et gographiquement.
La rponse de l'Union europenne cette situation est base sur le principe
qu'un effort global men sur l'ensemble de l'Union est ncessaire pour
mettre en place un contexte macroconomique qui favorise la cration
d'emploi. Cet effort doit simultanment coordonner des initiatives et des
actions engages au niveau national, rgional et local et intervenir en parte
nariat avec les acteurs ces diffrents niveaux.
Les Fonds structurels sont utiliss pour cofinancer des interventions poli
tiques dont l'objectif est la fois de promouvoir un meilleur quilibre cono
mique et social sur l'ensemble de l'Union en rduisant les disparits rgio
nales et nationales (cohsion) et d'aider au dveloppement global du tissu
structurel de l'Union, y compris celui du march du travail. Ils ont pour but de
stimuler la croissance conomique et la cration d'emploi. Si certains des
objectifs des politiques structurelles ont toujours t associs l'emploi, on
a pu observer, au cours des dernires annes, une volont croissante de
produire des effets substantiels sur l'emploi, la fois dans le principe et dans
la pratique. Dans la mesure o ils constituent un instrument majeur pour
influencer les schmas de dveloppement conomique et un vhicule
essentiel pour fournir des ressources aux partenaires locaux, il est vident
que l'utilisation des Fonds structurels doit reflter la priorit croissante que
l'Union accorde l'emploi.
Les types d'impacts sur l'emploi susceptibles d'tre produits par des inter
ventions structurelles soutenues par les Fonds structurels dpendent des
d'intervention
instruments particuliers utiliss. Le choix de ces instruments est dtermin

son tour par les objectifs de l'intervention en question. Une intervention dans
le domaine des infrastructures ou de l'environnement productif peut avoir
pour objectif de gnrer des effets d'emploi en crant de nouveaux emplois
ou en maintenant ceux qui existent dj. D'autre part, des interventions dans
le domaine de la formation ont parfois pour cible le maintien de l'employabi
lit des salaris, c'est--dire la capacit d'un individu s'adapter l'volution
du march de l'emploi un moment et un lieu donns. Les destinataires de
ces interventions peuvent tre les personnes qui ont dj un emploi mais qui
doivent s'adapter aux nouvelles conditions de travail, des chmeurs et en
particulier des groupes cibles spcifiques, tels que les femmes, les chmeurs
de longue dure et les jeunes qui doivent amliorer leur employabilit en per
fectionnant leurs comptences ou en en acqurant de nouvelles.
Les interventions structurelles se caractrisent par leur concentration sur un
nombre limit d'objectifs globaux et par la concentration de chacun des pro
grammes soutenus par les Fonds structurels sur l'un de ces objectifs. Ces
objectifs globaux sont cibls soit sur des rgions spcifiques, soit sur des
groupes sociaux spcifiques et, dans l'un ou l'autre cas, peuvent tre dfinis
par rapport un secteur conomique dtermin. La nature de la relation
entre ces objectifs globaux et l'emploi varie considrablement.
Evaluation prcise de l'efficacit des interventions des Fonds structurels
Les avantages potentiels dcoulant des interventions des Fonds structurels
dans le domaine de l'emploi sont consquents : rduction de la pauvret et
de la misre engendres par le chmage, cration de conditions d'offre de
main d'uvre favorables la croissance et la comptitivit des rgions les
plus faibles. Ces avantages peuvent galement inclure une plus grande
comptitivit de l'Europe et le soutien du modle social europen. Toutefois,
pour que les interventions des Fonds structurels soient efficaces, les valua
tions devront tre suffisamment sophistiques pour mesurer les effets
d'emploi avec prcision.
Pour que les interventions structurelles soient efficaces, les mesures ex ante
et ex post des effets d'emploi doivent tre aussi prcises que possible. A un
niveau plus stratgique, une information prcise permet de mesurer l'impact
global des interventions sur l'emploi, permettant ainsi la Commission euro
penne et au Parlement europen de prendre des dcisions justifies sur la
poursuite ou la modification des interventions des Fonds structurels.
Evaluer les impacts sur
l'emploi
Dans la mesure o les interventions des Fonds structurels associent des

programmes ayant des objectifs divers, il est particulirement important
d'valuer non seulement les effets globaux sur l'emploi de ces programmes,
mais galement les effets de chacune des mesures qui les composent. En
outre, dans de nombreux cas, il est ncessaire d'valuer la fois les effets
gnraux sur l'emploi (par exemple, le nombre de nouveaux emplois crs)
et les effets associs des objectifs plus spcifiques (par exemple, combien
d'emplois sont dsormais concentrs dans une rgion donne ou occups
par des jeunes).
Toutefois, pour apprcier pleinement l'efficacit des interventions, il
convient d'estimer les effets nets d'emploi. Par consquent, cela signifie que
la cration ou le maintien de l'emploi qui se serait produit en l'absence de
l'intervention doit tre pris en compte (effet d'aubaine). De mme, il convient
de tenir compte des effets d'emploi induits au dtriment d'autres parties de
la zone du programme (effet de dplacement) et des situations o les
individus qui remplissent les conditions pour recevoir l'aide remplacent ceux
qui ne sont pas destinataires (effet de substitution non recherch). Enfin, les
rpercussions plus larges d'une intervention sur les fournisseurs des entre
prises destinataires (effet fournisseur), et l'augmentation du pouvoir d'achat
des individus aids (effet multiplicateur), doivent, dans la mesure du
possible tre galement estimes.
Il faut aussi tenir compte des interactions permanentes entre les marchs du
travail et d'autres types de marchs (marchs des biens, des services,
marchs financiers) ou des marchs extrieurs la zone gographique
dfinie. Par exemple, une augmentation des exportations due des condi
tions conomiques favorables l'tranger aura un effet positif sur la cration
d'emploi. Autre exemple, une priode de taux d'intrts particulirement
bas pourra avoir des effets positifs sur l'investissement et les exportations
avec des avantages notables pour l'emploi. Ces facteurs concurrents
doivent tre pris en compte pour analyser avec prcision l'efficacit propre
d'une intervention.
En outre, compte tenu de la nature des marchs du travail, les interventions
nationales jouent un rle considrable, et des synergies sont souvent
gnres entre les interventions des Fonds structurels et les initiatives natio
nales. Il est donc important d'identifier l'existence de ces synergies.
Evaluation
transversale
d'intervention
Nous avons dj mentionn cidessus que certaines interventions se

concentrent sur l'employabilit des salaris et des chmeurs. L'employabi
lit des individus est troitement associe l'volution de leurs comp
tences en rponse l'volution des besoins conomiques. Ce problme du
maintien de l'employabilit se pose de manire aigu dans les anciennes
rgions industrielles o une volution structurelle a impos des change
ments profonds de l'organisation de la production et des stratgies d'entre
prise. Cette volution a videmment gnr une rduction de l'employabilit
des ouvriers. L'encadr cidessous prsente diffrentes formes d'obsoles
cence des comptences et les stratgies de formation des personnes
menaces de chmage qui peuvent tre employes dans chaque situation.
Encadr 18 Diffrents types d'c>bsolescen< ;e des comptences
Associe
au march
Forme
d'obsolescence
Associe
l'individu
Associe des Associe

Associe
l'entreprise
aux conditions changements
de poste
du poste
Facteur de
diminution de
l'employabilit
Vieillesse,
maladie,
accident
Utilisation in
suffisante des
comptences
Demandes de
comptences
nouvelles
Activit menace Dclin de l'em

par l'apparition de ploi dans un
nouveaux concurrents secteur donn
Rponse en ter
mes de formation
des personnes
menaces
de chmage
Rvision des Rvision de

comptences comptences
dj acquises dj acquises
ou requalifi
cation totale
Formation aux
nouvelles
exigences
du poste
Dveloppement
Formation un
des comptences poste similaire
existantes ou
dans un autre
requalification
secteur ou
totale
requallflcation
totale
Afin de dfinir clairement de quels types d'effets d'emploi il est question

dans ce chapitre, nous ferons rfrence soit l'effet de cration d'emploi ou
l'effet de maintien d'emploi dcoulant d'interventions dans des domaines
autres que les ressources humaines, soit aux effets d'employabilit
dcoulant d'interventions dans le domaine des ressources humaines (et
concernant essentiellement la formation). La diffrence essentielle entre ces
deux types d'effets est que, dans le premier cas, les effets d'emploi concer
nent la cration ou le maintien d'un poste pouvant tre occup par diff
rentes personnes, alors que dans le deuxime cas, les effets d'emploi
concernent essentiellement le maintien ou l'amlioration de l'employabilit
d'individus, soit en les aidant conserver un certain niveau de qualification
(par exemple dans le cas de la formation continue), soit en leur donnant une
plus grande chance de correspondre aux exigences professionnelles des
employeurs potentiels et donc de trouver un emploi (cas de la formation des
chmeurs). Les caractristiques de ces types d'effets sont rsumes dans
l'Encadr 19.
l'emploi
Encadr 19 Diffrents types d'effets d'emploi
Effets d'emploi
Effets de c r a t i o n / m a i n t i e n
d'emploi
(Li un poste)
Effets d'employabilit
Emploi cr ou maintenu grce

la mise en uvre des interventions
des Fonds structurels ou comme
consquence de l'intervention
o la cration ou le maintien d'emploi
est un objectif explicite ou implicite
Emploi maintenu (salaris existants) ou

trouv (chmeurs) grce aux interventions
des Fonds structurels visant
particulirement le maintien ou
l'amlioration de l'employabilit
par le dveloppement des comptences
(Li un individu)
et des qualifications
Dfinir c e qui doit tre m e s u r

Comment sont produits les impacts sur l'emploi ?
Nombreuses sont les interventions qui ne visent pas explicitement la
cration d'effets d'emploi. Il est donc peu probable qu'elles aient un effet
direct substantiel sur l'emploi. D'autres interventions ont pour cible le dve
loppement des ressources humaines, y compris la formation et la recherche
dont les effets directs sur l'emploi sont limits et court terme. Ainsi, les
effets d'emploi les plus significatifs rsultant de l'utilisation des Fonds struc
turels sont souvent indirects et tendent apparatre moyen ou long terme.
Ils peuvent donc s'avrer relativement difficiles isoler et mesurer. Cette
situation est encore complique par le fait que certaines interventions
peuvent trs bien crer des effets ngatifs sur l'emploi dans un premier
temps avant de produire des effets positifs plus long terme. Ceci est parti
culirement vrai pour les interventions cibles sur l'augmentation de la com
ptitivit et de la productivit.
L'encadr ciaprs prsente les diffrentes influences des interventions struc
turelles sur les schmas d'emploi. S'il est vrai que la distinction analytique cl
en matire d'effets d'emploi est de savoir s'ils rsultent de changements de
l'offre ou de la demande, les types d'effets prsents cidessous constituent
une rfrence plus pratique pour vrifier qu'aucun effet n'est nglig.
Evaluation
transversale
d'intervention
Encadr 20 - La production d'effets d'emploi

par les interventions structurelles.
Comme consquence directe de la mise en uvre d'une intervention :
emplois dans le btiment, l'administration et la formation ;
Comme consquence directe de l'aide apporte, c'est dire par la
cration / le maintien d'emplois dans des socits nouvellement cres
ou en dveloppement ;
Comme consquence des mesures de formation destines accrotre
l'employabilit des salaris et des chmeurs ;
Comme consquence d'interventions poursuivant ou non un objectif
immdiat et explicite en matire d'emploi, soit en raison des biens et
services fournis dans le cadre de l'intervention (par exemple fourniture de
matriaux de construction, de matriel de bureau, etc.), soit du fait d'une
amlioration de l'efficience de l'conomie locale (par exemple chauffeurs
employs pour transporter des biens pour l'exportation car la rduction
des cots de transport rsultant d'une nouvelle infrastructure les a rendus
plus comptitifs) ;
En rponse une augmentation de la demande gnre par une aug
mentation des revenus qui provient elle-mme de l'intervention ("effet
multiplicateur" - par ex. augmentation du nombre d'emplois dans le
commerce de dtail local ou dans le btiment pour rpondre la
demande des nouveaux employs).
Dans la mesure o une grande partie des effets d'emploi prsents dans
l'encadr ci-dessus se situe diffrents points de la chane de causalit, il
est important de comprendre les mcanismes de causalit qui relient les
interventions leurs impacts ventuels sur l'emploi. Ces mcanismes sont
prsents dans l'Encadr 21 et dtaills dans le rsum qui le suit.
Encadr 21 - Interventions des Fonds structurels et mcanismes
des effets d'emploi
-+
>(mcanisme causal peu complexe)
(a)
Construction et
mise en uvre
(b)
; Subventions
. l'emploi
(mcanisme causal trs complexe

(c)
Formation
(d)
Soutien
des activits
productives
(e)
Infrastructure et
comptitivit
accrue
l'emploi
(a) Activits du btiment et de mise en service conduisant la cration

d'emploi
Presque toutes les interventions structurelles lies aux activits du btiment
(travailleurs employs pour construire une autoroute, par exemple) et aux
activits de mise en service (recrutement de professeurs chargs de
dispenser les programmes de formation) ont des retombes sous forme de
cration d'emploi. Ces retombes peuvent reprsenter une proportion
presque insignifiante (par exemple, certaines mesures d'aide financire) ou
bien au contraire la majeure partie des effets. Dans ce cas, le lien entre les
interventions et leurs effets d'emploi est encore relativement direct.
(b) Soutien l'emploi conduisant la cration d'emplois
Les soutiens l'emploi pour les chmeurs de longue dure sont un exemple
typique de politiques qui ont un effet d'emploi immdiat. Il n'est pas en effet
difficile de voir le lien de cause effet entre l'embauche d'un nouveau salari
et l'aide accorde l'employeur.
(c) Effets d'emploi rsultant d'une amlioration des comptences
Les politiques de formation offrent un autre exemple de mesures relies
leurs effets d'emploi par une chane complexe. Les politiques de formation
visent remdier aux disparits entre les comptences de la main d'uvre
disponible et celles dont ont besoin les secteurs conomiques ayant de
bonnes perspectives de croissance. La formation est donc cense amliorer
l'employabilit des chmeurs ou des travailleurs dont les comptences
risquent d'tre dpasses. Dans le cas de la formation des employs en
poste, les effets d'emploi sont relativement directs. Moins directement, cela
peut conduire une amlioration de la qualit de la main d'uvre et ainsi
produire une augmentation de la productivit et du nombre de travailleurs
qualifis, ce qui entrane son tour une rduction de la pression salariale et
pousse les entreprises augmenter leur taux d'activit et d'emploi.
(d) Emplois induits ou favoriss par le soutien des activits de production
Cette catgorie regroupe tous les emplois que les entreprises ou d'autres
acteurs conomiques crent lorsqu'ils dveloppent de nouvelles activits
ou lorsqu'ils accroissent leurs activits existantes sous l'impulsion d'un
soutien direct (apport sous forme de subvention ou d'aide l'investisse
ment) ou indirect (apport sous forme de service, de sites mis disposition,
etc.). Elle constitue par consquent le principal canal des effets d'emploi.
Toutefois, de mme que d'autres types d'interventions crant des effets
d'emploi par des mcanismes de causalit complexes, les impacts sur
Evaluation
transversale
d'intervention
l'emploi sont difficiles attribuer et mesurer. Ceci est d en partie au fait

que la chane des impacts, de l'intervention aux effets d'emploi, se fait plus
complexe. En effet, l'acteur conomique tiendra compte de bien d'autres
facteurs, autres que le rgime d'aide proprement dit, avant de dcider de
crer un emploi.
A cet gard, l'Impact sur l'emploi des aides l'investissement proposes
aux entreprises constitue un exemple significatif. L'augmentation du taux
d'investissement qu'elles permettent devrait favoriser une augmentation
des activits conomiques de l'entreprise et, par consquent, une augmen
tation de l'emploi. Mais en ralit, si la demande est statique ou en dclin, il
peut trs bien y avoir perte d'emplois. Cette perte sera due au fait que toute
mesure destine amliorer les biens d'quipement aura tendance
augmenter la productivit des immobilisations, rendant ainsi la main
d'uvre moins comptitive. Si la demande stagne, on observera une substi
tution du capital la main d'uvre.
Les aides accordes aux activits de production ont galement des effets
indirects (effets multiplicateurs de revenu et effet fournisseur), qui se tradui
sent en effets d'emploi. D'autres tapes doivent tre franchies sur la chane
des impacts et il est donc plus complexe de dmler ces effets.
(e) Les effets d'emploi rsultant d'un accroissement de comptitivit d la
construction de nouvelles infrastructures
Les effets d'emploi peuvent galement dcouler du gain de productivit,
grce aux infrastructures matrielles (telles que routes, tlcommunications,
etc.) et immatrielles (telles que services aux entreprises, recherche et dve
loppement, etc.). Il s'agit d'effets long terme gnrs par un mcanisme
complexe, situs pratiquement la fin de la chane d'impacts et qui sont donc
difficilement identifiables et attribuables des interventions spcifiques.
Si les Fonds structurels produisent des effets d'emploi de diverses
manires, les types d'effets d'emplois produits sont galement varis. Outre
la distinction entre les effets de cration et de maintien d'emploi et les effets
d'employabilit, deux autres distinctions importantes peuvent tre faites.
Tout d'abord, l'valuation devra distinguer les effets d'emploi durables
(c'est--dire, des emplois rsultant d'une intervention qui se poursuivra en
l'absence de soutien public) de ceux qui sont temporaires (c'est--dire
des emplois qui cessent d'exister lorsque la subvention prend fin). De plus,
les emplois lis la mise en uvre des interventions sont gnralement
l'emploi
temporaires et l'exprience montre qu'il faut s'attendre ce qu'une partie

seulement des autres effets d'emploi perdure au-del du moyen terme (ainsi
une proportion significative des emplois crs dans les entreprises nouvelle
ment tablies ne se maintient pas durablement). Lorsque l'on mesure les
effets d'emploi, il est important de prciser quels sont les emplois qui seront
de nature temporaire (c'est dire ceux qui disparatront lorsque le finance
ment prendra fin) et de ne pas donner une fausse impression de durabilit
pour tous les emplois qui sont la consquence de l'intervention. Certains
emplois sont crs uniquement pour une courte priode (emplois tempo
raires), et sont souvent lis la mise en uvre de l'intervention. Si l'on doit
produire des chiffres agrgs, et pas simplement comptabiliser le nombre
d'emplois crs par l'intervention, il est prfrable d'utiliser les emplois /
annes comme unit de mesure et la valeur actuelle des emplois crs peut
tre estime partir des emplois/annes prvus.
Ensuite, les effets d'emploi d'une intervention peuvent inclure la fois des
emplois plein temps et des emplois temps partiel. L encore, il peut tre
ncessaire de les distinguer lors de la mesure et, en consquence, deux
types de chiffres diffrents peuvent tre produits : d'abord l'quivalent
temps plein (ETP) qui va reflter la quantit globale d'emplois gnrs (par
exemple, un emploi mi-temps et deux emplois quart de temps seront
quivalents un temps plein), et deuximement, le nombre total d'emplois
gnrs (un emploi mi-temps et deux emplois quart de temps seront
alors considrs comme l'quivalent de trois emplois) qui reflte mieux l'ob
jectif de lutte contre le chmage.
Clarifier les objectifs en termes d'emploi
Lorsque l'on value les effets d'emploi des interventions, il convient de faire
rfrence aux objectifs des interventions en question et leur rapport
l'emploi. En pratique, ni les objectifs de chaque composante d'un programme,
ni les liens entre les diffrents niveaux d'un programme ne sont pas toujours
articuls aussi clairement et de faon aussi explicite qu'ils le devraient. La cla
rification des diffrents niveaux d'objectifs d'un programme cofinanc par les
Fonds structurels est d'autant plus ncessaire que l'on n'est pas certain des
consquences sur l'emploi de chaque type d'intervention.
Par exemple, des amliorations de l'infrastructure de transport desservant
des rgions enclaves peuvent diminuer les cots pour les exportateurs de
ces rgions et permettre un accs plus facile aux services de soutien, mais
Evaluation
transversale
d'intervention
elles peuvent tout autant exposer les rgions concernes une concurrence
plus forte et faciliter l'migration saisonnire ou permanente de la main
d'uvre. De mme, si les plans deformation aids amliorent gnralement
le niveau de qualification de la main d'uvre et la productivit, rendant ainsi
une rgion plus attirante pour des investisseurs extrieurs, ils peuvent, dans
certaines circonstances, entraner une augmentation de l'migration de
nouveaux qualifis, la recherche de meilleures opportunits de carrire.
En ce qui concerne l'apprciation de la nature des effets d'emploi attendus
d'une intervention et l'application des techniques appropries pour les
mesurer, il est important que la Commission puisse travailler troitement
avec les partenaires impliqus au niveau national, rgional et local pour
dfinir de faon aussi claire et explicite que possible les objectifs spcifiques
de toutes les composantes de chaque programme. Cette tche est particu
lirement importante pendant la phase ex ante de la programmation.
Cependant, on a souvent observ, notamment pour les programmes qui
s'tendent sur une priode relativement longue, que des problmes d'ab
sorption des crdits, ou encore de la modification de la situation cono
mique, peuvent ncessiter de modifier les programmes pour mieux produire
l'impact dsir sur l'emploi ou sur toute autre priorit, et d'affiner les
objectifs dfinis l'origine dans les programmes individuels. Les objectifs en
matire d'emploi doivent donc non seulement tre clairement spcifis en
dbut de programme, mais doivent galement tre ouverts aux modifica
tions associes aux nouvelles priorits de la politique ou l'volution des
conditions conomiques.
Dans de telles circonstances, il est utile, au cours de la phase ex ante,
d'tablir l'arbre d'objectifs en matire d'emploi d'un programme. Afin
d'illustrer l'utilisation de cet outil dans le contexte des interventions
destines promouvoir l'emploi, un arbre d'objectifs d'emplois est prsent
dans l'encadr ci-aprs.
l'emploi
Encadr 22 - Exemple d'arbre d'objectifs pour la promotion

de l'emploi
Objectifs globaux
Rduction
des disparits
entre rglons
Meilleure contribution
l'emploi des PME
Promouvoir la cration d'entreprises

Promouvoir l'investissement des PME
Promouvoir l'innovation des PME
Promouvoir la collaboration
Amliorer les services de conseil aux PME
Augmentation des
opportunits d'emploi
Diversifier la gamme de produits et services

des entreprises rgionales
Accrotre les possibilits d'exportation pour
les entreprises rgionales
Attirer les investisseurs extrieurs
Meilleure employabilit des

travailleurs en poste
Adapter les comptences et qualifications

des employs en poste
Dvelopper les activits de formation
professionnelle
Meilleure intgration
au march du travail
de groupes spcifiques
Reconvertir les chmeurs de longue dure

Amliorer la qualification des jeunes
Amliorer les opportunits de formation
des femmes
Dans l'exemple ci-dessus, qui est compos de diffrents types d'interven

tions que l'on ne trouve pas toujours dans le contexte d'un seul programme,
les interventions ciblent une gamme d'objectifs spcifiques eux-mmes
subordonns quatre objectifs intermdiaires : augmenter les opportunits
d'emploi et le potentiel d'emploi des PME (interventions cibles sur l'envi
ronnement de production), intgrer des groupes spcifiques au march du
travail (interventions cibles sur la formation des chmeurs) et permettre aux
salaris de conserver leur emploi (formation continue). L'objectif global des
interventions est de rduire les disparits rgionales en matire d'emploi.
Attribuer des impacts sur l'emploi une intervention
Il est important que seuls les impacts dcoulant vritablement d'une inter
vention lui soient attribus. Il convient pour cela d'estimer ses effets nets.
La premire tape consiste construire la situation contrefactuelle afin

d'estimer les effets d'aubaine. L'effet brut sur l'emploi d'une intervention se
dfinit comme le nombre total d'emplois crs ou maintenus ou le nombre
de personnes bnficiant d'une formation, d'un conseil professionnel etc.
d'intervention
qui conservent leur emploi ou qui en trouvent un. Dans la pratique, les
donnes sur les effets bruts sur l'emploi sont recueillies par le biais des
systmes de suivi et servent de base pour ce calcul.
Pour les interventions cibles sur la formation des travailleurs en poste
menacs de chmage, l'effet d'aubaine est dlicat mettre en vidence car
il correspond aux personnes bnficiant de formations et qui auraient
conserv leur poste sans cette formation. Dans ce cas, la situation contrefactuelle doit tre tablie l'aide de groupes de contrle. Le profil des
employs destinataires est important pour tablir la porte de ce type d'effet
d'aubaine. Ainsi, par exemple, les cadres et les employs hautement
qualifis ont plus de chances de recevoir une formation sans l'aide publique.
De mme, la taille de l'entreprise peut tre un facteur dterminant, dans la
mesure o les grandes entreprises tendent entreprendre plus d'activits
de formation que les PME.
Un effet de dplacement se produit, dans le cas d'interventions sur une
zone, lorsque la cration ou le maintien d'emplois se fait au dtriment
d'emplois dans d'autres zones concernes par le programme. C'est le cas
par exemple, lorsque des socits bnficiant d'une intervention dvelop
pent leur activit et leur effectif au dtriment de l'activit d'autres entreprises
situes dans la zone du programme. Lorsque l'effet de dplacement n'est
pas intentionnel, il doit tre soustrait de l'effet brut.
Lorsque des interventions visent des groupes de destinataires particuliers
(chmeurs de longue dure, mres de famille, jeunes, etc.), la substitution
des destinataires des non-destinataires peut tre recherche de manire
explicite. C'est le cas par exemple lorsque des destinataires peu qualifis
trouvent un emploi au dtriment de non-destinataires. De faon comparable,
on peut parler d'effet de substitution pour des interventions cherchant expli
citement crer ou maintenir l'emploi en aidant le dveloppement d'un
secteur au dpend d'un autre. Lorsque la substitution est l'objectif explicite
des interventions, elle ne doit pas tre soustraite des effets bruts. Lorsque,
par contre, l'intervention cre un effet de substitution qui ne contribue pas
renforcer la cohsion conomique et sociale, il peut tre trait comme s'il
s'agissait d'un effet de dplacement, et donc doit tre soustrait des effets
bruts.
l'emploi
Exemple: Programme de formation la cration d'entreprise : des effets bruts

aux effets nets
Un programme de formation la cration d'entreprise a permis la cration de 400
entreprises. Cependant, deux ans aprs leur cration, 250 seulement de ces entre
prises sont toujours en activit, et 50 n'emploient le crateur de l'entreprise qu' mitemps. Les entreprises qui ont survcu ont cr 250 emplois supplmentaires temps
plein et 100 emplois mi-temps aprs deux ans (l'objectif de l'intervention tant de
crer des emplois durables, on considre que deux ans est un laps de temps suffisant
pour juger de la durabilit), le nombre brut d'emplois la fin de cette priode s'lve
350 (employs) plus 250 (crateurs d'entreprises), soit un total de 600. Toutefois, une
partie de ces emplois tant mi-temps, le nombre d'emplois bruts crs s'lve
250 ETP (200 + 50/2 +250 + 100/2 = 525).
Si l'on sait que l'effet d'aubaine est de 20% et si l'effet de dplacement qui rsulte de
l'aide apporte aux entreprises destinataires est estim 30%, l'effet net de l'inter
vention serait de 262.5 ETP nets (525 - [525x0.3] - [525x0.2] = 262.5).
Les diffrences entre les concepts prsents ci-dessus en matire d'effets

de cration/maintien d'emploi et d'employabilit sont rsums dans
l'Encadr 23.
Encadr 23 - Comparaison des effets d'aubaine, de substitution
et de dplace ment
Dfinition de cration
maintien d'emploi
Dfinition d'employabilit
Effet d'aubaine
Postes qui auraient t crs ou

maintenus sans l'intervention
Individus qui auraient conserv leur

emploi ou trouv un emploi sans
l'intervention
Dplacement
(interventions sur une
rgion)
Postes crs ou maintenus par une

socit dans la zone vise par
l'intervention au dtriment d'autres
socits situes dans la zone de
programme qui ont d renoncer crer
ou rduire des postes en nombre
quivalent
Entreprises employant ou recrutant des

Individus qui prennent l'activit et
rduisent l'emploi d'autres socits
situes dans la rgion vise par le
programme et qui n'ont pas form leurs
employs ou recrut du personnel ayant
suivi des formations de recyclage
Substitution
(interventions sur les
groupes sociaux)
Individus ayant suivi des formations de

recyclage qui conservent leur poste au
lieu d'tre remplacs par des chmeurs
qui taient auparavant mieux qualifis
Chmeurs ayant suivi une formation de
recyclage appartenant des groupes
cibles spcifiques substitus des nondestinataires
valuation transversale
d'intervention
Outre les diffrents effets souligns cidessus, l'emploi peut tre gnr par
l'effet multiplicateur (emploi indirectement cr ou maintenu du fait que l'in
tervention induit des revenus supplmentaires pour les consommateurs
locaux) ou l'effet fournisseur (emploi cr ou maintenu du fait que l'interven
tion a une incidence sur les relations entre les destinataires et leurs fournis
seurs) que l'on tend identifier sparment. Il est toutefois pratiquement
impossible de quantifier ces effets pour chaque intervention rgionale.
Les effets d'emploi d'une intervention, qu'ils soient ngatifs ou positifs, ne
se traduisent pas toujours directement par un effet sur le chmage de mme
ampleur. Cela s'explique en raison de l'volution du nombre de demandeurs
d'emploi. Ainsi par exemple, le taux d'activit change s'il y a de nouvelles
offres d'emploi ; on appelle cela effet d'attraction (effet de travailleurs sup
plmentaires). Par exemple, de nouveaux emplois temps partiel peuvent
attirer des femmes ou des retraits qui n'taient pas enregistrs comme
demandeurs d'emploi avant l'intervention.
On peut observer un autre effet sur la disponibilit de la main d'uvre, li au
phnomne de migration : les nouveaux emplois peuvent avoir un effet la
fois sur l'immigration (en attirant des individus qui vont s'installer dans la
zone bnficiant du programme pour obtenir un emploi) et sur l'migration
(en rduisant le nombre de ceux qui auraient autrement quitt la zone desti
nataire pour chercher du travail ailleurs).
Dans ce contexte, certains effets en termes de migrations pendulaires
peuvent tre assimils aux autres effets de migration. Ils peuvent tre encore
plus importants que les flux de migration permanente, dans la mesure o les
nouvelles opportunits d'emploi peuvent encourager de nombreuses
personnes domicilies en dehors de la zone aide faire des trajets quoti
diens pour venir travailler dans la zone. Plus la zone aide sera rduite et
plus grande sera la probabilit que de nouveaux emplois soient occups par
des individus qui ne faisaient pas partie de la main d'uvre locale avant l'in
tervention.
E x e m p l e s d ' i m p a c t s par d o m a i n e s d'intervention
Afin d'illustrer comment les interventions peuvent avoir des impacts sur
l'emploi, nous prsentons cidessous des exemples correspondant aux
trois grands domaines d'intervention des Fonds structurels.
Evaluer
les impacts
sur
l'emploi
Infrastructure de base
L'objectif des interventions dans ce domaine est en grande partie de rduire
les c o n t r a i n t e s p e s a n t sur le d v e l o p p e m e n t c o n o m i q u e rsultant de
l'absence ou de la mauvaise qualit de l'infrastructure de base. Ces inter
ventions n'ont donc pas d'objectifs explicites en matire d'emploi. Les effets
de cration et de maintien d'emploi sont soit de nature temporaire, pendant
la phase de c o n s t r u c t i o n , soit indirects et associs l'accroissement de
l'activit conomique.
Exemple: Amlioration des centraux tlphoniques analogiques (Grce)
En Grce, au dbut des annes 90, le rseau tlphonique public commut tait ana
logique pratiquement 100%, et donc de mauvaise qualit et peu fiable. L'une des
interventions visant amliorer le rseau a consist remplacer progressivement les
centraux analogiques en place par de nouveaux centraux numriques. L'objectif de ce
programme est de parvenir 68 70% de centraux tlphoniques numriques d'ici
l'an 2000. Au fur et mesure de l'installation des centraux numriques, les entreprises
et les mnages bnficient globalement des amliorations du rseau. Le rseau
modernis va permettre aux entreprises de tirer parti des nouvelles possibilits com
merciales qu'offre la tlmatique. Par consquent, aux effets d'emploi temporaires,
rsultant directement de l'intervention et se produisant au moment de la mise en
service, s'ajoutera l'impact sur les performances conomiques des entreprises
bases en Grce, menant indirectement des opportunits d'emploi permanent.
Ralisations
c>
Modernisation des
centraux tlphoniques
Reduction
des dfaillances
dans le rseau
Entreprises
potentiellement
raccordes au
rseau modernis
>
Emplois temporaires
Emplois bruts
bruts crs ou maintenus
crs ou maintenus
Entreprises utilisant
la thmatique pour trouver
de nouveaux marchs
Accroissement de
la production,
des ventes, etc.
Priorit
L^
d'intervention
Pour certaines rgions, l'objectif des interventions structurelles est d'aider
la reconversion ou la diversification conomique afin de combattre le
chmage structurel. Dans les zones rurales, la diversification des structures
de production pour rduire la dpendance vis--vis de l'agriculture et encou
rager le tourisme, activit exigeant une main d'uvre importante, constitue
un lment essentiel d'une stratgie de dveloppement conomique.
Exemple: Dvelopper le tourisme en Rpublique d'Irlande
En Irlande, un Programme Oprationnel concernant le tourisme a t mis en uvre
partir de 1990. Son objectif global est de gnrer des effets d'emploi (cration de
25 000 emplois supplmentaires). Les interventions avaient notamment pour objectif
spcifique de diversifier la gamme de produits touristiques et l'un des produits thma
tiques choisis comme cible d'intervention tait le dveloppement de confrences
dans des centres touristiques. De 1989 1993, douze nouveaux centres de conf
rence ont t cofinancs. La construction de centres de confrence a produit des
effets d'emploi temporaires et un ventuel impact sur la croissance et le caractre sai
sonnier des activits des entreprises locales tels qu'htels, restaurants, services de
confrence, etc.
Ralisations
Effets
>
Emplois temporaires
Construction de
centres de
confrence
Organisation de
confrences et
Augmentation du
tourisme d'affaire
et du tourisme
Emplois bruts
crs ou
maintenus
,.
i
Nouvelles activits gnres

pour la rgion
Priorit
Ressources humaines
Les interventions dans le domaine des ressources humaines se concentrent
sur le maintien ou l'amlioration de l'employabilit des individus par le dve
loppement de leurs comptences et qualifications, et sur la recherche et le
dveloppement technolog que.
Evaluer
les impacts
sur
l'emploi
Exemple: Aide la formation professionnelle dans le NordEst de l'Angleterre

Le NordEst de l'Angleterre, qui fut une grande rgion industrielle du RoyaumeUni, a
perdu plus de 200 000 emplois dans les secteurs traditionnels (mines de charbon,
construction navale, sidrurgie et industrie lourde) depuis 1970. Simultanment, des
activits de haute technologie se sont dveloppes dans la rgion, dans des secteurs
tels que la pharmacie, les biotechnologies, l'informatique et l'lectronique. Les liens
trs forts entre l'industrie, les universits et les autres institutions de l'enseignement
suprieur de la rgion font partie des facteurs qui ont contribu l'mergence de
nouvelles spcialisations. Un certain nombre de mesures en faveur de la reconversion
industrielle du NordEst (CCA 198991 et 199293) ont pour cible la formation profes
sionnelle. Ces mesures comprennent la cration d'installations de formation dans des
secteurs industriels fort potentiel de croissance, et plus particulirement dans les
technologies qui sont dj implantes dans la rgion.
Ralisations
Effets
Projets de formation
prpars en
partenariat avec
les industries locales
Emplois temporaires
Stagiaires au chmage
qui l'on propose un
emploi au cours du stage
\
\
Stagiaires qui terminent

n leur stage
avec succs
>
\ /
C>
Emplois bruts crs

ou maintenus
Stagiaires au chmage
qui trouvent un emploi
Destinataires qui obtiennent

/ 4 une promotion
1/
Salaris qui conservent

leur emploi
Dfinir et slectionner les indicateurs

Le Volume 2 de la Collection MEANS prsente les indicateurs pour le suivi et
l'valuation d e s i n t e r v e n t i o n s des F o n d s s t r u c t u r e l s y c o m p r i s p o u r la
priorit d e l'emploi. Nous en rappelons ici les points essentiels.
Si l'valuation ne se limite pas la seule analyse d'indicateurs, l'existence
d'indicateurs pertinents facilite la conduite de cet exercice. La question des
indicateurs et de leur qualit doit tre considre deux niveaux :
Dans la mesure o la promotion de l'emploi est l'un des objectifs gnraux
des Fonds structurels, le d v e l o p p e m e n t d'un systme d'indicateurs doit
d'intervention
gnrer un renforcement de l'information sur les effets d'emploi des diff

rentes composantes d'un programme
La question des indicateurs se pose galement pour l'approfondissement
de l'analyse des effets. Toute analyse approfondie cible sur l'emploi
ncessite que des indicateurs ad hoc soient dfinis en fonction des
questions d'valuation et renseigns avec soin.
Pour valuer la contribution des Fonds structurels l'emploi, il est ainsi sou
haitable, d'une part, de veiller ce que des indicateurs de base et fiables
soient intgrs dans le systme d'indicateurs d'un programme et, d'autre
part, de dfinir, dans le contexte prcis de l'valuation, les indicateurs cls
qui rpondront aux questions d'valuation spcifiques.
Lorsque l'on mesure les effets d'emploi, il faut tenir compte des emplois
temporaires ncessaires la mise en uvre des interventions (par exemple
emplois lis la construction des infrastructures, emplois de conseil aux
entreprises, formateurs).
Si les indicateurs de ralisation ne sont pas directement cibls sur l'emploi,
ils sont, par contre, souvent essentiels pour analyser les effets d'emploi
produits. Ceci est particulirement vrai lorsque les interventions incluent des
prestations de services tels que la formation, l'information ou le conseil qui
sont difficilement mesurables, compte tenu de leur nature immatrielle.
Il convient de concentrer les efforts sur l'tablissement d'indicateurs
apportant des informations sur les objectifs les plus significatifs en matire
d'emploi. Ces indicateurs concernent le plus souvent les effets bruts directs.
Par exemple, si l'objectif d'une intervention est de fournir une aide tempo
raire l'emploi, le nombre d'emplois crs ou maintenus pendant la mise en
uvre peut constituer un indicateur pertinent. Si par contre, l'intervention a
pour cible la prvention de perte d'emploi, le nombre d'emplois maintenus
dans les entreprises constitue un indicateur pertinent.
Les objectifs des interventions structurelles associes l'emploi sont divers.
Par consquent, la dfinition des systmes d'indicateurs doit tenir compte
de cette diversit. Il n'existe pas d'indicateur universel des effets d'emploi
qui soit pertinent quel que soit le type d'valuation.
Les indicateurs slectionns doivent donc tre dfinis de manire trs
prcise. Par exemple, lorsque l'on parle d'emploi cr , s'agit-il de tous
les types d'emploi, ou distingue-t-on les emplois temps plein et temps
l'emploi
partiel ? Lorsque l'on parle d'emploi durable, s'agit-il d'un emploi maintenu
pendant plus de deux ans, de cinq ans ou plus ? De quelle manire sont
dfinis les groupes sociaux cibls par les interventions ? Par exemple, l'in
formation suivante : 30% des emplois crs par le projet ont bnfici
des exclus a peu d'utilit si l'on ne sait pas comment a t dfini le concept
d'exclu.
Indicateurs pour approfondir l'analyse des effets d'emploi
Au-del des indicateurs d'emploi cls d'un systme d'indicateurs, il est
souvent pertinent de recourir, dans le cadre d'une valuation, des indica
teurs ad hoc qui vont permettre d'approfondir les analyses et d'apprhender
les impacts. Ces indicateurs supplmentaires doivent tre cohrents avec
les questions auxquelles l'valuation doit rpondre, les particularits des
interventions et les caractristiques de la rgion value. Ils doivent donc
tre centrs sur :
La proportion d'emplois crs ou maintenus qui sont non qualifis,
qualifis ou hautement qualifis.
La rmunration des emplois crs ou maintenus (l'effet ne sera pas le
mme s'il s'agit de 10 emplois rmunrs au minimum lgal ou de 10
emplois de cadres suprieurs).
Les revenus personnels des destinataires.
Le profil des destinataires (mme lorsque les objectifs ne font pas
rfrence des groupes cibles, il peut tre intressant de savoir qui
bnficie de la cration d'emploi). Une valuation de la conformit au
principe de l'galit des chances est pertinente ce niveau.
La trajectoire professionnelle des destinataires : au-del du retour
l'emploi, il peut tre important de savoir, par exemple, combien de temps il
leur a fallu pour trouver un emploi, dans quelle mesure l'emploi correspond
leurs qualifications ou encore l'effet de l'intervention sur leur approche de la
recherche d'emploi.
Le type des emplois crs ou maintenus : la distinction entre emplois
temps partiel et emplois temps plein permet de faire des dductions sur la
qualit des emplois crs ou maintenus. Ces dductions doivent toutefois
tenir compte du fait que le temps partiel peut tre une prfrence pour
certains destinataires. Les diffrences nationales en matire de lgislation
du travail et de scurit sociale sont galement des dterminants cls de la
qualit de l'emploi temps plein ou temps partiel. Il peut enfin tre utile
d'examiner la proportion de destinataires qui travaillent pour des agences de
Evaluation
transversale
d'intervention
travail temporaire, le taux de syndicalisation dans les entreprises cratrices

d'emplois, et de comparer les salaires aux moyennes sectorielles et rgio
nales.
Etant donn que de nombreuses mesures cofinances par les Fonds struc
turels n'ont que des effets long terme sur l'emploi, mis part les emplois
temporaires ncessaires la mise en uvre des mesures, les indicateurs de
rsultats et les indicateurs d'impacts intermdiaires ou spcifiques peuvent
ne pas reflter les effets d'emploi. C'est particulirement vrai pour les inter
ventions en matire d'infrastructures et d'environnement productif. Pour ces
types d'interventions, les impacts autres que les impacts sur l'emploi les
plus immdiats peuvent tre convertis en effets d'emploi prvus. Par
exemple, en divisant le chiffre d'affaires rsultant de l'intervention par le
chiffre d'affaires supplmentaire moyen ncessaire pour crer un emploi
temps plein, il est possible d'estimer le taux maximum d'emplois indirecte
ment crs. Cette mthode est utile, dans une valuation ex ante, pour
quantifier les effets attendus d'une intervention. Elle peut galement tre
utile dans une valuation intermdiaire pour valuer les effets d'emplois
indirects long terme partir d'impacts intermdiaires dtermins. Les
coefficients de conversion utiliss cet effet sont dtermins en fonction
des expriences, recherches et modles conomtriques antrieurs.
Lorsque ces coefficients sont utiliss, leur base de dfinition doit tre claire
ment indique.
Lorsque des interventions dans le domaine des ressources humaines ciblent
le maintien ou l'amlioration de l'employabilit, les impacts sur l'emploi
interviennent beaucoup plus tt dans la chane de causalit. Dans ce cas, le
choix des indicateurs dpend de la dfinition d'employabilit retenue. Une
approche oprationnelle consiste associer l'employabilit au maintien de
salaris dans leur emploi ou au retour l'emploi de chmeurs.
Lorsque l'on tudie le maintien de l'emploi, il est ncessaire de tenir compte
du fait que l'emploi peut tre maintenu dans une entreprise ou un secteur
(dans le cas d'un programme de formation au niveau d'une industrie), mais
galement qu'il peut tre maintenu dans une perspective plus large
englobant plusieurs entreprises ou plusieurs secteurs (par exemple, un
emploi maintenu un niveau de qualification comparable l'extrieur de
l'entreprise ou du secteur en question). Plus la perspective du maintien de
l'emploi est large, plus son valuation est problmatique, dans la mesure o
l'volution de la situation d'un individu est plus difficile suivre l'extrieur
l'emploi
d'une entreprise ou d'un domaine d'activit. En outre, les liens entre les
niveaux de qualification, les emplois et les salaires peuvent tre trs
variables et rendre la comparaison trs difficile.
L'analyse approfondie des impacts ncessite de s'intresser aux facteurs
concurrents, c'est dire aux facteurs non matriss par le programme et qui
ont une influence, positive ou ngative, sur l'emploi ou le chmage. Pour
valuer une intervention publique, il est ncessaire de caractriser les effets
propres cette intervention. C'est pourquoi il est utile de pouvoir estimer
l'ampleur des facteurs concurrents grce des indicateurs.
Des indicateurs d'effets dfavorables sur l'emploi doivent galement tre
tablis (ex : nombre d'emplois supprims dans l'agriculture du fait de la
rationalisation des exploitations). Ces indicateurs servent alerter ou
complter des connaissances relatives aux effets nfastes sur l'emploi de
mesures pour lesquelles il n'y a pas d'objectif en termes d'emploi.

Des indicateurs peuvent galement permettre de porter un jugement en
terme d'efficience. Ils mettent alors en relation les indicateurs de rsultat ou
d'impact avec les ressources utilises, selon un ratio cot/efficacit. Ils per
mettent de fournir une information que l'on peut notamment comparer des
donnes de rfrence. Le cot moyen par emploi cr et le cot moyen par
emploi maintenu sont des exemples de ce type d'indicateurs.
Prcautions prendre lors de l'utilisation et de l'interprtation des
indicateurs
Pour valuer avec prcision les effets d'emploi, il faut prendre en compte la
temporalit des effets, afin de ne pas produire d'informations fondes sur une
sous-estimation des effets attendus (c'est dire un risque de ne pas prendre
en compte les effets qui se produiront plus tard) et / ou une surestimation
(risque de ne pas tenir compte de la dure limite des effets temporaires).
Lors des valuations intermdiaires, les indicateurs emploi sont utiles
pour dnombrer les emplois temporaires ncessaires la mise en uvre,
ainsi que les emplois qui sont des rsultats des interventions. Les indica
teurs d'impact doivent tre utiliss en tenant compte du dlai ncessaire la
production des impacts, qui dpend du type d'intervention tudi.
Un mme indicateur peut servir mesurer plusieurs niveaux d'effets diff
rents moments. Dans le cas d'une intervention visant attirer de nouvelles
entreprises dans une zone en reconversion, le nombre d'emplois crs ou
Evaluation
transversale
d'intervention
maintenus pourra comprendre : un indicateur des emplois ncessaires pour

attirer des entreprises dans la zone, un indicateur de rsultat de l'interven
tion qui mesure le nombre d'emplois des entreprises lors de leur implanta
tion et un indicateur d'impact qui dnombre les emplois directs et indirects
crs dans la zone.
Enfin, pour comparer l'information fournie par un indicateur, il convient de
veiller la pertinence de la comparaison. Ainsi, par exemple, une comparai
son sur la base de cot par emploi cr n'est pertinente que si la situation
de rfrence est analogue.
A titre d'exemple, l'Encadr 24 prsente un systme d'indicateurs pour
examiner la production d'impacts sur l'emploi gnr par la mise en place
d'un programme de formation pour les chmeurs.
Encadr 24 - Exemple d'un systme d'indicateurs
pour un programme de retour l'emploi
(lis l'intervention et ses effets)
(lis la rgion soutenue)
Nombre de
destinataires
Nombre de chmeurs de longue dure

participant dans le programme
(dont des femmes)
Taux de transition
immdiate
Nombre de destinataires qui ont,

soit trouv un emploi, soit se trouvent
dans une situation sociale plus favorable
l'issue de leur participation au
programme (dont des femmes)
Taux brut de
placement
Nombre de destinataires recruts

aprs 12 mois (dont des femmes)
Taux de
placement net
Taux brut moins l'effet d'aubaine

estim (stagiaires qui auraient t
recrut(e)s sans assistance) moins
substitution inacceptable (stagiaires
dont le recrutement a conduit un autre
individu au chmage de longue dure)
Qualit des
emplois
% des destinataires recruts

(dont des femmes) dont l'emploi
est temps plein et permanent
aprs 12 mois

dure dans la rgion
Evaluer les impacts sur /'emploi
Sources d'information utiles

De nombreuses enqutes statistiques ont t effectues au niveau
europen, national et rgional. Au niveau europen, une enqute sur la main
d'uvre est effectue sur une base annuelle dans toute l'Union. La srie
actuelle d'tudes a t lance en 1993 et une enqute est ralise chaque
anne. Sa structure ventile les donnes par sexe, ce qui permet d'intgrer
dans l'valuation la dimension de l'galit des chances. Beaucoup d'autres
donnes sont par ailleurs disponibles dans cette enqute telles que les
niveaux d'ducation, les nombres d'heures travailles par emploi, le nombre
d'enfants charge, etc.
Catgorie
Ventilation par
Chmage
Sexe
Tranche d'ge
Emplois
Sexe
Statut Professionnel
Domaine d'activit
Groupes de
demandeurs
d'emploi
Sexe
Dure du chmage
Mode de recherche d'emploi
La base de donnes rgionale Regio couvre des enqutes sur le chmage et

la main d'uvre, dont les rsultats sont ventils par rgion. Elle renferme
des statistiques sur l'emploi total, l'emploi salari, la population active, le
chmage de longue dure et la rmunration des salaris. Les donnes sont
disponibles partir de 1970, 1975 ou 1983. La priodicit est annuelle,
l'exception de certaines statistiques du chmage, qui sont mensuelles3. Les
observatoires statistiques MISEP (Mutual Information System on Employ
ment Policies) et SYSDEM (System of Documentation on Employment) ren
seignent galement sur les diffrentes situations nationales en matire
d'emploi.
Entre autres Inconvnients de l'utilisation des enqutes statistiques en
matire d'emploi, on peut rappeler les difficults d'interprtation engen
dres par la non correspondance entre le lieu de travail et le lieu de
rsidence. Par exemple, du fait des migrations pendulaires, les emplois

recenss sur une rgion ne sont pas tous occups par des rsidents de
cette rgion. Ds lors, les statistiques peuvent indiquer une volution
positive du niveau d'emploi, sans que cette volution ait profit de faon
3. L'enqute sur la main d'uvre et les donnes de la base Regio peuvent tre obtenues
auprs d'EUROSTAT
d'intervention
majoritaire la population de la zone aide, pourtant cible de l'intervention.

Ce phnomne est d'autant plus important que la zone aide est petite
(telles que les zones urbaines en dclin industriel remplissant les conditions
ncessaires pour recevoir l'aide la reconversion) ou qu'il s'agit d'une
rgion frontalire.
Des enqutes statistiques permanentes sont galement disponibles auprs
des instituts statistiques nationaux ou des administrations du travail ou de
l'emploi (statistiques du chmage, banques de donnes sur les ressources
humaines, etc.). L'inconvnient de ce type de donnes est le dlai qui existe
entre la collecte des donnes, leur traitement et leur ventuelle publication.
Des bases de donnes telles que celles compiles pour l'Initiative commu
nautaire LEADER s'avrent tout aussi utiles. L'observatoire LEADER runit
des donnes relatives aux objectifs des projets (y compris l'emploi) et des
lments concernant les situations contractuelles.
L'valuation des effets d'emploi a suscit un vif intrt au cours des
dernires annes, et les valuations en ce domaine voluent rapidement.
Pour cette raison, un inventaire des rapports de recherche existants et des
valuations antrieures reprsente un capital de connaissance de grande
valeur pour l'laboration de nouvelles valuations.
Les donnes sur l'emploi fournies par les valuations d'un cycle de pro
grammation sont d'une grande utilit pour estimer les effets prvisibles du
cycle suivant. Les estimations des effets d'emploi qui figurent dans les pro
grammes et les valuations ex ante doivent tre utilises dans le cadre des
valuations intermdiaires et ex post.
L'information produite par un systme de suivi comprend des donnes qui
sont ncessaires pour valuer les effets d'emploi. Lorsque le systme de
suivi comprend un ensemble complet d'indicateurs de ressources et de ra
lisations physiques et financires, il est possible de mesurer l'atteinte pro
gressive des objectifs oprationnels des interventions et de connatre les
ressources humaines employes pour la ralisation des interventions. Il est
important, toutefois, de ne pas oublier que le suivi ne permet, tout au plus,
qu'une focalisation sur les donnes de suivi des destinataires et candidats
destinataires (c'est--dire des demandeurs non retenus). Cela veut dire
qu'une analyse qui se concentre uniquement sur le suivi des donnes, par
exemple la construction de la situation contrefactuelle, sera fausse. En
outre, une collecte de donnes limite aux destinataires et aux demandeurs
l'emploi
sera galement fausse. Quoi qu'il en soit, les donnes de suivi peuvent
constituer une source d'information utile, dans la mesure o les systmes de
suivi de la plupart des interventions comprennent des informations sur
l'emploi. Les types d'indicateurs pouvant tre directement aliments partir
du systme de suivi sont par exemple l'emploi gnr par les entreprises
attires vers une zone cible et le nombre de participants un programme de
formation ayant obtenu une qualification.
Outils disponibles pour l'analyse des effets d'emploi
L'valuation de l'impact des interventions structurelles sur l'emploi peut tre
entreprise selon l'approche pas pas qui est dcrite dans la partie IV du
Volume. Pour une valuation approfondie des effets d'emploi, divers outils
peuvent tre utiliss. Un certain nombre d'exemples reprsentatifs des
pratiques d'valuation dans ce domaine sont prsents dans cette section.
Les outils permettant une analyse approfondie des impacts sur l'emploi se
divisent en quatre grandes catgories :
Les outils descriptifs qui permettent de traiter la fois les informations
qualitatives et quantitatives (exemple : tudes de cas incluant les tudes
longitudinales et enqutes) ;
Les mthodes comparatives qui s'appuient sur l'observation (soit entre
des situations similaires, soit entre le sujet et une situation tmoin slection
ne au hasard) ;
Les techniques analytiques qui effectuent des estimations et simulations
partir d'une situation donne (exemple : analyse structurellersiduelle) ;
Divers types de modles construits sur la base de l'analyse conomique
d'autres expriences et de simulations (exemples : coefficients multiplica
teurs, analyse entressorties et modles conomtriques).
Les outils d'analyse quantitative doivent videmment tre utiliss bon
escient, en ayant pleinement conscience de leurs limites. Leur mesure des
effets d'emploi doit tre interprte en tenant compte des facteurs qualitatifs.
Le niveau et l'ampleur de l'intervention value conditionnent le choix d'un
type d'outil susceptible de permettre l'analyse des effets d'emploi. On utilise
gnralement les modles conomtriques, tels que le modle macrocono
mique HERMIN, pour valuer les effets d'emploi des interventions de porte
globale et de grande ampleur, au niveau d'un Etat ou de trs grandes rgions.
d'intervention
Pour leur part, les coefficients multiplicateurs sont rarement utilisables pour
des situations comprenant un grand nombre de variables. Leur utilisation
devrait idalement tre limite des interventions de nature proche, avec
des effets d'emploi relativement directs (par exemple pour des groupes
similaires dans des rgions semblables ou plus petites en reconversion
industrielle ou dans des zones rurales en cours de dveloppement et de
rajustement structurel).
Les mmes limites s'appliquent aux outils d'analyse comparative : plus une
situation est complexe, plus il est difficile d'identifier des situations qui per
mettent une comparaison. Ce type d'outil est en revanche trs utile pour la
construction de situations contrefactuelles dans le cadre d'interventions
concernant les ressources humaines.
Les effets de cration / maintien d'emploi se prtent une analyse par diff
rentes approches topdown (c'est dire des techniques statistiques relati
vement sophistiques, des outils de modlisation, etc.) et bottomup (c'est
dire enqute, tudes de cas, etc.). Quant aux interventions orientes vers
l'employabilit, elles concernent une population relativement restreinte et
doivent par consquent tre traites avec une approche bottomup.
Enqutes et tudes de cas : valuation des services prodigus par les

Centres de Conseils pour les Entreprises et la Formation (RoyaumeUni)
Cette valuation a cherch apprcier le rapport cotefficacit global d'un
programme de conseil, de formation spcialise et d'information aux petites
et moyennes entreprises existantes (PME). La cration d'emploi n'tait
qu'un objectif parmi d'autres et l'valuation a galement pris en compte l'ac
croissement de la production et de la productivit, l'augmentation des
dpenses d'investissement et l'amlioration de la rentabilit. En ce qui
concerne les effets d'emploi, les objectifs de l'valuation taient tout
d'abord d'apprcier l'additionnalit et les effets de dplacement et d'explo
rer les ventuels effets d'viction.
L'valuation a utilis :
Un questionnaire postal envoy la direction gnrale de 75 Centres de
Conseils pour les Entreprises et la Formation (concernant leurs activits,
leurs cibles etc.) ;
Des entretiens personnaliss avec 20 Centres pour obtenir une informa
tion qualitative sur les apports de leur activit (exemple : dfinition de
l'emploi
stratgie, bnfices rsultant de diffrentes approches des services, etc. ) ;

Six tudes de cas principalement axes sur les bnfices pour les clients
et cherchant tablir les opinions des entreprises sur l'impact des services
sur l'emploi et la production.
Le questionnaire avait t conu pour distinguer les bnfices bruts des
bnfices nets. Suivant l'approche conventionnelle d'identification des
impacts nets sur l'emploi, l'tude a tent d'apprcier les effets bruts, les
effets d'aubaine et les effets de dplacement. Tous les rsultats des tudes
de cas ont t agrgs au niveau local et les bnfices nets locaux ont t
diffrencis de l'impact net national. Pour ce faire, il a fallu tenir compte du
phnomne de dplacement au niveau national, ainsi que des effets d'vic
tion macroconomiques dans la mesure o le gain obtenu dans une rgion
ayant un centre de conseils pouvait engendrer un dplacement dans une
autre zone.
Analyse comparative : mesure des effets sur le revenu et l'emploi de
la Formation pour l'emploi (Sude) 1995
Deux groupes exprimentaux (4 000 stagiaires ayant suivi une formation en
1992 et 6 000 en 1994), ont particip l'enqute et une grande partie des
stagiaires a t confronte aux membres d'un groupe de contrle n'ayant
reu aucune formation. Des changements de politique s'tant produits entre
la formation des deux cohortes, il a t possible d'tudier les changements
en dtail.
Les analystes ont utilis une fonction de contrle relativement sophistique
(comprenant des valeurs pour les variables de contexte et d'erreur) pour
suivre la relation entre la formation et le revenu. Les conclusions obtenues
ont montr des rsultats sensiblement diffrents entre les deux promotions :
les stagiaires de 1994 ont peru des salaires beaucoup plus levs que les
membres du groupe tmoin, alors que les stagiaires de 1992 n'ont tir aucun
avantage significatif de leur formation. Pour ceux qui ont obtenu un emploi
dans la profession pour laquelle ils avaient t forms, les salaires taient
plus levs que ceux du groupe tmoin.
Une analyse de rgression a t ralise pour mesurer les effets d'emploi.
Les conclusions ont t les suivantes : alors que le groupe tmoin estimait
d'intervention
qu'il tait de plus en plus difficile de trouver du travail, le groupe a estim par
contre que la difficult trouver du travail ne s'tait pas accrue. Par cons
quent, mme si la situation des destinataires ne s'est pas amliore dans
l'absolu, elle est relativement meilleure que celle du groupe tmoin.
Analyse statistique : valuation ex post du programme intgr
d'action pour le Limbourg utilisant l'analyse structurelle-rsiduelle
(Belgique)
L'objectif du programme valu tait de soutenir la cration d'emploi dans
de nouvelles activits, afin de compenser le dclin de l'emploi dans l'indus
trie minire. Les chargs d'valuation ont suivi les changements de l'emploi
tout au long des annes 1980 et au dbut des annes 1990, par secteur, la
fois au niveau du Limbourg et de la Belgique dans sa totalit. On a ensuite
employ l'analyse structurelle-rsiduelle pour estimer les crations d'emploi
survenues grce au programme en comparant avec la situation contrefac
tuelle, en supposant un taux de rgression des secteurs traditionnels gal
la moyenne belge.
L'exprience relativement positive de la rgion du Limbourg (niveaux levs
de croissance conomique, de cration d'entreprises et de nouveaux
emplois) a tout d'abord t impute la croissance des exportations dans
un ou deux secteurs et une croissance exceptionnelle du nombre des
petites entreprises. Les plans de retour l'emploi des anciens mineurs ont
t minutieusement examins la lumire des objectifs de l'intervention,
tout comme les instruments d'investissement choisis. Au vu des rsultats de
l'analyse, des propositions spcifiques ont t faites pour modifier ces ins
truments afin d'accrotre les effets d'emploi des interventions ultrieures.
Multiplicateurs et coefficients : valuation des dispositifs d'aide en
utilisant des coefficients standard (France)
Cette approche est utilise pour l'valuation ex post et intermdiaire des
effets d'emploi et le chmage de chaque dispositif d'aide financ par les
autorits nationales franaises. La mthode prend en compte l'effet
d'aubaine et l'effet d'attraction.
Pour chaque mesure, on calcule un coefficient d'aubaine et un coefficient
d'attraction bass sur l'acquis des valuations antrieures et sur des ajuste
ments intuitifs. Ces coefficients sont ensuite appliqus aux variations du
groupe destinataire de chaque dispositif sur une priode donne. Le but est
l'emploi
de connatre les effets de chaque dispositif sur l'emploi et le chmage. Les

effets d'emploi correspondent la diffrence entre la variation du groupe
destinataire et la proportion de ces destinataires qui auraient trouv un
travail dans tous les cas ou qui remplacent d'autres salaris (obtenue en
appliquant le coefficient de substitution).
Les calculs des effets sur le chmage prennent galement en considration
le coefficient d'attraction et la valeur absolue de la rduction du chmage
rsultant de la diffrence entre l'effet d'emploi et la proportion de nouveaux
destinataires attirs sur le march du travail par l'intervention.
Cette approche macroconomique est particulirement intressante puis
qu'elle permet de tenir compte des effets des changements cycliques en
modifiant les coefficients au fil du temps. Elle est globalement utile car elle
donne un aperu complet des dispositifs d'aide l'emploi existants et de
leurs effets nets sur l'emploi et le chmage. Toutefois, elle n'a qu'un horizon
limit et ne peut pas donner beaucoup d'informations sur la stabilit des
emplois, ni sur leur qualit en gnral. Une fois que les coefficients ont t
trouvs, la mthode est simple d'emploi, mais la dfinition pralable des
coefficients exige un grand volume d'informations.
Analyse entres-sorties : valuation d'un Programme Oprationnel
d'Objectif 1 en Italie
L'outil utilis pour cet exercice est une Matrice de Comptabilit Sociale
(MCS) qui intgre des mcanismes multiplicateurs de revenu keynsiens
dans un modle entres-sorties standard. Dans une MCS, les diffrents liens
d'interdpendance d'une conomie sont quantifis et simuls. Le
mcanisme d'impact repose sur des multiplicateurs globaux obtenus
partir d'une matrice plus grande, qui ajoute des boucles supplmentaires au
mcanisme entres-sorties. Les multiplicateurs globaux peuvent saisir les
effets produits non seulement par les relations liant les secteurs de produc
tion, mais aussi par d'autres relations liant les acteurs conomiques.
L'augmentation du revenu des facteurs (valeur ajoute) gnre par les
mcanismes d'entres-sorties se traduit par une augmentation du
revenu. Le niveau de consommation augmente alors (selon ltaux moyen
de consommation) provoquant une augmentation de la demande finale
qui imprime une nouvelle impulsion l'conomie et une nouvelle activa
tion du processus. Les effets d'emploi sont calculs sur la base d'une
d'intervention
hypothse d'volution de la productivit par secteur, associe aux chan

gements de la valeur ajoute obtenus partir du modle entres-sorties.
Le modle de rfrence pour cet exercice a t une MCS portant sur deux
rgions (Campanie et reste de l'Italie). Les tableaux rgionaux de la MCS ont
t obtenus partir du tableau entres-sorties pour l'Italie (1988) qui a t
divis partir des rsultats de deux enqutes rcentes sur l'conomie de
l'Italie mridionale : l'une sur l'achat de biens intermdiaires par des socits
de cette zone, l'autre sur le revenu et la consommation des mnages. La
MCS utilise possde un faible niveau de diffrenciation : deux facteurs (le
travail et le capital) et deux types d'acteurs conomiques (les entreprises et
les mnages). En ce qui concerne la diffrenciation sectorielle, deux
versions ont t fournies ; l'une avec quatre secteurs (agriculture, industrie,
btiments et services) et l'autre avec seize (l'industrie et les services tant
diviss en sous-secteurs). Le modle a t appliqu en deux tapes, avec
diffrentes procdures, afin de saisir sparment les effets d'offre et de
demande.
Modlisation macroconomique : le modle HERMIN en Irlande
HERMIN a t dvelopp par des quipes nationales dans quatre pays
d'Objectif 1 : l'Irlande o il a t initialement dvelopp, le Portugal, la Grce
et l'Espagne. Le but de ce projet est de crer un systme de modles cono
mtriques harmoniss pour l'valuation de la performance conomique
moyen terme des conomies europennes.
Pour un modle conomtrique, la version irlandaise d'HERMIN est relative
ment petite avec 50 quations, environ 150 variables et 60 variables
exognes. La version standard d'HERMIN comprend quatre secteurs :
marchand (secteur industriel), non marchand (entreprises de service,
btiment, services publics), agriculture et secteur public. Pour les deux prin
cipaux secteurs de production (marchand et non marchand), on utilise des
fonctions simples de production. Le secteur agricole n'a pas t modlis
en raison de facteurs exognes lis la PAC qui influencent le comporte
ment d'ensemble des agriculteurs. Le secteur public est pilot par les poli
tiques. Ses dpenses et le volume des recettes fiscales se dfinissent
comme des instruments de la politique, soumis aux contraintes budgtaires
et aux capacits d'emprunt.
La fonction de consommation du modle (base sur les mcanismes multi
plicateurs keynsiens) ne joue pas un rle exclusif dans le pilotage de ce
l'emploi
modle comme c'est le cas des modles axs sur les effets de demande.
Dans ce cas, on considre galement que les caractristiques de l'offre du
secteur industriel ont une influence. A partir de la fonction de production, les
facteurs de demande sont tablis pour les deux secteurs de production, sur
la base d'une diminution des cots en fonction de niveaux donns de pro
duction. Les niveaux de l'emploi et de l'investissement dpendent alors du
niveau de la production tire par la demande dans chaque secteur. Dans le
secteur marchand, la demande est tire par la demande mondiale et la com
ptitivit. Dans le secteur non marchand, par contre, la production relle est
pilote par une mesure pondre de la demande finale.
L'offre de travail est modlise en prenant en compte les flux migratoires qui
sont assez significatifs en Irlande. Le taux de participation de la main
d'uvre est influenc par les migrations, le chmage (l'effet de travailleur
dcourag) et le taux de remplacement (c'estdire la fraction des revenus
moyens remplace par les versements d'aide sociale).
R s u m des points essentiels
La cration d'effets d'emploi est un objectif des interventions dans tous les
domaines, et la capacit de crer ou de maintenir des emplois est un facteur
important de la slection des projets aider. Les interventions recherchent
galement un deuxime type d'effet d'emploi dans le secteur des res
sources humaines, et en premier lieu dans le domaine de la formation. Dans
ce cas, l'effet d'emploi est associ au maintien ou l'amlioration de l'em
ployabilit de salaris ou de chmeurs.
Outre la diffrence de base entre les effets de cration ou de maintien
d'emploi et d'employabilit, les effets d'emploi sont trs varis. Dans la
chane de causalit, les effets d'emploi, apparaissant tant au niveau des
rsultats que des impacts, peuvent tre temporaires ou plus long terme,
directs ou indirects. L'agrgation des diffrents types d'effets d'emploi est
par consquent souvent impossible.
Pour l'estimation des effets nets sur d'emploi, les lments constituant les
effets d'aubaine, de dplacement et de substitution sont diffrents si l'on
value les effets sur la cration / le maintien d'emploi ou sur l'employabilit.
De nombreuses expriences ont t ralises dans ce domaine de l'valua
tion, et une vaste gamme d'outils de bas en haut et de haut en bas a
t utilise avec succs pour valuer les effets d'emploi.
d'intervention
03 Pour en savoir plus...

Bradley J., Whelan K., Wright J. (1993), Stabilization and Growth in the EC
Periphery, Aldershot: Avebury.
DoE. (1988), An Evaluation of the Urban Development Grant Programme,
London: HMSO.
Gauti J. et al. (1994), Les subventions l'emploi - Analyse et expriences
europennes, Cahier travail et emploi, La Documentation Franaise.
Issaev B., Njikamp P., Rietveld P., Snickars F. (1982), Multiregional
Modelling: Practice and Prospects, North Holland.
Economie
King J. (1990), Regional Selective Assistance 1985-88: An Evaluation by the

Department of Trade and Industry, the Industry Department for Scotland and
the Welsh Office Industry Department, London: HMSO.
Manski CF., Garfinkel I. (eds.) (1992), Evaluating Welfare and Social Programmes, Harvard University Press.
Njikamp P., Rietveld P., Snickars F. (1986), Handbook of Regional and Urban
Economics, North Holland.
OECD. (1991 ), Evaluating Labour Market and Social Programmes - The state
of a complex art, Paris: OECD.
OECD. (1998), Employment Outlook, Paris: OECD.
Schmid G., O'Reilly C , Schman K. (eds) (1996), International Handbook of
Labour Market Economics, Cheltenham: Edward Elgar.
Storey D.J. (1990), "Evaluation of Policies and Measures to Create Local
Employment", Urban Studies, vol.27, n5.
Evaluer l'impact des interventions structurelles sur

l'galit des chances
Pourquoi valuer les impacts sur l'galit des chances ?
Le Conseil europen a dclar plusieurs reprises ( Essen, Cannes et
Madrid) que la promotion de l'galit des chances entre les femmes et les
hommes constituait, avec la lutte contre le chmage, une tche fondamen
tale de l'Union europenne et des Etats membres. Des ingalits flagrantes
subsistent entre les femmes et les hommes dans tous les domaines. En
matire de participation des femmes au march de travail, le taux d'activit
des femmes est plus bas que celui des hommes dans tous les Etats
membres de l'Union europenne : en 1996, ces taux pour les femmes de
plus de 15 ans varient entre 34,6% et 58,7% (Eurostat). L'cart de salaire
reste important dans tous les pays. Enfin les femmes sont gnralement
plus touches par le chmage que les hommes tous les ges, en particu
lier pour ce qui est du chmage de longue dure. De plus, la plupart des
actions des politiques structurelles ont des effets diffrencis, reproduisant
les discriminations entre les femmes et les hommes.
La promotion de la politique d'galit des chances au niveau europen
n'entend pas limiter les efforts l'introduction de mesures spcifiques en
faveur des femmes, mais vise donner une dimension dans l'ensemble des
actions et des politiques structurelles (mainstreaming). Le mainstreaming
suppose d'influencer les stratgies des politiques des Fonds structurels
pour qu'elles intgrent la dimension galit des chances entre les
femmes et les hommes en examinant systmatiquement leurs situations
respectives. Par consquent, les politiques doivent tre dfinies en tenant
compte de la diversit des besoins, y compris les besoins des divers
groupes d'hommes et de femmes au sein de la socit.
Le Quatrime programme d'action communautaire moyen terme sur
l'galit des chances (19962000) >> a pour objectif d'intgrer l'galit des
chances dans l'laboration, la mise en uvre et le suivi de toutes les poli
tiques et actions de l'Union europenne et des Etats membres, dans le
respect de leurs comptences respectives.
d'intervention
Dans le domaine des Fonds structurels, l'vnement le plus marquant a t

la rvision du rglement-cadre en 1993 dans lequel l'galit des chances
figure de faon explicite, mettant en particulier l'accent sur la lutte contre le
chmage des femmes. En 1996, le Conseil a pris une Rsolution qui
raffirme sa volont politique en la matire. Dans les dcisions d'approba
tion des programmes, une clause standard a t spcifiquement introduite
pour assurer le respect de cette nouvelle obligation.
Plusieurs exemples de bonnes pratiques couvrant un large chantillon de
mesures sont issus des rsultats fructueux de l'exprience NOW 1991-94
(New Opportunities for Women). NOW, la premire Initiative communautaire
spcifique pour les femmes (axe sur la promotion de l'galit des chances
dans l'emploi), a ouvert de nouvelles voies pour une meilleure prise en
compte des femmes par l'ensemble des Fonds structurels.
A partir de la nouvelle priode de programmation des Fonds structurels
(1994-1999), le principe de l'galit des chances est considr comme un
objectif des politiques structurelles dans leur globalit. On est donc pass
d'une conception passive (respect du principe) une conception active
(objectif des politiques structurelles dans leur globalit) de l'galit des
chances.
Aujourd'hui, l'galit des chances n'est plus considre comme tant le
problme exclusif des femmes. On reconnat la promotion de l'galit des
chances sa capacit de contribuer au dveloppement socio-conomique en
gnral et au rquilibrage rgional en particulier.
Il s'agit d'apprcier, d'une part, l'impact potentiel ou l'impact produit sur les
situations respectives des femmes et des hommes, et d'autre part, la prise
en compte de l'galit dans les processus et mcanismes de programma
tion, mise en uvre, suivi et valuation. Les effets produits par les Fonds
structurels sur les situations respectives des femmes et des hommes
doivent tre analyss afin de fournir des informations relatives la gestion et
aux rsultats des programmes structurels en termes d'galit des chances :
analyser la place des femmes dans les interventions des Fonds, mesurer les
volutions positives, mettre en vidence les discriminations, etc. Ainsi il sera
possible d'orienter et de rorienter la dfinition et la mise en uvre des poli
tiques structurelles en cours et venir.
Evaluer les impacts sur l'galit
des chances
La ncessit d'apprcier l'application du principe d'galit des

chances.
L'valuation peut jouer un rle fondamental d'outil de mainstreaming pour la
prise en compte du principe d'galit des chances dans les politiques struc
turelles et peut en particulier permettre de renforcer les effets de synergie
pour l'ensemble des actions bnficiant du concours des Fonds structurels.
Pour ce faire, il est ncessaire de mettre en uvre des techniques qui
tiennent compte de la spcificit de la question. Grce la dfinition de
critres d'valuation relatifs au thme de l'galit des chances et des indica
teurs correspondants, l'valuation va permettre d'examiner systmatique
ment ces actions et politiques et de prendre en considration leurs effets
directs ou indirects en terme d'galit des chances.
Les difficults mthodologiques sont moindres lorsqu'il s'agit d'apprcier
l'impact des actions spcifiques en faveur des femmes (car elles sont, dans
ce cas, les destinataires directs) que lorsqu'il s'agit d'apprcier transversa
lement les effets des programmes des Fonds structurels en terme d'galit
des chances. Les interventions susceptibles de produire des effets directs
sur les femmes sont celles axes sur le dveloppement des ressources
humaines. D'autres types d'interventions concernant les infrastructures ou
l'environnement productif n'incluent pas ncessairement l'galit des
chances parmi leurs objectifs explicites. Leurs effets ont donc plus de
chance d'tre indirects.
Dans le contexte de l'valuation des Fonds structurels, quelques initiatives
ponctuelles ont t prises pour valuer le principe d'galit des chances
mais cette exprience est limite quelques cas d'valuations ex ante et
intermdiaires. L'exprience d'valuation ex post dans le cadre des Fonds
structurels est encore embryonnaire. L'Initiative communautaire NOW qui a
fait l'objet d'une valuation ex post est ellemme trop spcifique pour servir
de modle dans le cadre des programmes oprationnels classiques.
Dfinir c e que l'on veut mesurer
Il n'est pas possible de dfinir ex nihilo ce que l'valuation doit apprcier
dans la mesure o la stratgie choisie pour promouvoir l'galit des chances
dpend largement des contextes nationaux, voire rgionaux. En effet, la
mise en uvre du principe d'galit des chances varie considrablement
d'un Etat membre un autre. Pour certains pays (France, Portugal), l'appli
cation du principe d'galit des chances apparat comme un objectif gnral
Evaluation
transversale
d'intervention
mais sans indication sur la stratgie ou sur les actions mettre en uvre. En
Espagne et Allemagne l'galit des chances est plutt aborde dans le
cadre d'actions spcifiques et renforce l'aide des mesures gnrales. En
Finlande, le principe est intgr dans toutes les composantes des pro
grammes d'une manire visible et complte.
Analyser le processus de programmation des interventions
La programmation des interventions structurelles tant le rsultat de
dcisions prises en partenariat (UE, Etat, Rgion, localits), on doit examiner
s'il y a eu, tous les niveaux, une volont politique suffisante de prendre en
compte les intrts des femmes et de rpondre leurs besoins spcifiques.
Une forte sensibilisation la question reste indispensable pour que soient
conues et mises en uvre des rponses adaptes (par exemple, grce la
mise en place d'actions d'information et de formation des acteurs cl). Le
degr de sensibilit n'est pas uniquement li au taux de reprsentation des
femmes dans les instances de dcision mme si la prsence de porte-parole
y contribue.
Exemple : Une formation dans des mtiers traditionnellement masculins
Les actions de formation des femmes dans des mtiers traditionnellement masculins
connaissent de nombreux checs. Il n'y a pas ncessairement d'embauch de
femmes par les entreprises des secteurs masculins concerns ou dans les postes
pour lesquels elles avaient t formes. Parfois, les femmes sont recrutes mais
abandonnent ces postes sous la pression d'un environnement professionnel exclusi
vement masculin. Une valuation ex ante peut permettre de limiter ces checs en pro
grammant, en complment de la mesure de formation, des actions du type : sensibili
sation des entreprises, promotion de l'embauche des femmes, suivi et
accompagnement des femmes aprs l'embauche.
Les exemples qui figurent dans ce texte s'inspirent de situations relles. Ils
s'en loignent parfois de faon importante pour tre le plus synthtique
possible et pour illustrer de faon plus efficace l'ide ou le concept corres
pondant.
A ce niveau d'analyse, on se situe en amont de la ralisation du programme
et donc de la production des effets sur l'galit des chances. L'valuateur
devra examiner les conditions dans lesquelles ont t labors les pro
grammes afin de vrifier :
si les objectifs affichs prennent en compte les intrts et les besoins sp
cifiques des femmes ;
des chances
si des groupes de femmes et / ou des instances charges de l'galit des

chances au niveau national et rgional ont t impliqus dans le processus
de programmation ;
si la stratgie et le choix des modalits d'intervention se sont appuys sur
une analyse pralable des besoins des femmes ainsi que des potentialits ;
si les ressources alloues correspondent aux objectifs fixs ;
quelle proportion des interventions programmes peut faciliter l'atteinte
des objectifs prioritaires de l'galit des chances ;
si les documents de programmation (CCA, DOCUP, etc.) fournissent des
critres qualitatifs et quantitatifs ainsi que des indicateurs prcis pour
apprcier la prise en compte de l'galit des chances ;
si certaines mesures ne sont pas susceptibles d'aller rencontre du
principe de l'galit des chances (risque d'aggravation des dsquilibres
existants entre les hommes et les femmes) ;
si le DOCUP est cohrent par rapport aux politiques nationales et rgio
nales d'galit des chances ;
quelle est la proportion de femmes dans les organes de dcision, etc.
Analyser les conditions de mise en uvre des interventions
La perception des intrts des femmes n'est pas toujours la mme lors de la
programmation des interventions et lors de leur mise en uvre. Il est indis
pensable d'analyser les conditions de mise en uvre afin de comprendre en
quoi ils permettent d'expliquer l'atteinte ou non des objectifs de l'galit des
chances.
Exemple : L'organisation d'une formation pour les chmeurs de longue dure

Supposons que le systme de suivi des mesures de formation ait rvl que le taux
d'abandon des stagiaires fminines est important. Une valuation intermdiaire aurait
permis d'examiner les causes d'abandon, par exemple : motifs familiaux (hostilit du
conjoint), manque d'infrastructures (pas d'accueil pour les enfants, pas de moyens de
transport, prise en charge d'un parent g ou malade) et raisons financires (le
montant de l'indemnit est insuffisant pour couvrir les frais de garde d'enfants ). Sur
la base de telles conclusions il devient possible aux gestionnaires de la mesure de
prendre des dispositions correctrices adquates.
'valuation
transversale
d'Intervention
Pour s'assurer de la prise en compte du principe d'galit des chances dans

la mise en uvre des interventions structurelles, l'valuateur devra vrifier :
si la slection des projets a intgr des critres d'application du principe
d'galit des chances au moment de l'attribution des lignes budgtaires ;
si des groupes de femmes et / ou des instances charges de l'galit des
chances sont reprsentes et actives dans les comits de suivi ;
si les personnes responsables de la gestion du programme sont sensibles
aux problmatiques de l'galit des chances (campagne de sensibilisation
sur la question) ;
si une discrimination positive a t mise en uvre pour favoriser la partici
pation des femmes en tant qu'initiatrices de projets (par exemple, s'il y a des
ONG de femmes parmi les promoteurs) ;
si les systmes de suivi comprennent des collectes de donnes diffren
cies, c'est--dire des donnes ventiles par genre ;
si les interventions ont t amliores en cours de mise en uvre pour
mieux rpondre aux besoins des femmes ; etc.
0
Faire ressortir les effets des interventions sur l'galit des chances
La principale difficult mthodologique que l'on rencontre comme pour les

autres valuations thmatiques rside dans le fait qu'il s'agit d'valuer deux
priorits concomitantes : la cohsion conomique et sociale, d'une part, et
l'galit des chances, d'autre part. Cette deuxime priorit est rarement
formule explicitement dans le cadre des objectifs intermdiaires des inter
ventions structurelles sauf lorsqu'il s'agit d'axes ou de mesures spcifiques.
D'ailleurs, les interventions structurelles sont peu souvent, mis part celles
du FSE, destines aux personnes en tant que destinataires directs. Les
effets des interventions structurelles sont le plus souvent indirects et long
terme, si bien que leur apprciation est complexe.
L'application du principe d'galit des chances toutes les interventions est
un objectif transversal qui ne peut tre analys immdiatement dans sa
globalit. Il convient donc de dcomposer les effets en sous-ensembles
cohrents pour en faciliter l'valuation. La typologie ci-dessous a pour objet
de procurer une grille analytique qui regroupe les effets possibles dans le
contexte particulier des Fonds structurels selon quatre types d'impacts en
terme :
d'amlioration du cadre de vie afin de mieux rpondre aux besoins des
femmes ;
d'accessibilit accrue des femmes au march du travail ;
des chances
d'amlioration de la situation des femmes dans l'emploi ;

de promotion de la participation des femmes la cration d'activits
socioconomiques.
Les diffrents objectifs intermdiaires sont lis entre eux (voir les flches en
pointills dans l'Encadr 25). En effet, si on russit amliorer le cadre de vie
pour qu'il rponde mieux aux besoins des femmes, on facilitera d'autant les
trois autres types d'impacts recherchs. De mme les amliorations
apportes la situation des femmes dans leur emploi peuvent amliorer les
conditions d'accs au march du travail. C'est pourquoi dans l'arbre d'ob
jectifs de l'Encadr 25 nous avons fait figurer des liens entre objectifs inter
mdiaires.
Encadr 25 Arbre d'objectifs des Fonds structurels en matire

d'galit des chances
Objectifs globaux
Cadre de vie rpondant

aux besoins de femmes
Dveloppement
quilibr pour
les hommes et
les femmes
Y
Accs des femmes
au march du travail
Restaurer l'employabilit
Adapter l'offre d'emploi
Amliorer les comptences
' Situation des femmes * 1

dans l'emploi
Participation des femmes
socio conomiques
Meilleur accs aux services de proximit

Meilleur accs aux soins mdicaux
spcialiss
Adaptation des systmes de transport
<-'
Rduire la sgrgation professionnelle

Amliorer les conditions de travail
Favoriser la cration d'entreprises
ou d'activits indpendantes par
les femmes
Afin de faciliter le travail des quipes d'valuation, un certain nombre

d'exemples d'effets sont classs selon la typologie tablie cidessus et sont
prsents dans l'encadr ciaprs.
d'intervention
Encadr 26 Exemples d'effets par catgories d'impacts

Exemples d'effets
Cadre de vie
rpondant au besoin
des femmes
allgement des contraintes lies la responsabilit d'enfants en bas ge ou

d'autres personnes charge de faon temporaire (pendant une recherche
d'emploi...) ou durable (s'investir dans un projet social ou professionnel moyen
terme...)
> meilleure intgration et renforcement de la capacit d'initiative des femmes en
milieu rural grce des systmes de transport en commun plus adapts
' meilleure conciliation des contraintes familiales et professionnelles
1
plus grande aide pour grer les problmes sociaux en particulier par un
accroissement des services sociaux (planning familial de qualit, soutien aux
victimes de violences familiales, de harclement sexuel, etc.)
promotion de l'galit entre femmes et hommes pour le cong parental
plus grande flexibilit des conditions de travail
Accs des femmes

au march du travail
moindre sgrgation femmes / hommes sectorielle et verticale des filires

d'ducation et de formation
amlioration des perspectives d'emploi des jeunes filles (orientation vers des
mtiers et des professions d'avenir)
employabilit accrue des femmes
meilleure adaptation des emplois proposs par rapport aux attentes fminines
ajustement du contenu des actions de formation aux attentes particulires des
femmes (domaines de formation porteurs pour leur future carrire
professionnelle) et des modalits pratiques leurs contraintes spcifiques telle
que l'emploi du temps
aide personnalise pour la recherche d'emploi pour les personnes au chmage
notamment pour apporter un soutien plus adapt aux femmes (cherchant
rintgrer le march du travail aux femmes rentrantes , etc.)
mise en place d'alternatives professionnelles pour les femmes qui travaillent
dans l'conomie souterraine, etc.
Situation des femmes

dans l'emploi
rduction de la sgrgation horizontale sectorielle par un accroissement de la

prsence de femmes dans l'ensemble des secteurs conomiques
meilleure adquation entre l'emploi et la qualification
renforcement de la proportion de femmes aux chelons hirarchiques les plus
levs
meilleur accs la formation continue, etc.
Participation des
femmes dans la
cration d'activits
nouvelles
meilleure reconnaissance et valorisation du rle des femmes dans la cration

d'activits
amlioration de l'accs des femmes aux services et aux infrastructures d'appui
la cration d'entreprises, aux dispositifs financiers et aux dispositifs et aux
infrastructures pour le dveloppement des entreprises
plus grande participation des femmes aux initiatives de dveloppement local et
aux nouveaux gisements d'emploi, etc.
Il est galement possible que les interventions, quel que soit leur succs ou
leur efficacit, crent des effets dfavorables ou des effets pervers. Il est
important que l'valuateur analyse la sous ou surreprsentation des
femmes dans certaines interventions et conceptualise les rsultats. Par
exemple, les femmes peuvent tre surreprsentes dans des mesures qui
ne conduisent pas directement ou immdiatement un emploi comme par
des chances
exemple les stages de formation, (par opposition aux mesures d'aides au

chmage ou favorisant l'apprentissage). L'importance d'inscrire les rsultats
dans un contexte socioconomique est illustre par la question du temps
partiel. En effet le temps partiel peut tre considr comme une situation
positive ou ngative selon qu'il s'agit d'un choix ou d'une obligation et l'on
doit galement prendre en compte les conditions de travail, la prcarit de
l'emploi et le niveau de rmunration qui sont frquemment moins favo
rables. Lorsque les programmes touchent des secteurs traditionnellement
masculins, l'valuateur doit non seulement mesurer la participation des
femmes dans les mesures mais galement identifier les changements
ncessaires pour promouvoir par la suite un meilleur quilibre entre hommes
et femmes.
Exemples d'impacts par d o m a i n e d'action
L'galit des chances devrait tre intgre dans les documents de program
mation selon une double approche : une approche spcifique prvoyant des
mesures explicitement en faveur des femmes et une approche transversale
qui considre l'galit des chances comme une orientation gnrale appli
cable l'ensemble des mesures proposes. Le plus souvent dans ce dernier
cas, la promotion de l'galit des chances est simplement rappele comme
un objectif complmentaire des mesures gnrales. Vu l'absence de traduc
tion oprationnelle de cette priorit ou son caractre marginal, il est indis
pensable d'examiner comment les mesures gnrales inscrites dans les
programmes classiques des Fonds structurels peuvent potentiellement
contribuer l'galit des chances.
Infrastructures de base et quipements sociaux
Parmi les interventions dans le domaine des infrastructures, celles qui
semblent Intgrer une orientation d'galit des chances concernent les
infrastructures de base et les quipements caractre social :
Evaluation
transversale
des impacts
sur les priorits
d'intervention
Exemple : Equipements pour l'accueil des enfants (NOW) au Portugal

Un jardin d'enfants a t install en plein cur de la zone industrielle d'Evora
(Portugal) proximit d'un centre deformation professionnelle. Les services d'accueil
des enfants n'ont pas seulement t ouverts aux femmes au chmage qui souhaitent
suivre des formations, mais aussi au personnel des entreprises de la zone industrielle.
Le jardin a t pourvu d'une aire de jeux et d'une piscine en plein air pour contribuer
humaniser le cadre de vie dans un contexte industriel et essentiellement masculin. Le
centre de formation jusqu'alors frquent par des hommes proposait des formations
traditionnellement masculines (charpentier, menuisier...). 40% des participants sont
aujourd'hui des femmes. Ce centre permet ainsi certaines d'entre elles de trouver un
emploi et d'autres de trouver un emploi moins prcaire. Les services d'accueil des
enfants ont permis l'allgement des contraintes familiales des femmes qui ont ainsi eu
la possibilit de s'investir dans leur projet professionnel moyen terme.
Effets
Ralisations
Accs
accrue
Equipements
d'accueil
des enfants
Utilisation des
quipements
pour allger
ies contraintes
familiales
'
Plus de
disponibilit
Qualifications
amliores
et/ou
diversifies
/
/
Accs au
march d u
travail accru
Situation dans
l'emploi
amliore
Projets
russis
>
Participation
activits
conomiques
accrue
Priorit
L~
Ressources humaines
Le p r i n c i p e de l'galit d e s c h a n c e s est intgr d ' u n e f a o n p l u s visible
lorsqu'il s'agit d e s mesures concernant les ressources humaines. Les effets
les plus significatifs sont : les activits de conseil, d'orientation, d e suivi ; les
actions d e f o r m a t i o n et d'insertion professionnelle ; les interventions sur les
systmes d ' d u c a t i o n , de f o r m a t i o n , d ' e m p l o i , et enfin les interventions sur
l'organisation d u travail et les m o d e s de p r o d u c t i o n .
Evaluer
les impacts
sur l'galit
des
chances
Exemple : Mise en place de mesures de formation, d'accompagnement et de

parcours d'insertion individualis (Portugal)
Les stagiaires ayant des enfants ou des adultes charge ont pu accder en priorit
aux actions de formation et recevoir une allocation complmentaire. Cela a permis
aux femmes mais aussi aux hommes de mieux concilier leur vie familiale et profes
sionnelle. La formation a aussi dvelopp des mthodologies et des stratgies spci
fiques destines aux femmes dans le cadre des mesures d'accompagnement et des
parcours d'insertion (conseil individuel, techniques de recherche d'emploi, planifica
tion de carrire...). Une participation plus quilibre des hommes et des femmes
tous les secteurs d'activit a t possible.
| Ralisations
J>
Allocation
financire pour
les personnes
ayant des enfants
ou d'autres
personnes
charge
^ >
Mieux concilier
la vie familiale et
professionnelle
Accs
la formation
facilit
Participation plus
quilibre tous
les secteurs
d'activits
Dispositif
d'accompagnement
Parcours
d'insertion
Individualiss
Qualifications
amliores
et/ou
diversifies
Intormation
Conseil
Appui continu
Qualit des
systmes de
formation
Situation
dans
l'emploi
Accs
l'emploi
Cration
d'activits
conomiques
L ^
Les actions relatives l'adaptation des activits productives, au dveloppe
ment local et rgional sont susceptibles d'avoir un impact sur la promotion
de l'galit des chances.
d'intervention
Exemple : cration d'un centre europen d'entreprise et d'innovation (Italie)

Un centre de dveloppement d'entreprises innovantes (le BIC) a t cr dans la
rgion des Pouilles. Ce centre a labor une mthodologie de marketing international.
La division marketing de BIC Puglia Sprind tait constitue principalement de
femmes. La recherche d'opportunits d'affaires a t un travail qui s'est fond essen
tiellement sur les capacits des femmes de l'quipe crer chez les interlocuteurs
curiosit et intrt pour les produits nouveaux. Les produits locaux des P.M.E. ont t
introduits dans les chanes de distribution internationales et les entreprises ont accru
leur comptitivit l'chelle mondiale. Cela a favoris l'implantation de nouvelles
P.M.E. dans la rgion spcialises dans la production de produits agricoles. Les
P.M.E. ont cr des emplois dont la plupart sont occups par des femmes agriculteurs
qui habitent dans les villages des alentours.
Ralisations
Cration d'un
centre de
dveloppement
d'entreprises
Innovantes en
milieu rural
Effets
Implantation
d'autres PME
Rduction d e
l'isolement d e s
femmes rurales
Cration
d'activits
locales
Russite des
projets
de cration
d'entreprise
ports par
les femmes
>
Accs
l'emploi
>
Cration
d'activits
conomiques
Priorit
Dfinir e t slectionner les indicateurs

Une tude plus approfondie des indicateurs et d'autres exemples concer
nant le principe de l'galit des chances fait l'objet du Volume 2 de la Collec
tion MEAMS. Le prsent volume inclut cependant une fiche d'information
consacre la priorit de l'galit des chances.
Afin de rester le plus oprationnel possible, on propose d'utiliser principale
ment les indicateurs qui sont limits par construction ce qui est quanti
fiable. Pourtant, les informations qualitatives ne doivent pas tre ngliges
compte tenu du caractre complexe et innovant de l'objectif de l'galit des
chances.
Evaluer les Impacts sur l'galit
des chances
Les impacts des interventions dans ce domaine sont produits par une accu
mulation de rsultats intermdiaires provenant d'une srie de ralisations
htrognes. Les indicateurs de programme doivent apporter des infor
mations significatives sur toutes les tapes du processus qui va de l'alloca
tion des ressources jusqu' la production des impacts.
On doit slectionner de faon pragmatique un petit nombre d'indicateurs
ad-hoc sur le thme de l'galit des chances. Il ne faut pas imposer une
collecte d'information inutilement coteuse, ni crer de surcharge d'infor
mation pour les dcideurs :
Au niveau europen, le besoin prioritaire est d'apprcier et d'clairer les
consquences des politiques structurelles par rapport la prise en compte
de l'galit des chances. La Commission europenne a l'obligation de
rendre compte aux institutions europennes du respect et de l'application
du principe de l'galit des chances dans l'utilisation des Fonds structurels.
Au niveau du programme, le Comit de suivi a besoin de connatre la
consommation des ressources et de suivre les ralisations. Lorsqu'il s'agit
d'un programme dont la prise en compte du principe ne figure pas parmi les
objectifs explicites, le Comit de suivi doit s'informer sur l'impact diffrenci
du programme par genre.
Au niveau des projets, les gestionnaires doivent suivre en dtail leur
consommation de ressources, leurs ralisations et les ractions des diff
rents groupes de destinataires et en particulier des femmes.
Les femmes ne reprsentent pas un groupe homogne mais constituent la
moiti de la population concerne par les interventions des Fonds structu
rels. Cette vidence devrait conduire croiser systmatiquement la variable
genre avec l'ensemble des indicateurs utiliss. Un systme d'indicateurs
sensibles aux questions d'galit des chances ncessite d'intgrer troi
tement les types de destinataires et les types de mesures. Cela permet, par
exemple, d'valuer si les femmes bnficient dans la mme proportion que
les hommes de mesures ayant un effet direct sur l'emploi (comme les aides
l'embauche, les aides l'emploi) ou si, au contraire, elles bnficient unique
ment des mesures de formation.
Les indicateurs de contexte, en fournissant un tat initial (baseline), servent
montrer quelle proportion de la population vise a t atteinte, notamment
des femmes ou dans quelle mesure on a satisfait les besoins des femmes de
la rgion. Un indicateur de programme (nombre de femmes destinataires du
programme qui ont gard leur emploi aprs avoir eu des enfants) peut tre
d'intervention
combin un indicateur de contexte (pourcentage rgional de femmes de

25 35 ans ayant interrompu leur carrire aprs avoir eu des enfants) pour
donner une ide de la contribution du programme la rsolution des
problmes des femmes dans une rgion.
Il n'existe pas de rgle universelle pour construire un systme d'indicateurs
pour l'application du principe d'galit des chances. Il convient de vrifier
que les indicateurs existants sont d'une qualit acceptable. Les dfauts de
qualit les plus frquents sont :
l'absence de liens entre les indicateurs et les objectifs viss (risque
important pour l'galit des chances lorsque les objectifs ne sont pas expli
cites) ;
la difficult d'utilisation de l'indicateur faute de disposer de donnes de
rfrence pour la reconstitution de la situation contrefactuelle ;
l'absence de subdivision hommes-femmes des indicateurs chaque fois
qu'ils portent sur des individus.
Un systme d'indicateurs pragmatiques sur la prise en compte du principe
d'galit des chances limite la collecte et la transmission des informations
en fonction de leur pertinence pour chaque niveau de gestion.
Dans le cas du FSE, les indicateurs se prsentent le plus souvent comme le
montre l'encadr ci-dessous. Lorsque le principe de mainstreaming est
appliqu, les indicateurs sont prsents comme dans le tableau de
l'Encadr 27.
Encadr 27 - Exemple d'application du principe du mainstreaming:

Mesure XX :
Nombre de bnficiaires :
total
par age
par sex
par niveau de qualification
L'application du principe de mainstreaming suppose la prsentation suivante :
% Hommes
1. Total
2. Par ge
3. Par niveau de qualification
% Femmes
des chances
o Slectionner et interprter les indicateurs pour un programme donn

A la lecture des documents de programmation, on constate une absence
quasi systmatique d'indicateurs prcis sur la prise en compte du principe
d'galit des chances. Concernant la participation des femmes dans les
CCA et dans les DOCUP, les indicateurs sont trs gnraux et trs limits.
Dans le meilleur des cas, les femmes sont rpertories comme une
catgorie de destinataires part, avec lesjeunes, les handicaps, etc.
A l'inverse, certains observatoires spcialiss proposent des indicateurs de
plus en plus sophistiqus. Ceux-ci sont parfois trop gnraux pour pouvoir
tre utiliss dans le cadre de l'valuation d'un programme structurel qui n'a
pas pour objectif dominant l'galit des chances ; c'est le cas par exemple,
de l'Indice de Dissimilarit qui sert analyser le degr de sgrgation
selon les sexes par secteur d'activit ou de profession.
Ainsi, l'quipe d'valuation sera le plus souvent amene proposer ex nihilo
une liste d'indicateurs pour intgrer la dimension galit des chances dans
l'valuation globale d'un programme. Pourtant, il est trop ambitieux de
demander aux valuateurs de dfinir des indicateurs spcifiques la
promotion de l'galit des chances dans le cadre de travaux d'valuation de
programme. Il faut donc procder un arbitrage et se satisfaire d'indicateurs
relativement bruts et approximatifs pour apprcier la dimension galit des
chances. La slection de ces indicateurs doit permettre une analyse solide
du contexte sur la base d'un diagnostic des problmes que rencontrent les
femmes, de l'identification des potentialits dvelopper dans le contexte
national (ou rgional) ou du reprage des enjeux les plus importants dans la
rgion pour la promotion des femmes.
L'interprtation des informations fournies par les indicateurs n'est pas
toujours aise. Il est indispensable de se servir de variables de contrle
portant sur le contexte local, rgional ou national, en particulier pour vrifier
si l'effet produit est effectivement bnfique pour les femmes. Par exemple,
l'augmentation du travail temps partiel pour les femmes pourrait s'expli
quer par le manque d'autres alternatives professionnelles. D'autre part, le
temps partiel peut galement tre rvlateur d'un manque d'infrastructures
et de services d'accueil.
A titre d'exemple, le tableau ci-aprs prsente un systme d'indicateurs qui
peut tre utilis pour connatre dans quelle mesure la dimension galit des
chances a t prise en compte dans un programme d'amlioration des
centres sociaux.
d'intervention
Encadr 28 Exemple d'un systme d'indicateurs pour

l'amlioration de centres sociaux
(concernant la zone assiste)
(concernant l'intervention et ses effets)
Installations
Surface en m" de btiments achets,

construits ou rhabilits (dont surface
consacre pour rpondre aux besoins
des femmes, c'estdire, crches, etc.
Capacit

(dont nombre maximum de femmes
utilisatrices)
Nombre maximum
d'utilisateurs de crches
dans la rgion
Satisfaction
% d'utilisateurs satisfaits ou trs

satisfaits avec le projet
(dont femmes/hommes)
Emploi
Nombre d'utilisateurs ayant un emploi

permanent (dont femmes/hommes)
% de salaris de la rgion qui utilisent

les services de la crche
Les s o u r c e s d ' i n f o r m a t i o n disponibles

Les donnes disponibles auprs des Offices statistiques servent normale
ment quantifier les indicateurs de contexte. Par exemple, un grand nombre
d'indicateurs peuvent tre trouvs Eurostat dans la base NEW CRONOS
qui recueille environ 70 millions de donnes statistiques harmonises pour
les Etats membres de l'Union europenne et dans la base de donne Regio
ddie aux statistiques sur la vie conomique de chaque Etat membre de
l'Union europenne. Ces donnes sont prsentes sous forme d'environ 70
tableaux standards classs par domaine. Les donnes sont toutes ventiles
par rgion, selon une nomenclature des units territoriales NUTS et
couvrant un large domaine d'information : dmographie, chmage,
enqutes sur les forces de travail, etc.
Les statistiques d'enqutes sur les forces de travail portent notamment sur
la rpartition du temps de travai I, la ventilation des emplois par ge, par sexe
et par catgorie socioprofessionnelle, le taux de chmage avec ventilation
des chiffres selon la raison, la dure et les modalits de recherche d'emploi
spcifiques chaque pays et chaque secteur d'activit. Un portrait statis
tique des femmes vivant dans l'Union europenne au dbut des annes
1990 est prsent dans la publication d'EUROSTAT Les femmes et les
des chances
hommes dans l'Union europenne . Le document inclut des sondages

d'opinion venant enrichir une analyse comparative trs minutieuse de leur
situation sociale et professionnelle par rapport celle des hommes.
Par ailleurs, les Instituts nationaux de certains Etats membres laborent des
statistiques nationales sur la question femmes . Par exemple, en
Espagne, l'Institut de la femme (Instituto de la mujer) a cr plus de 100 indi
cateurs pour analyser les disparits entre les femmes et les hommes dans
les domaines suivants : dmographie, ducation, emploi, sant, politique et
prestations sociales.
Quelques e x e m p l e s d e pratiques dans l'Union

Les outils d'valuation font l'objet d'un examen dtaill dans le Volume 3 de
la Collection MEANS. Cette section prsente cependant quelques exemples
d'outils d'valuation qui permettent d'apprcier la prise en compte du
principe de l'galit des chances dans les interventions structurelles.
La singularit mthodologique de ce type d'analyse rside dans le caractre
complexe et omniprsent des phnomnes analyser. La construction de
l'valuation doit tenir compte du faible nombre de rfrences antrieures et
de la pauvret des informations disponibles dans ce domaine ce jour.
L'apprciation de l'impact des interventions sur la promotion de l'galit des
chances peut tre faite selon une approche pas pas qui est dcrite en
dtail dans le chapitre IV de ce Volume. Toutefois, pour une analyse appro
fondie, d'autres outils doivent tre utiliss.
A l'exception du march du travail, on ne dispose pas de bases bien tablies
ni d'informations pralables suffisantes pour une approche de type hypo
thticodductive , autrement dit, une dmarche qui suppose de formuler
des hypothses prcises pour structurer les outils de collecte et de traitement
des donnes. L'utilisation de questionnaires ferms, par exemple, devra tre
limite certaines situations bien connues comme une enqute auprs des
stagiaires ayant suivi une formation. Il convient donc de privilgier une
mthodologie inductive qui sera mieux mme de faire merger une
connaissance nouvelle de situations mal connues partir de recoupement
d'observations qualitatives. Les techniques correspondantes sont classique
ment : des entretiens non directifs, des groupes d'coute (focus groups), des
d'intervention
tudes de cas ou encore, plus rarement utilise, l'observation ethnogra

phique (Cf. le Volume 3 de la Collection consacr au choix des outils).
Pour les valuations ex ante ou intermdiaire, les mthodes dveloppes
dans le cadre du management (par exemple, le diagramme Ishikawa, I had
a dream et la technique du scnario) peuvent servir diagnostiquer les
problmes et trouver des solutions innovantes.
L'valuation ex post ncessite l'utilisation d'un package mthodologique
de diffrentes techniques : des enqutes, des tudes de cas spcifiques et
la comparaison de plusieurs chantillons de population au niveau rgional et
national afin d'tre en mesure de donner une mage crdible de l'impact rel.
o L'analyse ex ante de projets financs par le FEDER en Espagne
Dans le cadre des programmes 1994-99, une tude de cas a t mene afin
d'apprcier la prise en compte du principe d'galit des chances. Sur la
base des rponses aux questionnaires envoys toutes les entits promo
trices des projets FEDER, l'valuateur a repr les projets les plus directe
ment lis l'application de l'galit des chances. A l'aide d'un certain
nombre de critres de prise en compte de l'galit des chances dfinis par
l'valuateur, une analyse approfondie a t conduite afin d'identifier les cas
de projets prsentant les meilleures pratiques dans ce domaine. Au total,
huit projets ont t retenus qui avaient comme effets potentiels : la recon
naissance de l'galit, la solidarit entre les femmes et l'autoestime, l'entre
des femmes dans les domaines faible prsence fminine, la rponse aux
besoins spcifiques des femmes, la promotion du dynamisme fminin et la
conciliation des vies familiale et professionnelle.
L'analyse approfondie de ces huit cas a permis de reprer les caractris
tiques des projets qui entranent l'galit des chances telles que l'adaptation
sur le fond et dans la forme des actions de formation pour les femmes, l'arti
culation des mesures afin qu'elles soient cohrentes en termes de satisfac
tion d'galit des chances, la promotion de la participation fminine chez les
gestionnaires de projets, l'implication d'associations fminines dans les par
tenariats, la garantie de la participation fminine dans le suivi du projet, etc.
(Voir Encadr 29).
des chances
Encadr 29 ichetype pour apprcier la dimension de l'galit

des chances dans le cadre d'une valuation ex ante
Nom de l'entit
Titre du projet
Territoire
Objectif (1,2,..)
Le projet
Objectif
Application des objectifs d'galit des chances (typologie des effets)
Typologie des personnes promotrices
(% femmes)
Public destinataire (% femmes)
Description d'actions novatrices et bonnes pratiques
Justification des stratgies d'galit des chances
Systme d'organisation et quipements dvelopps
Cadre de
programmation
du projet dans
le FEDER
Fonds
Programme
Objectif couvert
Axes, mesures et Actions
Cofinancements publics et privs
Valeur dmonstrative
des actions
Diffusion des rsultats au niveau local

Diffusion des rsultats au niveau rgional
Transfert des rsultats ou de mthodologie d'autres projets
Effet multiplicateur
Suggestions pour l'application du gender Mainstreaming > :
L'analyse de la mise en uvre des programmes finlandais

Une valuation thmatique sur l'galit des chances s'est appuye sur une
matrice d'apprciation pour aider les commanditaires ou / et les valuateurs
dans leur choix stratgique d'valuation et la formulation des questions va
luatives. Cette approche met l'accent, d'une part, sur la structure, le
processus, les rsultats et les impacts sur la vie des femmes et des hommes
ainsi que sur l'environnement socioconomique et, d'autre part, prsente
les critres d'apprciation pour la prise en compte du principe de l'galit
des chances. Les critres concernent les rles diffrents des femmes et des
hommes, l'accs des femmes aux aides financires des Fonds structurels
ainsi que les besoins rels des femmes dans un contexte particulier (Voir
matrice Encadr 30).
L'laboration de cette matrice a facilit la slection des questions valua
tives pour lesquelles l'valuation doit trouver une rponse crdible. Par
exemple quels sont les rles des femmes et des hommes dans les diff
rentes phases de conception et de mise en uvre des programmes ? >> ou
jusqu' quel point la raison d'tre du programme et de ses objectifs corres
pond aux besoins identifis et aux priorits des femmes et des hommes
dans la rgion ? . L'valuation a russi montrer que les allocations
octroyes dans le cadre des programmes FEDER ne correspondent pas aux
besoins rels des femmes finlandaises.
Evaluation
transversale
d'intervention
Encadr 30 - Matrice d'apprciation d'un programme

Objectifs de l'apprciation
Rles
Critres d'galit des chances

Accs aux financements
Besoins
Structure
Processus
1. programmation
2. mise en uvre
3. suivi
4. valuation
Resultats
Impact
Une initiative d'valuation de l'application de l'galit des chances

dans le cadre des programmes d'Objectif 2 (Sude)
Dans le cadre du rseau IQ-NET (Networking to improve the quality of
Objectif 2 programmes), une tude thmatique portant sur l'intgration de
l'galit des chances dans ces programmes a t conduite afin de faciliter
l'change d'informations et d'expriences entre les rgions quant la
conception, la mise en oeuvre, le suivi et l'valuation de la dimension
galit des chances dans ces programmes Objectif 2.
Les treize rgions de l'Objectif 2, membres de ce rseau, sont des rgions
caractrises par un taux de chmage des hommes particulirement lev.
La priorit de l'intervention est donc la promotion de la cration d'emploi. La
question centrale de l'tude a cependant t d'examiner la contribution des
programmes de l'Objectif 2 en tant que vhicule de promotion de l'galit des
chances. Dans le cadre de l'Objectif 2, certaines rgions intgrent la
promotion de l'galit des chances dans la mise en uvre de projets et dans
leur valuation ensuite. Afin de pouvoir rpondre la question evaluative
suivante : quels sont les effets du programme Objectif 2 sur l'emploi,
compte tenu de la priorit transversale donne l'galit des chances par la
politique des Fonds structurels ? , plusieurs tudes de cas ont t ralises.
Les rsultats de l'tude de cas qui a port sur le projet sudois MASS
mritent d'tre prsents. Le projet a t mis en place en Janvier 1995 dans
la rgion de ngermanlandskusten et avait pour objet de fournir une assis
tance administrative un certain nombre de P.M.E. et de les aider
amliorer leur management. Les femmes au chmage ont t les principales
destinataires du projet.
des chances
En effet, une tude pilote a d'abord t conduite pour dfinir les problmes
auxquels se heurtaient les P.M.E. : il s'est avr que celles-ci taient
confrontes des difficults d'embauch de personnel qualifi et taient
prtes embaucher du personnel administratif. Une deuxime phase a mis
en relation les besoins de ces P.M.E. et la demande des chercheurs
d'emplois. 14 personnes ont finalement t embauches dont 7 femmes
anciennement employes dans le secteur public. Cinq d'entre elles ont
obtenu un emploi stable.
Le projet a non seulement permis de rduire la charge de travail des diri
geants et donc d'augmenter le temps pass avec leur famille, d'amliorer la
comptence des RM.E. mais surtout de rduire le chmage des femmes.
o L'valuation de la participation des femmes aux actions cofinances
par le FSE
Cette valuation, conduite en 1991, constituait la premire tude thmatique
sur l'galit des chances et la place des femmes dans les Fonds structurels.
L'originalit de l'tude rsidait dans sa prise en compte de la dimension
galit des chances dans l'ensemble des processus et des mthodes de
programmation, de mise en uvre, de gestion et d'valuation des interven
tions du FSE.
Le cadre mthodologique a t construit partir des objectifs dfinis par la
Commission :
analyse qualitative et quantitative de la place des femmes dans les
documents de programmation ;
analyse de la prise en compte de l'galit des chances dans les processus
et les mthodes de programmation, mise en uvre, suivi et valuation ;
atialyse qualitative et quantitative de la place des femmes dans les actions
mises en uvre ;
analyse de la cohrence et de la complmentarit entre les actions
finances par le FSE et les programmes et actions en faveur de l'galit des
chances mis en place au niveau national et rgional ;
analyse de la cohrence, synergie et complmentarit entre le programme
NOW et les actions finances dans le cadre des Objectifs 1,3,4.
Pour l'analyse quantitative, des sources d'information multiples et diverses
ont t utilises, en complment des CCA et des PO : les rapports annuels
d'intervention
tablis soit par les autorits nationales et / ou rgionales, soit par les
agences de formation, voire des demandes de concours.
Pour l'analyse qualitative, des interviews et / ou de questionnaires adresss
aux acteurs impliqus dans la prparation et la mise en uvre des CCA et
des PO ont t utiliss : Missions FSE ; autorits nationales, rgionales et
locales charges de l'emploi et de la formation professionnelle ; agences de
formation, entreprises prives ; promoteurs et gestionnaires d'actions cofi
nances par le FSE ; etc. Les consultants nationaux ont galement inter
view les responsables nationaux et/ou rgionaux de la politique en faveur
des femmes ainsi que les correspondants dans chaque Etatmembre des
rseaux dpendants de l'Unit pour l'galit des chances (DG V). Les
personnes charges de la prparation et de la mise en uvre de NOW dans
les Etats membres ont aussi t contactes.
Les indicateurs utiliss pour l'analyse quantitative concernaient :
les ressources alloues aux femmes, travers les actions mixtes et les
actions spcifiques, par rapport au total des ressources disponibles ;
le nombre de femmes destinataires d'actions mixtes et d'actions spci
fiques, par rapport au nombre total de destinataires ;
le pourcentage de femmes destinataires par types d'action, catgories de
destinataires, niveaux de qualification et secteurs d'activit ;
la part des actions et des programmes nationaux en faveur de la formation
et de l'emploi des femmes bnficiant d'un cofinancement FSE.
La mthodologie prvoyait des typologies : types de mesures / actions,
catgories de destinataires, secteurs d'activits, qualifications. Elle incluait
par ailleurs une srie de questions cls, regroupes par thmes. Elle
prvoyait galement la constitution d'un chantillon d'actions mixtes, pour
chaque type de mesure, rparti entre actions fort taux et actions faible
taux de participation fminine pour la ralisation d'tudes de cas.

La promotion du principe d'galit des chances entre les femmes et les
hommes est une priorit o peu d'valuations ont t faites. C'est le cas
notamment des valuations ex post. L'intgration du principe de l'galit
des chances dans les valuations des Fonds structurels reprsente donc un
enjeu important.
des chances
Les interventions centres sur le dveloppement des ressources humaines

sont plus susceptibles de produire des effets directs sur la situation des
femmes. Ce type d'impact est donc plus facile valuer que les impacts
indirects sur la promotion de l'galit des chances.
L'valuation joue un rle essentiel dans la promotion de la stratgie du
mainstreaming en garantissant que le principe de l'galit des chances est
systmatiquement pris en compte dans les politiques structurelles.
a Pour en savoir plus...

lvaro-Page, M. (1996), Los usos del tiempo como indicadores de la discriminacin entre gneros, Madrid: Ministerio de Asuntos Sociales; Institutode
la Mujer, N46.
Bamberger, M. (1996) "Understanding the Impact of Development Projects
on Women: The Tunisia Institutional Development Fund Project" in Evaluation for the 24st Century: New Topics for Evaluation.
C.E. (1994), Les femmes et les hommes dans l'Union europenne : portrait
statistique, Luxembourg : Office des publications officielles des Communau
ts europennes.
C.E. (D.G. V) (1998), 100 mots pour l'galit, Glossaire de termes sur l'galit
entre les hommes et les femmes, Luxembourg : Office des publications offi
cielles des Communauts europennes.
Rubery, J.; Fagan, C. and Maier, F. "Occupational Segregation, Discrimina
tion and Equal Opportunity", pp431-461 in Schmid, G.; O'Reilly, J.; and
Schmann K. (1996) International Handbook of Labour Market Policy and
Evaluation, Cambridge : EE, University Press.
Ill
Evaluations thmatiques transversales
des domaines d'intervention
Les interventions dans le cadre des Fonds structurels sont mises en uvre
dans des domaines trs divers. Ces domaines se situent en grande partie en
amont des priorits politiques examines dans la partie prcdente. Par
exemple, les interventions dans le domaine des transports ou du tourisme
peuvent avoir des impacts sur l'environnement, et les interventions en faveur
de la RDT sont conues pour avoir un impact sur la comptitivit de l'industrie, et en particulier des PME.
Cette distinction entre les domaines d'intervention et les priorits politiques
a des rpercussions sur l'organisation des valuations thmatiques. Si l'valuation des priorits politiques peut se faire tout niveau suprieur celui de
la mesure, les valuations thmatiques des domaines d'intervention n'ont
d'intrt que si elles portent sur plusieurs programmes voire sur plusieurs
pays. Il s'agit en effet dans ce cas, non de juger les mrites d'un programme
mais d'identifier les modalits oprationnelles les plus efficaces.
La slection des domaines a t base sur de rcentes expriences d'valuations transnationales ralises dans le cadre des Fonds structurels. Le
premier chapitre concerne les interventions dans le domaine de la RDT. Il
existe une importante exprience d'valuation dans ce domaine, mais les
pratiques connaissent actuellement une priode de remise en question. La
structure de ce chapitre est similaire celle des chapitres sur les quatre
priorits politiques de la Partie II. Le deuxime chapitre, par contre, ne donne
qu'un bref aperu de la pratique et des questions relatives aux domaines des
transports, des tlcommunications et du tourisme.
Evaluer les impacts des interventions dans le domaine de

la Recherche et du Dveloppement Technologique
I Pourquoi valuer les effets des interventions sur la RDT ?
Pour les rgions dpendantes de l'agriculture et des secteurs industriels
traditionnels faisant appel une main d'uvre abondante, l'ouverture des
marchs nationaux a t synonyme de comptition accrue en provenance
de rgions, faisant partie ou non de l'Union europenne, o la main
d'uvre est moins chre. En consquence, les opportunits d'emploi peu
qualifi ont t rduites et les problmes associs au dveloppement co
nomique et la restructuration industrielle sont devenus plus aigus.
Paralllement au dclin des secteurs traditionnels, on a pu observer que la
croissance conomique dpend de plus en plus d'industries en expansion
rapide. On trouve dans le cadre de ces nouvelles industries des petites ou
moyennes entreprises qui disposent gnralement de ressources limites
pour la RDT, et dont l'effort de recherche doit souvent tre entrepris en col
laboration avec d'autres entreprises ou avec des instituts de recherche
pour obtenir des rsultats optimums. Toutefois, ce type de collaboration se
produit seulement dans des circonstances spcifiques : proximit gogra
phique, existence de relations non financires et de liens formationrecherche-industrie. On peut citer, tire d'exemple de ces phnomnes qui
ont inspir la rflexion politique rcente en matire de RDT, les Districts
italiens ou encore les liens troits entre les systmes de formation et l'in
dustrie qui existent en Allemagne.
Au fur et mesure de la progression de la restructuration industrielle, se
profile un processus de polarisation technologique de plus en plus marqu.
Les rgions les plus avantages d'un point de vue technologique tirent parti
de leur capacit technologique antrieure, des dpenses de RDT qui se
maintiennent un niveau lev, d'une culture de l'innovation en gnral
bien dveloppe et de leur aptitude poursuivre le dveloppement de leur
capacit d'innovation. Cela creuse l'cart avec les rgions les plus dsa
vantages en matire de technologie. La persistance des disparits rgio
nales en termes de comptitivit, de commerce, de chmage et de crois
sance, la fois l'intrieur de chaque pays et entre les diffrents Etats
membres, reflte cette divergence de capacit de RDT.
d'intervention
Une nouvelle approche du processus d'innovation a permis de passer du

modle de type linaire Science-Technologie-Production une concep
tualisation de l'innovation en tant que processus dynamique, interactif et
non linaire. En outre, la prise en compte de la dimension territoriale de la
RDT, grce aux systmes d'innovation rgionaux et nationaux, permet de
concevoir des interventions rpondant l'objectif de la cohsion cono
mique et sociale. Suite ces avances, l'accent a t mis sur la capacit
technologique endogne et sur la diffusion d'innovations auprs des PME
par une plus grande coopration entre universits, instituts de recherche et
entreprises, et sur le soutien et la promotion de la RDT industrielle.
Avec ce changement de cible, et l'abandon du modle d'innovation linaire,
les politiques centres sur une approche du type pression technologique
sont remises en question. On prend conscience dsormais que l'offre et la
demande de technologie doivent tre associes un processus interactif
impliquant la fois les producteurs et les utilisateurs de nouvelles technolo
gies. De plus, le dveloppement de la capacit d'innovation d'une rgion est
intrinsquement associ l'adaptation des interventions aux caractris
tiques des structures de production et la capacit d'anticiper l'volution de
cette structure. Lorsque les PME prdominent, l'une des principales
exigences des interventions de RDT est simplement de les aider apprcier
l'importance de l'innovation en matire de comptitivit dans une conomie
ouverte. La gnration actuelle d'interventions est donc en grande partie
compose de mesures bottom-up, ciblant les besoins conomiques et
commerciaux les plus larges des PME, leurs besoins de technologie
exogne et d'intgration de cette technologie dans les processus de pro
duction, leur propre capacit d'innovation et de marketing, etc.
L'importance de la RDT pour la comptitivit d'une rgion et la ncessit de
dvelopper la capacit de RDT est clairement reconnue dans le cadre des
Fonds structurels. C'est pourquoi l'aide structurelle la RDT a trs sensible
ment augment au moment mme o les gouvernements nationaux
rduisent leurs dpenses en sciences et technologie (S&T).
Les interventions de RDT sont finances par tous les Fonds structurels, le
FEDER constituant la principale source. L'aide la RDT tient une place
importante dans les initiatives communautaires (INTERREG II, PME,
ADAPT,...) et fait galement l'objet d'actions novatrices : Stratgies d'Inno-
Evaluer les impacts dans le domaine de la RDT
vation Rgionales et Transfert de Technologie Rgional. De plus, des

secteurs de pointe dans le domaine de la recherche scientifique et technolo
gique font l'objet d'interventions associes aux programmes du Cadre com
munautaire d'appui.
Dans le cadre de l'objectif global de la politique de RDT de l'UE, qui est de
renforcer la comptitivit par le dveloppement de l'excellence scientifique
et technologique, les interventions structurelles ont pour but de lutter contre
la concentration de la capacit de RDT dans certains pays, essentiellement
dans le Nord de l'UE (cohsion transnationale) et dans certaines rgions,
essentiellement dans et autour des capitales et de quelques ples rgionaux
dynamiques (cohsion nationale).
Les ressources des Fonds structurels ont donc t diriges vers des rgions
plus priphriques afin de dvelopper leur base scientifique et technolo
gique, en particulier en tablissant des liens durables entre les organismes
de recherche publics et les industries rgionales. A long terme, ces interven
tions devraient augmenter la capacit d'innovation des rgions aides, soit
en rorientant leur capacit technologique vers le secteur de la haute tech
nologie prsentant le dveloppement le plus rapide, soit en crant une
capacit technologique locale et donc en rduisant le foss technolo
gique avec les rgions dveloppes. L'impact plus long terme de ce
processus sera une plus grande spcialisation rgionale dans les produits et
services forte valeur ajoute, une croissance accrue et une plus grande
cohsion conomique et sociale.
Les rcentes expriences d'interventions dans le domaine de la RDT pour la
priode de programmation de 1989 1993 ont rvl l'existence, dans les
rgions, d'un certain nombre de zones posant problme en matire de finan
cement de la RDT. La relation entre l'augmentation du financement de la
RDT d'une part, et l'augmentation de l'innovation et du dveloppement co
nomique d'autre part, n'est ni automatique, ni directe. Il convient d'tre
attentif non seulement l'offre technologique, souvent gnre en amont
par les institutions publiques, mais galement la demande de technologie,
qui correspond aux besoins des acteurs industriels d'une rgion et de leur
capacit adapter les technologies disponibles aux opportunits commer
ciales. Toutefois, au cours de cette priode, on a pu observer une tendance
concentrer le financement sur la recherche publique, alors que les besoins
pratiques en RDT des entreprises locales et en particulier des PME, n'ont
pas t suffisamment pris en compte.
'valuation
transversale
d'intervention
Il existe, dans les rgions les moins dveloppes, de graves problmes de

consommation des fonds disponibles, dus au fait qu'il est souvent difficile
d'identifier des projets adapts ou que les autorits n'ont qu'une faible
exprience des questions de RDT et ne sont pas toujours en mesure de les
comprendre. Dans certaines rgions, ce problme a aggrav la concentra
tion des financements en amont, pour la RDT publique, ce qui a entran une
inadquation entre l'offre technologique publique et la demande de techno
logie de l'industrie.
Encadr 31 - Evaluation des impacts des CCA sur la Recherche
et la Technologie en Grce, en Irlande et au Portugal sur la
priode de programmation de 1989 1993
L'objectif de cette valuation tait de dterminer l'impact des interven
tions, de faire des comparaisons entre les 3 pays tudis et de produire
des recommandations susceptibles d'amliorer la fois l'efficacit et le
rendement de l'aide du CCA la RDT dans ces pays. L'tude a tabli que
les autorits nationales des trois pays avaient largement utilis les oppor
tunits offertes par les Fonds pour dvelopper considrablement l'infra
structure publique de RDT. Elle a galement not que les trois pays
avaient rencontr des problmes dans le domaine de la participation
industrielle, du transfert de technologie, surenchre de l'offre technolo
gique, concentration de la RDT autour des capitales et pnurie de res
sources humaines. On a galement observ des problmes de cots
d'exploitation, d'atteinte de cibles, d'autofinancement et de gestion et
d'valuation. Par consquent, au cours de la deuxime priode de pro
grammation (1994 1999), l'accent est mis plus particulirement sur une
meilleure utilisation de la capacit de RDT existante et beaucoup moins
sur la construction de capacit supplmentaire.
Le dveloppement de la capacit de RDT europenne en gnral et plus par

ticulirement, en rapport avec la cohsion, reprsente un objectif stratgique
important de l'Union europenne. Ceci est reflt par le fait que les interven
tions visant dvelopper le potentiel technologique des rgions s'lvent
7,6 milliards d'euros, soit 7% environ du total des dpenses communau
taires.4 L'valuation des interventions de RDT doit donc jouer un rle central
dans la dtermination de la capacit (passe, prsente ou venir) de ces
interventions atteindre les objectifs politiques dfinis. Les rsultats et les
conclusions de ces valuations peuvent donc tre utiliss pour renseigner le
4. "Les Fonds structurels en 1996, huitime rapport annuel". Ce chiffre comprend les inter
ventions dans les domaines de la R&D et de l'innovation.
processus de prise de dcision et, par consquent, pour dvelopper la renta

bilit des politiques et des programmes. L'valuation des impacts des CCA
sur la recherche et la technologie en Grce, en Irlande et au Portugal pour la
priode de programmation de 1989 1993 constitue un bon exemple de
processus (Voir Encadr 31).
Le prsent chapitre fournit une base mthodologique gnrale pour la plani
fication et la ralisation d'valuations des interventions structurelles dans le
domaine de la RDT au niveau transnational.
Dfinir c e qu'il faut valuer
Lorsque l'on value des interventions structurelles dans le domaine de la
RDT, il faut garder prsent l'esprit que dvelopper la RDT qualitativement
et quantitativement n'est pas un objectif en soi. Ce n'est pas non plus un
facteur qui, une fois inclus dans un programme, conduit automatiquement
une convergence vers un but souhaitable. Il s'agit d'une condition pralable
au dveloppement conomique durable et la cohsion conomique et
sociale.
S'il est relativement simple d'valuer les ralisations et les rsultats d'inter
ventions de RDT, il est plus difficile d'estimer les impacts produits. Les
impacts spcifiques sont souvent intangibles (par exemple des change
ments qualitatifs du capital humain) et, au plan socioconomique, se pro
duisent dans un dlai relativement long. Il est par consquent difficile
d'tablir un lien causal entre les interventions et les changements socioco
nomiques.
La structure technicoindustrielle d'une rgion est faonne au fil du temps
par de multiples facteurs. Les besoins des rgions et, par consquent,
l'ampleur et le type des interventions de RDT varient donc normment
d'une rgion l'autre. Ainsi par exemple, dans les rgions souffrant d'un
retard conomique ou, dans une moindre mesure, dans les rgions faible
densit de population, l'offre d'installations et d'quipements, le nombre de
chercheurs, l'application des rsultats de la recherche et le transfert de tech
nologie vers l'industrie locale sont des problmes qu'il faut rsoudre pour
crer une capacit scientifique et technique endogne. On peut parfois se
demander s'il est pertinent d'engager ce type d'interventions dans des
rgions dont le potentiel de recherche et de technologie est pratiquement
nul. Dans les rgions en dclin industriel, les interventions sont gnrale
ment orientes vers une aide l'investissement pour les secteurs spci
d'intervention
fiques de haute technologie (tels que les biotechnologies, la micro-lectro

nique, etc.), l'investissement dans des sites cls ou encore la cration de
projets impliquant l'emploi de personnel hautement qualifi.
Quelques points cls de l'valuation dans le domaine de la RDT
Un certain nombre de points cls associs l'aide structurelle la RDT
peuvent tre mentionns pour orienter l'valuation d'interventions de RDT :
L'efficacit en termes de dveloppement de la capacit et des potentialits
de RDT : les interventions assurent-elles la production des rsultats et des
impacts souhaits en termes de capacit et de potentiel de RDT ? Il faut
noter qu'un projet de recherche donn ne mne pas systmatiquement
des innovations spcifiques, en particulier lorsqu'il s'agit de recherche en
collaboration. En consquence, les analyses du rapport cot-efficacit ont
une valeur limite sauf si les activits de RDT sont values pour l'ensemble
d'un portefeuille .
La solidit des liens gnrs par les interventions au sein de l'conomie
locale : on peut obtenir une indication de la force de ces liens en examinant
la participation financire des entreprises destinataires ou en faisant une
analyse qualitative du degr de leur implication dans les activits ralises
en partenariat.
L'amlioration des niveaux de qualification et des comptences : dans les
rgions subissant une restructuration industrielle, un chmage lev
coexiste avec une pnurie de comptences dans certains secteurs techno
logiquement avancs. Il est important de dterminer dans quelle mesure
l'augmentation des opportunits d'tude et de formation, en particulier des
tudes de deuxime et troisime cycles conduit une migration des
personnes formes vers d'autres rgions
Le rapport entre dveloppement technologique et emploi : lorsque l'am
lioration des performances conomiques est essentiellement due des
innovations entranant une rduction des cots de main d'uvre, il est fort
probable que les premiers effets d'emploi soient une rduction du nombre
de postes. Cela se produit souvent dans les rgions anciennement spciali
ses dans des industries forte concentration de main d'uvre qui tentent
de rester concurrentielles par la modernisation des outils de production.
Les interactions entre les interventions publiques : la distribution gogra
phique de la capacit de recherche publique est souvent fortement influen
ce par des considrations stratgiques nationales. Dans les Etats les plus
centraliss, les installations de recherche tendent tre concentres autour
de la capitale. Les politiques nationales de RDT et les interventions structu

relles peuvent donc prsenter diffrents niveaux de synergies positives ou
ngatives.
La synergie avec d'autres interventions de l'Union europenne : si le
programme cadre de la RDT de l'Union europenne s'est intress, jusqu'
rcemment, des projets de recherche plus en amont et pr-comptitifs ,
tandis que les Fonds structurels taient consacrs l'amlioration des
capacits de recherche et de transferts de technologie, la frontire entre les
deux approches est de moins en moins nette. Il existe des possibilits de
synergies et / ou de risques de double emploi entre ces deux instruments
politiques. A contrario, les projets de recherche sont slectionns au titre du
programme cadre selon des critres d'excellence sans tenir compte de la
cohsion et des objectifs structurels. Il peut y avoir des synergies ngatives
avec les Fonds structurels lorsque, comme c'est souvent le cas, la capacit
de recherche est concentre dans les rgions les plus dynamiques et les
plus riches.
Les enjeux politiques futurs : peut-on surmonter la forte tendance la
concentration gographique de la RDT ? Les interventions doivent-elles, au
contraire, chercher concentrer la capacit de RDT sur un petit nombre de
rgions pour atteindre une masse critique suffisante ? Le programme cadre
doit-il tre adapt aux proccupations d'ajustement structurel et de
cohsion ? Comment rduire les chevauchements et les synergies ?
Les connaissances scientifiques et techniques sont, dans une certaine
mesure, des biens publics. Les avantages cumuls des projets pour la
socit dans son ensemble ne peuvent s'apprcier simplement partir
d'une analyse des effets de chacun des projets de RDT. C'est pour cette
raison que l'analyse des impacts de la RDT est de plus en plus applique au
niveau msoconomique ou macroconomique. L'analyse ce niveau
permet galement d'examiner les interventions et les projets dans le
contexte plus large du systme d'innovation rgional ou national dont ils font
partie intgrante. Ceci n'exclut pas la possibilit d'intgrer une analyse dans
une valuation approfondie d'un secteur ou d'une filire particulirement
important pour une rgion.
Les Fonds structurels interviennent dans le domaine de la RDT selon quatre
modalits principales :
L'aide aux infrastructures de S&T : universits, centres de recherche et
laboratoires publics associs et structures de promotion de la diffusion des
d'intervention
rsultats de projets de recherche. Les activits dans ce domaine ont pour

but d'amliorer le potentiel scientifique et technologique.
L'aide directe l'industrie : subventions et prts faible taux pour aider les
activits de recherche applique, de transfert de technologie et la cration
d'entreprises de haute technologie. Les activits dans ce domaine ont pour
but de mettre en valeur le potentiel technologique, d'augmenter les liens
entre la recherche et l'innovation et d'amliorer le cadre financier de la RDT.
L'aide indirecte l'industrie : services tels qu'audit de technologie et
conseil d'experts, renforcement des centres d'innovation et de technologie
et efforts pour augmenter la participation d'autres initiatives de RDT de
l'Union europenne (Programme cadre, Initiatives communautaires, etc.).
Ces activits ont pour but de mettre en valeur le potentiel technologique et
d'aider l'innovation en amliorant les liens avec la recherche.
La formation : formation des chercheurs et des gestionnaires de technolo
gie avec un objectif global de promotion d'une culture innovante.
Encadr 32 - Typologie des interventions structurelles dans le

domaine de la RDT
Interventions structurelles dans le domaine de la RDT
X
n_
Aide l'innovation
Renforcement du potentiel de S&T
I
1 du potentiel
1
1
MfWflffBI
Construction de
laboratoires et de
centres de
recherche
universitaires
Construction de centres
technologiques et de
parcs scientifiques,
soutien de la capacit
de recherche des PME
Subventions
l'quipement
Subventions aux
projets
Subventionsa
l'quipement des centres
technologiques,
quipements de mesure
et d'essai
Subventions aux projets
de dveloppement
Etc.
Etc.
__
Formation
Mobilit des
chercheurs
Stimulation de
l'activit
Diffusion des
rsultats
Activits de
sensibilisation
valeur du
dre financier
l'innovation
Transfert
de technologie
Capital initial
et capital risque
Promotion des
rseaux
Etc.
Liaisons entre
entreprises,
universits,
centres de
recherche
Etc.
Clarifier les objectifs des interventions de RDT

Il est utile de construire un arbre d'objectifs pour relier les ralisations et les
rsultats des interventions de RDT aux objectifs spcifiques inclus dans le
cadre des Fonds structurels.
Encadr 33 - Exemple d'arbres d'objectifs thmatiques pour
des interventions de RDT
Objectifs globaux
Meilleur transfert
de technologie
entre les entreprises
Rduction des
disparits de
RDT entre
rgions
Plus grande
cohsion
conomique
et sociale
Plus de projets en collaboration

entre PME et instituts de recherche
Plus de diplms de 2me cycle
et 3me cycle dans les entreprises
Plus de collaboration entre
entreprises Impliquant des PME
Plus de PME engages dans la
RDT
Plus grande innovation

des entreprises en
particulier des PME
Meilleures
infrastructures
de RDT
Plus grande
disponibilit de
chercheurs et de
techniciens aux
qualifications
adaptes
Plus de parcs SST

* Amlioration des installations de
recherche universitaires
Accroissement du nombre de
nouvelles installations de recherche
Plus de places dans les formations

universitaires orientes S&T
Plus grand nombre de bourses
de recherche
Liens entre les objectifs intermdiaires
Dans l'arbre d'objectifs prsent dans l'Encadr 33, les objectifs spcifiques
sont strictement subordonns aux objectifs intermdiaires qui sont euxmmes dpendants les uns des autres. Ainsi, par exemple, l'amlioration de
l'infrastructure de RDT est susceptible d'accrotre la disponibilit des instal
lations pour les entreprises dans la mesure o il fournit des installations aux
entreprises dsireuses de raliser une RDT et ainsi de contribuer l'innova
tion par les PME.
Evaluation transversate
d'intervention
Tout en donnant un aperu de la structure des objectifs d'une intervention,

l'arbre d'objectifs fournit une indication sur la typologie des impacts des
interventions structurelles orientes RDT que l'on peut rsumer en quatre
grandes catgories :
Transferts de technologie ;
RDT industrielle;
Infrastructure de RDT ;
Ressources humaines.
o Effets nets des interventions de RDT
Les effets nets des interventions dans le domaine de la RDT sont difficiles
valuer. Les impacts, en particulier au niveau socio-conomique, se produi
sent souvent longtemps aprs les investissements de RDT, ce qui permet
difficilement de les attribuer avec certitude aux diffrentes interventions. Les
impacts de la RDT sont htrognes et doivent donc tre estims l'aide
d'une batterie d'indicateurs : ventes de produits, processus et services
innovants ; emplois de R&D crs ; technologies acquises ; rseaux crs ;
nombres de doctorats obtenus, etc. Ils ne peuvent donc pas tre rsums
sous la forme d'un seul indicateur.
L'estimation des effets nets doit s'appuyer sur une analyse de l'ampleur de
l'effet d'aubaine. La rpartition entre le financement public et le financement
priv au niveau de l'industrie varie fortement d'un secteur l'autre, et l'im
portance de l'effet d'aubaine varie donc en consquence. C'est pourquoi
l'estimation des effets nets des interventions de RDT est gnralement
effectue au niveau des rsultats, en se concentrant sur les changements de
dpenses de RDT rsultant d'une intervention.
Exemple: Des effets bruts aux effets nets dans l'aide l'innovation des PME
Partant de l'hypothse que l'aide un fonds de capital risque pour financer des
projets de recherche raliss par des PME a permis le lancement de 450 projets pour
un cot de 600 millions d'euros. Il a t tabli que 120 projets, reprsentant un cot de
150 millions d'euros, auraient t engags sans cette aide (effet d'aubaine). L'effet net
de l'intervention aurait donc t de 450 millions d'euros.
L'effet de levier est un autre facteur prendre en compte : il est indispen

sable d'estimer l'augmentation de la RDT finance par des fonds privs en
consquence directe des dpenses structurelles dans des projets de RDT.
Les responsables des politiques recherchent souvent, outre cette mobilisa-
tion financire attirer les entreprises de haute technologie et les instituts de

recherche situs l'extrieur de la zone cible afin d'en augmenter la
capacit de RDT. De plus, lorsque la diversification de l'conomie rgionale
est une priorit, le remplacement d'activits de secteurs industriels en dclin
par des activits innovantes sera galement un objectif explicite.
U Exemples d'impacts par d o m a i n e d'intervention
Selon les trois grands domaines d'intervention des Fonds structurels, les
impacts en matire de RDT sont plus ou moins directs comme l'illustrent les
exemples prsents ci-dessous.
Infrastructure de base
Les interventions dans le domaine de l'infrastructure de base ont gnrale
ment un effet indirect sur la RDT. Par exemple, les amliorations des rseaux
de tlcommunications peuvent augmenter les possibilits d'utilisation de la
tlmatique dans le cadre de la collaboration distance. L'infrastructure
cofinance par les interventions structurelles a un effet plus direct sur la
RDT, et comprend des installations pour la recherche universitaires, les
parcs scientifiques et technologiques, etc.
Exemple: Construction d'un parc scientifique et technologique en Italie du Nord
Le Tecnoparco del Lago Maggiore, dans le Pimont, a t conu pour aider les crateurs
d'entreprises intresss par la technologie et l'innovation dvelopper des entreprises
viables. Ce parc, cofinanc par le FEDER et la Rgion Pimont, loue des installations
pour des projets de recherche. Les locataires du parc bnficient galement de services
de soutien (conseil commercial, environnement, scurit et certification, conception
assiste par ordinateur, recherche de partenaires et de financement et maintenance de
lieux de runion et de formation) et d'une aide aux projets de technologie innovantes.
L'objectif long terme de ce projet est d'attirer les investissements et les initiatives de
recherche extrieurs la rgion et de stimuler l'conomie de la rgion, en facilitant le
remplacement des industries traditionnelles par des PME innovantes.
Ralisations
>
>
Cration de nouvelles
entreprises
Construction de
btiments et
fourniture
d'quipements
Installation
d'entreprises
dans le parc
Emplois crs directement
par les entreprises installes
dans le parc
Evaluation
transversale
des impacts
sur les priorits
d'intervention
Les interventions d a n s le d o m a i n e d e l'environnement productif couvrent un
large s p e c t r e d e mesures possibles : participation directe aux investisse
m e n t s de RDT ; assistance aux activits t e c h n o l o g i q u e s des entreprises, en
particulier d e s P M E et d e s NTBF ; cration d e rseaux impliquant la fois
d e s institutions publiques et prives, etc.
Exemple: Promotion du transfert de technologie en Aquitaine (France)
L'conomie de l'Aquitaine est domine par la prsence de grandes entreprises dans
les secteurs de l'armement, de l'espace et de l'aronautique. Depuis un certain
nombre d'annes, ces secteurs ont engag des restructurations grande chelle qui
ont eu des rpercussions trs importantes sur leurs propres activits, mais galement
sur les activits des sous-traitants locaux dans divers secteurs. L'une des priorits
centrales tablies dans le DOCUP de 1994-1996 pour la rgion a t d'adapter le
potentiel existant des PME de la rgion au moyen d'une politique cohrente en faveur
de l'innovation et du transfert de technologie. Dans le cadre de cette politique, le
CREATI Aquitaine (Centre Rgional d'Appui Technique et d'Innovation) a t mis en
place, il a runit, en 1997, 10 grandes entreprises rgionales engages dans le dve
loppement d'un rseau de services techniques pour les sous-traitants locaux et dans
la promotion du transfert de technologie. Le CREATI a galement t impliqu dans
diffrents projets lancs en partenariat entre les participants et les PME. Ces projets
ont galement bnfici d'une coopration avec les universits rgionales.
Ralisations
Financement de
sessions de conseil
avec des experts
en technologie
Effets
Accords d e collaboration
pour les PME
>
Production de nouveaux
produits, procds et
services intgrant la
technologie acquise
Ressources h u m a i n e s
Les interventions en faveur des ressources humaines couvrent des mesures
telles q u e le f i n a n c e m e n t d e b o u r s e s d e recherche universitaire d a n s des
d o m a i n e s s p c i f i q u e s (transfert de t e c h n o l o g i e , etc.), la f o r m a t i o n p r o f e s
s i o n n e l l e e n h a u t e t e c h n o l o g i e , la c r a t i o n d e liens entre la r e c h e r c h e
publique et l'industrie {placement de chercheurs dans l'industrie, etc.).
Evaluer
les impacts
dans le domaine
de la RDT
Exemple: Centros Tutelados (Espagne)

Les centres mis en place par le gouvernement basque en 1992, ont pour but de dve
lopper un rseau technologique, de soutenir la croissance et de crer des emplois dans
les industries locales. Les centres soutiennent le dveloppement d'entreprises locales
en ralisant leurs propres recherches, en assurant une veille scientifique dans le monde
entier, et en proposant des formations qui constituent l'un des aspects majeurs de
leurs activits. Les chercheurs et les techniciens hautement qualifis effectuent deux
ans de formation dans les centres avant de travailler dans les PME de la rgion, o ils
diffusent les connaissances qu'ils ont acquises. Les centres organisent galement des
stages de formation pour les entreprises locales. Jusqu'en 1997, plus de 1 400
personnes, provenant de 900 entreprises, ont bnfici de ce service de formation.
Ralisations
Effets
>
Organisation de
stages de formation
l'extrieur
Financement de
postes de techniciens
et de chercheurs
Meilleures qualifications et
comptences des employs
des entreprises clientes
Meilleurs niveaux de
comptence dans les
entreprises participantes
Les entreprises
produisent de nouveaux
ou de meilleurs produits,
procds et services
Placement des chercheurs

dans des entreprises
rgionales
Dfinir et slectionner des indicateurs

L'valuation des interventions d e RDT exige la construction d'un systme
d'indicateurs utilisant la fois des indicateurs d e RDT standards et des indi
cateurs ad hoc qui prennent en c o m p t e les particularits du p r o g r a m m e
valu. Le suivi des interventions fournit en gnral des donnes pour les
indicateurs d e r e s s o u r c e s , de ralisations et de rsultats, t a n d i s q u e la
collecte d'information sur les impacts requiert l'utilisation de techniques de
collecte de donnes primaires.
Des indicateurs de ressources tels que les Dpenses Intrieures Brutes de
Recherche et de Dveloppement, les Dpenses Prives de Recherche et de
Dveloppement et les Dpenses Publiques de Recherche et de Dveloppe
ment fournissent des informations sur la structure du financement de la RDT
et la rpartition de l'activit entre la recherche publique et la RDT industrielle.
En f o n c t i o n d e la population o u d u PIB, des c o m p a r a i s o n s peuvent tre
faites entre rgions et pays.
d'intervention
Les indicateurs de ralisations se concentrent sur les activits des opra

teurs (contacts avec les destinataires, applications traites, etc.), le nombre
d'heures de conseil et de sessions de formation, le nombre de projets de
recherche aids, les rseaux et les entreprises en collaboration financs, et
la cration d'infrastructures tels que parcs scientifiques, installations de
recherche, etc. (mesurs en mtres carrs ou en hectares).
Dans le cas de l'infrastructure de RDT, les indicateurs de rsultats peuvent
fournir des informations sur le rapport qualit / cot, par exemple, de l'instal
lation d'une entreprise dans un parc technologique ou de l'attrait du parc et
de ses environs pour les chercheurs. Quant aux services technologiques, les
indicateurs de rsultats se concentrent dans une large mesure sur la satis
faction des destinataires. Les indicateurs ce niveau doivent galement
mesurer le montant du financement priv dans les projets aids, c'est--dire
l'effet de levier d'une intervention. La proportion de destinataires s'engageant pour la premire fois dans la RDT avec l'aide du programme constitue
galement un indicateur utile. Les indicateurs de rsultats doivent par
ailleurs s'intresser la constitution de rseaux entre les entreprises et les
instituts lorsqu'il s'agit d'un objectif de l'intervention.
Les indicateurs d'impacts doivent reflter les effets technologiques et socioconomiques plus vastes et plus long terme. Comme les effets de la RDT
sur le dveloppement se produisent sur une longue dure et que certains
impacts sont difficiles mesurer (par exemple les connaissances et le
savoir-faire acquis), les indicateurs correspondants sont gnralement
limits aux informations socio-conomiques quantifiables, tels que, par
exemple, le nombre de nouveaux produits et procds commercialiss,
leurs ventes et les ventes de brevets et licences associs, la valeur ajoute
cre et les effets directs sur l'emploi (chercheurs et techniciens) mesurs
en Equivalent Temps Plein. Dans la mesure o il est de plus en plus difficile
de distinguer la recherche publique de la recherche prive (la collaboration
entre les centres de recherche publics et les PME et le dveloppement
commun d'innovations tant de fait l'un des objectifs des interventions), de
nombreux instituts publics tendent se comporter comme des entreprises
prives : dpt de brevets pour les innovations, vente de licences et com
mercialisation de produits, etc. Les indicateurs d'activits des centres de
recherche et des universits dans le cadre des interventions structurelles
doivent donc inclure les produits les plus industriels et commerciaux de la
recherche du secteur public.
A titre d'exemple, un systme d'indicateurs pouvant tre utilis pour suivre

la production d'impacts dcoulant d'une mesure d'aide financire et infor
mationnelle pour l'acquisition de technologie par les PME est prsent
l'Encadr 34.
Encadr 34 - Exemple de systme d'indicateurs pour une mesure d'aide
financire et l'information pour l'acquisition de technologie par les PME
(associs l'intervention et ses effets)
(associs la zone aide)
Activit des
oprateurs
Nombre de contacts entre les oprateurs

et les entreprises cherchant une aide
l'acquisition de technologie
Nombre de sessions de conseil
organises avec des experts en
acquisition de technologie
Nombre de
destinataires
Nombre de PME recevant une aide
Volume de services
techniques fournis
Heures de services de conseil

et de formation dispenses
Indicateurs de rsuit at
Satisfaction

satisfaits par le service
Effet de levier
Investissement dans la RDT oriente

vers l'acquisition par des entreprises
bnficiant d'une aide financire
Rapport entre Dpenses Intrieures

Brutes et Dpenses Prives de
Recherche et Dveloppement
Transfert de
technologie interne
Nombre d'accors de collaboration entre

des instituts de recherche et des
entreprises aides aprs un an
Transfert de
technologie externe
Nombre d'entreprises aides achetant

des brevets ou des licences ou enga
geant une collaboration de R&D avec
des entreprises trangres aprs un an
Acquisition de
technologie
Nombre de nouveaux produits ou pro

cds intgrant la technologie acquise
commercialiss par des entreprises
aides aprs un an
Impact conomique
% de dirigeants d'entreprises
destinataires dclarant que l'intervention
a rduit les contraintes pesant
sur l'accs la technologie
% de dirigeants rgionaux dclarant

que l'accs aux nouvelles
technologies constitue
une contrainte importante
Valeur ajoute

un/trois ans en euro / an

la rgion par les PME
Emploi
Emploi net cr aprs un/trois ans

(dont l'emploi des femmes)
Nombre total d'emplois dans

les PME (Emplois temps plein dont
nombre occup par des femmes)
Evaluation
transversale
d'intervention
Les indicateurs ci-dessus s'intressent la quantification des ralisations,

des rsultats et des impacts. Il est galement utile de disposer d'informa
tions qualitatives sur les effets des interventions, telles que, par exemple,
des donnes sur le nombre de projets de collaboration entre instituts de
recherche et entreprises ou sur le nombre d'innovations qui en dcoulent
pouvant tre enrichies par une information qualitative sur la collaboration.
Mais, dans la mesure o ce type de collaboration a pour but d'amliorer la
comptitivit des entreprises participantes, les procdures standard d'va
luation par les pairs ou de panels d'experts utilises pour l'valuation des
instituts de recherche publics ne sont pas particulirement adaptes ce
contexte, et ce pour des raisons de confidentialit commerciale. Il est
toutefois possible de demander aux partenaires d'valuer la qualit de leur
collaboration. L'Encadr 35 ci-dessous prsente un systme de notation
pouvant tre utilis pour mesurer la qualit de cette collaboration.
Encadr 35 - Exemple de questionnaire pour une action

recherche ralise en collaboration
Evaluation de :
La pertinence stratgique de l'activit de recherche commune pour
vos activits commerciales
0 1 2
3
4
La qualit de la recherche dans le cadre du projet
0 1 2
3
4
La qualit de la contribution de votre (vos) partenaire(s)
0 1 2
3
4
L'importance des connaissances acquises dans le cadre
du partenariat
0 1 2
3
4
Lgende :
0 - Trs mauvais ; 1 - Mauvais ; 2 - Faible ; 3 - Bon ; 4 - Excellent
Sources d'information adaptes

Lors de l'valuation d'interventions de RDT dans le cadre des Fonds structu
rels, il est important de ne pas oublier que les outils utiliss doivent
permettre d'examiner des phnomnes complexes de faon dtaille. Il faut
galement garder prsent l'esprit que les donnes de suivi disponibles au
niveau rgional sont souvent ingales, et que la collecte des donnes
primaires pourra constituer, dans certaines rgions, une partie coteuse et
longue de l'valuation
Bien que l'valuation des interventions de RDT soit susceptible de dpendre
en grande partie de donnes primaires, il existe tout de mme des bases de
donnes statistiques pertinentes pour le niveau des entreprises.
Des enqutes s'intressent directement aux innovations ou aux activits
innovantes des entreprises. Dans le premier cas, les enqutes collectent des
donnes sur les innovations juges significatives d'un point de vue techno
logique ou conomique. Dans le deuxime cas, l'enqute tient compte des
entreprises qu'elles soient innovantes ou non, ainsi que des utilisateurs des
innovations, ce qui permet l'examen des freins l'innovation, ainsi que de
l'existence et de l'intensit des liens utilisateursproducteurs.
Au niveau de l'entreprise, les donnes sur les brevets informent sur la classi
fication technologique de l'innovation. A la diffrence des donnes collec
tes par les enqutes, les donnes de brevets sont disponibles sur une
longue priode. Les brevets enregistrs par le Bureau europen des brevets
sont disponibles sur leur base de donnes qui est oprationnelle depuis
1978.
Des donnes sont gnralement disponibles au niveau national (par
exemple, l'Observatoire des Sciences et des Techniques tablit un rapport
annuel sur les indicateurs de science et de technologie en France) et l'OCDE
publie chaque anne des statistiques sur les dpenses en matire de R&D.
Des statistiques relativement jour sur la RDT europenne, convenant la
construction d'indicateurs de contexte, peuvent tre tires des publications
annuelles d'EUROSTAT qui regroupent des donnes sur le personnel de
R&D, les dpenses de R&D et les applications de brevets ventils par rgion,
ainsi que les affectations de budgets gouvernementaux de R&D. Cette
source donne galement des estimations sur la priode actuelle bases sur
les donnes en cours de traitement.
^valuation transversale
d'intervention
Outils adapts l'valuation des interventions structurelles

dans le domaine de la RDT
Un certain nombre d'outils particulirement bien adapts l'valuation des
impacts sur la RTD sont prsents ciaprs (pour plus de dtail, voir le
Volume 3 de la Collection).
La dtermination de l'impact d'interventions de RDT peut se faire l'aide de
l'approche pas pas prsente dans la partie IV de ce Volume. Une
certaine exprience a dj t acquise dans ce domaine, et pour une
analyse plus approfondie des impacts de RDT, on dispose d'une exprience
dj significative et des outils classiques pour ce type d'valuation ont fait
leur preuve, tels que les panels d'experts et les indicateurs bibliomtriques.
Toutefois, rvolution de la nature des interventions qui visent crer des
opportunits d'innovation face de meilleures conditions d'apprentis
sage et la constitution de partenariats et de rseaux impose trois dfis
majeurs dans le domaine de l'valuation de la RDT.
Premirement, on ne peut plus rduire les effets des interventions de RDT
de simples variables montaires, ce qui signifie que des outils tels que
l'analyse cotefficacit ou des analyses bases sur le retour sur investisse
ment sont sujettes caution. Cette dernire technique est limite l'analyse
des retours privs sur les dpenses de RDT, elle estime donc sensiblement
les retours totaux, dans la mesure o une grande partie de ces retours sont
des retours sociaux gnrs par les retombes et les effets externes de la
RDT (c'est dire les effets, positifs ou ngatifs, raliss dans une certaine
mesure par des mcanismes non commerciaux et qui ne sont donc pas plei
nement pris en compte dans le systme de prix).
Deuximement, cause de la complexit de la chane de causalit entre les
activits de RDT et leurs effets socioconomiques, il convient d'accorder
une plus grande importance une tude qualitative approfondie des
processus de changement. Troisimement, la reconnaissance des effets de
la RDT sur les performances des entreprises exige que les valuations
adoptent une approche plus large que l'examen projet par projet des inter
ventions. Enfin, la ncessit de prendre pleinement en compte les objectifs
spatiaux des interventions structurelles suppose de trouver une alternative
aux outils classiques d'valuation de la RDT. Malheureusement, les exp
riences d'valuation pertinentes sont peu nombreuses.
En utilisant des questionnaires soigneusement adapts aux caractristiques
de la population concerne, relativement simples, clairement structurs et
conus pour couvrir les thmes de RDT en fonction de leur importance pour
la ou les rgions tudies, les valuateurs peuvent brosser un tableau du

systme d'innovation incluant : le type et la porte des Interventions, la
faon dont elles sont mises en uvre, la nature et la porte de la RDT indus
trielle, l'effet des interventions sur les politiques rgionales de RDT et l'orga
nisation des activits de RDT. Les enqutes par questionnaires peuvent
donc complter les informations sur l'utilisation des ressources, les enjeux
d'organisation et de gestion ainsi que sur l'efficacit des instruments et des
mcanismes. Elles doivent toutefois se concentrer dans une large mesure
sur la fourniture de donnes quantitatives sur les ralisations et les rsultats
des interventions.
L'exprience de l'initiative communautaire EUREKA a rvl que les ques
tionnaires seuls ne peuvent pas saisir la richesse et la complexit des effets
socio-conomiques dcoulant des interventions de RDT. En outre, l'exp
rience de la Norvge a montr qu'il faudra peut-tre plus de dix ans pour
mettre en vidence des impacts tels que les ventes supplmentaires, les
gains de productivit, les avantages du travail en rseaux. Les question
naires doivent donc tre complts par des entretiens individuels avec des
personnes cls dans le domaine de la RDT, centrs la fois sur les impacts
rels et prvus. Les personnes interroges seront slectionnes parmi les
acteurs des programmes : financeurs des programmes au niveau rgional
ou local, universits, etc. Plus important encore, on interrogera des destina
taires tels que centres de recherche, PME et grandes entreprises, impliqus
dans les programmes, ainsi que des entreprises qui ne sont pas directement
concernes (telles que des entreprises achetant de nouveaux procds au
lieu de les dvelopper elles-mmes).
Les panels d'experts peuvent tre utiliss pour valuer les interventions
cibles sur la recherche publique. Toutefois, le secret tant un lment
essentiel permettant aux entreprises de conserver leur avantage en matire
d'innovation, l'utilisation de ces panels est limite quand il s'agit d'valuer
les activits de recherche du secteur priv ou en collaboration entre le priv
et le public. Ces panels sont par contre trs utiles pour les valuations quick
and dirty, le cas chant.
Diffrentes tudes de cas soigneusement slectionnes peuvent tre
utilises pour une analyse approfondie et une comparaison de mesures indi
viduelles. Ces tudes de cas peuvent tre centres sur des projets de qualit
exceptionnelle dans le domaine de la promotion des capacits de RDT.
Cette option peut se justifier si l'on souhaite examiner les changements
Evaluation
transversale
d'intervention
internes (par exemple la mise en place d'un dpartement de RDT) ou

externes (par exemple les liens entre entreprises ou entre entreprises et
centres de recherche). Elles peuvent galement couvrir une rgion entire
afin de mieux apprcier la fois le fonctionnement des systmes rgionaux
d'innovation et la durabilit long terme du dveloppement d'une rgion.
Dans ce cas, elles peuvent s'intressera la comptitivit, au dveloppement
conomique et l'emploi, en se centrant sur la demande de RDT. Les tudes
de cas doivent tre conues dans une optique d'extrapolation, de regroupe
ment et de comparaison.

La RDT, particulirement au niveau de l'industrie, est reconnue comme un
pralable essentiel au dveloppement conomique durable. Cette recon
naissance a entran une importante augmentation des dpenses structu
relles dans ce domaine, accompagne d'une rorientation des interventions
vers le dveloppement technologique en aval.
Lors de l'estimation des impacts nets des interventions, il convient de tenir
compte, outre de l'effet d'aubaine, de l'additionnalit des dpenses structu
relles qui constitue un facteur important. La dtermination de l'effet de levier
reprsente galement un lment non ngligeable de l'apprciation de
l'impact des interventions dans le domaine de la RDT.
L'valuation des interventions de RDT pose des problmes particuliers
associs la nature intangible de nombreux impacts spcifiques et au fait
que les impacts socioconomiques apparaissent long terme. De plus,
l'accent mis sur le rle de la RDT du secteur priv et la ncessit d'valuer
au niveau non des projets mais du programme, signifient que les panels
d'experts, qui constituent l'outil bien tabli de l'valuation de la RDT, ne
peuvent tre utiliss que de faon limite.
Pour e n savoir plus...
Archibugi D. and Pianta M. (1996), "Innovation surveys and patents as tech
nology indicators: the state of the art" in: Innovation, Patents and Technolo
gical Strategies. Paris: OCDE.
Commission europenne (1998), 2 e Rapport europen sur les indicateurs
scientifiques et technologiques 1998, Luxembourg: Office des publications
Commission europenne (1999), Impact of Structural Funds (1994-1999) on

Research Technology Development and Innovation (RTDI) in Objective 1 and
6 Regions, Commission europenne, DG XVI.
Eurostat (1997), R&D Annual Statistics 1997. Luxembourg: Eurostat.
Georghiou L. (1998), "Issues in the Evaluation of Innovation and Technology
Policy", Evaluation, Vol 4(1), 37-51.
Lundvall B.-A. (ed.) (1992), National Systems of Innovation: Towards a
Theory of Innovation and Interactive Learning. Londres : Pinter.
OCDE. (1994), The Measurement of Scientific and Technological Activities:
Proposed Standard Practice for Surveys of Research and Experimental
Development - Frascati Manual 1993. Paris : OCDE.
OCDE. (1998), Policy Evaluation in Innovation and Technology: Towards
Best Practices, OECD Proceedings, OCDE : Paris.
OST (1996), Science & Technologie : Indicateurs 1996. Paris : Economica.
Evaluer les impacts dcoulant d'interventions dans les domaines

des transports, des tlcommunications et du tourisme
Relativement peu d'valuations transnationales thmatiques ont t
ralises ce jour dans le domaine des transports, des tlcommunications
et du tourisme. L'exprience existante se caractrise la fois par un aspect
transnational limit et par une conception de l'valuation essentiellement
de haut en bas . Le prsent chapitre a pour ambition de tirer parti de l'ex
prience acquise et de la complter avec certains aspects prendre en
compte lors de l'valuation d'interventions dans ces domaines.
Transports et t l c o m m u n i c a t i o n s
Interventions structurelles dans le domaine des transports
Les interventions structurelles dans le domaine des transports s'inscrivent
dans une politique communautaire des transports plus large, qui comprend
galement un financement de la BEI et l'initiative Rseaux transeuropens
(TEN). Outre ces instruments essentiellement centrs sur le financement de
projets d'infrastructures de transport, il existe dsormais un cadre lgislatif
important, orient vers l'harmonisation et la libralisation des conditions de
march au sein de secteurs particuliers des transports.
Les projets d'infrastructures de transport sont financs au moyen de sub
ventions et de prts affects en fonction de l'valuation exacte de chaque
projet et de la stratgie de dveloppement rgional. Pour les pays
concerns par le Fonds de cohsion, la fois d'un point de vue physique et
financier, la planification et le financement d'infrastructures de transport font
partie des secteurs les plus importants de la politique de l'Union euro
penne.
Les investissements dans les infrastructures de transport sont conus pour
agir sur la cohsion socioconomique selon les deux axes suivants :
Eliminer les goulots d'tranglement et rduire les temps de dplacement
pour baisser les cots et les contraintes de transport pour l'industrie
(transport des matires premires, des produits semifinis et finis, etc.) et
amliorer la productivit conomique (en rendant possible de nouvelles
techniques d'organisation, telles que le fonctionnement en juste
temps ) ;
Augmenter l'accessibilit et la mobilit entre rgions pour rduire les
handicaps lis une situation priphrique.
Evaluation
transversale
d'intervention
On considre le plus souvent que les amliorations des transports et, en

particulier, des infrastructures de transport, favorisent le dveloppement
conomique et rduit les disparits entre rgions. Cette hypothse est
toutefois sujette caution, certains estimant en effet qu'une meilleure infra
structure peut, dans certains cas, aggraver les disparits, au moins court
terme, en ouvrant la rgion aux importations provenant de rgions plus
faible cot. Outre cet effet indsirable possible, les interventions dans le
cadre de l'initiative des rseaux transeuropens (TEN), qui reprsente la
majorit des investissements dans ce domaine, n'ont pas un objectif de
cohsion mais d'amlioration de la comptitivit globale de l'Union euro
penne dans son ensemble. Les interventions de ce type peuvent donc
avoir des effets positifs plus importants dans les pays qui ne sont pas
concerns par l'effort de cohsion, qui bnficient de l'essentiel des inves
tissements dans les projets TEN et sont plus favoriss en termes d'accessi
bilit par leur position gographique. On considre toutefois que le rle de la
Communaut en matire d'identification, de planification et de cofinancement des TEN est un contrepoids important au parti pris national de la
plupart des projets d'infrastructure de transport.
Certains auteurs considrent que l'amlioration de l'infrastructure peut avoir
un effet inverse de celui recherch en attirant les personnes et les entre
prises vers les ples d'activit les plus dynamiques, aux dpens de la
cohsion. Cependant, ce risque ne doit pas tre surestim car moyen et
long terme, on peut prvoir un important rquilibrage de l'activit, ds lors
que les inconvnients des grandes agglomrations (loyers commerciaux
levs, pollution, encombrements, etc.) commencent peser plus lourd que
les avantages de la concentration.
Outre l'amlioration et la construction d'infrastructures, l'accent est mis, de
plus en plus, sur une utilisation plus rentable de l'infrastructure existante, en
utilisant des solutions de haute-technologie pour rsoudre des problmes
d'encombrements routiers et des problmes d'environnement lis aux
transports (par exemple des technologies avances de tlmatique appli
ques au transport). L'effet de ce dveloppement sur la cohsion pourrait
tre moins lev que ce qui avait t escompt, tant donn que ce type de
solution semble plus adapt aux zones dveloppes qu'aux zones priph
riques de la Communaut.
L'offre d'infrastructures de transport peut galement avoir des effets de
dplacement des problmes tels que les encombrements routiers, la
demande d'espace routier semblant avoir une certaine tendance toujours
Evaluer les impacts dans les domaines des transports,
dpasser l'offre. La pollution atmosphrique et sonore gnre par l'utilisa

tion des infrastructures doit faire l'objet d'une attention particulire pour
viter une dgradation de la qualit de la vie.
L'valuation des effets des interventions dans ce domaine dpendra de la faon
d'apprhender la contribution des transports l'conomie. Cette contribution
se traduit en grande partie par une rduction des cots et des contraintes pour
les entreprises et les personnes. Elle prsente galement un aspect qualitatif
important, notamment en termes de scurit et d'environnement.
Interventions structurelles dans le domaine des tlcommunications
Le passage d'une conomie industrielle une conomie de services base
sur l'information offre de nombreuses opportunits aux rgions les plus
excentres, dans la mesure o il rduit les effets de l'loignement gogra
phique sur l'activit conomique. La capacit bnficier de ces opportuni
ts dpend toutefois du niveau d'quipement de ces rgions en infrastruc
tures et services de tlcommunications.
Compte tenu des avances technologiques, qui font que les tlcommuni
cations et la technologie de l'information sont de plus en plus indiscernables
et que les monopoles nationaux des tlcommunications disparaissent,
l'Union europenne a jou deux rles :
premirement, elle a mis en place un cadre commun pour la libralisation
du secteur europen des tlcommunications, l'intrieur duquel les Etats
membres rglementent leurs industries des tlcommunications ;
deuximement, elle a promu une RDT des tlcommunications en collabo
ration et a aid la modernisation des infrastructures correspondantes.
Les effets des politiques de libralisation dans le domaine des tlcommuni
cations vont gnrer une amlioration globale de la qualit du service et de la
rentabilit. Il est toutefois probable que leurs effets court terme accentuent
les problmes de cohsion. Les effets immdiats seront une rduction des
cots pour les gros consommateurs de services de tlcommunications dans

les rglons les plus dveloppes tant donn que le financement des interrup
tions de services et les tarifs sont rquilibrs pour reflter la ralit des cots.
Pour les consommateurs des rgions les plus priphriques, ce processus
peut entraner une augmentation des cots. Il est probable que les impacts
positifs importants dans ces rgions apparatront moyen ou long terme,
lorsque les avantages de la localisation dans les rgions moins centrales
dpasseront les avantages de regroupement des rgions plus centrales.
Evaluation
transversale
d'intervention
Le changement structurel gnr par les avances technologiques dans le

domaine des tlcommunications n'affecte pas uniquement les institutions et
les organisations, mais galement le mode de vie de tout un chacun. L'expres
sion Socit de l'information recouvre dsormais les aspects gnraux de
cette volution. Le tltravail joue un rle de plus en plus important dans cette
Socit de l'information , en permettant aux employs et aux travailleurs
indpendants de travailler dans des sites distants en utilisant le rseau de tl
communications pour recevoir et transmettre des donnes, commercialiser
leurs produits, rechercher leurs clients, etc.
Un intrt plus marqu pour ces aspects gnraux a conduit l'Union euro
penne jouer un rle de premier plan dans ce domaine. Les infrastructures
et les services sont toutefois essentiellement financs par le secteur priv et
les dpenses des Fonds structurels restent trs modestes, puisqu'elles
reprsentent moins de 3% des investissements totaux dans les tlcommu
nications. Dans les rgions les moins dveloppes, cependant, elles ont
jou un rle important dans le dveloppement de rseaux modernes de tl
communications.
En ce qui concerne les rseaux transeuropens de tlcommunications, le
rle de la Commission est de partager le risque financier en fournissant une
aide aux projets conomiquement avantageux, prsentant un intrt gnral
mais risqus ou inadapts en termes de rentabilit financire. L'aide est
dispense au moyen de diffrents instruments :
cofinancement d'tudes de faisabilit et d'autres mesures techniques ;
taux d'intrt bonifis ;
ou encore contributions aux garanties de prts.
Quelques questions cls pour les valuations dans les domaines des
transports et des tlcommunications
Une grande proportion des dpenses structurelles dans ces deux domaines
a surtout t concentre sur des mesures d'aide des projets d'infrastruc
ture, en particulier pour les transports. S'il est probable que cette situation
perdure dans un avenir proche, l'intrt croissant pour le dveloppement de
solutions de transport logicielles et d'applications de Technologies d'in
formation et de communications (TIC) signifie que les valuations devront de
plus en plus tenir compte des effets les moins tangibles. Ces deux domaines
ont galement fait l'objet de politiques de drglementation qui ont ou vont
avoir d'importantes rpercussions structurelles. L'identification des syner
gies (ngatives ou positives) entre les politiques de libralisation et les
Evaluer les impacts dans les domaines des
transports,
cadres rglementaires et les interventions aux objectifs de cohsion expli

cites reprsente un enjeu important pour l'valuation. Les effets des projets
d'infrastructures sur l'accessibilit des rgions priphriques sont un autre
aspect, prendre en compte pour l'analyse des rpercussions sur la
cohsion.
Les projets d'infrastructures sont gnralement Importants et peu nom
breux. Ce sont soit des projets de construction ou de modernisation soit des
nuds (ports, centraux multimodaux, centraux tlphoniques), soit d'une
liaison entre diffrents nuds (routes, chemin de fer, cbles, gazoducs etc.).
On peut tablir l'importance relative de diffrents projets d'infrastructures
avant de slectionner un certain nombre d'entre eux pour une analyse plus
dtaille ( des fins d'valuation intermdiaire ou ex post) en les classant par
importance de l'intervention en termes budgtaires. L'importance des projets
TEN, par exemple, est reflte par un systme de classement qui identifie les
projets prioritaires et d'autres projets en fonction de leur taille. Toutefois, cette
approche n'est pas ncessairement suffisante pour apprhender toute l'im
portance d'un projet. D'autres facteurs peuvent tre pris en compte pour le
classement de projets, tels que les avantages sociaux et financiers du projet
ou la participation du secteur priv. Etant donn que chaque projet est une
composante d'un systme, il est galement important d'examiner leur impor
tance stratgique dans le systme lui-mme. Pour cela, il faut examiner l'im
portance de l'axe dans lequel se situe le projet, par rapport d'autres axes de
la rgion. De mme, il peut tre souhaitable de classer les nuds en fonction
de leur importance stratgique dans le systme.
Les Interventions en matire d'infrastructure de transports se situent au
dbut d'une longue chane de causalit. Compte tenu de la distance entre
une intervention et ses impacts socio-conomiques ventuels (c'est--dire
au niveau de l'emploi et de croissance du PNB), il est difficile d'tablir des
liens de causalit clairement dfinis entre ce type de projet (c'est--dire les
ralisations d'une intervention) et les changements globaux. Les valuations
doivent donc se concentrer sur le suivi des ralisations, des rsultats et des
impacts spcifiques des interventions. De plus, parce que les effets sur la
cohsion moyen ou long terme des projets d'infrastructure peuvent,
dans une certaine mesure, contredire les effets court terme, les prix relatifs
peuvent devenir favorables en dehors des ples d'activits centraux. Le
choix de la dure de l'valuation est d'une importance cruciale si l'on
souhaite observer la totalit des impacts d'une intervention.
Evaluation
transversale
des Impacts sur les priorits
d'intervention
Les projets d'infrastructure subventionns entranent non seulement des

effets directs mais aussi des effets indirects ou induits car ils rduisent les
contraintes pesant sur l'activit conomique des destinataires indirects. De
cette manire, ils peuvent entraner des effets d'offre en rendant les struc
tures productives plus efficientes (par exemple, en rduisant les dlais de
livraison) et en rduisant les cots (en rduisant les distances, les temps de
transport etc.). Ils stimulent aussi la demande (effets de demande) en mobili
sant les ressources humaines et matrielles pendant toute la dure de la
construction.
Le Volume 2 de la Collection MEANS contient une fiche d'information
consacre aux indicateurs dans le domaine des infrastructures de transport.
A titre d'exemple, l'Encadr 36 prsente un systme d'indicateurs pouvant
tre utilis pour suivre la production d'impacts dcoulant d'un projet d'am
lioration de ligne ferroviaire.
Encadr 36 - E xemple de systme d'indica teurs pour l'amlioration
d'une ligne fer roviaire pour des activits d 3 fret
Indicateurs de ralis ation

Progression
Conformit au calendrier du projet

Taux de ralisation
Quantit
Nombre de km amliors
Qualit
% de ligne permettant des vitesses

au moins gales une valeur de seuil
souhaite (100 km / h)
% de longueur de ligne acceptant
des trains de charge standard maximum
Vitesse
Vitesse commerciale type des trains de

marchandise sur cette ligne
Vitesse moyenne sur

les lignes rgionales
Intensit du trafic
Intensit du trafic de marchandises

sur la ligne (Tonnes / an) aprs un an
Intensit du trafic de et vers

la rgion (Tonnes / an)
Systme de
transport
Intensit du trafic de marchandise

utilisant la nouvelle infrastructure
au lieu du rseau routier (Tonnes / an)
Distribution du trafic dans la rgion

(Tonnes / an)
Effet conomique
indirect
% de chefs d'entreprises rgionaux

dclarant que l'accessibilit du fret
ferroviaire constitue une contrainte
majeure
transports,
Dans le cas d'infrastructures de tlcommunications, l'valuation au niveau

des impacts sera normalement centre sur l'augmentation de l'utilisation
(c'est dire le taux de pntration, les changements du trafic tlphonique,
etc.) des tlservices et des quipements par les entreprises et les particu
liers imputables aux amliorations du rseau. Les services de tlcommuni
cations aids par les interventions structurelles, quant eux, sont plutt de
nature exprimentale (aide la mise en place d'un centre de tltravail, aide
des services de formation en ligne, etc.). Cela signifie qu'il est aussi
important d'valuer la survie des projets que de rechercher leurs ventuels
impacts socio-conomiques.
Le Volume 2 de la Collection MEANS contient une fiche d'information
consacre aux indicateurs dans le domaine des tlcommunications.
Cependant, un exemple de systme d'indicateurs pouvant tre utilis pour
suivre les impacts produits par la mise en place d'un rseau hybride fibre et
coaxial (HFC) large bande est prsent dans l'Encadr 37.
Les acteurs principaux dans le domaine des tlcommunications appartien
nent au secteur priv et certains projets rentables auraient pu tre financs
Encadr 37 - Exemple de systme d'indi cateurs pour la mise en
place d'un r eau hybride fibre et coaxic 1 (HFC) large bande
(associs l'Intervention et ses effets)
(associs la zone assiste
Indicateurs de realis ation

Progression
Conformit au calendrier du projet

Taux de ralisation
Quantit
Nombre de km de HFC mis en place

Nombre de btiments/appartements
desservis
% de km de HFC dans le rseau

total (dans la rgion considre)
% de btiments/appartements
traverss
Performances
du rseau
Amlioration du dbit binaire

Nombre de dfaillances du rseau
Services fournis
Nombre de services
Nombre de chanes de TV
Nombre d'heures de programme
fournies (via le rseau)
Connexions
Nombre de foyers ayant connect leurs

quipements (TV, PC) au rseau HFC
(aprs 6 mois)
Croissance de la pntration des PC

et des appareils connects au cble
dans les foyers de la rgion considre
Nombre d'abonnements aux services

Total des heures de connexion / mois
Croissance du taux d'adoption

des tlservices des foyers dans la
rgion considre
Evaluation
transversale
d'intervention
exclusivement par des acteurs prives. Dans le cas d'octroi d'une aide des
Fonds structurels, la proccupation majeure pour l'estimation des effets
nets est donc de dterminer l'effet d'aubaine (c'estdire les investisse
ments qui auraient exist en l'absence de l'intervention et leurs effets
associs).
Tourisme
Interventions structurelles en faveur du tourisme
L'objectif des interventions dans ce domaine est d'aider la diversification
des conomies rgionales en vitant qu'elles dpendent trop lourdement de
l'agriculture et, dans une moindre mesure, des industries en dclin. Si le
tourisme peut participer de faon notable la cohsion socioconomique,
il se caractrise souvent par un certain nombre de problmes structurels :
la demande touristique est saisonnire, ce qui entrane une sousutilisation
des infrastructures pendant de grandes priodes de l'anne et des schmas
d'emploi saisonniers prcaires ;
la valeur ajoute gnre par les activits touristiques est souvent faible, et
leur rentabilit alatoire :
la qualit des produits est trs variable ;
les niveaux deformation sont relativement bas ;
et enfin l'accs aux transports est un facteur limitant du dveloppement
touristique.
De plus, le dveloppement du tourisme doit tre gr de faon garantir sa
durabilit (c'estdire avec une concentration sur des activits qui ne pro
duisent pas d'impacts ngatifs sur l'environnement et en attnuant tous les
impacts ngatifs potentiels).
Les interventions dans le domaine du tourisme ont donc essentiellement
pour but de rsoudre ces problmes, d'aider la fourniture d'infrastructures,
d'largir la gamme de produits touristiques, etc. Les interventions, telles que
l'aide la construction de centres de confrence, par exemple, peuvent
contribuer rduire le caractre saisonnier du tourisme en assurant la
promotion d'un tourisme de confrence effectif tout au long de l'anne. De
mme, le dveloppement de nouvelles attractions peut entraner une
rduction de la pression sur les sites touristiques rputs en pleine saison.
Ce type d'intervention a galement un impact sur l'accs aux transports (en
lissant les priodes de pointe) et sur la qualit et la rentabilit des produits
transports,
(par exemple en encourageant les clients exigeant des produits et services

de qualit plus leve).
Le tourisme tant une activit employant une main d'uvre importante et
reposant largement sur des produits et services fournis localement, il s'agit
d'un domaine o le dveloppement est amplement endogne et avec des
effets potentiellement importants sur l'emploi et le niveau de vie et, par
consquent, sur la promotion de la cohsion socio-conomique.
Quelques points cls pour les valuations dans le domaine du tourisme
Bien que certaines interventions aident des projets d'infrastructures relative
ment importants et visibles, beaucoup d'interventions dans ce domaine sont
fragmentes, htrognes et relativement rduites (aide l'amlioration de
l'hbergement touristique, aide aux muses, aux comuses, aux centres
deformation, etc.).
Le dveloppement du tourisme repose largement sur des facteurs qualita
tifs. La plupart des touristes choisissent librement leur lieu de sjour (ils ne
sont pas contraints par des facteurs tels que des ncessits profession
nelles ou commerciales), ce qui signifie qu'ils sont trs sensibles la qualit
et au prix des produits ou des services qu'ils achtent. Le tourisme est
parfois considr comme une matire premire dont la varit est insuffi
sante et la qualit ingale. Il se caractrise en gnral par une faible rentabi
lit et un emploi de mauvaise qualit, si on le mesure en termes de niveau de
formation et de prcarit. Les valuations des interventions visant aider le
dveloppement du tourisme doivent donc prendre en compte ces facteurs
qualitatifs.
Dans ce domaine, il est fort probable qu'un certain nombre de projets
seraient engags en l'absence d'interventions structurelles (modernisation
d'htels, terrains de golf, campings, etc.). Le calcul de l'effet d'aubaine est
donc important pour estimer les effets nets. Dans la mesure o l'un des
objectifs des interventions dans le domaine du tourisme est de dvelopper
de nouvelles attractions pour rduire la pression sur les sites touristiques
trs visits en pleine saison, la substitution est souvent l'un des buts des
interventions. Comme les touristes ne peuvent visiter qu'un nombre de sites
limit pendant un sjour, les sites aids peuvent tre avantags aux dpens
de sites non aids. Il convient donc d'tre conscient des effets de dplace
ment possibles.
Evaluation
transversale
d'intervention
A titre d'exemple, un systme d'indicateurs de suivi d'impacts d'interventions

d'aide la cration d'installations touristiques est prsent l'Encadr 38.
Encadr 38 - Exemple d'aide la cration d'installations
touristiques (muses, parcs thme, etc.)
Activit de
l'oprateur
Nombre de contacts avec les

destinataires potentiels
Nombre de
destinataires

assistes
Capacit
Nombre maximum de visiteurs par jour
Nombre total de sites touristiques
Dure de la visite
Temps normalement ncessaire pour

la visite (heures)
Cot dela visite
Cot moyen par visite du site

(euro par personne)
Frquentation
Nombre de visiteurs par an pour les sites

subventionns
Attrait touristique
% de visiteurs provenant d'autres rgions
Valeur ajoute
Valeur ajoute gnre en euro par an
Valeur ajoute gnre dans l'indus

trie du tourisme en euro par an
Emplois crs
Emplois nets crs (dont % occups

par des femmes)
Nombre d'emplois dans

l'industrie du tourisme
Le Volume 2 de la Collection MEANS, consacr aux indicateurs de suivi et

d'valuation, prsente de faon plus dtaille les indicateurs associs au
tourisme.
Exemples d'outils d'valuation des interventions

structurelles dans les domaines des transports,
des tlcommunications et du tourisme
Les valuations transnationales dans les domaines des transports et des
tlcommunications ont souvent utilis une approche de haut en bas ,
reposant largement sur la recherche documentaire et sur des donnes
secondaires compltes d'entretiens avec les acteurs cls, de rapports
d'experts et, dans certains cas, d'tudes de cas ainsi que sur la technique
des notations et pondrations.
L'objectif de la prsente section est de prsenter un petit nombre
d'exemples d'outils utiliss dans ces domaines dans le cadre d'valuations
thmatiques transnationales. Les outils d'valuation sont traits de faon
plus dtaille dans le Volume 3 de la Collection MEANS.
SWOT : exemple de l'aperu stratgique de questions de transports
pour la rpublique d'Irlande
L'analyse SWOT (Strengths, Weaknesses, Opportunities and Threats, c'est
dire Forces, faiblesses, opportunits et menaces) est particulirement utile
dans le cadre de l'analyse stratgique effectue au moment de la concep
tion ou de l'valuation d'un projet d'infrastructure. Sa mise en uvre
implique un certain nombre d'tapes.
1. Reprage des questions et des problmes cls auxquels une rgion est
confronte ;
2. Classement des priorits ;
3. Identification des opportunits et des menaces (facteurs extrieurs au
projet, la rgion, etc.) ;
4. Identification des forces et des faiblesses (facteurs associs aux caract
ristiques du projet, de la rgion, etc.)
5. Synthse des rsultats et analyse de la matrice SWOT ;
6. Formulation des stratgies.
Dans cet exemple particulier, une analyse SWOT a t entreprise pour
examiner la position de la Rpublique d'Irlande dans le domaine des trans
ports nationaux et en fonction de son contexte gnral. L'analyse, base sur
les facteurs rsums dans la matrice cidessous, conclut que la situation
gnrale des transports en Rpublique d'Irlande n'est pas adapte aux
besoins. Cette analyse a permis l'laboration de choix stratgiques visant
liminer les faiblesses identifies ou les compenser en dveloppant des
forces identifies.
Evaluation
transversale
d'intervention
Encadr 39 - Exemple de matrice d'analyse SWOT

Forces
Base industrielle relativement moderne
Tradition d'conomie ouverte
Main d'uvre bien forme
Environnement prserv
Proximit de la mer
Stabilit politique
Opportunits
SEM - accs la Grande-Bretagne
Rle d'entrept pour les Etats-Unis ?
Shannon centre arien europen ?
Adapt au tourisme et aux loisirs
Services bass sur les tlcommunications
Aquaculture, nergie naturelle
Faiblesses
Petitesse, situation priphrique
Pauvret des ressources Intrieures
Qualit de l'infrastructure intrieure
Accs aux transports peu satisfaisant
Capacit de financement
Chmage, problmes sociaux
Menaces
Le centre de l'Europe se dplace vers l'Est
Incertitude des financements futurs de la CE
Ecosse et Pays de Galles, aprs le tunnel sous
la Manche
Grandes alliances industrielles
Instabilit sociale/conomique en Europe
Emigration de la main d'uvre
Notations et pondrations : exemple du Corridor Ranking

Framework (Grce, Irlande et Portugal)
Les notations et pondrations sont souvent utilises pour l'valuation ex
ante des projets, en utilisant un ensemble standard de critres de slection
et de classement. Il comprend gnralement deux tapes :
1. Elimination des projets ne satisfaisant pas aux critres applicables ;
2. Classement des projets retenus en fonction des critres.
Dans le cas prsent ici, l'importance relative des axes de transport priori
taires dpend des objectifs spcifiques, des interventions d'infrastructures
de transports et de leurs contributions l'objectif global de cohsion socioconomique.
Le classement des axes dans cette valuation sur trois pays a t entrepris
en utilisant sept critres, qui ont, eux-mmes, t classs par ordre d'impor
tance. Les critres utiliss taient les suivants :
1. L'axe assure-t-il des liaisons avec le reste de la Communaut europenne ?
2. L'axe raccorde-t-il des centres urbains importants (plus de 50 000
habitants) ?
3. L'axe assure-t-il des liaisons avec des points d'accs extrieurs

(aroports et ports maritimes) ?
4. Le trafic est-il lev sur l'axe, l'axe est-il rgulirement satur, etc. ?
5. L'axe complte-t-il des itinraires terrestres et /ou marins ?
6. L'axe facilite-t-il le trafic international ?
7. L'axe intgre-t-il des rgions distantes ou isoles prsentant un potentiel
de dveloppement ?
Dans le cas de l'valuation du secteur des transports en Grce, les axes
reliant des centres conomiques ont t classs en fonction de la liste de
critres ci-dessus, qui refltent les principales questions relatives aux trans
ports (amlioration des connexions avec d'autres pays europens, liaison
entre de grands centres urbains, amlioration des liaisons avec les ports,
etc.) La mthode de notation permet de tenir compte de la pertinence du
projet et d'indiquer si les critres s'appliquent au projet pleinement, partielle
ment ou pas du tout. Les critres sont galement classs selon leur impor
tance globale. Cette information est prsente sous forme de matrice, dont
un extrait est prsent l'Encadr 40.
Encadr 40 - Extrait d'un Corridor Ranking Framework
appliqu la Grce
Priorit dcroissante
Axes
candidats
potentiels
de dve
loppement
1)
Athnes Patras
2)
Athnes Thessalonique
3)
ThessaloniqueIgoumenitsa
4)
Corinthe Kalamata
5)
Igoumenitsa Patras
Route trans
europenne
Raccorde
ment
des centres
urbains
Relie des
points
d'accs sur
l'extrieur
Volumes de
circulation
Complte
des routes
terrestres/
marines
Facilite le
transport
international
Intgre des
zones
distantes/
isoles
loannina
Critre pleinement applicable
9 Critre partiellement applicable
O Critre non applicable
Evaluation
transversale
d'intervention
Il est important de noter que l'exemple ci-dessus n'est qu'une faon, parmi
d'autres, de classer des projets. Un autre ensemble de critres peut reflter
d'autres objectifs ou proccupations telles que : cot total du projet, retour
financier, valeur socio-conomique, rapport avec les objectifs, effets de
levier, dures envisages, facteurs gopolitiques locaux, scurit de l'envi
ronnement et autres objectifs associs, effets de rseau, etc.
Mthodes d'tudes de cas : exemples de projets dans le secteur des
transports (Irlande)
Des tudes de cas ont t utilises en Irlande pour obtenir la fois des
donnes quantitatives et qualitatives sur les impacts conomiques de diff
rents projets spcifiques de transports. Des enqutes auprs des utilisa
teurs (entreprises locales, transporteurs) et une analyse cot-efficacit a t
utilise pour renseigner les tudes de cas.
Si les tudes de cas slectionnes (une rocade, une autoroute, le dvelop
pement d'un aroport rgional et un port maritime) ont fourni des informa
tions compltant les donnes macroconomiques rsultant essentiellement
de sources secondaires. Toutefois, leurs contributions l'valuation n'ont
pas t tout fait satisfaisantes, car les avantages des projets ont t pris en
compte sparment et n'ont donc pas pu tre pleinement apprcis, dans la
mesure o les projets font partie intgrante d'un systme.
Pour que les tudes de cas fournissent une illustration utile des interventions
et de leurs effets, des prcautions mthodologiques doivent t prises en
compte. Premirement, la procdure de slection des cas doit tre transpa
rente et l'Importance du cas en fonction des objectifs politiques gnraux
doit tre clarifie. Deuximement, dans le cadre de l'valuation transnatio
nale, la slection des cas doit permettre le degr de comparabilit le plus
lev possible entre pays et entre rgions. Enfin, une tude de cas doit tre
centre sur diffrents projets cls dans une zone gographique circonscrite
afin d'examiner les effets externes et les synergies potentielles.
Enqute DELPHI : exemple de prvision du dveloppement des tech
nologies tlmatiques dans les transports
La tlmatique utilise dans le domaine des transports permet d'optimiser
l'utilisation des rseaux par une meilleure information et une meilleure
gestion du trafic. Elle reprsente donc une alternative partielle aux investis
sements en infrastructures routires. Dans cet exemple particulier, la
technique DELPHI a t mise en uvre pour prvoir le niveau d'utilisation

probable d'une slection de technologies tlmatiques de transport en 2015
dans les villes europennes de taille moyenne. La technique DELPHI permet
aux experts de produire collectivement des estimations quantitatives des
impacts potentiels des interventions.
L'tude a impliqu initialement 224 experts en technologie tlmatique
avance (TTA) des transports dans la grande majorit des Etats membres.
Elle sst concentre sur 18 technologies TTA et sur leur ventuelle adoption
d'ici 2015. En participant au processus de consultation, les experts ont pu
fournir des informations sur les technologies dont ils estimaient qu'elles
seraient probablement adoptes, les facteurs sous-tendant leur adoption et
ceux susceptibles de limiter ou de retarder ce processus.
Un outil du type matrice des impacts croiss (SMIC), technique apparen
te DELPHI, a t utilise en parallle avec l'tude voque ci-dessus. A la
diffrence de DELPHI, cette technique visait prendre en compte les inter
actions entre les vnements en affinant les probabilits associes l'oc
currence de dveloppements individuels futurs. Les probabilits rsultantes
peuvent tre utilises directement dans le processus de planification ou
servir de base des scnarios pouvant ensuite servir la planification.
Cent vingt-six experts ont particip l'ensemble du processus. Six vne
ments possibles ont t identifis, qui ont t rpartis en deux principaux
groupes, les vnements impliquant l'utilisation de technologies pour
rduire les problmes de transport, d'une part et, d'autre part, les vne
ments impliquant des problmes ou des rpercussions sur le trafic et les
transports.
Une premire tape de l'analyse a valu la probabilit d'occurrence des six
vnements pris en compte sparment. Une deuxime tape a examin la
probabilit conditionnelle des vnements prvus. Le rsultat de l'tude a
t un choix de scnarios slectionns en fonction de la vraisemblance de
leur occurrence.
IV
Cadres de ralisation
des valuations thmatiques
Les valuations thmatiques peuvent tre ralises dans le cadre d'un seul
programme ou de plusieurs programmes. Au niveau national ou rgional, les
conclusions peuvent tre regroupes et compares. Au niveau europen, les
valuations doivent tre structures de faon similaire afin de produire des
rsultats relativement homognes. Le premier chapitre de cette quatrime
partie prsente une procdure standardise qui, tout en tant assez souple
pour tre adapte des situations d'valuation individuelles, est suffisamment solide pour garantir que l'objectif sera atteint.
Le deuxime chapitre examine dans un premier temps les principes de base
de l'valuation thmatique transnationale, diffrentes questions organisationnelles associes ce type d'valuation et la faon de mettre en valeur les
meilleures pratiques. Une autre approche possible des valuations transnationales consiste s'loigner des comparaisons transnationales, essentiellement bases sur une synthse de diffrentes valuations nationales ou
rgionales, pour aborder une approche d'valuation des impacts au niveau
multinational ou paneuropen. Le prsent chapitre comporte une discussion
du dveloppement futur des valuations transnationales, en mettant l'accent
sur cette nouvelle perspective et conclut avec un aperu rapide de trois
outils d'valuation adapts cette approche.
Une dmarche pas pas pour une analyse thmatique

L'approche mthodologique dcrite ciaprs propose un modle pratique
pour valuer, de manire relativement standardise, les impacts produits
dans un domaine particulier ou prioritaire. Le besoin d'une approche
standard est particulirement important dans le cas des politiques structu
relles car les programmes doivent tre suivis et valus dans l'ensemble de
l'Union europenne et, dans la mesure du possible, les rsultats doivent tre
agrgs. Cette mthode peut tre utilise pour visualiser et spcifier les
rsultats d'un programme et pour produire une information suffisamment
cohrente qui permette aux services de la Commission de synthtiser les
donnes recueillies dans un certain nombre de programmes.
Une dmarche << pas pas pour une valuation thmatique
Sur la base des lments dcrits prcdemment dans cet ouvrage, il est
possible d'tablir les diffrentes tapes ncessaires une valuation thma
tique au niveau d'un programme. Cette dmarche est reprise ciaprs dans
l'Encadr 41.
Evaluation
transversale
d'intervention
Encadr 41 Evaluation transversale : une dmarche pas pas

pour un programme
Etapes Rsultats de l'valuation
Preparation
Examiner les documents
de programmation
<1 >
Identification de particularits du
programme vis vis de la priorit, des
objectifs spcifiques, % de crdits
assigns aux mesures spcifiques
<2>
Apprciation des enjeux importants dans

la rgion au regard de la priorit.
Analyse du contexte de rfrence
Conduire des entretiens auprs des

gestionnaires du programme et des
parties prenantes
Collecter les donnes diponibles
(sries temporelles, informations de
suivi, etc.) et recenser la documentation
existante
Analyser les statistiques disponibles
Information concernant les ralisations

et les rsultats du programme.
Apprciation stratgique
Detailler les effets transversaux du

programme au regard de la priorit
value conformment la typologie
d'impacts prioritaires
<3>
Liste dtaille des effets potentiels

organiss selon les critres gnriques
retenus
Remplir provisoirement la Matrice

d'apprciation thmatique
(voir Encadr 42)
<i>
Classement des mesures par catgorie :

effet favorable, dfavorable ou neutre
Radioscopie du programme
Elaborer une fiche de notation pour les
principaux impacts qui apprcient
les effets des mesures
<5>
10 20 fiches de notation remplies

provisoirement pour identifier les mesures
intressantes (cf. Encadr 43)
Entretien avec les gestionnaires du

programme et les parties prenantes
<6>
Validation de la slection des mesures

mritant une analyse approfondie
Focalisation sur quelques mesures

Collecter et analyser les informations
l'aide de la technique d'tude de cas,
des entretiens et/ou des grojpes d'entretien
<7>
Noter les fiches compltes sur la base de

l'analyse des mesures slectionnes
Synthse au niveau du programme

Remplir les tableaux rcapitulatifs
pour chaque type d'impact
Remplir la Matrice d'apprciation
thmatique
&,
<9>
4 tableaux rcapitulatifs permettant d'avoir

une vision transversale des impacts
(cf. Encadr 45)
Vue d'ensemble de la valeur du programme
sur la base de la typologie d'impact dfinie
Conclusions
Examiner les progrs raliss :
les russites et les faiblesses
du programme
<10>
Conclusions utiles pour rendre compte de

l'application d'une priorit ou des interven
tions dans un domaine
Transmettre les conclusions aux services

de la CE dans un format standardis
<11 >
Vue d'ensemble des progrs raliss

dans l'UE sur la question
Une dmarche pas pas pour une analyse
thmatique
Dans le cas d'une valuation ex ante, il est demand l'quipe d'valuation

de privilgier les six premires tapes mthodologiques qui correspondent
aux trois phases suivantes : la prparation, l'apprciation stratgique et
enfin, la radioscopie du programme (la radioscopie implique l'examen de
projets et de programmes pour dterminer le degr d'approfondissement
qui sera ncessaire).
Dans le cas d'une valuation intermdiaire ou ex post, toutes les tapes sont
suivre. La Matrice d'apprciation thmatique (cf. Encadr 42) sera utilise
en premier lieu pour focaliser l'valuation et en second lieu pour synthtiser
les rsultats de l'analyse.
La plus grande partie du travail qui est recommand dans cette dmarche
doit tre ralise dans le cadre de l'valuation normale d'un programme. Il
ne s'agit donc pas ncessairement d'un travail additionnel, dans la mesure
o les tapes dcrites ne sont pas uniquement destines l'apprciation de
la priorit communautaire : elles permettent de ne pas oublier, au cours du
processus d'valuation, de produire des rsultats sur ce thme.
La dmarche recommande n'est ni exhaustive ni exclusive. Elle n'a pas non
plus pour objet de s'inscrire dans un cadre rigide. Les valuateurs ont la
tche de dterminer jusqu' quel point cette approche est applicable au
programme dont ils ont la charge et de la complter, si ncessaire, avec des
commentaires descriptifs et des indicateurs appropris.
Il faut souligner qu'il s'agit l d'une proposition qui ne peut suffire lorsqu'il
est question d'valuer les effets de mesures spcifiques dans un domaine,
notamment dans le cas des tapes de radioscopie et de focalisation, pour
lesquelles il est ncessaire d'aller au-del de ce traitement. Il convient dans
ces situations-l de dvelopper une mthodologie plus complte que celle
qui est prsente ici.
La procdure est prsente en dtail ci-aprs. Pour la rendre plus explicite,
elle s'appuie sur la priorit de l'galit des chances entre hommes et
femmes. Elle pourra tre applique aux autres priorits dcrites dans les
chapitres prcdents dans les mmes conditions et on aura recours pour
cela aux typologies d'impacts attendus correspondantes.
Evaluation
transversale
d'intervention
Initier la dmarche (tapes 1 & 2)

L'tape <1> est destine s'assurer que les valuateurs ont une connais
sance approfondie du contenu du programme concern y compris ses
objectifs et les informations qui ont t considres comme pertinentes. On
pourra produire un arbre d'objectifs spcifiques mettant en relief la priorit
value. Cette tape ncessite de consulter toute la documentation de pro
grammation et de raliser des entretiens avec les gestionnaires. En s'ap
puyant sur la typologie d'effets potentiels dcrite dans le chapitre prcdent
sur la promotion de l'galit des chances, il s'agit :
d'apprcier dans quelle mesure les objectifs retenus intgrent cette
priorit et, le cas chant, sont cohrents avec la politique de l'Union euro
penne en la matire ; de vrifier si la stratgie est pertinente dans cette
perspective ;
d'analyser le contenu du programme afin d'apprcier le thme valu lors
de l'tape de la programmation ; de faire une comparaison des allocations
financires par mesure, en tenant compte de leur nature spcifique (cible)
ou gnrale ; de recenser les publics cibles des diffrentes interventions
pour identifier celles qui visent explicitement la priorit value ;
Dans un second temps, il est essentiel de dfinir les indicateurs de contexte
qui mesurent l'ampleur des besoins satisfaire ou des problmes
rsoudre. Dans le cadre d'une valuation ex ante, ils aident montrer la
raison d'tre des interventions et clairer la stratgie choisir. Ils servent
de support la quantification d'objectifs clairs et ralistes. Dans le cadre de
l'valuation intermdiaire ou ex post, les indicateurs de contexte servent
savoir si l'on a touch une grande partie ou une petite partie de la cible vise,
ou encore, si l'on a satisfait une grande ou une petite partie des besoins de la
rgion.
Au cours de l'tape <2> on ralisera le diagnostic des problmes que ren
contrent les publics concerns et l'identification des potentialits dvelop
per dans le contexte national ou rgional spcifique. On pourra ainsi
prparer une liste des principaux enjeux pour la ralisation effective de la
priorit qui fait l'objet de l'valuation. Pour cela il sera ncessaire de rassem
bler la littrature et d'avoir accs aux bases de donnes existantes afin
d'analyser le contexte socioconomique national et rgional et plus parti
culirement de reprer les attentes des destinataires potentiels et des prota
gonistes politiques, etc.
thmatique
Faire une apprciation stratgique (tapes 3 & 4)

L'tape suivante <3> de l'valuation thmatique ncessite une apprciation
stratgique des mesures du programme. Cela implique de classifier chaque
mesure en fonction de son impact potentiel sur la priorit value. Il faudra
au pralable dtailler une typologie des effets escompts partir de
l'analyse contextuelle prcdente, autrement dit, dfinir les descripteurs
d'impacts et les classer (voir Volume 4 de la Collection MEANS). A titre
d'exemple, lorsqu'il s'agit d'apprcier la prise en compte du principe de
l'galit des chances entre les hommes et les femmes, les types d'effets
retenir sont : Cadre de vie qui rpond aux besoins des femmes , Accs
des femmes au March du travail , Situation des femmes au travail et
Participation des femmes la cration d'activits conomiques .
La Matrice d'apprciation thmatique relative la contribution des interven
tions des programmes structurels aux objectifs lis la priorit valuer
(prsente cidessous) peut tre remplie, titre provisoire, au cours de
l'tape <4> pour identifier plus rapidement les mesures les plus promet
teuses en fonction des effets potentiels.
L'application de cette grille sert classer les interventions selon qu'elles ont
un effet favorable, dfavorable ou neutre. Ainsi, on pourra reprer les inter
ventions pour lesquelles une analyse approfondie des effets les plus signifi
catifs mrite d'tre ralise au cours des tapes de radioscopie et de focali
sation qui suivent. Enfin, la matrice permet d'identifier les interventions qui
ngligent les impacts produits dans un domaine donn. Il s'agit d'objectifs
mentionns dans le programme mais dont peu de mesures contribuent la
ralisation.
Evaluation
transversale
d'intervention
Encadr 42 - Matrice d'apprciation thmatique :

exemple li au principe de l'galit des chances
Type d'impact attendu / atteint sur le principe de l'galit des chances
Domaine
d'intervention
(Mesures)
Cadre de vie mieux

adapt
Infrastructures
Mesure N:
Mesure N:
Ressources humaines
Mesure N:
Mesure N:
Environnement
productif
Mesure N:
Mesure N:
Valeur ajoute
du programme
entermes d'galit
des chances
Evaluation provi
soire des impacts
/
Effet bnfique
/?
Effet bnfique probable
Pas d'effet significatif
Effet ngatif
Accs au march
de l'emploi
Situation des
femmes au travail
Participation la
cration d'activits
socio-conomiques
thmatique
Radioscopie et focalisation (tapes 5, 6 & 7)

La phase <5> de reprage et de slection ncessite la rdaction d'une fiche
de notation (cf. Encadr 43) pour chaque mesure identifie comme ayant un
impact potentiel sur la priorit qui est au cur de l'valuation thmatique.
Dans la prparation de ces fiches de notation, il faut bien s'assurer que l'on
couvre tous les types d'impacts suivants :
positifs ou ngatifs ;
directs ou indirects ;
temporaires ou permanents ;
court terme ou long terme.
Encadr 43 Fiche de notation d'une mesure : un exemple pour

valuer la prise en compte de la priorit galit des chances
Sousprogramme/ priorit :
Mesure (titre) :
Objectif:
Budget (% de financement par l'UE) :
Ralisation:
Impact potentiel des
projets/actions sur :
Cadre de vie mieux adapt
aux besoins des femmes
Accs des femmes
au march de l'emploi
Situation des femmes
au travail
Participation des femmes
la cration d'activits
socioconomiques
Effet bnfique
significatif
Effet bnfique
peu significatif
Pas d'effet
significatif
Effet ngatif
0.5
0,5
0.5
0.5
Total de points
Si la mesure a un impact direct ou explicite en terme d'galit
des chances, multipliez le score par 1,5
Donnez les dtails sur les deux effets les plus significatifs positifs ou ngatifs :
Evaluation
transversale
d'intervention
A l'issue de cette tape de reprage et de slection, il est conseill aux valuateurs de valider les rsultats qu'ils ont obtenus au cours des deux
premires phases de l'valuation en faisant des entretiens avec les gestion
naires de programmes et les parties prenantes (tape <6>). Ces entretiens
permettront notamment de valider le choix des indicateurs cls renseigner
pour obtenir une vision gnrale de l'application du thme valuer.
Jusqu' prsent, aucune tentative n'a t faite de mesurer de manire quan
titative les changements qui sont intervenus par rapport la priorit. A ce
stade, l'information qui est rsume dans la Matrice d'apprciation thma
tique et sur les fiches de notation devrait tre complte par des donnes
sur les indicateurs slectionns recueillies par les organismes statistiques
comptents.
Aprs lecture des fiches de notation, les mesures les plus susceptibles
d'avoir un impact significatif sur la priorit value sont slectionnes pour
tre analyses (tape <7>). Cette analyse implique l'examen d'impacts au
moyen d'tudes de cas lgres, d'entretiens individuels ou d'entretiens de
groupe (voir Encadr 44). Cette technique, base sur une analyse limite
d'impacts en vue de consolider l'apprciation des impacts faite sur une
base stratgique, est connue sous le nom de focalisation (scoping).
thmatique
Encadr 44 - Etudes de cas, entretiens individuels et de groupe

Les entretiens individuels peuvent tre utiliss pour toutes les valuations
o l'information requise est trop complexe pour tre recueillie par l'inter
mdiaire d'un questionnaire. Les entretiens peuvent tre relativement
informels et non structurs ou trs formaliss et bass sur des questions
prdfinies. Ils sont particulirement utiles pour dcrire de faon exhaus
tive les procdures et les processus (par exemple la mise en place d'un
programme) et les impacts probables d'une intervention ou les impacts
qui sont difficiles quantifier, tels que les changements de comporte
ments ou les impacts intangibles. Les entretiens de groupe peuvent tre
en grande partie considrs comme un ensemble d'entretiens individuels
simultans.
Les entretiens de groupe cherchent activement saisir la dynamique des
interactions entre les participants individuels et l'intgrer dans l'analyse
de questions complexes. L'interaction entre participants est particulire
ment utile lorsque des opinions sur une question donne ne s'expriment
pas aisment. La technique peut donc tre utilise pour identifier les
besoins d'une rgion, clarifier les objectifs d'interventions, examiner les
impacts de mesures innovantes, centrer ou recentrer la mise en uvre
d'un programme ou interprter les impacts d'une intervention.
Les tudes de cas sont utilises pour analyser des cas spcifiques, qui
peuvent concerner une entreprise, une zone ou une rgion entire. Elles
peuvent galement servir clarifier les processus de prise de dcision. Les
entretiens individuels et entretiens de groupe peuvent servir d'outils de
collecte de donnes dans le cadre d'une tude de cas. Les tudes de cas
sont particulirement utiles pour raliser des analyses dtailles de
processus complexes de mise en uvre et d'impacts des programmes.
Elles sont souvent utilises pour vrifier des rapports de causalit ou pour
contrler la qualit et valider des mesures d'effets obtenues l'aide
d'autres outils. Cet outil peut galement tre utilis lorsqu'il existe trs peu
d'units d'analyse, en associant des paires (units similaires). Ceci implique
de trouver deux units d'observation, l'une tant destinataire d'un
programme et l'autre non, qui sont trs comparables (par exemple deux
PME du mme secteur, avec le mme nombre d'employs, etc.) et dans un
contexte proche (par exemple dans une rgion industrielle en dclin o le
chmage est lev, etc.). L'volution relative des units peut ds lors tre
tudie pour mettre en vidence les effets de l'intervention value.
Evaluation
transversale
d'intervention
Synthtiser les rsultats (tapes 8 & 9)

L'analyse par mesure est indispensable pour btir l'valuation d'ensemble
du programme. Les rsultats de l'valuation doivent tre produits galement
au niveau du programme, puis aux niveaux suprieurs. Pour apprcier de
manire globale les effets des mesures au niveau de chaque programme, il
peut tre utile (tape <8>) de prparer un tableau rcapitulatif comme celui
prsent dans l'Encadr 45 pour chacun des quatre principaux types
d'impacts sur la question valuer qui ont t identifis comme pertinents
dans le cas des interventions structurelles. Ce tableau rcapitulatif sera
complt avec les lments suivants :
L'apprciation quantitative fournie par les fiches de notation (colonne
l'extrme droite de la matrice) ;
L'analyse ralise au cours de la phase de focalisation qui fournit la fois
des donnes quantitative et qualitative (cellules de la matrice).
Encadr 45 - Tableau rcapitulatif des mesures et de leurs effets.

Exemple d'amlioration de l'adaptation du cadre de vie aux
besoins des femmes
Tableau rcapitulatif :
synthse des effets en terme de cadre de vie mieux adapt aux besoins des femmes
Mesures ayant un
impact significatif
Budget
(% de financement
par l'UE)
Ralisations
Rsultats et impacts
directs attendus
et/ou produits
Impacts
attendus et / ou
produits
N:
(titre)
N:
(titre)
N:
(titre)
N:
(titre)
Total de points ou X dans le cas d'un impact naatif (sources fiches de notation)
Commentaires d'o 'dre gnral pour ce tj pe d'impact :
thmatique
Comme la Commission a besoin d'avoir une vue d'ensemble de l'impact des

interventions sur ses politiques prioritaires, il est utile de prparer un rsum
trs gnral sur l'impact (positif et ngatif) de chaque programme (<tape
9>). La matrice d'valuation thmatique dcrite plus haut peut tre utilise
cette fin (voir encadr ci-aprs). L'approche matricielle est suffisamment
simple (sans tre simpliste) pour rpondre aux besoins d'ordre pratique.
Nanmoins il reste ncessaire d'analyser les indicateurs disponibles, en par
ticulier pour ce qui est du contexte.
L'approche matricielle permet une standardisation ncessaire pour atteindre
une vue d'ensemble au niveau de l'Union europenne. Elle permet de simpli
fier une ralit extrmement complexe et de la prsenter sous une forme
synthtique et comprhensible au niveau politique.
Les tapes cls et les outils d'valuation qui sont utiliss ci-dessus sont
rsums de faon trs simplifie dans l'Encadr 46. Si par exemple, le
programme comprend quatre mesures, lors de la phase de radioscopie, la
mesure 4 peut tre considre comme stratgiquement peu importante par
rapport au thme valu, et seulement les mesures 1 et 3 sont slectionnes
pour la phase de focalisation. Les conclusions tires de l'analyse faite au
stade de la focalisation sont ensuite utilises pour complter la Matrice
d'apprciation thmatique.
Evaluation
transversale
d'intervention
Encadr 46 - Rsum des tapes cls et des outils d'valuation
Matrice d'apprciation thmatique

Etape <4> et Etape <9>
Radiographie
Etapes <5> et <6>
Focalisation
Etape <7>
Mesure
f'
! 1 !
_l
2
3
:.
, *
"
*! 3 !
,
_\
Tableau rcapitulatif (un par t y p e d ' i m p a c t )
Etape < 8 >
Mesure
Ressources Ralisations
Rsultats
Impacts
<
C o n c l u r e sur les m r i t e s d u p r o g r a m m e e n m a t i r e
du t h m e v a l u (tapes 10 & 11)
La conclusion du rapport d'valuation (tape <10>) comprendra bien vi
demment des recommandations pour une meilleure prise en compte du
thme valu dans la formulation des objectifs, la programmation et la
slection des projets. Afin que la priorit soit mieux prise en compte par les
dcideurs, l'quipe d'valuation devra faire des efforts significatifs pour :
proposer des dispositifs d'intervention diffrents ;
renforcer les mesures les plus prometteuses ;
formuler des recommandations pour valoriser les potentialits propres des
publics viss et amliorer leur accs aux ressources du programme.
Sur un plan plus technique, des recommandations sont souhaitables pour
que les systmes d'indicateurs de suivi et les statistiques incluent l'avenir
les informations indispensables une meilleure connaissance de la situation.
Enfin dans l'tape <11>, les conclusions obtenues par cette procdure
seront suffisamment standardises pour nourrir les dbats et les comparai
sons concernant la promotion de l'galit des chances hommes/femmes
(ou d'autres domaines et priorits) au niveau europen.

D Principes de base des valuations thmatiques transnationales
Les chapitres prcdents ont examin l'valuation d'un programme d'un
point de vue thmatique. Les valuations au niveau du programme permet
tent d'apprcier les interventions une chelle rgionale, voire nationale,
elles ne permettent cependant pas d'apprcier directement la valeur ajoute
communautaire ou de formuler immdiatement des recommandations stra
tgiques l'chelle paneuropenne.
Pour atteindre ces objectifs d'valuation plus ambitieux, des valuations th
matiques un niveau transnational doivent tre ralises. Il est toutefois
important de noter que, pour que ce type d'valuation soit pleinement
efficace, la mthodologie utilise doit aller audel d'une simple synthse
supranationale des diffrentes valuations de programme (Voir Encadr 47,
diagramme du haut). L'approche suivie doit tre base sur la collecte,
l'analyse et la synthse de donnes dans un cadre d'valuation unique
coordonn pour tous les pays impliqus (Cf. Encadr 47, diagramme du bas).
Encadr 47 Comparaison des synthses supranationales des
valuations de programme et d'valuation transnationale
Synthse supranationale des valuations

(a), (b) et (c)
Evaluation (a)
Programme
(a)
Evaluation (b)
Programme
(b)
Evaluation (c)
Programme
(c)
Evaluation transnationale unique
Programme
(a)
Programme
;___ 9 (b)____.
Proqramme
(c)
Evaluation
transversale
d'intervention
Questions organisationnelles
L'un des problmes majeurs de la mise en service d'valuations transnatio
nales thmatiques est de savoir comment prendre en compte des contextes
nationaux ou rgionaux diffrents, des spcificits thmatiques et les
relations entre diffrents thmes et domaines. Ces difficults rendent probl
matique la rdaction d'un cahier des charges d'une valuation de ce type.
C'est pour cette raison qu'une premire tape essentielle est de mettre en
place un comit technique compos de spcialistes du secteur valu et
d'experts nationaux connaissant les contextes socioconomiques dans
lesquels l'valuation se droulera.
Le Comit technique a pour mission de diriger l'tude de faisabilit ralise
par des consultants dans deux ou trois pays (soigneusement choisis pour
leur reprsentativit et leur pertinence en ce qui concerne le thme de l'va
luation). Cette tude impliquera l'laboration du document formel de pr
valuation qui traite les questions de priorit, les programmes valuer, la
dure, le budget et l'valuabilit des interventions (par exemple, l'valuation
estelle politiquement et techniquement opportune ? Le budget et la dure
sontils adapts, compte tenu des caractristiques du thme et des
connaissances dj acquises qui peuvent tre mobilises ?).
Lors de la conception de l'valuation, l'quipe doit :
1. Etablir des questions d'valuation indpendantes des facteurs nationaux
et rgionaux, uniquement concentres sur les aspects thmatiques de l'va
luation et spcifiquement centres sur une perspective europenne ;
2. Dfinir avec prcision les critres de slection des tudes de cas et de
l'chantillonnage, de faon renforcer la comparabilit en intgrant les
facteurs contextuels spcifiques au pays et la rgion.
3. Elaborer une grille analytique tenant compte des facteurs concurrents.
Ce travail doit ensuite tre valid par le Comit technique.
Les tudes de cas doivent tre slectionnes par le Comit technique et
valides par les experts nationaux concerns qui jugeront la pertinence des
cas slectionns. Le nombre d'tudes de cas ralises devra tre relative
ment limit et elles devront tre susceptibles d'englober des effets structu
rants importants. Ces effets structurants doivent tre analyss en fonction
d'un contexte qui peut tre rgional, national, europen ou mme internatio
nal, en fonction des cas slectionns.
Les valuations thmatiques
transnationales
Ce processus produira un document discut avec les acteurs dots d'une

exprience sectorielle et socio-conomique.
Lorsque le rapport d'valuation dfinitif est produit, il est important que les
Etats membres impliqus dans les valuations transnationales aient l'oppor
tunit de vrifier l'interprtation des rsultats de l'valuation.
M e t t r e en vidence des e x e m p l e s de bonne pratique
Des valuations transnationales soigneusement conues et mises en uvre
peuvent complter une valuation d'un programme dj existant en mettant
en relief des exemples de bonnes pratiques et en permettant des transferts
d'expriences d'un pays ou d'une rgion l'autre. L'objectif de la prsente
section est de suggrer quelques recommandations pratiques visant
garantir que les valuations sont pleinement adaptes cet objectif.
Dans la mesure o les programmes communautaires sont la fois
complexes et ouverts, les modalits de mise en uvre doivent faire l'objet
d'un examen attentif dans le cadre de l'valuation. La recherche d'exemples
de bonnes pratiques doit donc inclure non seulement les impacts des pro
grammes mais galement le processus de mise en uvre, et doit tablir des
comparaisons des modalits oprationnelles dans diffrents pays.
Pour trouver des exemples de bonnes pratiques, il est important que les popu
lations de destinataires, les units gographiques (rgions, dpartements,
villes, etc.), les projets ou encore les personnes slectionnes pour les tudes
de cas soient placs dans des contextes similaires. La situation contextuelle
des cas slectionns peut tre dtaille dans un premier temps par une
analyse de type SWOT. Il convient galement d'tablir des points de comparai
son permettant de juger les performances. La technique de l'talonnage peut
tre utilise cette fin.
Le cadre SWOT (Forces, faiblesses, opportunits et menaces) peut tre
utilis pour entreprendre une analyse stratgique d'un programme et de la
rgion dans laquelle il est mis en uvre (facteurs internes), ainsi que sur l'en
vironnement politique global (facteurs externes). Cet outil peut tre utilis
pour souligner une stratgie de dveloppement conomique et est donc
particulirement utile au cours des tapes de conception ex ante d'un
programme. Le cadre SWOT peut galement tre utilis dans le cadre d'une
valuation mi-parcours ou ex post pour identifier les problmes de compa
rabilit en prenant en compte les influences contextuelles. L'Encadr 48
illustre ce principe.
Evaluation
transversale
d'intervention
Encadr 48 - Ech antillonnage visant mettre en vidence

la meilleure p r a t i q u e
Pays 1
Pays 3
I
I
I
1
1 I
I
I
I
r
I
'
Vi
^.
~.
S
^ \
\
-4 a
Echantillon
transnational de
diffrentes pratiques
dans des contextes
comparables
I
4
I
d
c
b
I
I
L 1
I
I
I
J
I
ft!
I
1
I
A
'
Contexte
Pays 2
PME PME
Moyenne
Moyenne
technologie
technologie
20 - 50
20 - 50
employs
employs
PME
Moyenne
technologie
20 - 50
employs
Si, par exemple, les PME font l'objet de l'valuation, l'chantillon transnatio
nal doit tre construit avec des entreprises qui ont des caractristiques com
parables, telles que PME de 20 50 employs dans un secteur de moyenne
technologie. De plus, pour renforcer la comparabilit, les entreprises slec
tionnes doivent tre issues de contextes similaires. Une comparaison
directe est alors possible d'un pays l'autre
L'talonnage est une comparaison qualitative entre interventions compa
rables en prenant pour rfrence celle qui est considre comme un
exemple de bonne pratique. Les forces et les faiblesses de l'intervention
value sont mises en valeur. Cette technique peut galement tre utilise
un niveau plus stratgique pour comparer l'organisation de diffrents pro
grammes.
T e n d a n c e s d e s valuations t r a n s n a t i o n a l e s
La pratique et l'exprience de l'valuation dans le domaine des valuations
thmatiques transnationales se sont dveloppes rapidement ces dernires
annes et une deuxime gnration de ce type d'valuations est apparue
qui a eu recours de nouveaux outils de collecte et de traitement de
donnes (Cf. Encadr 49).
transnationales
Encadr 49 Dveloppement d'valuations transnationales
Exprience d'valuations
transnationales
essentiellement bases sur le
recherche documentaire, les
donnes secondaires et les
entretiens avec les acteurs cls
notations et pondrations
analyse SWOT
tude de cas de projets
Exemples :
Transports
Tlcommunications
* Tourisme
$
2 Exprience d'valuations
transnationales
1 + outils supplmentaires :
examen pays par pays de
la documentation existante
analyse de donnes
secondaires
enqutes
tudes de cas rgionales
et de projets
Exemples :
Centre d'information
des entreprises
Environnement
RDG
PME
^
3 Exprience d'valuations
transnationales
1 et 2 + outils supplmentaires
tels que :
synthse de recherche
panels d'experts
enqutes paneuropennes
tudes de cas intgres
autres...
Si le type d'valuation transnationale voqu cidessus peut mettre en vidence

des exemples de bonne pratique, il ne peut pas, en revanche, faire un bilan
complet sur les attentes des objectifs l'chelle europenne. Ce type d'valua
tion doit prendre en compte diffrents contextes nationaux ou rgionaux et
procder par chantillonnage reprsentatif de l'ensemble des zones ligibles.
Seule cette deuxime dmarche permettrait d'alimenter la planification strat
gique au niveau europen, par exemple, en permettant de dresser un plan cadre
pour les rseaux transeuropens ou pour la production de recommandations et
d'orientations adaptes aux conditions paneuropennes.
Outre la gamme d'outils adapts aux valuations thmatiques prsents sur
l'ensemble du prsent ouvrage, il existe diffrents outils plus particulirement
adapts l'analyse paneuropenne. Ces outils sont prsents cidessous.
A nalyse conomtrique multinationale / multirgionale
Lorsque des enqutes ont t ralises, les donnes collectes peuvent tre
utilises pour construire une analyse conomtrique ad hoc des impacts
multinationale ou paneuropenne.
Les rsultats fournis par les diffrentes analyses peuvent servir dterminer
des coefficients qui sont ensuite utiliss pour faire une projection des
Evaluation
transversale
d'intervention
impacts, soit pour des aspects particuliers d'une intervention, soit pour l'en
semble de ces effets prvus. L'utilisation de coefficients exige par ailleurs
que les donnes de suivi fournissent des informations sur les destinataires
des interventions et sur la rpartition des dpenses, etc. Les impacts
peuvent tre analyss la fois en coupe transversale (c'est dire diffrentes
interventions un moment donn) et sur la dure (c'est dire en utilisant des
sries temporelles).
Pour une bonne fiabilit de cette mthode, il convient de s'assurer que les
chantillons ont t dfinis de faon adquate. A la diffrence de la
technique d'chantillonnage utilise dans la perspective d'identification des
bonnes pratiques mentionnes prcdemment, les chantillons doivent,
dans ce cas, tre reprsentatifs de diffrents contextes nationaux et
rgionaux. A cette fin, il convient d'utiliser une approche coordonne impli
quant une collecte soigneusement contrle des donnes, pour garantir que
le choix des units d'analyse est conforme au niveau de reprsentativit
recherch. Cette approche est illustre dans l'Encadr 50, o un chantillon
nage attentif permet de constituer un chantillon interrgional slectionn
dans diffrents contextes.
Encadr 50 Echantillonnage visant effectuer une analyse

paneuropenne
Pays 2
Pays 3
PME
Moyenne technologie
20 50 employs
Moyenne technologie
20 50 employs
Moyenne technologie
2 0 50 employs
0J
X
C
U
Pays 1
C3
t '
'
..[_:_._:_..
ir.:::::
ij
i
4
'
'
]'-
'fii
I
I
>
(t
'
transnationales
De plus, il est important de prvoir autant que faire se peut des analyses
comparatives avec des pays non europens disposants de politiques simi
laires tels que les Etats-Unis, le Canada et l'Australie.
Etudes de cas multiples avec procdure itrative
L'tude de cas est un outil utile pour analyser les phnomnes socio-cono
miques qui sont difficiles isoler de leurs contextes. L'unit d'analyse de
l'tude de cas peut tre un individu, une organisation, un processus, une
industrie, une rgion, etc. L'unit d'analyse principale (ex : une rgion) peut
en outre contenir des sous-units d'analyse (ex : entreprises, projets d'infra
structures, etc.) Enfin, les tudes de cas peuvent tre simples ou multiples.
Les tudes de cas multiples avec procdure itrative constituent une
solution particulirement intressante pour renforcer ou largir la partie des
rsultats d'analyse. Ce type d'tude de cas est bas sur des vagues succes
sives (gnralement deux ou trois) d'tudes de cas soigneusement choisies
pour tester des hypothses. Selon la conception de l'valuation, les tudes
de cas produiront :
Des rsultats rcurrents qui tayent des conclusions d'analyse ;
Des rsultats contrasts mais reposant sur des appuis thoriques simi
laires (c'est dire que la thorie est corrobore) ;
Des rsultats htrognes.
Si, toutefois, certains des rsultats produits se contredisent d'une faon ou
d'une autre, on pourra poursuivre les investigations au moyen d'une
deuxime, voire d'une troisime vague d'tudes de cas comme dans
l'exemple ci-aprs.
Exemple : Apporter un conseil aux administrations locales
Dans une tude conue pour examiner les tentatives de collaboration entre des uni
versits, des groupes de recherche et des reprsentants officiels de collectivits
locales, quatre vagues d'tudes de cas ont t mises en uvre (Cf. Encadr 51). L'ar
ticulation des propositions soutenues par chacun des groupes a permis de tirer une
conclusion gnrale qui n'tait pas vidente au dbut de l'tude. Un premier groupe
de cas tudi a conclu que les universits et les centres de recherche n'taient pas
parvenus aider les administrations locales. Un deuxime groupe a conclu que ce
phnomne ne se limitait pas aux universits mais concernait aussi les autres interve
nants auprs des administrations. Un troisime groupe a identifi dans quelles cir
constances certaines universits avaient pu dvelopper des relations fructueuses.
Enfin, un quatrime groupe a rvl que les administrations locales ont tout de mme
bnfici d'une assistance sur les questions de mise en uvre. La conclusion
gnrale a t que les administrations locales avaient des besoins particuliers en
matire de conseils de la part des universits et centres de recherche (conclusion trs
diffrente de la premire srie d'tudes de cas).
Evaluation
transversale
d'intervention
Encadr 5 1 - Exemple d'tudes de cas multiples avec possibilit

de replication
(Vague 1)
Etudes de cas centres
sur les universits et
leurs relations avec
les administrations
locales
(Vague 2)
Etudes de cas sur
les relations entre
des groupes non
universitaires et des
administrations
(Vague 3)
Etudes de cas sur les
relations entre les
universitaires et les
organisations autres
que les administrations
locales
(Vague 4)
Etudes de cas sur des
groupes concerns
non seulement par les
nouvelles ides, mais
par leur mise en uvre
Source : tir de Yin R.K. (1994), Case Study Research: Design and Methods, London: Sage.
Synthse de recherches
La synthse de recherches est l'analyse de travaux existants l'aide d'un
ensemble de procdures systmatiques ou de techniques de mta-analyse,
pour rsumer les rsultats quantitatifs d'tudes multiples. Cette technique
est base sur une approche systmatique et rigoureuse d'analyse critique
des rsultats des recherches. A la diffrence d'une simple analyse bibliogra
phique, la synthse devra examiner les rsultats ventuellement contradic
toires, voire incohrents.
Cette technique prsente deux avantages : tout d'abord, en s'appuyant sur
de nombreuses tudes dont on s'est assur qu'elles sont bien conues et
ralises, l'analyse obtenue est solide, parce qu'elle repose sur des connais
sances robustes. Deuximement, si la synthse de recherche rvle que la
base de connaissance existante n'est pas bien fonde, elle permet aux
dcideurs d'viter de baser leur politique sur des informations incompltes
transnationales
ou errones et constitue un fil conducteur pour toute recherche ultrieure. La

procdure de ralisation de synthse de recherche est rsume dans
l'Encadr 52.
Encadr 52 - Les sept tapes de la synthse de recherche

Etape 1
Slection des questions traiter
Etape 2
Collecte de tous les documents pertinents et identification des points cls
Etape 3
Dveloppement de critres de radioscopie et filtrage des donnes non pertinentes
Etape 4
Dveloppement et mise en uvre d'valuations critiques des tudes
"
Etape 5
Redtermination de l'adquation de cette technique la lumire des lments examins
Etape 6
Synthse de l'valuation
Etape 7
Rdaction d'un rapport sur les conclusions de la synthse
Conclusion
Evaluation
transversale
d'intervention
Le dveloppement d'valuations thmatiques dans le cadre des Fonds

structurels a t dtermin par l'volution du contexte politique au sein de
l'Union europenne. Aussi, l'tat de l'art dans ce domaine a d'abord t
domin par l'valuation des effets d'emploi. Au fil de la dcennie, toutefois,
les proccupations en matire d'environnement et d'galit entre les
femmes et les hommes ont progress dans l'ordre des priorits politiques,
progression qui s'est concrtise par l'amlioration du savoir-faire dans
l'valuation de ces thmes.
Paralllement ce processus, le besoin d'tablir des comparaisons entre
diffrents programmes et donc de faire des valuations thmatiques trans
nationales s'est accru. Toutefois, l'exprience dans le domaine encore
rcent de l'valuation est encore relativement limite.
L'valuation approfondie des impacts sur un thme particulier requiert le
recours un expert spcialiste du domaine. Toutefois, le prsent ouvrage
repose sur l'hypothse qu'une comprhension gnrale de la spcificit
d'un domaine est suffisante pour que les units d'valuation ou les valuateurs conoivent ou entreprennent une analyse spcifique des impacts dans
ce domaine. Partant de ce principe, l'exprience acquise en matire d'va
luation thmatique et l'expertise en valuation ont t associes pour
produire cet ouvrage centr sur l'valuation des impacts des interventions
structurelles en fonction des quatre priorits politiques de l'Union euro
penne et des diffrents domaines d'intervention.
Le prsent Volume examine l'valuation des impacts thmatiques en
mettant l'accent sur les dimensions mthodologiques. Cette approche a t
particulirement fructueuse dans la mesure o elle a permis la construction
d'une mthode d'valuation, la procdure pas pas , qui repose sur les
pratiques et les outils d'valuation dvelopps dans les diffrents cadres
thmatiques. La technique de la focalisation et de la radioscopie, par
exemple, est essentiellement utilise pour l'valuation ex ante des impacts
environnementaux mais tout faite pertinente pour d'autres thmes. Autre
exemple de fertilisation croise entre les thmes : le mainstreaming, qui
trouve sa place dans l'approche pas pas avec la fiche de notation. Il
s'agit l'origine d'une stratgie particulire l'valuation de l'galit entre
hommes et femmes, mais qui est tout particulirement adapte pour l'va
luation des impacts sur les PME par exemple. Au niveau conceptuel, la
notion de durabilit peut galement tre applique sur une vaste gamme de
thmes. De mme, le concept d'effet de levier peut tre appliqu toutes les
Conclusion
interventions dont l'objectif est d'encourager le cofinancement par le

secteur priv. Les concepts de substitution, de dplacement et d'effet
d'aubaine, dvelopps pour l'valuation des effets d'emploi, sont eux aussi
applicables d'autres thmes.
Enfin, bien qu'une grande partie du prsent Volume repose sur l'exprience
acquise en matire d'valuation, des solutions innovantes ont t incluses.
Un certain nombre d'outils prsents ici semblent particulirement adapts
pour dvelopper les futures valuations des impacts au niveau paneuropen
afin de complter les travaux actuels visant identifier les bonnes pratiques
par des synthses globales sur les progrs accomplis en matire de
cohsion conomique et sociale au sein de l'Union europenne dans son
ensemble.
Annexes
L'annexe 1 contient un index des outils classs en fonction de leur adquation aux diffrents thmes sous forme de matrice.
L'annexe 2 prsente le cahier des charges d'une valuation de programme
comprenant des instructions spcifiques relatives l'intgration de priorits
politiques communautaires : Evaluation intermdiaire du programme
Highlands & Islands de l'Objectif 1 .
L'annexe 3 prsente le cahier des charges d'une valuation thmatique
transnationale : Evaluation des actions de RDT dans le cas des Fonds
structurels (1998).
L'annexe 4 donne la liste des encadrs.
Les documents prsents en annexes 2 et 3 n'ont pas pour but de servir de
modles sur lesquels les cahiers des charges devraient reposer de faon
stricte. Ils peuvent, toutefois, guider la mise en forme des cahiers des
charges futurs, que les auteurs adapteront aux caractristiques spcifiques
de l'valuation raliser (par exemple en termes de particularits du thme,
des outils d'valuation slectionner, des facteurs organisationnels, etc.).
Entretiens
Environne
ment
Etude
de cas
Question
Entretien
naire
de groupe
enqute
SWOT
Page 54
Analyse
cotavan Notation Radioscopie
et pond
tages
et
ration
Analyse
focalisation
multicritres
Page 55
DELPHI
Panels
d'experts
Coefficients
multi
plicateurs
analyse
statistique
Analyse
entres
sorties
Modles
macro
conomique!
CD
X
CD
O
c
~
a.
Page 52
CD"
PMEs
Page 75
Page 78
Page 75
Page 75
<
Page 77
e
o"
Emploi
Page 106
Page 106
Page 108
Page 109
Page110
CD
CD
Egalit des
chances
Page 132
Page 132
Page 129
Page 132
CD
V)
O
O
RTD
Page 157
Page 157
Page 157
Page 157
CD
C/5
Transport
Page 174
Page 171
Page 172
Page 174
su
=
t
C/J
Annexe 2: Extraits d'un cahier des charges d'valuation

d'un programme intgrant des lments thmatiques
S3 Evaluation intermdiaire du Programme de l'Objectif 1
des Highlands & Islands
Le cahier des charges prsente explicitement les exigences d'valuation
des priorits communautaires dans le paragraphe consacr aux Objectifs
spcifiques de l'valuation.
Examiner chacune des priorits et des mesures, et valuer si elles sont
adaptes la finalit du programme. Il est important de tenir compte du
nombre de mesures, de leur adquation et de leur porte, et du maintien de la
pertinence des cibles, indicateurs et ralisations. Les recommandations
doivent tre prsentes sous forme d'amendements. L'Annexe A prsente,
de faon rsume, les questions essentielles identifies par le partenariat en
termes de mise en uvre du DOCUP par priorit et par mesure. Le rapport
final doit aborder chacune de ces questions, sous une forme plus ou moins
dtaille selon les cas, et, le cas chant, fournir des conseils ou des recom
mandations pour la mise en uvre ultrieure du programme.
Evaluer les performances au niveau des priorits et des mesures du
programme, en identifiant les causes de variance en termes d'engagement
et de dpenses, en tenant compte des facteurs externes et des cofinancements (expliquer dans quelle mesure ces facteurs peuvent tre pris en
compte dans la mise en uvre existante).
Examiner la synergie entre les diffrents Fonds structurels, entre Priorits et
entre le DOCUP et les Initiatives communautaires. Commenter et recom
mander les liens l'intrieur du programme et dans quelle mesure les
objectifs sont atteints prcisment en termes de cration d'emploi, de durabilit de l'environnement et de dveloppement communautaire.
Des dtails sont donns sur les questions essentielles concernant les diff
rentes priorits.
PRIORITE 1 : SOUTIEN AUX PME
L'quilibre entre les diffrentes mesures est-il adquat ?
Peut-on mieux intgrer les diffrentes mesures et les diffrents Fonds ?
Y-a-t-il adquation des cibles par rapport la stratgie ?
Evaluation
transversale
d'intervention
Mesure 1 : Aide financire la cration d'entreprise et aux PME

Couverture du projet - doit-il est plus centr ? Exige-t-il une meilleure coor
dination ?
Nombre de projets - Porte suprieure ? Capacit suprieure ?
Effet de levier - Faut-il tablir des seuils ?
Faut-il une plus grande concentration sectorielle ?
Mesure 2 : Aide financire une Recherche & Dveloppement adapte
aux PME
Pourquoi les PME ne sont-elles pas plus intresses ?
L'accent doit-il tre mis sur le dveloppement de produits nouveaux ?
Comment peut-on rendre la mesure plus attractive ?
[etc....]
PRIORITE 3 : RESPECT ET MISE EN VALEUR DE L'ENVIRONNEMENT
Les mesures sont-elles trop contraignantes ou pas assez ?
La porte des mesures est-elle trop limite ?
Comment obtenir une meilleure Intgration entre les diffrents Fonds
Mesure 1 : Mise en valeur et protection de l'environnement et projets de
gestion
La porte de la mesure est-elle suffisante ?
Les cibles choisies sont-elles adquates ?
Comment ajuster les aides par rapport aux problmes viss ?
Mesure 2 : Contrle de la pollution, stockage des ordures et dveloppe
ment de systmes recyclage
Comment mieux reflter les responsabilits obligatoires et non obligatoires
dans le systme ?
Comment renforcer l'encouragement au recyclage ?
Peut-on accrotre le caractre innovant des projets ?
[etc.]
Annexe 3 : Exemple de cahier des charges pour une

valuation thmatique transnationale
L'valuation des actions d e R D T dans le cadre des Fonds
structurels
Contexte
Prsentation du thme, des interventions politiques associes, du contexte
et de la raison d'tre de l'valuation.
L'importance de la recherche et du dveloppement technologique (RDT)
pour l'amlioration de la comptitivit des structures productives travers
l'innovation de produits et de procds, notamment par les PME, est
reconnue dans le cadre des Fonds structurels.
Le premier Plan d'Action pour l'Innovation en Europe a galement soulign
la ncessit de mobiliser tous les instruments de la Communaut pour
encourager la RDT et l'innovation et, dans ce cadre, de renforcer l'aide des
Fonds structurels par d'autres formes d'intervention, telles que l'article 10
du FEDER et certaines initiatives communautaires (initiatives PME, ADAPT,
LEADER II).
La cration d'une capacit de RDT dans les rgions aides est une condition
ncessaire mais non suffisante de l'amlioration de la comptitivit et des
performances conomiques de cellesci. L'effort d'investissement dans le
secteur de la RDT devrait tre associ la cration d'un systme d'innova
tion plus large, en particulier par l'tablissement de liens durables entre le
systme de RDT et les structures industrielles rgionales.
Les interventions communautaires en faveur de la RDT et de l'innovation
dans le cadre des Fonds structurels permettent de renforcer les capacits
des rgions aides et de rduire les carts technologiques avec les rgions
les plus dveloppes.
La plupart des rgions de l'objectif 1 (et dans une moindre mesure, celles de
l'objectif 6) sont confrontes un certain nombre de problmes lis, en par
ticulier, la concentration des activits de RDT dans les zones les plus dve
loppes, au faible degr de participation de l'industrie et au manque de res
sources humaines. Dans ces rgions, la fourniture de moyens et
d'quipements et la disponibilit de chercheurs sont des priorits, de mme
Evaluation
transversale
d'intervention
que l'application des rsultats de la recherche et le transfert d'innovation et

de technologie vers les milieux conomiques locaux. La plupart des rgions
de l'Objectif 2, qui sont souvent dotes d'une meilleure capacit de RDT,
axent leurs actions sur le dveloppement de segments spcifiques,
conformes aux besoins des PME rgionales, et notamment sur le transfert
de technologie et de savoirfaire aux milieux conomiques locaux par des
rseaux de coopration rgionale et interrgionale.
Etant donn la complexit inhrente au dveloppement de politiques de
RDT pour ces deux types de zones, il est essentiel de pouvoir comprendre
de manire dtaille la situation actuelle des rgions afin de mieux dfinir
quelles sont les politiques plus appropries. Une analyse spcifique mene
au niveau rgional, en fonction des caractristiques propres chaque
Objectif, permettrait d'valuer les niveaux actuels de technologie et d'inno
vation et d'identifier les lacunes ventuelles dans le cadre d'une program
mation stratgique.
En vue de la prparation des interventions structurelles aprs 1999, la Com
mission prpare actuellement une communication sur la RDT et l'innovation.
Simultanment, il est envisag de lancer une vaste tude sur ce thme de
manire nourrir la rflexion et prparer l'avenir.
Objectifs d e l'valuation
Cette section du document rpertorie les questions essentielles que l'va
luation doit aborder. Si ces questions sont videmment spcifiques au
thme valuer en ce qui concerne les programmes mis en uvre et les
impacts susceptibles d'tre gnrs, elles seront centres sur les facteurs
cls gnralement applicables l'valuation d'interventions structurelles :
Impacts analyser
Efficacit, rendement, pertinence et utilit des interventions
Cohrence et synergies entre les diffrents niveaux d'intervention (c'est
dire rgional, national et europen)
Cohrence et synergies entre les diffrentes interventions au niveau com
munautaire (c'est dire programmescadres communautaires, programmes
des Fonds structurels, initiatives communautaires, mesures innovantes ou
spcifiques)
Orientations futures de la politique
Annexes
L'tude a pour objectif de fournir une analyse approfondie et systmatique

de la contribution et de l'incidence des actions des Fonds structurels en
faveur de la RDT et de l'innovation dans les Etats membres et rgions de
l'Union dans une optique de dveloppement conomique. Elle contribue
galement tablir des lignes directrices pour les investissements futurs
dans ce domaine dans les rgions aides par les Fonds structurels, la
lumire de l'exprience des interventions passes et actuelles.
Les questions essentielles sur lesquelles portera l'tude thmatique sont les
suivantes :
(1) Quelle a t l'efficacit des programmes financs par les Fonds structu
rels dans la promotion des capacits de RDT ?
(2) Dans quelle mesure et par quels mcanismes les programmes des Fonds
structurels ont-ils contribu renforcer les liens avec les milieux cono
miques locaux?
(3) Dans quelle mesure les interventions des Fonds structurels ont-elles
permis de rpondre aux carences de personnel et d'amliorer les niveaux de
qualifications dans le domaine de la RDT ?
(4) Dans quelle mesure la nouvelle capacit de RDT fournie avec l'aide des
Fonds structurels a-t-elle renforc la comptitivit et amlior les perfor
mances conomiques des zones concernes ?
(5) Quelle a t l'incidence des CCA et DOCUP sur les politiques natio
nales/rgionales en matire de RDT et leur financement, notamment sur la
rpartition rgionale de la capacit de RDT ?
(6) Y a-t-il eu synergie et coopration ou plutt double emploi avec d'autres
politiques communautaires pertinentes, en particulier avec les programmescadres de RDT?
(7) Quelles sont les principales orientations dfinir pour l'avenir au regard
des besoins de dveloppement des rgions aides ?
CD D o m a i n e d'application
Le domaine d'application spcifi doit dlimiter l'valuation en fonction de
dimensions pertinentes telles que la dure, le secteur gographique, le type
d'intervention :
- Sur quelle priode l'valuation doit-elle est centre ? L'valuation devra-telle comprendre une comparaison entre priodes de programmation ?
- Quels pays/quelles rgions seront pris en compte ou exclus de l'valuation ?
- Quels instruments politiques seront inclus dans l'tude ?
'valuation
transversale
d'intervention
- Suggrer comment les interventions et leurs objectifs peuvent tre

peuvent tre classs dans diffrentes catgories, afin d'aider les valuateurs
mieux orienter leurs propositions.
Etant donn le contenu et l'importance politique des actions de RDT ainsi
que la ncessit de couvrir les Objectifs concerns, l'tude comprendra
deux lots. Elle sera axe, d'une part, sur les rgions des Objectifs 1 et 6 (lot 1 )
et, d'autre part, sur les rgions de l'Objectif 2 (lot 2), mais, le cas chant, il
sera tenu compte d'autres formes d'intervention, telles que les initiatives
communautaires et actions innovatrices dans le cadre de l'article 10 du
FEDER. L'tude couvrira les deux priodes de programmation des Fonds
structurels, mais une attention particulire sera accorde la priode de
1994-99, pour laquelle un plus grand nombre d'informations est disponible.
L'tude prendra galement en considration les programmes-cadres de
l'UE et les politiques nationales en matire de RDT, y compris les aides
nationales finalit rgionale en faveur de la RDT.
En ce qui concerne les actions ou activits valuer, il est ncessaire
d'tablir une classification claire des activits de RDT. L'tude ne portera pas
que sur la RDT au sens strict, mais couvrira une grande partie du systme
d'innovation. Il faudra se rfrer un cadre commun, tel que celui dvelopp
par le Plan d'Action pour l'Innovation des Fonds structurels. Par exemple, il
devrait tre possible, pour l'Objectif 1, de mesurer le processus de rattra
page de certaines rgions en termes d'infrastructures de RDT, et de distin
guer l'intrieur de celles-ci entre infrastructures scientifiques (centres de
recherche, projets de recherche, ...) d'une part, et infrastructures technolo
giques (parcs et centres technologiques,...) d'autre part.
Le cadre de rfrence suggr comprend les catgories suivantes :
(1) Renforcement du potentiel scientifique et technologique
Potentiel et comptences scientifiques (infrastructure, quipement,
actions scientifiques...) ;
Potentiel et comptences technologiques (infrastructure, quipement,
actions technologiques).
(2) Soutien l'innovation
Promotion d'une culture d'innovation, comprenant notamment le dvelop
pement de ressources humaines travers l'ducation et la formation, la
Annexes
mobilit des chercheurs, actions de simulation, dissmination des rsultats

de la recherche,... actions de promotion et de sensibilisation, etc.
Cadre rglementaire et financier (environnement lgislatif et rglementaire,
financement de l'innovation au moyen d'instruments tels que le capitalrisque,...
Lien entre recherche et innovation, incluant le transfert technologique, la
promotion de rseaux, le renforcement des liens entre les entreprises, les
universits et les centres de recherche, etc.
Dans le cadre de l'examen des diffrents types d'actions de RDT et d'inno
vation, il serait galement opportun de prendre en considration les secteurs
pertinents du Programme-Cadre, afin d'valuer la complmentarit et la
synergie entre les interventions des Fonds structurels et le ProgrammeCadre lui-mme :
- technologies de l'information et de la communication;
- technologies industrielles;
- sciences de la vie, notamment biotechnologies et agriculture.
En ce qui concerne le dveloppement d'indicateurs de RDT et d'innovation,
le manuel sur l'innovation d'Eurostat devrait constituer une source d'in
formation essentielle pour cette tude.
! C o n t e n u d e l'tude
Cette section souligne comment l'valuation sera structure. Elle doit
prsenter le cadre mthodologique de l'valuation, y compris :
- Les outils mthodologiques utiliss
- Les mthodes de collecte de donnes qui seront utilises
- Les caractristiques dtailles des types d'analyse qui seront ralises
- Le cadre mthodologique doit tre dfini de faon garantir que les valuateurs, tout en respectant sa structure gnrale, puissent utiliser leur exp
rience et leur savoir-faire pour faire des suggestions pratiques sur la faon
de mener l'valuation.
Evaluation
transversale
d'intervention
L'tude comprendra les aspects suivants :

Cadre mthodologique
Cette partie comprendra la prsentation d'une mthodologie pour permettre
une analyse comparative et la mesure des rsultats des actions de RDT :
(a) adoption d'une approche thmatique requrant l'valuation comparative
et simultane de thmes et de problmes communs ;
(b) proposition d'indicateurs appropris , relatifs aux ressources, aux ralisa
tions, aux incidences et au cadre managerial et conomique ;
(c) cration d'instruments slectionns pour valuer les rsultats d'un
chantillon d'actions de RDT ;
(d) tablissement de questionnaires et identification des principaux informa
teurs (base du travail sur le terrain) ;
(e) slection et application d'tudes de cas.
A nalyse comparative des politiques et programmes de RDT et
incidence des interventions des Fonds structurels
Dans le cadre des Fonds structurels, la Commission souhaite analyser par
comparaison les lments suivants :
financement de la RDT, c'estdire montant et part du budget des Fonds
structurels affects la RDT et comparaison avec les crdits nationaux ou
autres fonds communautaires allous la RDT pour chaque objectif, Etat
membre et rgion considrs ;
importance accorde aux diffrentes actions du RDT et leur diversit
travers les rgions ;
qualit de l'organisation et des structures de RDT, en particulier en ce qui
concerne les structures de gestion et procdure d'valuation ;
efficacit des instruments ou mcanismes de promotion des actions de
RDT et d'innovation
incidence sur les ressources humaines et formation dans le secteur de la
RDT;
Evaluation d'un chantillon d'actions de RDT l'chelon national/r
gional (travail sur le terrain)
Cette partie comprendra une analyse approfondie d'un chantillon significa
tif d'actions de RDT finances par les Fonds structurels pour chacun des
pays considrs.
Annexes
La slection des actions de RDT sera fonde sur des critres comme la
dimension financire et l'importance stratgique. Le travail sur le terrain sera
effectu dans les pays ou rgions considres, sur la base d'une mthodo
logie normalise (Cf. cadre mthodologique).
Evaluation de la valeur ajoute communautaire et bonnes pratiques
Dans cette partie de l'tude, les actions de RDT finances par les Fonds
structurels seront values et des enseignements seront tirs pour la
politique rgionale. Une attention particulire doit tre accorde aux
lments suivants :
- qualit des actions de RDT et changements observs entre la priode de
programmation 1989-93 et celle de 1994-99 ;
- valeur ajoute des actions des Fonds structurels dans le secteur de la
RDT;
- identification des meilleures pratiques en termes de relations rechercheindustrie, de mcanismes de transfert technologique et de structures organisationnelles dans les rgions aides et analyse des conditions de transf
rabilit vers d'autres rgions ;
- complmentarit et synergie l'intrieur des programmes des Fonds
structurels et avec le Programme-Cadre de RDT de l'UE, ainsi qu'avec les
politiques nationales de RDT.
Synthse des principaux rsultats et questions d'ordre politique
Dans cette partie, des conclusions seront tires et des recommandations
formules, en particulier au regard de l'avenir des politiques structurelles.
Certains des problmes en jeu ont dj t abords dans le premier rapport
sur la Cohsion et la communication en cours sur RDT, innovation et
cohsion .
Toutefois, il conviendra de rflchir de manire plus approfondie aux
questions suivantes :
Faut-il financer davantage d'activits de RDT dans le cadre des Fonds
structurels ?
Sur quel type d'actions devraient-elles tre axes ?
Les Fonds structurels ont-ils t suffisamment pris en considration dans le
quatrime Programme-Cadre et vice versa ?
Evaluation
transversale
d'intervention
Devraiton faire plus l'avenir pour parvenir une meilleure synergie de ces
deux types de politiques ?
i l Sources de donnes
L'objectif de cette section est de tracer les grandes lignes de l'tape de
collecte de donnes de l'valuation.
Il conviendra de fournir des informations sur l'quilibre entre les sources
de donnes primaires et secondaires. Ceci permettra aux valuateurs de
mieux planifier le programme de travail et de calculer son cot.
La mthodologie de l'valuation sera dveloppe en coopration avec les
services de la Commission et les experts slectionns pour l'tude. Elle
devra comprendre la fois des aspects qualitatifs et quantitatifs.
L'tude comprendra deux lments principaux : recherche documentaire et
travail sur le terrain dans les rgions considres.
Recherche documentaire
Le consultant effectuera une valuation comparative dtaille des zones
pour lesquelles il sera dsign. Celleci portera sur des programmes passs
et actuels (CCA/DOCUR PO et autres) et leurs principales composantes
relatives des activits de RDT (par exemple, analyses rgionales,
approches stratgiques, hirarchie des objectifs, priorits et mesures, indi
cateurs et profils, synergie entre actions de RDT et autres composantes).
L'tude s'appuiera largement sur les contenus des programmes et les va
luations disponibles de ces programmes. En particulier elle prendra en
considration la mthodologie et les enseignements tirs de l'valuation
thmatique de RDT concernant l'Irlande, le Portugal et la Grce pour la
priode allant de 1989 1993. Elle prendra galement en considration les
rsultats des dernires valuations, telles que les valuations miparcours
(pour les rgions de l'objectif 1) et l'valuation des PRT (plans rgionaux
technologiques au titre de l'article 10 du FEDER).
Le consultant est invit collecter des donnes, tablir des statistiques et
dvelopper des indicateurs appropris, adapts aux besoins de l'valua
tion, pour fournir des informations cls sur les dpenses de RDT, ainsi que la
nature et l'incidence des actions finances.
Annexes
o Travail sur le terrain

Pour recueillir des informations de premire main sur les effets des actions
de RDT, le consultant procdera des entretiens avec des observateurs pri
vilgis dans les rgions considres. Une liste de problmes cls (devant
tre soigneusement slectionns) devrait permettre de structurer le ques
tionnaire ou les listes de contrle ( checklists ) utilises dans le cadre des
enqutes. Des tudes de cas seront slectionnes, et devraient fournir des
indications et des informations dtailles sur les meilleures pratiques
concernant les actions de RDT dans le cadre des Fonds structurels.
D Documents produits
Les documents (rapport de mise en place, rapports intermdiaires et finaux,
etc.) produits par l'valuation, intermdiaire ou finale, doivent tre rperto
ris et leur contenu doit tre dtaill le cas chant.
Quel format fautil utiliser pour les documents produits ?
Quel type de fichier informatique fautil utiliser ?
Quelle(s) langue(s) fautil utiliser ?
Le planning d'une valuation est habituellement dtermin par le calen
drier de prise de dcision et non pas par les exigences mthodologiques.
Plutt que d'imposer un planning susceptible de rduire la profondeur, la
porte ou mme la qualit de l'valuation, la production d'un rapport inter
mdiaire peut constituer un compromis acceptable.
Le programme des travaux et le calendrier proposer devraient comprendre:
un programme de travail dtaill couvrant les questions essentielles et un
cadre mthodologique pour l'tude thmatique ;
des rapports nationaux, couvrant les tapes de recherche documentaire et
de travail sur le terrain ;
un rapport de synthse final, comprenant un rsum ax sur les politiques
suivre, qui puisse tre compris et utilis indpendamment du rapport luimme.
L'ensemble des textes et la base de donnes correspondantes seront
tablis ou transmis (sur papier et sur disquette) dans les formats tablis par
la DG XVI de la Commission europenne.
Les rapports et documents seront prsents en anglais, franais ou
allemand. Un budget supplmentaire est prvu pour la traduction dans au
moins une des deux langues.
Evaluation
transversale
d'intervention
Calendrier
La dure de l'valuation doit tre prcise avec tous les dlais intermdiaires
ventuels.
L'tude, divise en deux lots spars, sera acheve dans un dlai d'un an.
Annexe 4 : Liste des encadrs
Introduction
Encadr 1 - Priorits, domaines et thmes
Encadr 2 - L'intgration de l'galit des chances : une dfinition
8
12
Considrations techniques relatives l'valuation d'impacts thmatiques

Encadr 3 - Construire un arbre d'objectifs thmatique
15
Encadr 4 - La construction d'une mthode d'valuation et le choix

d'outils pour une analyse approfondie des impacts
19
Encadr 5 - Forces et faiblesses types des sources d'information

existantes
20
Encadr 6 - Estimation des impacts nets d'effet d'aubaine
22
Encadr 7 - Additionnante, effets d'aubaine et de levier
25
Evaluer l'impact des interventions structurelles sur l'environnement

Encadr 8 - Adaptation du modle de dveloppement durable
Force Motrice-Etat-Rponse
34
Encadr 9 - Typologie dtaille des impacts des interventions

structurelles sur l'environnement
36
Encadr 10 - Priorits environnementales des interventions des Fonds

structurels prsentes sous forme d'arbre d'objectifs
38
Encadr 11 - Exemple d'un systme d'indicateurs pour la construction

d'une station d'puration
47
Encadr 1 2 - Exemple de formulaire de radioscopie

environnementale
53
Evaluer les impacts des interventions structurelles sur la comptitivit

des Petites et Moyennes Entreprises
Encadr 13 - Dfinition des PME
61
Evaluation
transversale
d'intervention
Encadr 1 4 - Exemple d'un arbre d'objectifs pour les interventions

auprs des PME
67
Encadr 15 - Exemple de systme d'indicateurs pour une intervention

fournissant une aide pour la promotion des exportations des PME
73
Encadr 16 - Exemple d'une analyse factorielle du secteur coopratif

catalan
77
Encadr 17 - Exemple de l'utilisation d'une technique d'tude de cas

dans l'valuation du programme NordTek au Danemark
78
Evaluer les impacts sur l'emploi des interventions structurelles

Encadr 18 - Diffrents types d'obsolescence des comptences
84
Encadr 19 - Diffrents types d'effets d'emploi
85
Encadr 20 - La production d'effets d'emploi par les interventions

structurelles.
86
Encadr 21 - Interventions des Fonds structurels et mcanismes

des effets d'emploi
86
Encadr 22 - Exemple d'arbre d'objectifs pour la promotion de l'emploi
91
Encadr 23 - Comparaison des effets d'aubaine, de substitution

et de dplacement
93
Encadr 24 - Exemple d'un systme d'indicateurs pour

un programme de retour l'emploi
102
Evaluer l'impact des interventions structurelles sur l'galit des chances

Encadr 25 - Arbre d'objectifs des Fonds structurels
en matire d'galit des chances
119
Encadr 26 - Exemples d'effets par catgories d'impacts
120
Encadr 27 - Exemple d'application du principe du mainstreaming:
126
Encadr 28 - Exemple d'un systme d'indicateurs pour l'amlioration

de centres sociaux
128
Encadr 29 - Fiche-type pour apprcier la dimension de l'galit des

chances dans le cadre d'une valuation ex ante
131
Encadr 30 - Matrice d'apprciation d'un programme
132
Annexes
Evaluer les impacts des interventions dans le domaine de la Recherche

et du Dveloppement Technologique
Encadr 31 - Evaluation des impacts des CCA sur la Recherche
et la Technologie en Grce, en Irlande et au Portugal
sur la priode de programmation de 1989 1993
142
Encadr 32 - Typologie des interventions structurelles dans le domaine

de la RDT
146
Encadr 33 - Exemple d'arbre d'objectifs thmatiques pour
des interventions de RDT
147
Encadr 34 - Exemple de systme d'indicateurs pour une mesure

d'aide financire et l'information pour l'acquisition de technologie
par les PME
153
Encadr 35 - Exemple de questionnaire pour une action recherche

ralise en collaboration
154
Evaluer les impacts dcoulant d'interventions dans les domaines des

transports, des tlcommunications et du tourisme
Encadr 36 - Exemple de systme d'indicateurs pour l'amlioration
d'une ligne ferroviaire pour des activits de fret
166
Encadr 37 - Exemple de systme d'indicateurs pour la mise

en place d'un rseau hybride fibre et coaxial (HFC) large bande
167
Encadr 38 - Exemple d'aide la cration d'installations touristiques

(muses, parcs thme, etc.)
170
Encadr 39 - Exemple de matrice d'analyse SWOT
172
Encadr 40 - Extrait d'un Corridor Ranking Framework appliqu

la Grce
173
Une dmarche "pas pas" pour une analyse thmatique

Encadr 41 - Evaluation transversale : une dmarche pas pas
pour un programme
180
Encadr 42 - Matrice d'apprciation thmatique : exemple li

au principede l'galit des chances
184
Encadr 43 - Fiche de notation d'une mesure : un exemple pour

valuer la prise en compte de la priorit galit des chances
185
Evaluation
transversale
d'intervention
Encadr 44 - Etudes de cas, entretiens individuels et de groupe
187
Encadr 45 - Tableau rcapitulatif des mesures et de leurs effets.

Exemple d'amlioration de l'adaptation du cadre de vie aux besoins
des femmes
188
Encadr 46 - Rsum des tapes cls et des outils d'valuation
190

Encadr 47 - Comparaison des synthses supranationales des
valuations de programme et d'valuation transnationale
191
Encadr 48 - Echantillonnage visant mettre en vidence la meilleure

pratique
194
Encadr 49 - Dveloppement d'valuations transnationales
195
Encadr 50 - Echantillonnage visant effectuer une analyse

paneuropenne
196
Encadr 51 - Exemple d'tudes de cas multiples avec possibilit de
replication
198
Encadr 52 - Les sept tapes de la synthse de recherche
199
Index
A
absorption, 90
additionnalit, 24,158
analyse comparative, 107,197
analyse cot-avantages, 55
analyse cot-efficacit, 106, 144,156
analyse de rgression, 107
analyse conomtrique multinationale,
195
analyse multicritre, 56
analyse SWOT, 171,193
arbre d'objectifs, 14,37,67,90,91, 119,
147,182
B
bonne pratique, 66., 130, 193
C
cahier des charges, 192
chmage, 18,81,'I03, 132,139, 144,
187
coefficient, 21, 55, 100,195
cohrence externe, 14,38
cohrence interne, 14,38
comit technique, 192
contexte-cadre, 64
dmarche "pas pas", 179
dveloppement durable, 29, 34
diagramme Ishikawa, 130
donne de suivi, 76,104,155,196
donne primaire, 19, 73,155
chantillonnage, 192
effet additionnel, 24
effet brut sur l'emploi, 92
effet d'attraction, 94,108
effet d'aubaine, 22, 23, 38, 68, 91, 93,
107, 108,148,158,168,169
effet de cration ou de maintien d'emploi,
82,84,93,106
effet de demande, 166

effet de dplacement, 21, 22, 23, 39, 68,
83,93,106,169
effet de levier, 68,72,148,152
effet de substitution, 68, 83, 93
effet de synergie, 67, 83,145, 164, 175
effet d'emploi, 77, 82, 84, 85, 86, 94, 101
effet d'emploi durable, 88
effet d'emploi temporaire, 88
effet d'employabilit, 88,106
effet dplacement, 92
effet d'viction, 106
effet direct, 166
effet d'offre, 166
effet fournisseur, 24, 83, 88, 94
effet indirect, 166
effet induit, Voir effet indirect
effet multiplicateur, 24, 83, 86, 94
effet net, 39,107
effet net d'emploi, 83, 91
emploi durable, 99
emploi maintenu, 98
emploi temporaire, 89, 98
emploi temps partiel, 99
emploi temps plein, 99
employabilit, 82, 84, 93, 100,106
enqute DELPHI, 175
enqute par questionnaire, 75,107,134,
157
enqute statistique, 21,103
entretien de groupe, 75, 187
entretien individuel, 75,157,187
quipe d'valuation, 16, 127,181,190,
192
quivalent temps plein (ETP), 89
talonnage, 106
tude de cas, 54, 78, 129,132, 171,174,
187,192
tude de cas multiple, 55, 197
Evaluation de l'Impact Environnemental,
29,52
Evaluation Environnementale Stratgique,
32,50
Evaluation transversale des impacts sur les priorits d'intervention
N
facteur concurrent, 17,83,101
fiche de notation, 180,185,186,188
focalisation, 50, 52, 180,181,186
Force Motrice-Etat-Rponse, 34, 43
G
groupe de contrle, 92,107
groupe d'coute, 129
I
impact brut, 21
impact brut sur l'emploi, 22
impact net, 21,68,107
indicateur, 17
indicateur (exemple d'), 47, 73,102,128,
153,166,167, 170
indicateur ad hoc, 44, 99, 125
indicateur de contexte, 16, 74, 125,128,
155,182
M
mainstreaming, 11,71,113,126
matrice d'apprciation thmatique, 181,
183, 189
matrice des impacts croiss, 1 75
modle entres-sorties, 109
modle macroconomique, 110
notation et pondration, 171,172
objectif implicite, 14
observation ethnographique, 129
panel d'experts, 157

priorit politique, 15, 27
R
radioscopie, 50,52,53, 180, 181
situation contrefactuelle, 22, 68, 76, 91,

104, 126
situation de rfrence, 16,102
substitution, 21, 23, 68, 92, 109, 169
synthse de recherche, 198
systme d'information, 19
tableau rcapitulatif, 197

technique du scnario, 130
typologie des impacts, 36, 119,148,183
Remerciements
Plusieurs ateliers et runions ont permis de rapprocher les perspectives des experts
des diffrents thmes et la perspective transversale (ou multi-thmatique) des res
ponsables des Fonds structurels.
Ce processus a d'abord donn lieu la publication de deux Cahiers MEANS sur
l'emploi (cahiers N 3 et 6) ainsi qu' une note mthodologique sur l'valuation des
interventions lies aux ressources humaines. Ces publications ont servi de base la
ralisation du chapitre sur l'emploi.
De mme, les chapitres sur l'environnement et l'galit des chances ont t bass sur
des notes mthodologiques rcentes issues l encore de discussions entre des
experts et des responsables europens. La note mthodologique sur l'environnement
a t ralise l'aide de la technique de la cartographie conceptuelle pour tablir la
typologie (voir la description de cet outil dans le Volume 3 de la Collection MEANS).
La coordination des travaux de ce volume a t assure par Anastassios Bougas et
David Sweet (D.G. XVI.G.2 : Coordination de l'valuation) et a impliqu plusieurs Direc
tions Gnrales de la Commission Europenne, notamment les D.G. Il, V, VI, XI, XIV et
XVI et en particulier Philippe Goybet, Anne Bucher, Nelly Bandarra, Miguel Benito
Alonso, R Bradley, Ciaran Dearie, Sylvie Finne, Martin Hallet, Richard Harding, Mikael
Kirosingh, Frdrique Lorenzi, Andrea Mairate, Ren Marty, Valry Morard, Irmengard
Nelles, Anastasios Nychas, Julius Op de Beke, Sergio Piccolo, Brigitta Renner-Loquenz,
Jacqueline Soulier Oliveira, Martin Tyrrell, Martine Voets et Dominique Van Der Wee.
Ce Volume a t rdig par le Centre Europen d'Expertise en Evaluation, notamment
avec la participation de Cristina Diaz Gomez, Andreas Esche, Connor Kearney et Kevin
Williams.
Les auteurs souhaitent remercier toutes celles et tous ceux qui ont contribu, soit direc
tement, soit indirectement, la production de ce Volume et en particulier les experts
dont les noms suivent : Christine Abrossimov (DARES), Mariano d'Antonio (Universita
da Roma), Peter Auer (Wissenschaftszentrum, Berlin), Jean-Ciaude Barbier (Centre
d'Etudes pour l'Emploi), Martin Bekker (B&A Groep), Peter Bosch (The European Envi
ronment Agency), Marco Causi (CLES Sri), Antonio Estevan Estevan (Gabinete de
Economia Aplicada), Marta Ferrs (Inters General), Christopher Hasluck (University of
Warwick), Andy Hirst (PA Cambridge Economics Consultants), Liisa Horelli (ITSU OY),
Japp de Koning (Netherlands Economic Institute), Kiern A. Kennedy (The Economic
and Social Research Institute), Ulla Koski (Finnish Ministry of Environment)MarieChristine Lefebvre (Lconsult SPRLHedwig Lutz (WIFO), James Medhurst (Ecotec), Dr
Heino Von Meyer.Chris Newton, (The Environmental Agency), John Rhodes (PA
Cambridge Economics Consultants), Barry Sadler (Institute of Environmental Assess
ment), Claude Seibel (DARES), Thanos Skouras (Reseach Centre of the Athens Univer
sity of Economics & Business), Antoni Soy (Centra d'Estudis de Planificado), Joachim
Spangenberg (Wuppertal Institute for Climate, Environment & Energy), Peter Tyler (PA
Cambridge Economics Consultants), Pieter Van Run (CBEA), Claudia Villanie (ISFOL).

valuation transversale des impacts sur l'environnement,
l'emploi et les autres priorits d'intervention

1999 227 p. 14,8 21 cm
ISBN 92-828-6627-0
BELGIOUE/BELGIE
OSTERREICH
HHVATSKA
Jean De Lannoy
Avenue du Roi 202/Koningsiaan 202
B1190 Bruxelles/Brus sel
Tel (322) 538 43 OB
Fax (322) 538 08 41
Email: jenn do.lannoy inloboard be
URL: ht1p7/www jeandelannoy.be
M a n i s c h e Verlags und
Universlttsbuchhandlung GmbH
Kohlmarkt 16
A1014 Wien
Tel(431)53 16 11 00
Fax(431)S3 1611 67
EMail: beslellen@ manz co al
URL: http://www.manz.al/index.htm
Medialrade Lid
Pavia Hatza 1
HH10000 Zagreb
Rue do la Loi 244/Wets!raat 244
B1O40 Bruxelles/Brus sel
Tl. (32-2)295 26 39
Fax (322) 735 OB 60
Email: maiieiibQurop.be
URL: hnp://www. libeurop.be
Moniteur belge/Belglsch Staatsblad
Rue de Louvain 4042euvensaweg 4042
Tel. (322)552 22 11
Fox (322)511 01 84
DANMARK
Horstodvnng 1012
DK2620 Alberlslund
TH. (45) 43 63 23 00
Fax (45)43 63 19 69
Email: schult*schultz.dk
URL: ht1p://www.schultz dk
DEUTSCHLAND
VerlricbsablQilung
D50735 Kln
Tel. (49221)97 66 80
Fax (49221 97 66 82 78
EMail: vertneb4ibundesanzeicier.de
URL: htlp://www.bundesanzeiger.de
i /GREECE
G. C. Eleftheroudakis SA
Internalional Bookslore
Panepistimiou 17
GR10564 Athina
Tel. (301)331 41 BO/I 12/3/4/5
Fax (301)323 98 21
Email: elebooks@ netor.gr
ESPAA
Tralalgar, 27
E28071 Madrid
Tel. (34)915 38 21 11 (Libros),
913 B4 17 15(Suscrip.)
Fax (34)915 38 21 21 (Libros),
913 84 17 14(Suscrip.)
Email: clientes icom.boe.es
URL: hit :// www. b oe.es
Castell, 37
E28001 Madrid
Tel (34)914 36 37 00
Fax (34)915 75 39 9B
Email: libreria mundiprensaes
URL: hltp://www mjndiprensa.com
FRANCE
Journal officici
2G. rueDesaix
Tl. (33) 140 58 77 31
Fax (33) 140 58 77 00
URL: http://www.journalotliciel gouvlr
IRELAND
45 Harcourt Road
Dublin 2
Tel. (3531)661 31 11
Fax (3531)475 27 60
ITALIA
Licosa SpA
Casella postalo 552
150125 Firenzo
Tel. (39)055 64 83 1
Fax 39) 055 64 12 57
Email: licosa@ llbcc.il
URL: http://www.ltbcc.it/licosa
LUXEMBOURG
Messageries d u livre 5ARL
5, rue Raiffeisen
L2411 Luxembourg
Tl. (352)40 10 20
Fax (352) 49 06 61
Email: mailOmollu
PORTUGAL
Distribuidora de Livros Bertrand L d . "
Grupo Bertrand, SA
Rua das Terras dos Vales. 4A
Apartado 60037
P2700 Amadora
Tel. (3511) 495 90 50
Fax (3511)496 02 55
Imprensa NaclonalCasa da Moeda, EP
P1050 Lisboa Codex
Tel. (3511)353 03 99
Fax [3511) 353 02 94
Email: del.incm@ rnail.telcpac.pt
URL: http://www.incm pt
MAGYARORSZAG
Euro Info Service
Europa Hz
POE <475
H1396 Budapest 62
Tel (361) 350 80 25
Fax (361) 350 90 32
Email: euroinfo@ mail matav hu
URL: http://www euroinfo.hu/index.htm
SVERIGE
BTJ AB
Traktorvagen 11
S221 82 Lund
Tfn (4616) 18 00 00
Fax (4646) 30 79 4 7
Epost: b1jeupub@btj se
UNITED KINGDOM
The Stationery Ottico Ltd
Internalional Sales Agency
51 Nine Elms Lane
London SW8 5DR
Tel. (44-171) B73 90 90
Fax(44171)873 84 63
Email: ipa.enquiries01heso.co.uk
URL: http://www.Iheslalioneryoffice co.uk
ISLAND
Bokabud Larusar Blondel
Skolavrdustig. 2
IS101 Reykjavik
Tel. (354) 551 56 50
Fax (354) 552 55 60
NORGE
Swets Norge AS
Ostenjoveien 18
Boks 6512 Etlerstad
N06 06 Oslo
Tel. (4722)97 45 00
Fax (4722) 97 45 45
Co OS EC
Slampfenbacnstrae 85
PF 492
CH8035 Zurich
Tel. (411)365 53 15
Fax (411) 365 54 11
URL: http://www.osec ch/eics
BLGARIJA
Europress Euromedia L i d
59. blvd Vilosha
BG1000 Sofia
Tel. (359-2) 980 37 66
Fax (3592) 980 42 30
Email: Milena@ mboxcit.bg
CESK REPUBLIKA
SIS
NISprodejna
Havelkova 22
CZ130 00 Praha 3
Tel. (4202)24 23 14 86
Fax (4202) 24 23 11 14
Email: nkposp@ dec.nisc2
URL: htlpZ/usiscr.CZ

Malta Inlemaiional Airport
PO Box 25
Luqa LQA 05
Tel. (356) 66 44 88
Fax (356) 67 67 99
Email: gwirth@ usa.net
POLSKA
Ars Polona
Krakowskie Przedmiesci 7
Skr. pocztowa 1001
PL00950 Warszawa
Tel. (4822)826 12 01
Fax (4822) 826 62 40
Email: ars_pol@ bevyhsn.com.pl
ROMANIA
Euromedia
Sir. Gral Berthelot N r '
RO70749 Bucuresti
Tel [401) 31544 03
Fax (401) 31422 86
Cyprus Chamber of Commerce and Indus

PO Bo x 1455
CY1509 Nicosia
Tel. (357-2)66 9 5 00
Fax (3572)66 10 44
Email: demetrap@ ccci.org.cy
Subagenl for lhe Palestinian Authority

PO Box 19502
Jerusalem
Tel (972-2)627 16 34
Fax (9722) 627 12 19
PSIJapan
Asahi Sanbancho Plaza 206
71 Sanbancho, C hiyodaku
Tokyo 102
Tel. (813)32 34 69 21
Fax(613)32 34 6915
Email: bookspsijapan.o
URL: http://www.psi|apan.i
EBIC Malaysia
Level 7, Wisma Hong Leong
18 Jalan Perak
50450 Kuala Lumpur
Tel (603)262 62 98
Fax (603) 262 61 98
Email: ebickl@ mol.net.my
ROSSIYA
CCEC
60letiya Okiyabrya Av. 9
117312 Moscow
Tel. (7095) 135 52 27
Fax (7095) 135 52 27
SLOVAKIA
Centrum VTI SR
Nm. Slobody. 19
1223 Bratislava
Tel (4217)54 41 83 64
Fax (4217)54 41 83 64
Email: europetbbl.sllk.stuba.sk
URL: http://www.sltk.stuba.sk
SLOVENUA
Gospodarski Veslnlk
Dunajska cesta 5
SLO1000 Ljubljana
Tel. (386)613 09 16 40
Fax (386) 613 09 16 45
URL: http://www gvestnik si

Rio Panuco No 141
Colonia Cuauhlmoc
MXO65O0 Mexico. DF
Tel (52-5) 533 56 58
Fax (525) 514 67 99
Email: 101545.2361 compuserve.com
EBIC Philippines
Sen. Gil J. Puyat Ave. cor. Tindalo Si.
Makati City
Metro Manilla
Tel (63-2) 759 66 80
Fax (632) 759 66 90
Email: eccpcom@ globe.com ph
THKIYE
EBIC Sri Lanka
Dnya Intotel AS
100. Yii Matiaiiessi 34440
TR80050 BagcilarIstanbul
Tel. (90-212)629 46 89
Fax (90212)629 46 27
Email: info1ei@ dunyagazete com.tr
Trans Asia Hotel

l15Sirchittampalam
A. Gardiner Mawatha
Colombo 2
Tel. (941)074 71 50 78
Fax (941) 44 B7 79
Email: ebicsl@ itmm.com
AUSTRALIA
Hunter Publications
PO Box 404
3067 Abbolslord, Victoria
Tel. (613)94 1753 61
Fax (613) 94 19 71 54
Email: jpdavies@ ozemail com.au
CANADA
Les ditions La Libert Inc,
3020. chomin SainteFoy
GlX3VSam1eFoy, Qubec
Tel (1418)658 37 63
Fax (1800)567 54 49
Email: liberte @ med io m oc ca
Renou Publishing Co. Lid
53G9 Chemin Canotek Road Unii 1
Tel (1613)745 26 65
Fax (1613)745 76 60
Email: order.dept renoutbooks com
URL: htlp:/Avww renoulbooks com
EGYPT
CYPRUS
41. Misrimar Hay arden Street

PO Box 13056
61130 Tel Aviv
Tel. (9723) 649 94 69
Fax (9723) 648 60 39
Email: royil@ netvision.nel.il
URL: hltp//www.royint co.il
MALTA
SUOMI FINLAND
Keskuskatu 1/Cenlralgalan 1
PU PB 128
FIN00101 Helsmki/Helsingtors
./tin (3589) 121 44 18
F ./fax (3589) 121 44 35
Shkposti: akatilausPakaleeminen
URL: http://www.akateeminen com
ROY Internalional
EBIC Thailand
29 Vanissa Building. Bth Floor
Soi Chid I om
Ploenchit
10330 Bangkok
Tel. (66-2) 655 06 27
Fax (662) 655 06 28
Email: ebicbkkekscl5.th.com
URL: httpJwww.Qbicbkk.org
Bernan Associates
Tel. ( 1 800) 274 44 47 (toll tree telephone)

Fax ( 1 800) 865 34 50 (toll free fax)
Email: queryebeman.com
URL htlp7/www bernan.com

41 Shenl Street
Tel. (202)392 69 19
Fax (202) 393 97 32
Email: malouda@ meobserver.com eg
URL: ht XpM www. m eobserver.com. e g
NEDERLAND
EESTt
INDIA

ChristolfGl Plantijnstraai 2
Postbus 20014
2500 EA Den Haag
Tol (3170)378 9880
Fax (3170) 378 97 83
Email: sduifsdu.nl
Eesti KaubanduaToBtuskoda (Estonia

ToomKooli 17
EE0001 Tallinn
Tel. (372)646 02 44
Fax (372)646 02 45
Email: einlo@ koda.ee
URL: hl1p://www. koda.ee
EBIC India
3rd Floor, Y. B Chavan Centra
Gen. J Bhosale Mrg.
400 021 Mumbai
Tel (9122)282 60 64
Fax (9122)285 45 64
Email: ebiciigiasbmOI .vsnl net in
URL: htlp://www.ebicindia.com

Wahl/ Please contact the sales office
2. rue Mercier
L2985 Luxembourg
Toi. (352)29 2942455
Fax (352) 29 2942758
Email: info, inlo opoce.cec.be
URL: htlp://europ.eu.int
solutions.
Of)

L-2985 Luxembourg

Glossaire de 300 concepts
et termes techniques
Glossaire de 300 concepts et

termes techniques
Volume 6

sous la direction d'Eric Mounier et de Jacques Toulemonde.

Luxembourg:
ISBN 92-828-6627-0
tion de la source.
Printed in Italy
Prface
SEM2000
(Sound
and
Efficient

cette dmarche.
ex-Prsidente de rAmerican Evaluation Association ; K. Kennedy (IRL),
E. Landaburu
<C>
informations indispensables l'valuation
des
Collection complte comprend 6 volumes conus pour
Glossaire de 300 concepts et termes techniques
tre complmentaires
et fournir
les lments
volume a t construit de telle manire qu'il puisse tre
Le premier volume de la Collection MEANS s'intitule
" Conception et conduite d'une valuation . Il a une
Le second volume porte sur le choix et l'utilisation des
programmes.
L'ouvrage
propose
un
cadre
Le troisime volume prsente une slection des
Principales
techniques
conomiques. Ces outils sont Issus des disciplines
La Collection MEANS

rfrence.
description plus complte dans le quatrime volume
Le cinquime volume traite de l'valuation transversale
des impacts sur l'environnement, l'emploi et les autres,
impacts en termes d'galit des chances hommesfemmes ou de comptitivit des PME. Le volume offre les
lments ncessaires l'analyse de ces impacts qui ne
figurent pas ncessairement parmi les objectifs explicites
de toutes les actions values.
Enfin, le dernier volume est constitu d'un glossaire
de la Collection a en effet impos un travail rigoureux
Table des matires

I
Introduction
II
Les enjeux de l'valuation
15
Utilit de l'valuation
Types d'valuation
Activit connexes l'valuation
17
25
29
III L'organisation de l'valuation
31
Ce qui est valu

Protagonistes de l'valuation
Organisation de l'valuation
Prparation de l'valuation
Qualit de l'valuation
33
37
41
45
49 '
IV Les critres et les indicateurs
53
Logique interne de l'intervention

Critres d'valuation
Mesures et systmes d'information
Indicateurs
55
63
69
75
Les impacts
79
Analyse de causalit
Effets socio-conomiques
81
87
Effets de synergie
93
Effets sur l'emploi

Dveloppement conomique et social
95
97
VI Les techniques
Mthodes d'valuation
Techniques de structuration
Techniques de collecte d'information
Techniques d'analyse
Techniques de jugement
101
103
105
107
111
115
VII Annexe
119
Bibliographie
121
Index Alphabtique Franais
123
Index Alphabtique Anglais
131
I
Introduction
Raison d'tre du Volume

L'valuation est un exercice qui comporte de nombreux changes entre le
commanditaire et l'quipe d'valuation, d'une part, entre les diffrentes
institutions concernes, d'autre part. De la qualit de ces interactions
dpend en grande partie la qualit de l'valuation elle-mme et son utilit.
Or l'interaction peut tourner au malentendu si le vocabulaire n'est pas
employ de faon prcise et juste.
Dans le contexte des programmes socio-conomiques de l'Union
europenne, il n'est pas rare de rencontrer des problmes de vocabulaire
parce que l'valuation est conduite dans un contexte international et
intersectoriel entre des personnes qui ne partagent ni la mme langue
maternelle, ni les mmes rfrences professionnelles. Par ailleurs, le
dveloppement rcent de l'valuation fait qu'un grand nombre d'acteurs
n'en connaissent pas le vocabulaire standard, lequel n'est d'ailleurs pas'
toujours stabilis. Il en rsulte des difficults de communication qui
peuvent faire perdre du temps et de l'nergie, et mme compromettre la
qualit ou l'utilit des travaux d'valuation.
La vocation de ce Volume est de contribuer stabiliser et prciser le
vocabulaire. A terme, il a galement vocation rapprocher les concepts
utiliss dans les diffrentes langues europennes. Le public vis est
constitu de toutes les personnes impliques dans la commande, dans la
ralisation, et dans l'utilisation des valuations intervenant dans le cadre de
la politique europenne de cohsion conomique et sociale. L'ouvrage
s'applique essentiellement l'valuation d'un programme de
dveloppement socio-conomique, mais il peut galement intresser ceux
qui conduisent ou ralisent des valuations thmatiques ou des tudes
approfondies sur des champs plus restreints. Pour cette raison, l'ouvrage
emploie systmatiquement le terme : intervention publique pour
dsigner, de faon gnrique, n'importe quel objet d'valuation.
Les choix qui ont t faits
A l'origine, ce glossaire est n de la ncessit de traduire en plusieurs
langues les travaux du programme MEANS (Mthodes d'Evaluation des
Actions de Nature Structurelle). Une premire version en cinq langues a t
ralise en 1994 sous forme d'un document interne la Commission. Cette
premire tentative a t bien accueillie et a attir l'attention d'experts en
valuation dans de nombreux pays qui ont spontanment contribu une
seconde version ralise en 1996, avec des dfinitions amliores et quatre

langues supplmentaires. La publication de la Collection MEANS, en
exigeant un travail rigoureux d'homognisation et de dfinition des termes
employs, a cr l'occasion de renforcer l'tendue et la cohrence du
glossaire et de publier ce Volume. La Commission a choisi, dans un premier
temps, de privilgier la cohrence du glossaire plutt .que le nombre de
langues couvertes. Ce Volume est donc un premier pas qui couvre l'anglais
et le franais, avec une traduction systmatique d'une langue vers l'autre.
Le travail pourra ultrieurement tre tendu d'autres langues
europennes.
Les mots choisis pour figurer dans ce volume sont prioritairement ceux qui
appartiennent au vocabulaire de l'valuation. Une place importante a
galement t accorde aux impacts socio-conomiques. Chacun des cinq
premiers volumes de la Collection MEANS est suivi d'un index qui recouvre
autant que possible les termes et concepts dfinis dans ce sixime Volume.
Une des difficults rencontres dans la construction de cet ouvrage tient au
fait que plusieurs dfinitions d'un mme mot coexistent frquemment,
aussi bien la Commission europenne que dans les communauts
scientifiques et professionnelles. Dans ces circonstances, un choix unique
et clair a toujours t fait de faon aboutir une cohrence d'ensemble.
Toutefois, pour faciliter l'acceptation des dfinitions choisies et pour rduire
les malentendus, l'ouvrage mentionne les principales dfinitions
concurrentes et les termes connexes en vigueur dans d'autres contextes
sectoriels ou nationaux.
Pour reprendre une formule bien accueillie lors de la diffusion des premires
versions de ce glossaire, on a prsent les dfinitions avec une
structuration par thmes, et non pas par ordre alphabtique. Les thmes
traits figurent la table des matires. Un index alphabtique en franais et
en anglais est repris en annexe. Le glossaire peut donc tre utilis de trois
faons diffrentes comme le montre l'encadr ci-contre.
Introduction
Utilisation du glossaire
Pour le lecteur qui veut rechercher la dfinition d'un terme
>
Rechercher le terme dans l'index franais la fin du Volume, se reporter

la page o ce terme est dfini.
Pour le lecteur qui veut traduire un terme de l'anglais vers le franais ou vice versa
>
Rechercher le terme dans l'index anglais ou franais la fin du Volume, se

reporter la page o ce terme est dfini. Les termes anglais figurent en
italique.
Pour le lecteur qui veut se reprer dans le vocabulaire en partant d'un thme
>
Rechercher le thme dans la table des matires et parcourir les pages

concernant ce thme.

Ceffe partie dfinit l'valuation et ses diffrentes formes en insistant sur
l'utilit de l'exercice et sa valeur ajoute par rapport aux exercices voisins
que sont le suivi et le contrle. Pour une prsentation complte de ces
thmes, on peut se reporter au Volume 1 de la Collection, en particulier
son introduction et sa premire partie consacre aux enjeux de
l'valuation dans le cadre de la politique europenne de cohsion
Utilit de l'valuation
Evaluation
Evaluation
Jugement sur la valeur d'une intervention publique par rfrence des
critres et des normes explicites (ex : sa pertinence, son efficience).
Le jugement porte principalement sur les besoins auxquels l'intervention
doit rpondre et sur les effets dont l'intervention est la cause. L'valuation
s'appuie sur une information spcialement collecte et interprte pour
produire le jugement.
Par exemple : valuation de l'efficacit d'un programme, valuation cotavantages d'un projet, valuation du bien fond d'une politique, valuation
de la qualit d'un service public.
Certaines dfinitions excluent la dimension de jugement et limitent
l'valuation la mesure des effets de l'intervention. D'autres dfinitions
encore plus restrictives limitent l'valuation l'estimation ex post des effets.
Dans certains contextes, l'valuation porte non pas sur une intervention
publique, mais sur une organisation publique (ex : valuation d'une
universit, d'un hpital). Plus gnralement, le terme est employ dans la
gestion des ressources humaines pour l'valuation d'une personne (ex :
entretien annuel d'valuation), ou dans le domaine financier pour estimer la
valeur d'une entreprise.
L'usage journalistique du mot est souvent celui d'une estimation imprcise
( on value le nombre de victimes 1 000 personnes ) ou d'une
estimation montaire ( ce tableau est valu un million d'euros ).
Terme(s) connexe(s) :
Apprciation
Examen
Appraisal
Assessment
Evaluation endoformative
Formative
evaluation
Evaluation conduite l'intention des gestionnaires et des protagonistes

directs dans le but de les aider amliorer leur action (rtroaction).
L'valuation endoformative s'applique surtout une intervention publique

en cours de mise en oeuvre (valuation chemin faisant ou mi-parcours).
Elle s'intresse essentiellement aux procdures de mise en oeuvre et leur
efficacit et leur pertinence. La distinction entre valuation formative et
valuation rcapitulative a t rsume ironiquement de la faon suivante :
Quand le cuisinier gote la soupe, c'est formatif ; quand les invits
gotent la soupe, c'est rcapitulatif .
Evaluation formative
Evaluation rcapitulative
Summative
evaluation
Evaluation conduite l'intention d'acteurs qui ne sont pas directement

impliqus dans la gestion de l'intervention publique (institutions politiques
ou professionnelles, fondations, organes de presse).
Elle aboutit une apprciation globale et distancie. L'valuation est dite
rcapitulative ou sommative quand elle a pour but de rendre des
comptes et qu'elle sert la fois juger l'intervention publique et aider les
autorits qui en sont responsables dcider de son lancement, de son
maintien, de son ajournement, de sa suppression ou de sa reproduction.
Les utilisateurs sont alors les financeurs extrieurs et ventuellement
d'autres acteurs sociaux qui peuvent dcider de l'opportunit d'adopter
pour eux-mmes les meilleures pratiques identifies l'occasion de
l'valuation du programme.
Evaluation sommative
Evaluation manageriale
Managerial
evaluation
Dmarche d'valuation intgre dans la gestion de l'intervention publique

qui vise recommander des changements, que ceux-ci soient de l'ordre de
la dcision (rtroaction, utilisation instrumentale) ou du comportement des
acteurs chargs de la mise en oeuvre.
La problmatique gnrale qui sous-tend la dmarche manageriale est proche

de la nouvelle gestion publique (new public management) et vise faire face
la stagnation des recettes publiques. La question sous-jacente peut se formuler
ainsi : comment justifier les arbitrages entre les diffrentes interventions des
pouvoirs publics ? La dmarche ici privilgie est celle, interne
l'administration, d' optimisation des moyens budgtaires existants.
La dimension politique de l'acte d'valuation est passe sous silence. La
qualit de l'valuation manageriale est base sur deux principes :
l'indpendance de l'valuateur et l'objectivit de la mthode.
Par exemple, au cours des annes 80, un grand nombre des fonctions de
l'administration britannique ont t privatises ou dlgues des agences
semi-indpendantes. Paralllement, les exigences d'efficacit de ces
services se faisaient croissantes. Cela a conduit au dveloppement
d'valuations de type Value For Money.
Evaluation pluraliste
Pluralistic
evaluation
Dmarche d'valuation conue comme un processus collectif de rsolution

de problme associant l'ensemble des parties concernes.
Sur la base d'informations fiables et acceptes par tous, les jugements de
valeur sont formuls en recherchant un accord au sein d'une instance
d'valuation qui comprend des responsables politiques et administratifs,
ainsi que des porte-parole des publics concerns.
En France, des instances d'valuation ad hoc sont frquemment constitues
pour diriger les travaux d'valuation. Ainsi, dans le cadre de l'valuation
nationale de la prvention des risques naturels, l'instance d'valuation
comprenait des acteurs d'origines diverses : ministres, autorits locales,
agences publiques, associations... Dans le cadre de politiques cofinances
par l'Etat et les rgions, le pilotage de certaines valuations est assur par
des responsables politiques et administratifs des deux niveaux, en
association avec des reprsentants des publics concerns.
Evaluation partenariale
Evaluation participative
Partnership evaluation
Stakeholder evaluation
Evaluation d m o c r a t i q u e
Democratic
evaluation
Dmarche d'valuation qui vise accrotre la qualit et la transparence du

dbat dmocratique, qu'il s'agisse de mieux faire connatre et comprendre
la logique et les effets de l'intervention publique ou qu'il s'agisse de juger
sa raison d'tre ou son efficacit.
L'valuation est dfinie comme un jugement port sur la valeur de
l'intervention publique par des personnalits dmocratiquement lues.
Les professionnels de l'valuation sont au service de cette instance et ont
un apport technique uniquement. Le processus est public.
Ce modle s'applique dans le cas d'une intervention dcide titre
exprimental et qui doit faire l'objet d'un vote de confirmation au vu des
rsultats obtenus l'issue des premires annes de mise en uvre.
Finalit cognitive
Cognitive
aim
Le fait que l'valuation permette ses utilisateurs de prendre connaissance

d'informations nouvelles sur l'intervention et sur ses effets.
L'apport cognitif est particulirement visible quand le lecteur du rapport
d'valuation est surpris par ce qu'il lit, quand il dcouvre quelque chose
qu'il ne connaissait pas. Il correspond gnralement la production
d'informations nouvelles (donnes primaires), mais il peut aussi intervenir
quand l'valuation met la porte de ses utilisateurs des donnes
secondaires dont ils n'avaient pas connaissance.
Une dimension de l'apport cognitif est celle qui transforme la manire dont
l'utilisateur se reprsente l'intervention, ses effets et les relations de cause
effet (thorie explicative des impacts). Il s'agit alors d'un apport
conceptuel. Quelle que soit sa finalit, une valuation russie a toujours un
apport cognitif visible et reconnu.
Apport conceptuel.
Conceptual.
Finalit instrumentale
Instrumental
aim
Le fait que l'valuation dbouche directement sur des dcisions

d'amlioration, de prolongation ou d'arrt de l'intervention publique.
Par exemple, un rapport d'valuation mi-parcours a recommand une
srie de vingt six rajustements des composantes de l'intervention
publique. Quelques mois aprs l'valuation, les autorits responsables se
sont mises d'accord sur une srie d'ajustements. Parmi les dcisions
prises, treize correspondent aux recommandations de l'valuation.
Cet apport est optimis quand l'quipe d'valuation et le groupe de
pilotage formulent des recommandations ralistes et que les dcideurs se
les approprient facilement. Dans cet esprit, le statut des recommandations
est clairement expliqu en rpondant aux questions suivantes : la mise en
uvre de cette recommandation a-t-elle une implication financire ? peut-'
elle intervenir court terme ? la recommandation fait-elle consensus ?
L'utilisation instrumentale est difficile prouver car de nombreux autres
facteurs interviennent au moment de la prise de dcisions.
Finalit normative
Normative aim
Le fait que l'valuation propose des arguments pour former ou modifier les
jugements ports sur l'intervention.
L'valuation peut avoir un apport normatif quand elle aide expliciter les
critres et dfinir les normes de comparaison ou quand elle identifie des
bonnes pratiques et des projets exemplaires. Cet apport est primordial
lorsque l'valuation sert rendre des comptes aux autorits politiques et au
grand public. L'utilisateur confronte les conclusions de l'valuation ses
propres opinions. Il en vient maintenir, conforter ou changer son jugement
personnel sur l'intervention. Toutes les valuations ne parviennent pas
cette forme d'utilisation car les responsables publics ne sont pas toujours
prts remettre en question leur intime conviction .
Rtroaction
Feedback
Il y a rtroaction lorsque l'observation des rsultats et des impacts sur le
terrain est utilise pour corriger la mise en oeuvre ou pour apporter des
changements plus radicaux, y compris la remise en cause de son existence

mme.
La rtroaction est la vocation principale de l'valuation lorsque celle-ci a
une perspective manageriale et/ou endoformative. Elle correspond une
utilisation instrumentale.
Feed-back
Apprentissage organisationnel
Organisational
learning
Le fait que les leons tires de l'exprience sont acceptes et retenues par les
institutions ou organisations responsables de l'intervention. L'apprentissage
va au-del de la rtroaction dans la mesure o les leons apprises sont
capitalises et peuvent tre appliques d'autres interventions.
Il y a apprentissage direct (dit en simple boucle ) lorsque les utilisateurs
apprennent que l'intervention est un succs ou un chec. Cela peut les
conduire, par exemple, diminuer la dotation budgtaire des interventions
qui russissent le moins bien.
Il y a apprentissage indirect (dit en boucle double lorsque les utilisateurs
ralisent qu'ils doivent remettre en cause leurs hypothses de base (leur
thorie d'action). Cela peut les conduire, par exemple, organiser
diffremment la mise en uvre des interventions qui russissent le moins bien.
Apprentissage en simple boucle
Apprentissage en double boucle
Single loop learning
Double loop learning
Rendre des c o m p t e s
Accountability
Obligation, pour les acteurs qui participent la mise en place ou la mise
en oeuvre de l'intervention publique, de donner des informations et des
explications aux responsables politiques et aux citoyens propos des
rsultats attendus/obtenus et propos du bon emploi des ressources

publiques.
Le devoir de rendre compte est une dimension importante de l'valuation
dans une perspective dmocratique. Les autorits publiques renforcent
progressivement l'exigence de transparence vis--vis des contribuables sur
la bonne utilisation des fonds qu'elles ont la charge de grer. Dans cet
esprit, l'valuation doit contribuer expliquer de faon simple o a t
dpens l'argent public, quels effets il a produit et en quoi les dpenses
taient justifies. Les destinataires de ce type d'valuation sont bien
videmment les responsables politiques et in fine, les citoyens par
l'intermdiaire des mdia.
Par exemple, un organisme de formation rend compte du nombre de
stagiaires forms et des qualifications acquises. Une autorit gestionnaire
rend compte du cot par emploi net cr grce l'intervention. La
Commission publie un rapport sur les progrs raliss en termes de
cohsion conomique et sociale.
Imputabilit
Redevabilit
Rendu-compte
Responsabilit
Types d'valuation
Evaluation d'ensemble
Overall
evaluation
Evaluation d'une intervention dans sa globalit.

L'valuation d'ensemble juge toutes les actions finances au titre de
l'intervention publique. Elle embrasse tous les instruments utiliss, tous les
publics viss, tous les territoires ligibles, tous les impacts attendus et tous
les thmes pertinents. L'valuation d'ensemble constitue souvent une
premire tape de radioscopie du champ de l'valuation avant une
seconde tape de focalisation qui prend la forme d'valuations
thmatiques ou d'tudes plus approfondies.
Radioscopie
Screening
Global evaluation
Evaluation thmatique
Thematic
evaluation
Evaluation qui analyse transversalement un mme point particulier (un

thme) dans le cadre de plusieurs interventions au sein d'un programme, ou
dans plusieurs programmes mis en uvre dans diffrents pays ou rgions.
Le thme peut correspondre un impact attendu (ex : comptitivit des
PME) ou un domaine d'interventions (ex : la R&D). La notion d'valuation
thmatique voque celle d'approfondissement d'une question evaluative
(ex : impact de l'aide la R&D sur la comptitivit des PME), mais il s'agit
d'un exercice de grande ampleur lorsqu'il est conduit l'chelle europenne.
Etude approfondie
In-depth
study
Evaluation ou partie d'une valuation focalise de faon prcise sur une

catgorie de ralisations, un public ou une catgorie d'impacts, et qui peut
donc faire l'objet d'une analyse plus dtaille, la diffrence de l'valuation
d'ensemble qui vise tre exhaustive.
L'valuation d'ensemble d'un programme peut s'accompagner de l'tude

plus approfondie d'une ou plusieurs questions. On peut aussi dcider de
lancer une valuation uniquement consacre l'approfondissement d'une
question. La focalisation sur une question prcise permet d'avoir recours
des techniques d'valuation plus exigeantes et donc plus fiables,
notamment pour l'observation des comportements des destinataires, pour
l'observation d'un groupe de comparaison et pour l'analyse des effets nets.
L'approfondissement portant essentiellement sur l'observation des effets
sur le terrain, ces analyses concernent donc l'valuation mi-parcours et
l'valuation ex post.
Focalisation
Scoping
Evaluation ex ante
Ex-ante evaluation
Evaluation qui intervient alors que la mise en uvre n'a pas encore
commenc.
Pour que l'intervention puisse tre value ex ante, elle doit tre connue
avec suffisamment de prcision, c'est--dire qu'il doit y avoir au minimum un
projet de dcision. S'il s'agit de concevoir l'intervention partir de zro, on
parlera plutt de diagnostic des besoins. Cette forme d'valuation contribue
faire en sorte que l'intervention soit aussi pertinente et cohrente que
possible. Ses conclusions sont destines tre intgres au moment de la
dcision. L'valuation ex ante porte notamment sur l'analyse du contexte.
Elle apporte aux autorits responsables un jugement sur le fait que les enjeux
de dveloppement ont t correctement diagnostiqus, que la stratgie et
les objectifs proposs sont pertinents, qu'il n'y a pas d'incohrence entre eux
ni avec les politiques et orientations nationales et communautaires, que les
impacts escompts sont ralistes, etc. Elle apporte par ailleurs les bases
ncessaires au suivi et aux futures valuations en veillant l'existence
d'objectifs explicites et, dans la mesure du possible, quantifis.
Apprciation ex ante
Evaluation a priori,
Diagnostic
Prior appraisal
Needs assessment
Evaluation mi-parcours
Mid-term
evaluation
Evaluation qui intervient vers le milieu de la priode de mise en uvre de

l'intervention.
Cette valuation porte un regard critique sur les premires ralisations et
sur les premiers rsultats, ce qui lui permet d'apprcier la qualit du suivi et
de la mise en uvre. Elle montre la traduction oprationnelle des intentions
de dpart et, le cas chant, elle constate les modifications apportes de
facto aux objectifs initiaux. Par comparaison avec la situation de dpart,
elle montre l'volution du contexte conomique et social gnral et juge si
les objectifs restent pertinents. Elle examine si l'volution des politiques et
priorits des autres autorits publiques pose des problmes de cohrence.
Elle aide prparer des ajustements et des reprogrammations et les
argumenter de faon transparente. L'valuation mi-parcours s'appuie
fortement sur les informations issues du systme de suivi, mais galement
sur les informations relatives au contexte et son volution. L'valuation
mi-parcours a un caractre endoformatif, elle alimente une rtroaction sur
l'intervention dont elle contribue amliorer la gestion.
L'valuation mi-parcours est une forme d'valuation intermdiaire
(intermediate evaluation). D'autres valuations intermdiaires peuvent intervenir
durant les premires annes ou les dernires annes de la mise en uvre.
Evaluation intermdiaire
Evaluation chemin-faisant
On-going evaluation
Evaluation qui se prolonge pendant toute la priode de mise en uvre de
l'intervention.
Cette forme d'valuation accompagne le suivi des ralisations et des
rsultats. Elle est trop souvent confondue avec le suivi. L'intrt de
l'valuation chemin-faisant est de permettre une bonne collaboration entre
l'quipe d'valuation et les gestionnaires, ce qui favorise une meilleure
appropriation des conclusions et des recommandations.
L'valuation chemin-faisant peut tre considre comme une suite d'tudes
approfondies, comportant des analyses sucessives sur des questions
valuatives apparaissant en cours de mise en uvre. Par exemple,

l'valuation chemin-faisant d'une aide au dveloppement touristique a trait
succesivement les questions suivantes : comment le public ragit-il aux
aides proposes ? (premire anne), l'volution du march touristique
est-elle en train de rendre l'aide inutile ? (troisime anne), parmi les
projets aids, quels sont ceux qui peuvent tre considrs comme des cas
de bonne pratique reproduire ? (quatrime anne).
Evaluation in itinere
Rolling evaluation
Evaluation e x post
Ex-post
evaluation
Evaluation qui rcapitule et juge l'intervention aprs son achvement.

Elle vise rendre compte de l'utilisation des ressources, de l'obtention des
effets attendus (efficacit) et inattendus (utilit), ainsi que de l'efficience des
interventions. Elle cherche comprendre les facteurs de russite ou
d'chec, ainsi que la durabilit des rsultats et impacts. Elle cherche tirer
des enseignements gnralisables d'autres interventions. Pour que les
impacts aient eu le temps de se matrialiser, l'valuation ex post doit tre
conduite deux trois ans aprs la mise en oeuvre. En vue d'analyser les
impacts, les valuations ex post sont susceptibles d'impliquer des
enqutes de terrain et de se drouler sur des priodes longues.
Evaluation a posteriori
Mta-valuation
Meta-evaluation
Evaluation d'une autre valuation ou d'une srie d'autres valuations.

Les critres de jugement sont gnralement la fiabilit, la crdibilit et
l'utilit. Le terme est quelquefois appliqu l'audit de la fonction evaluative
d'une organisation (vrification que les rgles concernant l'valuation ont
t appliques avec professionnalisme). On parle parfois de mtavaluation pour une synthse faite partir d'une srie d'valuations.
Activit connexes l'valuation

Contrle
Audit
Vrification de la lgalit et de la rgularit de ia mise en uvre des
ressources.
Le contrle juge en fonction de critres et de normes gnrales, connues
et clarifies l'avance, applicables l'ensemble d'un domaine politique ou
professionnel, et qui ne sont pas spcifiques l'intervention publique. Par
exemple, dans le cas d'une aide aux PME, le contrle vrifiera si les critres
d'ligibilit ont t respects, et si les entreprises destinataires ont respect
les rgles d'utilisation de l'aide. Le contrleur a une connaissance
approfondie des normes (ex : connaissances juridiques ou comptables).
L'intervention du contrleur a un caractre obligatoire et inspire le respect
et l'autorit. Le contrle recherche en priorit les erreurs et les
dysfonctionnements. Il vise obtenir un effet de dissuasion.
Avec le temps, les termes de contrle et d'audit se sont tendus des
activits beaucoup plus vastes que ce qui correspond leur dfinition
d'origine cite ci-dessus. Par exemple, certains audits ou contrles vrifient
que les ralisations ont t produites avec un niveau suffisant d'efficience
et de qualit. D'autres examinent si les rsultats et les performances sont
suffisants par rapport ceux qui sont obtenus par d'autres interventions
semblables.
Le contrle et l'audit s'appliquent galement la vrification de l'existence
et du bon fonctionnement des procdures de suivi et d'valuation.
Audit
Control
Suivi
Monitoring
Examen exhaustif et rgulier des ressources, des ralisations et des
rsultats de l'intervention publique.
Le suivi repose sur un systme d'information cohrent comprenant

comptes-rendus d'activits, bilans, tableaux de bord, indicateurs, etc.. Les
informations du systme de suivi proviennent principalement des
oprateurs et sont utilises en premier lieu pour piloter l'intervention
publique. Lorsque le suivi comporte un jugement, celui-ci fait rfrence
l'atteinte des objectifs oprationnnels. Le suivi a une vocation de
rtroaction et d'apprentissage direct. Il est gnralement sous la
responsabilit des acteurs chargs de la mise en oeuvre.
Par exemple : suivi des consommations budgtaires, suivi des dlais de
ralisation, suivi du pourcentage de PME dans les entreprises bnficiaires,
suivi du niveau de qualification atteint par les stagiaires.
Audit de performance
Contrle de gestion
Pilotage
Monitorage
Management audit
Performance audit
Additionnante
Additionafity
Le fait que l'aide communautaire au dveloppement conomique et social
ne se substitue pas aux efforts des gouvernements nationaux ; autrement
dit, que les financements propres de l'Etat bnficiaire restent globalement
au moins gaux ceux qui existaient avant la contribution des Fonds
structurels.
La vrification de la mise en uvre de ce principe s'effectue l'chelon
national dans le cadre du contrle financier et non de l'valuation
proprement parler. Ce terme ne doit pas tre confondu avec celui d'effet
additionnel qui s'applique l'valuation des effets nets de l'intervention.
Ill
L'organisation de l'valuation
Les pages qui suivent rassemblent les principaux termes relatifs la
prparation de l'valuation, depuis la dcision de lancement jusqu'au cahier
des charges. Est galement aborde la question de la qualit de
l'valuation. Pour une prsentation complte de ces thmes, on peut se
reporter la seconde partie du Volume 1 de la Collection consacre la
prparation des diffrentes formes d'valuation et sa quatrime partie qui
propose une dmarche d'apprciation de la qualit d'une valuation.
Ce qui est valu
Champ de l'valuation
Scope
Dlimitation prcise de l'objet de l'valuation, de ce qui est valu.
Le champ de l'valuation doit tre circonscrit sur quatre plans au moins :
oprationnel (tout ou partie des domaines d'intervention, une ou plusieurs
politiques connexes), institutionnel (tout ou partie des autorits), temporel
(priode prise en considration) et gographique (un ou plusieurs territoires
ou parties de territoires, telle rgion, telle ville, tel parc naturel, etc.).
Dans le contexte de la politique europenne de cohsion, l'objet de
l'valuation peut tre un programme, une mesure ou un projet. Pour rester
suffisamment gnral, cet ouvrage emploie le terme intervention publique
et l'applique, de faon gnrique, n'importe quel objet d'valuation.
Evaluanda
Evaluand
Politique
Policy
Ensemble d'activits diffrentes (programmes, procdures, lois,
rglements) qui sont diriges vers un mme but, un mme objectif gnral.
Ces activits s'accumulent souvent de faon incrmentale au fil des annes.
La politique europenne de cohsion conomique et sociale est rythme par
un calendrier prcis et encadre par un budget pluriannuel. Ce n'est pas le
cas pour la majorit des politiques, au sens traditionnel du terme.
Programme
Programme
Ensemble organis de ressources financires, organisationnelles et
humaines mobilises pour atteindre un objectif ou un ensemble d'objectifs
dans un dlai donn.
Un programme est dlimit en termes de calendrier et de budget. Il fait

l'objet d'un effort pralable de dfinition d'objectifs pertinents, et d'une
recherche systmatique de cohrence entre ces objectifs. Les trois tapes
du cycle de vie d'un programme sont la conception, la mise en uvre et
l'valuation ex post. Un programme est toujours sous la responsabilit
d'une autorit responsable, ou de plusieurs autorits responsables agissant
dans un cadre de partenariat. Dans le cadre de la politique europenne de
cohsion conomique et sociale, les programmes se dcomposent
gnralement en axes, mesures et projets.
Axe
Cycle de programmation
Axis
Programme cycle
Mesure
Measure
sociale, unit de base de la gestion des programmes, constitue d'un
ensemble de projets de mme nature, et disposant d'une allocation
budgtaire prcisment dfinie.
Chaque mesure fait l'objet d'un dispositif de gestion particulier. Les
mesures se dcomposent en projets. Beaucoup de mesures sont mises en
uvre sous forme d'appel projets.
Action
Action
Projet
Project
Opration non divisible, dlimite en termes de calendrier et de budget et
place sous la responsabilit d'un oprateur.
Par exemple : la mise en place d'une nouvelle filire de formation,
l'extension d'un rseau d'assainissement, la ralisation d'une srie de
missions par un organisme de conseil aux entreprises. Dans le cadre de la

politique europenne de cohsion conomique et sociale, l'oprateur
sollicite une aide qui est attribue ou non par les gestionnaires du
programme la suite d'une procdure de slection. Les grands projets
d'infrastructure font l'objet d'une dmarche d'valuation ex ante
particulirement attentive, utilisant la technique de l'analyse cotavantages.
Intervention
Intervention
Toute action ou opration des autorits publiques, quelle que soit sa nature
(politique, programme, mesure ou projet).
sociale, les interventions prennent les formes suivantes : Programmes
Oprationnels, Programmes d'Initiatives Communautaires et Soutien aux
mesures d'assistance technique et aux actions innovatrices. Les moyens
d'intervention sont l'aide directe, l'aide remboursable, la bonification de
l'intrt, la garantie, la prise de participation, la participation au capital
risque ou une autre forme de financement. Enfin, les grands domaines
d'intervention sont les infrastructures de base, l'environnement productif et
les ressources humaines.
Dans ce Volume, le terme intervention est systmatiquement employ pour
dsigner ce qui fait l'objet de l'valuation.
Protagonistes de l'valuation
Protagoniste
Stakeholder
Individus, groupes ou organisations qui ont un intrt dans l'intervention

value ou dans l'valuation elle-mme, et notamment : les autorits ayant
dcid et financ l'intervention, les gestionnaires, les oprateurs, les porteparole des publics concerns.
Les protagonistes peuvent tre porteurs d'intrts lgitimes dont
l'valuation doit tenir compte. Ils peuvent galement avoir des intrts
purement privs qui ne font pas lgitimement partie de l'valuation.
Par exemple, dans le cas d'une intervention qui subventionne la cration de
nouveaux htels, les parties prenantes sont les financeurs, les
gestionnaires, les nouveaux hteliers (destinataires directs), les autres
professionnels du tourisme, les anciens hteliers qui subissent la
concurrence des htels aids, les touristes, les associations de protection
de la nature, les entreprises de construction.
Partenaire
Partie prenante
Partner
Financeur
Funding
authority
Institution publique qui participe au financement de l'intervention.

Par extension, le terme financeur est galement employ pour les
personnes qui interviennent au nom de ces institutions dans le processus
d'valuation : rapporteur de la Commission europenne, fonctionnaire d'un
ministre national, personnalit lue d'une autorit rgionale ou locale.
Lorsque l'intervention subventionne des personnes ou organisations
prives, celles-ci apportent galement une part du financement (effet de
levier). Ces personnes ou organisations ne sont cependant pas des
financeurs mais des destinataires.
Dcideur
Matre d'ouvrage
Decision-maker
Gestionnaire
Manager
Organisation publique (ou quelquefois prive) qui a la responsabilit de la
mise en oeuvre de l'intervention.
sociale, il existe des gestionnaires au niveau des programmes et des
mesures. Par extension, le terme gestionnaire est galement employ pour
les personnes qui interviennent au nom de ces organisations.
Matre d'oeuvre
Oprateur
Operator
Organisation qui met en oeuvre les ressources alloues l'intervention au
plus prs du terrain.
Les oprateurs sont les derniers maillons dans la chane de la mise en
oeuvre de l'intervention. Ils sont la source de l'information qui alimente le
systme de suivi. On citera comme exemples d'oprateurs : une
administration locale qui distribue des aides directes aux entreprises, une
socit prive qui construit et qui gre un rseau tlphonique, un institut
de formation qui accueille des stagiaires financs par l'intervention.
Dans le cadre des programmes socio-conomiques de l'Union europenne,
le terme bnficiaire final est employ pour dsigner les organisations
publiques ou prives responsables de la commande de travaux ou de la
distribution des aides publiques. Le bnficiaire final est tenu faire des
comptes-rendus rguliers et systmatiques. Il est donc oprateur du
programme au sens dfini dans cet ouvrage.
Terme(s) connex(es) :
Bnficiaire final
Final beneficiary
Porteur de projet
Project
promoter
Personne ou organisme, public ou priv, qui sollicite et obtient

ventuellement une aide dans le cadre de l'intervention pour un projet
donn (ex : rhabiliter un site urbain dgrad, crer une nouvelle filire de
formation).
Un porteur de projet doit tre considr comme un oprateur s'il reoit tous
les ans des fonds publics et s'il doit en rendre compte de faon rgulire et
permanente. Au contraire, il doit tre considr comme un destinataire s'il
reoit un financement ponctuel limit un seul projet.
Destinataire direct
Direct
addressee
Personne ou organisme qui est directement atteint par l'intervention.

Les destinataires reoivent des aides, des services, des informations, ils
utilisent les quipements crs grce l'intervention (ex : la famille qui
utilise un rseau tlphonique amlior grce l'intervention publique,
l'entreprise qui a reu une aide ou un conseil). Certaines personnes peuvent
tre destinataires sans faire forcment partie du public cibl par
l'intervention. Rciproquement, les destinataires ne constituent pas
forcment la totalit du public eligible.
On emploie souvent le terme bnficiaire au sens qui est donn ici au mot
destinataire direct . Dans le cadre de ce glossaire, on a prfr opter
pour le terme destinataire, et ceci pour deux raisons : (1) le terme
bnficiaire final a un sens diffrent dans le cadre du systme
d'valuation de la politique europenne de cohsion conomique et
sociale, et (2) le terme bnficiaire est associ l'ide d'un effet positif, ce
qui peut tre trompeur car l'quipe d'valuation peut reprer des effets
ngatifs lorsqu'elle enqute auprs des destinataires directs.
Bnficiaire
Usager
End-user
Recipient
Public eligible
Eligible public
Ensemble des personnes ou organismes qui est directement destine
l'intervention (ex : personnes au chmage depuis plus d'un an, crateurs
d'entreprises).
Le public eligible est compos de tous les destinataires directs potentiels.
Une partie d'entre eux seulement est touche par l'intervention (voir la
notion de taux d'atteinte du public cible ou taux de couverture). Le concept
est plus limit que celui de public concern qui comprend aussi les
destinataires indirects prvus ou imprvus.
Public cible
Target group
Destinataire indirect
Indirect
addressee
Personne, groupe de personnes ou organisation qui n'a pas de contact

direct avec l'intervention, mais qui en reoit des effets par l'intermdiaire des
destinataires directs (ex : les entreprises qui ont innov grce aux rseaux
de transfert de technologie mis en place par l'intervention publique).
Les effets indirects se produisent court ou moyen terme, de faon
positive ou ngative. La raison d'tre d'une intervention est de produire un
changement positif pour l'ensemble de ses destinataires directs et indirects.
Public concern
Concerned
group
Ensemble des personnes ou organismes qui sont atteints, ou

potentiellement atteints, par l'intervention, volontairement ou non,
directement ou indirectement.
Le concept est plus large que celui de public eligible (tous les destinataires
directs potentiels). Il comprend aussi les destinataires indirects.
Gagnants et perdants
Winners and losers
Organisation de l'valuation
Auto-valuation
Self-evaluation
Evaluation d'une intervention publique par l'organisation qui participe
directement sa mise en oeuvre.
Ce mode d'organisation est peu courant dans le contexte des programmes
financs par l'Union europenne mais plus frquent dans le cadre des
projets d'aide aux pays en dveloppement en raison de l'loignement
culturel et gographique.
Evaluation interne
Internal
evaluation
Evaluation d'une intervention publique par une quipe d'valuation

appartenant l'administration en charge du programme.
L'valuation interne peut tre indpendante si l'quipe d'valuation n'a
aucun lien hirarchique avec les acteurs de la mise en uvre. Dans le cas
contraire, il s'agit d'une auto-valuation.
In-house evaluation
Evaluation externe
External
evaluation
Evaluation d'une intervention publique par des personnes qui

n'appartiennent pas l'administration responsable de sa mise en uvre.
Par exemple, une quipe compose de consultants privs, de chercheurs,
ou de personnes appartenant des organisations publiques sans liens
avec celles responsables de l'intervention.
Commanditaire
Commissionner
Personne ou organisation qui dcide (ou qui co-dcide) le lancement de

l'valuation.
Le commanditaire a avantage rendre sa dcision visible en tablissant un

mandat. Le commanditaire peut dcider de piloter lui mme le travail de
l'quipe d'valuation, ou au contraire de constituer un groupe de pilotage
ou une instance d'valuation cet effet.
Mandant
Equipe d'valuation
Evaluation
team
Les personnes qui ralisent l'valuation.

L'quipe d'valuation slectionne et interprte les donnes secondaires,
elle collecte les donnes primaires, elle ralise les analyses et produit le
rapport d'valuation. L'quipe d'valuation peut tre interne ou externe.
Elle peut tre constitue d'un groupement de plusieurs organisations
(consortium) ou faire appel des sous-traitances. A la limite, elle est
compose d'une seule personne. Dans cette Collection, le terme quipe
d'valuation a t prfr celui d'valuateur qui est conforme au modle
d'valuation manageriale, mais qui s'applique mal aux deux autres modles
(valuation pluraliste et valuation dmocratique) dans la mesure o c'est
l'Instance d'valuation qui formule le jugement final sur la base du travail
produit par l'quipe d'valuation.
Evaluateur
Charg d'valuation
Evaluator
Groupe de pilotage
Steering group
Groupe restreint compos de fonctionnaires des administrations les plus
directement concernes par l'intervention, auquel on adjoint parfois
quelques experts.
La priodicit de ses runions est importante et les procdures de travail
sont peu formelles. Le groupe de pilotage agit en tant que mdiateur entre
les commanditaires et l'quipe d'valuation mais aussi entre les diffrents

partenaires concerns par l'intervention.
Instance d'valuation
Evaluation
Committee
Groupe de pilotage largi aux principaux protagonistes de l'intervention

value.
On peut associer l'valuation toute personne qui est potentiellement
utilisatrice des recommandations, toute personne qui a un intrt dans les
informations produites, toute personne qui est susceptible d'tre gagnante
ou perdante dans le processus. Les principales catgories de protagonistes
sont les financeurs, les gestionnaires, les oprateurs et les publics
concerns. Les protagonistes invits participer une instance
d'valuation expriment leurs attentes et leurs craintes ; ils amliorent la
pertinence des questions poses et leur prsence crdibilise l'valuation.
Une plus grande diversit de points de vue facilite leur confrontation au sein
du groupe de pilotage, et permet d'lever le degr de consensus
d'interaction et la robustesse des interprtations. Sous rserve de savoir
tirer un parti positif des diffrences de vues, l'valuation pluraliste renforce
la richesse et la crdibilit des conclusions. La prise en compte des
attentes de plusieurs partenaires permet une meilleure acceptation des
conclusions et augmente l'intrt qui sera port ces conclusions.
Dispositif d'valuation
Evaluation
setting
Ensemble des modalits d'organisation d'une valuation donne (relations

tablies entre le commanditaire, le groupe de pilotage et l'quipe
d'valuation, implication des protagonistes, organisation du travail,
calendrier, mthode d'valuation).
Le terme protocole d'valuation s'applique de faon plus restrictive aux
seuls aspects techniques du dispositif, l'exclusion de ses aspects
organisationnels.
Le dispositif mis en place pour une valuation donne s'intgre au systme
d'valuation qui s'applique dans le contexte institutionnel de l'intervention
value.
S y s t m e d'valuation
Evaluation
system
Ensemble des rgles, institutions, procdures et ressources qui organisent

la fonction d'valuation dans un contexte institutionnel donn.
Le systme d'valuation de la politique europenne de cohsion prcise les
moments o chaque programme doit tre valu, ainsi que les
responsabilits des diffrents chelons dans l'valuation. Le systme est
dclin de faon diffrente selon les pays. Chaque valuation peut faire
l'objet d'un dispositif particulier condition de respecter les principes de
base de l'ensemble du systme.
Prparation de l'valuation
Mandat
Mandate
Document sign par les commanditaires pour formaliser leur volont
d'valuer l'intervention.
Par l'intermdiaire du mandat, le commanditaire dlgue la conduite de
l'valuation un groupe de pilotage ou une instance d'valuation. Le
mandat prcise ce qui va tre valu (le champ de l'valuation), les raisons
pour lesquelles l'valuation est lance et l'utilisation qui en est attendue. Le
commanditaire prcise la nature des recommandations qu'il attend de
recevoir la fin de l'valuation. Il nonce quelques grandes questions
auxquelles l'valuation devra rpondre, ce qui donne gnralement une
premire ide des critres d'valuation. Il fixe une date limite pour la remise
du rapport et ventuellement une enveloppe budgtaire.
Plusieurs mandats peuvent tre prpars en mme temps pour chacun des
exercices, ex ante, mi-parcours et ex post, prvus dans le cadre d'un plan
d'valuation pluriannuel.
Plan d'valuation
Evaluation plan
Prvaluation
Pre-evaluation
Etude pralable et rapide visant identifier les attentes des protagonistes,
choisir et prciser les questions valuatives, vrifier qu'il sera possible
d'y rpondre, mettre en place le dispositif d'valuation et rdiger le
cahier des charges.
Le cas chant, la prvaluation peut recommander de ne pas procder
l'valuation ou de la remettre plus tard si les conditions de son bon
droulement et de son utilisation ne sont pas runies. La partie technique
de la prvaluation est appele tude d'valuabilit.
Etude d'valuabilit
Evaluability
assessment
Partie technique de la prvaluation, qui fait le point sur le niveau des

connaissances disponibles et sur le fait que les conditions techniques et
institutionnelles seront runies pour apporter des rponses fiables et
crdibles aux questions poses.
Il s'agit concrtement de s'assurer qu'une quipe d'valuation utilisant des
outils d'valuation appropris sera capable, dans des dlais et pour un
cot compatibles avec les contraintes existantes, de rpondre aux
questions valuatives avec une forte probabilit d'arriver des
conclusions utiles.
Cahier d e s charges
Terms of
reference
Le cahier des charges dfinit le travail et le calendrier que devra raliser

l'quipe d'valuation.
Il rappelle le cadre rglementaire et prcise le champ de l'valuation. Il
annonce les principaux motifs de l'valuation et prcise les questions
poses. Il rappelle les connaissances disponibles et trace les grandes
lignes de la mthode d'valuation. Il dcrit la rpartition du travail et des
responsabilits entre les personnes qui participent au processus
d'valuation. Il fixe le calendrier et, si possible, le budget allou. Il prcise
les qualifications attendues des quipes candidates ainsi que les critres
qui seront utiliss pour slectionner l'quipe d'valuation. Il est
gnralement complt par des annexes administratives.
Termes de rfrence
Job description
Question evaluative
Evaluative question
Question pose par le commanditaire dans le cahier des charges et
laquelle l'quipe d'valuation devra apporter une rponse.
Les questions ont en principe trois dimensions : descriptive (que s'est-il

pass ?), causale (dans quelle mesure ce qui s'est pass est-il rellement
un effet de l'intervention ?) et normative (l'effet est-il satisfaisant ? ). Une
valuation comprend gnralement plusieurs questions.
Qualit de l'valuation
Crdibilit
Credibility
Qualit des rsultats et conclusions d'une valuation lorsqu'ils sont tays
logiquement par des faits empiriques et sont justifis par une analyse des
donnes valide.
La crdibilit dpend de plusieurs facteurs, dont : la fiabilit des donnes,
la solidit de la mthode, mais aussi la rputation de l'quipe d'valuation.
Trustworthiness
Impartialit
Impartiality
Qualit des conclusions et recommandations d'une valuation lorsqu'elles
sont justifies par des critres de jugement explicites et non influences par
des considrations personnelles ou partisanes.
Une valuation impartiale prend en compte les attentes, les interprtations
et les critres de jugement de tous les protagonistes qui sont lgitimes pour
donner une opinion sur la Res-publica , y compris ceux qui ont un faible
pouvoir ou une faible capacit d'expression. L'impartialit est un lment
essentiel de la qualit d'une valuation.
Neutralit
Neutrality
Fiabilit
Reliability
Qualit de la collecte des donnes d'valuation lorsque le protocole utilis
permet de produire des informations similaires au cours d'observations
rptes dans des conditions identiques.
La fiabilit dpend du respect des rgles de l'art pour l'chantillonnage et

pour l'utilisation des instruments de recueil et de saisie des informations
quantitatives et qualitatives. Une bonne fiabilit suppose, en outre, un
caractre exhaustif de la collecte de donnes ou une bonne adquation aux
questions valuatives poses. Cette notion est importante non seulement
pour les donnes primaires mais aussi pour les donnes secondaires dont
la fiabilit doit faire l'objet d'une vrification attentive.
Objectivit
Robustesse
Objectivity
Soundness
Validit d e construction
Construct
validity
Qualit d'une mthode d'valuation qui reflte fidlement les changements

ou les besoins que l'on cherche mesurer ou identifier.
La validit de construction implique que les impacts attendus soient
exprims dans des termes suffisamment prcis et que les observations
ralises sur le terrain permettent d'analyser de faon fiable et sensible ce
qui doit tre observ. Par exemple, si l'on cherche estimer l'impact d'une
aide sur l'innovation grce une enqute auprs des PME rgionales, il faut
que la notion d'innovation ait t dfinie de faon prcise et que les
questions poses correspondent prcisment ces dfinitions (ex :
nombre de nouveaux produits ou procds de production).
Validit interne
internal
validity
Qualit d'une mthode d'valuation qui limite autant que faire se peut les
biais imputables aux instruments de collecte ou de traitement des donnes.
Par exemple, l'intervention a entran, dans les PME aides directement et
indirectement, un doublement du taux d'innovation par an pour 1 000
emplois. Ce type de conclusion est plus solide si la collecte et l'analyse des
donnes ont tenu compte trs prcisment de toutes les particularits de
l'intervention et de son contexte : catgories d'entreprises aides, formes

d'innovations propres la rgion, etc. Pour obtenir une meilleure validit
interne, on est amen contrler strictement une srie de paramtres au
risque de crer une situation artificielle qui limitera d'autant la possiblit de
gnraliser les conclusions (moindre validit externe).
Validit externe
External validity
Qualit d'une mthode d'valuation qui permet d'obtenir des conclusions
gnralisables d'autres contextes (groupes, zones, priodes,...) que celui
de l'intervention value.
Par exemple, l'valuation permet de conclure (1) que l'intervention a
entran, dans les PME aides directement et indirectement, un
doublement du taux d'innovation et (2) qu'une aide similaire, attribue des
PME dans d'autres rgions, aurait vraisemblablement pour un effet
identique. Seule une forte validit externe permet d'extrapoler les leons
apprises lors de la mise en uvre de l'intervention value. Elle est
particulirement recherche lorsque l'valuation vise identifier et valider
les meilleures pratiques. La validit externe est galement requise lorsque
l'valuation utilise les conclusions d'valuations ralises sur des
interventions similaires.
Gnralisabilit
Reprsentativit
Representativeness
IV
Les critres et les indicateurs
Les termes qui suivent concernent la logique de l'intervention, depuis les
besoins auxquels elle rpond jusqu'aux impacts qu'elle produit en passant
par /es ressources qu'elle mobilise et les ralisations qu'elle accomplit.
Cette logique est celle qui structure les critres d'valuation et qui permet
de construire la fois les critres de jugement et les indicateurs. Pour une
prsentation complte de ces thmes, on se reportera au Volume 1 de la
Collection, en particulier au dbut de sa troisime partie intitule valuer
la logique d'ensemble du programme , ainsi qu'au Volume 2 et en
particulier sa premire partie consacre la terminologie relative aux
indicateurs.
Logique interne de l'intervention

Besoin
Need
Problme ou difficult qui affecte les publics concerns et que l'intervention
publique vise rsoudre ou surmonter.
L'valuation ex ante vrifie la ralit des besoins invoqus pour justifier le
lancement de l'intervention. L'valuation mi-parcours peut enquter
auprs des destinataires pour exprimer les besoins avec leur point de vue.
Les besoins constituent la rfrence de jugement pour une valuation qui
utilise les critres de pertinence et d'utilit.
Stratgie
Strategy
Slection des priorits d'action en fonction de l'urgence des besoins
satisfaire, de la gravit des problmes rsoudre, et des chances de
succs des actions envisageables.
La formulation d'une stratgie aboutit slectionner les objectifs, fixer leur
niveau d'ambition et les hirarchiser. Tous les territoires ou les publics ne
relvent pas d'une mme stratgie de dveloppement. L'valuation ex ante
examine si la stratgie est adapte au contexte et son volution probable.
Contexte
Context
L'environnement socio-conomique dans lequel on met en oeuvre une
intervention.
Le terme s'entend dans un sens trs large. Par exemple, dans le cas des
interventions en faveur des PME, le contexte comprend la conjoncture macro
conomique et les conditions-cadre (fiscalit, droit des socits, etc..)
Terme(s) connexe(s)
Condition-cadre
Environnement socio-conomique
Framework condition
Socio-economic environment
Objectif
Objective
Enonc clair, explicite et pralable, des effets que l'intervention publique
doit obtenir.
Si les objectifs ne sont pas noncs d'une manire explicite, l'valuation
(particulirement l'valuation ex ante) peut contribuer les clarifier. Un
objectif quantitatif s'nonce l'aide d'indicateurs, un objectif qualitatif
s'nonce l'aide de descripteurs. Par exemple : 30% des ralisations
devront tre termines au bout de la troisime anne, l'intervention
publique doit bnficier en priorit aux chmeurs de longue dure. Les
objectifs spcifiques concernent les rsultats et les impacts d'une
intervention sur ses destinataires directs. L'objectif global correspond la
finalit de l'intervention. La finalit d'une intervention est de produire un
impact exprim en termes globaux, par exemple, rduire les disparits
rgionales de dveloppement. Il peut galement y avoir des objectifs
intermdiaires. Les objectifs qui noncent les ralisations produire sont
appels objectifs oprationnels.
Si les objectifs d'une intervention publique n'ont pas t clairement dfinis
au pralable, l'valuation peut tenter de les clarifier aprs coup. Il est
prfrable dans ce cas de parler des objectifs implicites.
Terme(s) connexe(s)
But
Finalit
Objectif global
Objectif intermdiaire
Objectif spcifique
Objectif oprationnel
Objectif implicite
Aim
Goal
Global objective
Intermediate objective
Specific objective
Operational objective
Implicite objective
Priorit politique
Policy
priority
Souhait des financeurs de voir l'valuation examiner certains impacts qui

n'ont pas t affichs en tant qu'objectifs au moment du lancement de
l'intervention mais qui reprsentent des priorits politiques son chelon.
Par exemple, dans le cadre de sa politique de cohsion conomique et
sociale, l'Union europenne demande que les valuations prennent
systmatiquement en compte les impacts sur l'environnement, sur la
comptitivit des PME, sur la cration et le maintien de l'emploi et sur
l'galit des chances entre les femmes et les hommes.
Objectif verifiable
Verifiable objective
Objectif nonc de faon telle que l'on puisse vrifier ultrieurement s'il a
t atteint.
Une faon de rendre un objectif verifiable est de le quantifier l'aide d'un
indicateur associ deux valeurs (situation de base et situation attendue).
Un objectif peut galement tre rendu verifiable s'il est associ un
descripteur, c'est--dire un nonc qualitatif clair et prcis de l'effet
attendu.
Objectif quantitatif
Quantitative objective
Mise en oeuvre
Implementation
Le processus oprationnel ncessaire pour produire les ralisations
attendues.
Dans le contexte des programmes socio-conomiques de l'Union
europenne, la mise en uvre comprend tout ou partie des tches
suivantes : mobiliser et rpartir les ressources alloues, attribuer les
responsabilits de gestion aux oprateurs, solliciter ou susciter les
candidatures des porteurs de projet, slectionner les projets et les financer.
Pour surveiller et amliorer la mise en uvre, on met en place un Comit de

suivi , on fait fonctionner un systme d'information de suivi, on ralise des
contrles et des valuations.
Implementation
Ressource
Input
Moyens financiers, humains, matriels, organisationnels et rglementaires
mobiliss pour la mise en oeuvre de l'intervention.
Par exemple, soixante personnes ont travaill la mise en oeuvre du
programme, 3% du cot des projets a t consacr l'attnuation des
effets sur l'environnement.
Le suivi et l'valuation s'intressent spcifiquement aux ressources
alloues par les autorits publiques et employes par les oprateurs pour
obtenir les ralisations. Dans cette Collection, on considre que les
ressources prives mobilises, par exemple, par les entreprises aides,
sont classer parmi les rsultats de l'intervention publique.
La dfinition ci-dessus donne une signification relativement large au mot
ressource . Certains prfrent rduire son usage aux seules ressources
financires ou budgtaires. Dans ce cas, le mot activit peut tre
appliqu la mise en oeuvre des ressources humaines et
organisationnelles. L'expression ralisation financire . est quelquefois
employe au sens de consommation des ressources budgtaires.
Activit
Intrant
Moyen
Ralisation financire
Activity
Financial realisation
Means
Resource
.es critres et les indicateurs
Effet
Effect
Changement socio-conomique rsultant directement ou indirectement de
l'intervention mise en oeuvre.
Les effets comprennent les rsultats et les impacts de l'intervention, qu'ils
soient attendus ou non, positifs ou ngatifs. Dans certains cas, le terme
d'effet est tendu improprement aux ralisations.
Ralisation
Output U
Ce qui est financ et accompli (ou concrtis) avec l'argent allou
l'intervention.
Un porteur de projet s'engage produire une ralisation en contrepartie
immdiate de l'aide qui lui est attribue. S'il ne ralise pas ce qui tait
prvu, il ne reoit pas l'aide ou il doit la rembourser en tout ou en partie. Les
oprateurs sont responsables des ralisations et doivent en rendre compte
de faon rgulire et systmatique par l'intermdiaire du systme de suivi.
Les ralisations peuvent prendre la forme d'quipements ou de travaux
(construction d'une route, rhabilitation d'une friche urbaine, station
d'puration, lits touristiques). Elles peuvent aussi prendre la forme de
services immatriels (formation, conseil, information).
Extrant
Produit
Product
Realisation
Rsultat
Result m
Avantage (ou inconvnient) que les destinataires directs obtiennent ds la
fin de leur participation l'intervention publique ou ds l'achvement d'un
quipement public.
Les rsultats sont observables au moment o l'oprateur termine son action
et o il rend des comptes sur l'argent dont la gestion lui a t confie. A ce
moment, il peut montrer, par exemple, que l'accessibilit s'est amliore

grce la construction d'une route, ou que les entreprises qui ont reu un
conseil se dclarent satisfaites. Les oprateurs peuvent connatre les
rsultats et en faire un suivi rgulier. Il leur appartient d'adapter la mise en
uvre de l'intervention en fonction des rsultats obtenus.
Immediate outcome
Impact
Impact
Consquence apparaissant pour les destinataires directs aprs la fin de
leur participation l'intervention ou aprs l'achvement des quipements
publics, ou encore, consquence indirecte sur d'autres destinataires
gagnants ou perdants.
Certains impacts (impacts spcifiques) s'observent chez les destinataires
directs aprs quelques mois ou plus long terme (ex : survie des entreprises
aides aprs deux ans). Dans le domaine de l'aide au dveloppement, on
dsigne plutt ces impacts par le terme de rsultats durables.
D'autres impacts apparaissent de faon indirecte (ex : chiffre d'affaires
gnr pour les fournisseurs des entreprises aides). D'autres encore
s'observent au niveau macroconomique ou macrosocial (ex : amlioration
de l'image de la rgion aide). Ce sont les impacts globaux. Entre les
impacts spcifiques et les impacts globaux, l'valuation est frquemment
appele examiner un ou plusieurs impacts intermdiaires. Les impacts
peuvent tre attendus ou inattendus, positifs ou ngatifs.
Impact global
Impact intermdiaire
Impact spcifique
Rsultat durable
Global impact
Intermediate impact
Outcome
Specific impact
Sustainable result
Effet inattendu
Unexpected
effect
Impact qui est rvl par l'valuation et qui n'tait pas envisag au moment
du lancement de l'intervention.
Les effets inattendus sont rvls par des techniques d'analyse inductive
(tude de cas notamment). Ils ne font pas partie des objectifs. Un effet
inattendu positif peut devenir un objectif implicite. S'il est ngatif, on
l'appelle aussi effet pervers. Par exemple, une aide est accorde pour le
dveloppement d'un territoire qui est dsign cette occasion comme
dfavoris et qui devient, cause de cela, moins attractif pour les
entreprises.
Effet pervers
Retombe
Perverse effect
Side effect
Critres d'valuation
Critre
Criterion
Caractre, proprit ou consquence de l'intervention publique sur la base
duquel sera formul un jugement.
Par exemple : un programme d'aide l'embauche peut tre jug en fonction
du critre cot par emploi cr , ou pourcentage de l'aide bnficiant
aux chmeurs de longue dure (dans ce dernier cas, on suppose que
l'intervention est d'autant meilleure que le pourcentage est plus lev).
Un critre d'valuation doit tre explicite, c'est--dire qu'il doit faire clairement
apparatre ce qui fait que l'intervention sera juge meilleure ou moins bonne.
Des critres frquemment employs en valuation sont la performance et
l'efficacit, mais aussi l'quit ou la durabilit. On voit ainsi que les critres
d'valuation peuvent faire rfrence des valeurs sociales diffrentes.
Pour tre utilis dans une valuation, un critre doit tre accompagn d'une
norme (niveau de russite partir duquel l'intervention sera juge bonne au
regard de ce critre). Une intervention est gnralement juge sur plusieurs
critres.
Valeur sociale
Social value
Norme
Norm
Niveau que l'intervention doit atteindre pour tre juge russie selon un
critre donn.
Par exemple : le cot par emploi cr a t satisfaisant au regard d'une
norme nationale constitue partir d'un chantillon d'interventions
comparables.
Standard
Pondration
Weighting
Ce qui permet de dire qu'un critre a une importance plus grande ou moins
grande qu'un autre critre dans la formulation d'un jugement global sur
l'intervention.
On peut formaliser la pondration des critres en l'exprimant en
pourcentage (le total faisant 100%). L'analyse multicritre met
gnralement en uvre une pondration.
Raison d'tre
Rationale
Le fait que l'intervention se justifie au regard des besoins satisfaire ou des
problmes socio-conomiques rsoudre.
L'valuation ex ante vrifie l'existence relle de ces besoins et problmes,
et notamment le fait qu'ils ne peuvent pas tre satisfaits par l'initiative
prive, ni par d'autres initiatives publiques dj mises en place. Ainsi, le
caractre insuffisant ou dfaillant des autres initiatives (prives ou
publiques) constitue un lment fondamental de la raison d'tre de
l'intervention en vertu du principe de subsidiarit.
Bien-fond
Raison d'etre
Pertinence
Relevance
Adquation entre les objectifs explicites de l'intervention et les problmes
socio-conomiques.
Les questions de pertinence sont particulirement importantes dans le
cadre d'une valuation ex ante car on s'interroge principalement sur la
stratgie conomique que cette dernire est cense prendre en charge.
Dans le cadre d'une valuation mi-parcours, on peut vrifier si le contexte
socio-conomique a bien volu comme on l'imaginait a priori et si cette
volution ne remet pas en question la pertinence de tel ou tel objectif initial.
Adquation
Appropriateness
Eligibilit
Eligibility
Le fait qu'une rgion, un projet, un groupe de personnes ait les
caractristiques requises pour bnficier de l'intervention, ou plus
prcisment pour recevoir une aide.
Par exemple, les rgions europennes ligibles l'aide attribue aux zones
en retard de dveloppement doivent avoir un PIB par habitant infrieur
75% de la moyenne de l'Union europenne. Les critres d'ligibilit
dcoulent de la raison d'tre de l'intervention.
Disparit
Disparity
Le fait qu'une rgion ou un groupe de personnes est dans une situation
significativement diffrente des autres.
En rgle gnrale, la raison d'tre des programmes financs par les Fonds
structurels consiste rduire les disparits socio-conomiques entre
rgions ou groupes sociaux.
Ingalit
Inequality
Efficacit
Effectiveness
Le fait que les effets attendus ont t obtenus, que les objectifs ont t
atteints.
L'efficacit peut tre apprcie en rpondant par exemple la question :
Aurait-on pu obtenir plus d'effets en organisant la mise en oeuvre de
faon diffrente ? ou bien Quels sont les oprateurs ou les mesures
qui obtiennent les meilleures russites ? . Un indicateur d'efficacit se

calcule en rapportant un indicateur de ralisation, de rsultat ou d'impact
un objectif quantifi. Par exemple : l'objectif en terme de nombre
d'entreprises cres a t atteint 85%. Le taux de placement obtenu par
l'oprateur A est meilleur que celui obtenu par l'oprateur B. Pour plus de
clart, il peut tre utile de prciser si l'on parle de l'efficacit en rfrence
aux ralisations, aux rsultats ou aux impacts.
Effectivit
Russite
Succs
Efficacy
Success
Efficience
Efficiency
Le fait que les effets ont t obtenus un cot raisonnable.
L'efficience peut tre apprcie en rpondant, par exemple, aux questions
suivantes : aurait-on pu obtenir plus d'effets pour un mme budget ? ,
d'autres interventions ont-elles obtenu les mmes effets pour un cot
infrieur ? . Un indicateur d'efficience se calcule par division entre les
ressources budgtaires mobilises et la quantit d'effet obtenu. Par
exemple : le cot moyen de formation d'un chmeur de longue dure a t
de 2 000 euros. L'intervention devrait aboutir un cot par emploi cr de
moins de 30 000 euros.
Pour plus de clart, il peut tre utile de prciser si l'on parle de l'efficience
en rfrence aux ralisations, aux rsultats ou aux impacts. L'efficience des
ralisations est appele cot unitaire..
Terme(s) connexe(s)
Cot-efficacit
Cot unitaire
Cosf effectiveness
Unit-cost.
Value for money
Durabilit
Sustainability
La proprit des effets perdurer moyen ou long terme.
Les effets sont durables s'ils subsistent aprs la fin du financement attribu
par l'intervention. Ils ne sont pas durables si une activit n'est pas capable
de gnrer ses propres ressources ou si elle s'accompagne d'effets
ngatifs, notamment sur l'environnement, et que cela entrane des
phnomnes de blocage ou de rejet.
Viabilit
Prennit
Performance
Performance
Le fait que les effets ont t obtenus un cot raisonnable et qu'ils donnent
satisfaction aux destinataires.
Par exemple : un programme d'assainissement des eaux uses est
performant si le cot par habitant desservi est limit par rapport celui
d'interventions similaires, si les stations d'puration construites respectent
les normes de qualit et si les rivires sont moins pollues.
L'efficience et la performance sont deux notions voisines, mais la seconde
s'tend plus largement aux dimensions qualitatives. Dans certains
contextes, la performance concerne les ralisations et les rsultats mais
pas les impacts. Dans d'autres contextes, le terme s'applique
principalement aux ralisations (Banque Mondiale - Dpartement
d'Evaluation des Oprations) ou au contraire aux impacts. La signification
du mot performance n'est pas stabilise. Il est donc prfrable de dfinir le
mot lorsqu'il est employ.
Utilit
Utility
Le fait que les impacts obtenus par l'intervention correspondent bien aux
besoins de la socit et aux problmes socio-conomiques rsoudre.
L'utilit est un critre d'valuation trs particulier puisqu'il abandonne toute

rfrence aux objectifs affichs par l'intervention. Il peut tre judicieux
d'appliquer ce critre lorsque les objectifs sont mal dfinis ou lorsque qu'il
y a beaucoup d'effets inattendus. Ce critre doit tre utilis avec prcaution
afin d'viter que l'quipe d'valuation ne procde une slection trop
personnelle des besoins ou des problmes socio-conomiques importants.
Certains auteurs ont prn une forme d'valuation affranchie des objectifs.
Evaluation affranchie des objectifs
Goal free evaluation
Subsidiante
Subsidiarity
Ce qui justifie qu'une autorit publique dcide et mette en uvre
l'intervention, plutt que de laisser faire l'initiative prive ou une autre
autorit publique.
Le principe de subsidiante justifie l'intervention publique quand il y a
dfaillance du secteur priv, d'une part, et quand les autres chelons
d'administration publiques ne seraient pas aussi efficaces, d'autre part. La
subsidiarit est une composante de la raison d'tre de l'intervention.
Dans le contexte europen, la subsidiarit signifie par exemple que la
Communaut agit dans la mesure o un objectif peut tre mieux ralis au
niveau europen qu'au niveau des Etats membres pris isolment. Ceci
rejoint la notion de valeur ajoute communautaire qui est frquemment
considre comme un critre prendre en compte dans l'valuation des
programmes.
Valeur ajoute communautaire
Community value added
Mesures et systmes d'information
Indicateur
Indicator
Mesure d'un objectif atteindre, d'une ressource mobilise, d'une
ralisation accomplie, d'un effet obtenu ou d'une variable de contexte
(conomique, social ou environnemental).
L'information fournie par un indicateur est une donne quantitative mesurant
des faits ou des opinions (ex : pourcentage des entreprises rgionales qui
ont t aides par l'intervention publique, pourcentage des stagiaires qui se
dclarent satisfaits ou trs satisfaits). Parmi les qualits d'un indicateur, on
notera qu'il doit produire une information simple, facilement communicable
et comprise la fois par le fournisseur et l'utilisateur de l'information. Il doit
aider les responsables de l'intervention publique communiquer, ngocier
ou dcider. Pour cela, il est prfrable qu'il soit reli un critre de russite
de l'intervention. Il doit reflter prcisment ce qu'il est cens mesurer
(validit de construction). L'indicateur et son unit de mesure doivent tre
sensibles, c'est--dire que la quantit mesure doit varier significativement
quand il apparat un changement dans la variable mesurer. Les indicateurs
peuvent tre construits spcifiquement par l'quipe d'valuation et
quantifis l'aide d'enqutes ou de donnes statistiques. Il sont souvent
emprunts au systme de suivi ou aux sries statistiques. Un indicateur peut
tre lmentaire ou driv de plusieurs autres indicateurs sous forme de
ratio ou d'index.
Donne quantitative
Sensibilit
Quantitative data
Sensibility
Unit de mesure
Measurement unit
Ce qui permet d'observer un phnomne, un changement, une variable et
de le situer sur une chelle quantitative.
L'unit de mesure permet la quantification. Un indicateur lmentaire est

associ une unit de mesure et n'a qu'une seule dimension (ex : km
d'autoroute, nombre de stages. Certaines units de mesure sont divisibles
et d'autres sont indivisibles (ex : 20,3 km ont t construits, 30 stagiaires
ont reu une formation). La comparabilit des indicateurs suppose une
harmonisation des units de mesure.
Quantification
Quantifii cation
Descripteur
Descriptor
Description, sous la forme d'un texte concis, clair et stable, d'un objectif
atteindre ou d'un impact obtenu.
Par exemple, on peut examiner l'impact d'une mesure en termes d'galit
des chances et conclure en choisissant parmi des descripteurs prtablis
tels que : (1) la mesure a permis la majorit des femmes destinataires
de se qualifier pour des emplois considrs comme masculins , ou (2) la
mesure a attir parmi ses destinataires une proportion leve de femmes
dsireuses de se qualifier pour des emplois considrs comme masculins .
L'organisation de descripteurs sous forme d'une grille structure peut
constituer la premire tape de construction d'un indicateur. Si l'nonc de
plusieurs descripteurs a t tabli l'avance, il est possible de s'en servir
pour construire une grille d'observation qui permettra d'observer un
phnomne ou un changement et de le dcrire de faon la fois qualitative
et structure. L'valuation ne peut pas se permettre d'exclure de son
champ d'analyse un objectif ou un impact pour la seule raison qu'il serait
difficilement mesurable de faon quantitative, alors mme qu'il serait
considr comme important. Dans ce cas, il est prfrable de collecter des
donnes qualitatives et de les structurer l'aide de descripteurs.
Terme(s) connexe(s)
Donne qualitative
Enonc
Grille d'observation
Observation grid
Qualitative data
Statement
Notation
Scoring
Choix d'un niveau sur une chelle pralablement gradue en units de
mesure quantitative (par exemple une chelle de 0 100 ou de -3 +3)
pour reprsenter l'importance d'un effet, d'un besoin ou d'un lment de
qualit.
Il est possible de construire une grille d'observation suffisamment
structure pour qu'elle produise directement une notation. La personne qui
choisit la note est appele notateur ou assesseur. La docimologie tudie les
systmes de notation.
Terme(s) connexe(s)
Rating
Systme d'information de suivi
Monitoring
information
system
Dispositions prises pour que les oprateurs collectent et conservent les

informations concernant les ressources, les ralisations et les rsultats,
pour qu'ils les traitent et les transmettent de faon rgulire aux
gestionnaires (ex : rapports d'avancement, comptes-rendus d'excution).
Le systme d'information de suivi comprend galement les synthses et les
agrgations ralises par les gestionnaires et prsentes priodiquement
aux autorits responsables de la mise en oeuvre (bilans d'activit, tableaux
de bord, indicateurs). Dans le cadre des programmes socio-conomiques
de l'Union europenne, la pice matresse du systme d'information est
constitue par le systme d'indicateurs.
Terme(s) connexe(s)
Systme d'indicateurs
System of indicators
Tableau de bord
Operating
report
Prsentation des informations essentielles pour le suivi de l'intervention,

sous forme d'un petit nombre d'indicateurs quantifis priodiquement.
Le tableau de bord concerne les ressources mobilises, les ralisations

effectues et les rsultats constats. Le tableau de bord comprend aussi
quelques indicateurs statistiques permettant de suivre des lments
importants du contexte (sous rserve que l'information puisse tre connue
sans trop de dlai). Le tableau de bord fait partie du systme d'information
de suivi. Il est souvent produit l'aide d'un logiciel de gestion de bases de
donnes. L'intrt d'un tableau de bord est de permettre la visualisation
continue des principaux paramtres de l'intervention publique et ainsi de
favoriser une rtroaction rapide.
Observatoire
Statistical
team
Organisation ou systme qui permet de rassembler et de diffuser des

informations statistiques sur un thme donn de faon rgulire sur une
longue priode (ex : observatoire de l'galit des chances, observatoire de
l'environnement dans un parc naturel).
Grce sa permanence, un observatoire peut produire des sries
chronologiques, ce que l'valuation qui intervient dans un temps limit ne
peut pas faire. Les observatoires, lorsqu'ils existent, constituent des
sources intressantes de donnes secondaires pour l'valuation.
Comparabilit
Comparability
Qualit d'un indicateur qui utilise la mme unit de mesure pour quantifier
les besoins, les objectifs ou les effets de plusieurs interventions diffrentes.
La comparabilit est utile pour constituer des normes de jugement (ex : le
cot moyen des emplois crs par l'intervention se compare favorablement
celui d'interventions similaires). Les efforts raliss pour amliorer la
comparabilit supposent une harmonisation des units de mesure et
aboutissent, dans un premier temps, dfinir des indicateurs standards,
c'est dire utilisables dans plusieurs rgions avec la mme dfinition pour
un mme secteurs d'intervention (ex : nombre de PME aides, dfini et
calcul de faon comparable). Dans un deuxime temps, la comparabilit
peut s'tendre des indicateurs cls, c'est--dire utilisable la fois dans
plusieurs rgions et dans plusieurs secteurs d'intervention.
Terme(s) connexe(s)
Harmonisation
Indicateur standard
Harmonisation
Standard indicator
C h a m p d'intervention
Field of
intervention
Ensemble d'interventions qui prsentent des similarits suffisantes pour

faire l'objet d'une harmonisation des indicateurs et de comparaisons entre
les travaux d'valuation.
Par exemple, un mme programme peut prvoir des ralisations dans le
champ de la recherche-dveloppement, dans celui des infrastructures de
transport, dans celui de la formation, etc. Dans le cadre de la politique
europenne de cohsion, les champs d'intervention sont regroups en trois
grandes catgories : infrastructures de base, environnement productif,
ressources humaines.
Secteur d'intervention
Indicateurs
Indicateur de contexte
Context indicator
Mesure d'une variable conomique, sociale ou environnemenale
concernant l'ensemble d'une rgion, d'un secteur ou d'une population
dans laquelle l'intervention publique prend place (ex : PIB/habitant,
nombre annuel de crations d'entreprises dans la rgion).
Les indicateurs de contexte peuvent dcrire une situation de base avant
intervention et une situation espre aprs intervention. Ils sont
gnralement quantifis partir de donnes provenant des offices
statistiques ou des observatoires. Ils s'appliquent l'ensemble d'un
territoire ou d'une population l'inverse des indicateurs de programme qui
ne s'appliquent qu'aux destinataires effectivement touchs par
l'intervention.
Situation de base
Baseline
Etat du contexte conomique, social ou environnemental, un moment
donn (gnralement le dbut de l'intervention) et partir duquel les
changements vont tre mesurs.
La situation de base est dcrite par des indicateurs de contexte dcrivant
l'conomie, l'environnement socio-conomique, les publics concerns,
etc..
Point zro
Situation de rfrence
Indicateur de p r o g r a m m e
Programme
indicator
Indicateur qui concerne les ressources et les ralisations de l'intervention

ainsi que les rsultats et les impacts sur ses destinataires directs et indirects.
Ils peuvent comprendre des indicateurs drivs mesurant l'efficience,

l'efficacit ou la performance. Les indicateurs de programme sont
quantifis par les systmes d'information de suivi et galement par
l'valuation lorsqu'elle produit des donnes primaires. Lorsqu'ils
concernent des effets, les indicateurs de programme mesurent seulement
ceux qui touchent les destinataires directs et indirects.
Indicateur gnrique
Generic
indicator
Indicateur qui sert quantifier, avec la mme unit de mesure, les impacts
rsultant de plusieurs ralisations de natures diffrentes (ex : valeur ajoute
gnre par des ralisations dans les domaines de la pche, du tourisme
et des nouvelles technologies de l'information).
Indicateur cl
Core indicator
Indicateur susceptible de jouer un rle important dans des comparaisons
entre interventions diffrentes et dans la synthse des conclusions de
plusieurs valuations.
Dans le cadre de la politique europenne de cohsion, des indicateurs cls
sont par exemple le taux de consommation budgtaire ou le nombre de
PME aides (pour le suivi de la mise en oeuvre), le cot par emploi cr ou
le PIB par habitant (pour l'valuation des impacts). Les indicateurs cls
doivent tre la fois des indicateurs standards et des indicateurs
gnriques.
Taux d e c o n s o m m a t i o n budgtaire
Absorption
rate
Ressources budgtaires dj mobilises en proportion des ressources

initialement alloues.
Taux d'absorption
Taux de ralisation
Completion rate
Pourcentage des ralisations initialement prvues qui sont acheves.

Le taux de ralisation d'un grand projet d'infrastructure est calcul par
rapport aux tapes de travail initialement prvues et qui sont acheves. Le
taux de ralisation d'une intervention est la moyenne des taux de ralisation
des projets qui composent cette intervention. Le taux de ralisation est un
indicateur cl pour le suivi de la mise en uvre de l'intervention.
Taux d'avancement
Taux d'atteinte du public eligible
Coverage rate
Pourcentage du public eligible qui a t effectivement atteint par

l'intervention.
Le taux de couverture est un indicateur de rsultat, important quantifier
dans le cadre du suivi. On parlera de taux d'exposition pour indiquer la part
de la population vise qui a reu une information sur le programme.
Taux de couverture
Taux d'exposition
Exposure rate

Les impacts
Les pages qui suivent rassemblent les termes relatifs aux impacts des
interventions publiques, et plus particulirement ceux qui contribuent au
dveloppement socioconomique. Le vocabulaire, en partie emprunt
l'conomie, fait gnralement rfrence au terme effet plutt qu' celui
d'impact. Les deux termes ayant une forte proximit, on a conserv le
vocabulaire conomique d'origine.
Pour une prsentation complte de ces thmes, on peut se reporter la
troisime partie du Volume 1 de la Collection consacre aux impacts socio
conomiques de niveau micro et macro, ainsi qu'au Volume 4 qui consacre
sa troisime partie aux effets de synergie et au Volume 5 qui dveloppe les
impacts sur l'emploi, l'environnement et d'autres priorits communautaires.
Analyse de causalit
Effet brut
Gross effect 1
Changement constat la suite de l'intervention publique ou effet dclar
par le destinataire direct.
L'effet brut apparat comme une consquence de l'intervention mais il ne
peut gnralement pas lui tre imput en totalit. L'exemple qui suit montre
que l'valuation ne peut pas se contenter de dcrire les effets bruts : les
entreprises aides ont dclar avoir cr 500 emplois grce l'aide (effet
brut). En ralit, elles auraient tout de mme cr 100 emplois en l'absence
de l'aide (effet d'aubaine). Les emplois rellement imputables
l'intervention sont donc au nombre de 400 (effet net).
Effet net
Net effect
Effet rellement imputable l'intervention publique et elle seule, par
opposition aux changements apparents ou aux effets bruts.
Pour valuer les effets nets partir des effets bruts, il faut retrancher les
changements qui se seraient produits en l'absence de l'intervention
publique et qui ne lui sont donc pas imputables car produits par des
facteurs concurrents (situation contrefactuelle). Par exemple on constate
une stabilit des effectifs des entreprises aides (changement ou effet brut
gal zro). Cependant on estime qu'en l'absence d'aide, 400 personnes
auraient t licencies (situation contrefactuelle). Il y a donc eu maintien de
400 emplois (effet net).
Terme(s) connexe(s)
Effet additionnel
Effet propre
Additional E ffect
Effet d'aubaine
Deadweight
Changement observ chez les destinataires directs la suite de
l'intervention publique ou dclar par les destinataires directs comme une
consquence de l'intervention publique, alors mme qu'il serait survenu en

l'absence de l'intervention.
Par exemple : un agriculteur a reu une aide pour crer un gte rural. A
l'occasion d'une enqute, il dclare que l'aide lui a permis de crer un gte
de meilleure qualit, mais qu'il aurait cr le gte de toute faon en
l'absence d'aide. La cration du gte ne peut donc pas tre entirement
impute l'intervention. Il y a eu un effet d'aubaine. L'importance de l'effet
d'aubaine peut parfois dpasser 50% de l'effet brut. L'estimation des effets
d'aubaine ncessite une enqute auprs des destinataires directs, de
prfrence avec une analyse comparative portant sur des non-participants.
Perte sche
Poids mort
Effet d e d p l a c e m e n t
Displacement effect
Effet obtenu dans une zone eligible au dtriment d'une autre zone.
L'effet de dplacement peut tre dsir (ex : dplacement d'une
administration publique depuis la capitale vers une rgion en reconversion)
ou non dsir (ex : 10% des emplois crs par un programme de
dveloppement rgional ont eu pour consquence la disparition d'emplois
dans d'autres rgions ligibles). Une entreprise a utilis l'aide du
programme pour dplacer ses locaux du centre ville la priphrie.
Lorsqu'ils ne sont pas dsirs, les effets de dplacement doivent tre
soustraits des effets bruts pour arriver aux effets nets.
Effet d e substitution
Substitution
effect
Effet obtenu en faveur d'un destinataire direct mais au dtriment d'une

personne ou d'une organisation qui n'est pas eligible l'intervention.
Par exemple, un chmeur de longue dure a trouv un emploi grce
l'intervention. En ralit, cet emploi a t obtenu grce au dpart d'une
autre personne en retraite anticipe. Si l'objectif est une redistribution de
l'emploi en faveur des catgories dfavorises, l'effet doit tre considr
Les impacts
comme positif. L'valuation dtermine, au regard des objectifs de

l'intervention, si l'effet de substitution doit tre considr comme bnfique
ou non. Lorsqu'il n'est pas bnfique, l'effet de substitution doit tre
soustrait des effets bruts.
Situation contrefactuelle
Counterfactual
situation
Situation qui se serait produite en l'absence de l'intervention publique.

Par exemple, une entreprise a t aide pour adapter la qualification de son
personnel aux nouvelles technologies. Il n'y a pas eu de suppression
d'emplois dans les deux annes suivantes. En l'absence de l'aide (situation
contrefactuelle), on estime que 50 emplois auraient t supprims. En
comparant la situation contrefactuelle avec la situation relle, il est possible
de dterminer les effets nets de l'intervention publique. Divers outils
peuvent tre utiliss pour la construction de la situation contrefactuelle :
analyse rsiduelle-structurelle, groupe de comparaison, simulation avec
l'aide d'un modle macro-conomique, etc. Au point zro, la situation relle
et la situation contrefactuelle sont identiques. Les deux situations divergent
pendant la dure de l'intervention si celle-ci est efficace.
Scnario hors intervention
Policy-off situation
Facteur concurrent
Confounding
factor
Facteurs indpendants de l'intervention publique qui sont la cause en tout

ou partie des changements observs chez les destinataires (effets bruts).
Un facteur concurrent peut freiner ou au contraire amplifier un impact
escompt. Par exemple, l'emploi a augment de 10% dans les entreprises
aides. Cependant, cette augmentation ne peut tre impute entirement
l'intervention publique car les entreprises aides ont galement bnfici
d'une bonne conjoncture macro-conomique nationale (facteur concurrent).
Autre exemple : prs de 80% des stagiaires ont trouv un emploi aprs un
an. Cependant, ce bon taux de placement est en partie imputable la
qualification initiale des stagiaires qui tait trs leve au moment de leur
recrutement (effet d'crmage).
Lorsque l'valuation ralise une analyse de causalit, elle dpartage les
effets imputables l'intervention publique (effets nets) et ceux qui sont
imputables aux facteurs concurrents.
Cofacteur
Facteur exogne
Facteur contextuel
Concurrent factor
Extraneous factor
Exogeneous factor
Analyse de causalit
Causality
analysis
Etude des relations de cause effet qui relient l'intervention publique et ses
impacts.
L'analyse de causalit peut tre inductive. Dans ce cas, elle s'interroge sur
les mcanismes susceptibles de produire les impacts, ainsi que sur les
facteurs concurrents, susceptibles d'exercer une influence. L'analyse de
causalit peut aussi tre deductive (ou hypothticodductive). Dans ce
cas, elle examine si les hypothses faites sur les impacts ne sont pas
contredites par les faits. Elle peut galement fournir une estimation
quantitative des impacts.
Analyse deductive
Analyse inductive
Deductive analysis
Inductive analysis
T h o r i e d'action
Theory
of action
Ensemble des hypothses qui sont faites par les financeurs et les
gestionnaires pour expliquer la faon dont l'intervention publique va
produire ses impacts et va atteindre son objectif global.
Les impacts
La thorie d'action est constitue des relations de cause effet reliant les
ralisations, les rsultats et les impacts. La thorie d'action est souvent
implicite, au moins en partie. L'valuation aide l'expliciter et s'appuie pour
cela sur un Diagramme logique des impacts escompts.
Referentiel
Modle de causalit
Programme theory
Thorie explicative
Explanatory
theory
Ensemble des hypothses susceptibles d'expliquer les changements

constats la suite de l'intervention publique (effets bruts).
La thorie explicative a une porte plus large que la thorie d'action.
Comme elle, elle englobe les relations de cause effet entre les
ralisations, les rsultats et les impacts. En plus, elle comprend toutes les
autres causes susceptibles d'expliquer les effets bruts, c'est--dire tous les
facteurs concurrents. L'valuation s'appuie sur une liste d'hypothses
explicatives tablie avec l'aide d'experts, partir de travaux de recherches
et d'valuation raliss dans des champs similaires. Les techniques
d'analyse inductive contribuent galement construire ou amliorer la
thorie explicative.
Coefficient d'extrapolation
Extrapolation
coefficient
Ratio qui permet d'estimer un Impact partir des donnes de suivi.

Par exemple, si l'on connat le montant des investissements effectus par
les PME aides, un coefficient d'extrapolation permettra d'estimer la valeur
ajoute annuelle gnre. Dans ce cas, le coefficient d'extrapolation pourra
tre le ratio de valeur ajoute annuelle par euro investit. Ce ratio sera tir
des statistiques de la rgion ou du secteur concern.
Si l'quipe d'valuation emploie des coefficients d'extrapolation
prexistants, il importe qu'elle explique et justifie ceux qu'elle a choisis. Un
coefficient peut tre dduit d'une enqute par questionnaire ( condition

que l'chantillon soit reprsentatif) conduite dans le cadre de la mme
valuation ou d'une valuation prcdente. Un coefficient peut aussi tre
emprunt une valuation ou une recherche portant sur des interventions
similaires, condition que les conclusions soient considres comme
gnralisables (validit externe). Un coefficient peut galement tre tabli
pour les besoins d'une valuation par un panel d'experts ou par un rseau
d'experts en utilisant la technique de l'enqute Delphi.
Effets socioconomiques
Effet direct
Direct
effect
Effets de l'intervention publique sur ses destinataires directs, l'exclusion

de toute rpercussion sur d'autres publics.
Par exemple : une aide l'investissement a des effets directs sur les
entreprises aides (cots et capacit de production, cration ou maintien
d'emplois). Une infrastructure nouvelle a un effet direct sur les personnes et
les entreprises qui l'utilisent.
Effet indirect
Indirect
effect
Effet qui se propage dans l'conomie, la socit ou l'environnement au

del des destinataires directs de l'intervention publique.
On distingue les effets indirects internes qui se propagent travers des
changes marchands (ex: effet sur les fournisseurs ou sur les salaris d'une
entreprise aide), par opposition aux effets externes, ou externalits ,
qui se propagent sans passer par un march (ex : nuisance sonore, effet de
fertilisation au sein d'un rseau d'innovation).
Effet induit
Effet primaire
First round
effect
Effet sur les destinataires directs de l'intervention publique et sur le premier

cercle des destinataires indirects.
Par exemple, l'impact sur les entreprises aides et sur leurs clients,
fournisseurs, salaris. Les effets primaires peuvent tre analyss l'aide
d'enqutes d'valuations. Ils sont de nature microconomique, l'inverse
des effets secondaires qui concernent des cercles de destinataires de plus
en plus indirects.
Impact de premier ordre
Knock-on effect
Effet s e c o n d a i r e
Secondary
effect
Ensemble des impacts que produit l'intervention au-del de ses effets

primaires, c'est--dire au-del de ses destinataires directs et du premier
cercle de destinataires indirects.
Les mcanismes d'effets secondaires s'tendent potentiellement par
cercles successifs jusqu' l'ensemble de l'conomie. Ils sont gnrs par
l'effet fournisseur, l'effet multiplicateur de revenu, l'effet d'entranement,
etc.. L'valuation des effets secondaires fait appel des raisonnements et
des techniques macro-conomiques.
Externalit
Externality
Effet d'une action prive ou d'une intervention publique qui se propage
sans passer par un march.
Par exemple, une entreprise pollue une rivire et cre une perte conomique
pour une exploitation piscicole en aval. Un ingnieur quitte l'entreprise qui
l'a form et met son savoir-faire au service d'une nouvelle entreprise qu'il
cre. De par leur nature mme, les externalits donnent lieu des choix
privs qui ne peuvent pas tre optimiss par les mcanismes de
concurrence. Seules des dcisions collectives et souvent publiques peuvent
favoriser les effets externes positifs et prvenir les effets externes ngatifs.
Beaucoup d'aides financires attribues au titre de la politique europenne
de cohsion visent favoriser l'obtention d'effets positifs externes que les
entreprises ne rechercheraient pas spontanment par elles-mmes.
Effet d e levier
Leverage
effect
Propension dans laquelle l'intervention publique induit une dpense prive

pour le destinataire direct.
Les impacts
Dans le cas o l'intervention publique subventionne des investissements

privs, l'effet de levier est d'autant plus grand que la subvention mobilise
des dpenses prives importantes. L'effet de levier ne doit pas tre
confondu avec l'effet additionnel (voir effet net). Il ne fait pas non plus
rfrence au principe d'additionnalit qui s'applique la politique
europenne de cohsion conomique et sociale (voir additionnalit).
Effet d e d e m a n d e
Demand
side effect
Effet qui se propage par l'intermdiaire de l'accroissement des

consommations intermdiaires des entreprises (effet fournisseur) et par
l'intermdiaire des revenus distribus dans la rgion aide et qui gnre
son tour des dpenses de consommation des mnages (effet
multiplicateur). En cas d'arrt du financement public, les effets de demande
disparaissent.
Effet fournisseur
Supplier effect
Effet secondaire sur les socits qui fournissent des biens et services aux
entreprises qui sont destinataires directes de l'intervention publique.
Il peut y avoir plusieurs cycles d'effet fournisseur si on tend l'analyse aux
fournisseurs des fournisseurs, etc. L'analyse d'entressorties (input
output) permet d'estimer la totalit des effets fournisseurs sur un territoire
donn.
Effet multiplicateur d e revenu
Income
multiplier
effect
Effet secondaire qui rsulte de l'augmentation des revenus et de la

consommation gnre par l'intervention publique.
L'effet multiplicateur est cumulatif et tient compte du fait qu'une partie des
revenus gnrs sont redpenss et produisent d'autres revenus, et ainsi
de suite sur plusieurs cycles successifs. A chaque cycle, l'effet
multiplicateur est diminu cause des achats effectus hors du territoire.
L'effet dcrot donc d'autant plus vite que le territoire est plus petit et que
son conomie est plus ouverte.
Effet d'offre
Supply-side
effect
Effet secondaire qui se propage par l'intermdiaire de l'augmentation de

comptitivit des entreprises, et donc de leur production.
Les principaux mcanismes mis en jeu sont l'augmentation de la capacit
de production, l'augmentation de la productivit, la diminution des cots, la
diversification et le renforcement des autres facteurs de comptitivit tels
que le capital humain, la dotation d'quipements publics, la qualit des
services publics, les rseaux d'innovation, etc.
Effet s t r u c t u r a n t
Structuring
effect
Changements durables intervenant dans les structures socio-conomiques

suite l'intervention publique.
Les effets structurants sont les changements qui perdureraient si la
dpense publique venait s'arrter. Ils comprennent les effets durables au
niveau micro-conomique et les effets d'offre. Les effets de demande n'en
font pas partie. Les effets structurants ne doivent pas tre confondus avec
l'ajustement structurel qui recherche la convergence des variables macro
conomiques d'un pays vers les standards internationaux, notamment en
termes de finances publiques et d'inflation.
Mot(s) connexes(s)
Effet structurel
Lasting effect
Effet d ' e n t r a n e m e n t
Impulsion
effect
Effet secondaire qui se propage par l'intermdiaire d'investissements

induits en amont et en aval du secteur touch par l'intervention.
Par exemple : la construction d'un grand projet d'infrastructure gnre la
cration de nouvelles entreprises dans la rgion, entreprises qui continuent
de se dvelopper aprs la fin des travaux.
Les impacts
Effet de rseau
Network effect
Effet secondaire qui se propage par l'intermdiaire de relations privilgies
et durables entre les entreprises d'un mme territoire et/ou d'une mme
filire, ainsi qu'entre ces entreprises et des organisations publiques ou
para-publiques comme les centres de recherches, les universits, etc.
Les effets de rseau sont partiellement fonds sur des relations
interpersonnelles non marchandes. Ce sont donc en partie des
externalits .
Effets de synergie
C o h r e n c e interne
Internal
coherence
Correspondance entre les diffrents objectifs d'une mme intervention.

La cohrence interne suppose qu'il existe une hirachie d'objectifs, ceux
de niveau infrieur constituent une contribution logique ceux de niveau
suprieur.
Mot(s) connexes(s)
Consistency
Cohrence externe
External
coherence
Correspondance entre les objectifs de l'intervention et ceux des autres

interventions publiques qui interagissent avec elle.
Si une politique nationale et un programme socio-conomique de l'Union
europenne interviennent tous deux de faon complmentaire sur le mme
territoire en faveur du dveloppement des PME, alors il existe une
cohrence externe.
Complmentarit
Complementarity
Le fait que plusieurs interventions publiques (ou plusieurs composantes
d'une intervention) contribuent la ralisation d'un mme objectif.
La complmentarit peut tre fonctionnelle, si l'objectif est fonctionnel (ex :
dvelopper un secteur d'activit, crer un rseau). Elle peut tre territoriale,
si l'objectif concerne un territoire (ex : politique intgre de dveloppement
local).
Synergie
Synergy
Le fait que plusieurs interventions publiques (ou plusieurs composantes
d'une intervention) produisent ensemble un impact suprieur l'addition
des impacts qu'elles produiraient isolment (ex : l'intervention finance

l'agrandissement d'un aroport qui facilite le remplissage des quipements
touristiques, galement financs par l'intervention).
Si rien n'est prcis, la synergie fait rfrence des impacts positifs. On
peut cependant voquer des phnomnes de renforcement d'impacts
ngatifs, de synergie ngative ou d'antisynergie (ex : l'intervention
subventionne la diversification des entreprises alors qu'une politique
rgionale favorise le renforcement de l'activit dominante).
Effets sur l'emploi
Effet d'emploi
Employment
effect
Amlioration de l'employabilit, cration d'emplois, maintien d'emplois ou

modification structurelle du march de l'emploi conscutifs l'intervention.
Emploi cr o u maintenu
Job created or maintained

Nouveaux emplois crs grce l'intervention publique ou emplois
menacs que l'intervention publique a permis de sauvegarder.
Employabilit
Employability
Capacit d'un individu trouver ou conserver un emploi dans un
environnement socioconomique donn.
Il s'agit d'une adquation des comptences aux exigences du march du
travail, permettant l'individu de garder son emploi ou de (re)trouver un
emploi dans des dlais et des conditions raisonnables. L'intervention
publique en faveur de l'employabilit concerne le dveloppement des
ressources humaines, en particulier la formation. L'examen de
l'employabilit d'un individu peut tre ralis indirectement sur la base des
facteurs prtablis (qualifications, exprience, mobilit, existence d'offres
d'emploi).
Taux d e transition
Transition rate
Pourcentage des destinataires dont l'insertion sociale s'est amliore la
suite de l'intervention.
L'amlioration peut correspondre l'obtention d'un emploi (taux de
placement) ou la poursuite d'une formation d'un niveau plus lev. Le
taux de transition est valu aprs quelques mois (par exemple 12 mois
aprs la fin d'une formation).
Mot(s) connexes(s)
Taux de placement
Placement rate
Effet d ' c r m a g e
Skimming-off
effect
Consquence du mode de recrutement des participants une formation

qui privilgie ceux qui sont susceptibles de parvenir aux meilleurs rsultats.
Il s'agit d'un effet pervers qui privilgie la mesure de la performance au
dtriment de la satisfaction des besoins des personnes les plus
dfavorises.
Emploi p e r m a n e n t
Permanent
job
Emploi gnr par l'intervention qui perdure lorsque le soutien public prend
fin.
Par opposition, l'emploi temporaire ou transitoire se termine la fin de
l'intervention. La cration d'emplois permanents constitue un effet durable
de l'intervention.
Equivalent t e m p s plein (ETP)
Full-Time
Equivalent
(FTE)
Conversion des emplois temps partiel en quantits correspondantes

d'emplois temps plein.
Par exemple : une Intervention d'aide l'exportation permet aux
entreprises de trouver de nouveaux dbouchs et de crer 8 postes
temps plein et 22 postes mi-temps. L'impact en termes d'emploi
quivalent temps plein s'lve 19.
Dveloppement conomique et social
Cohsion c o n o m i q u e et sociale
Economie
and social cohesion
Le fait qu'il n'y a pas d'carts inacceptables entre les rgions, entre les
catgories de territoires (ex : urbain / rural) ou entre les groupes sociaux,
du point de vue de leur niveau de dveloppement conomique et de leur
intgration sociale.
La cohsion conomique et sociale porte notamment sur les disparits
rgionales de revenu et de qualit de vie ainsi que sur toutes les formes de
disparits d'accs l'emploi entre groupes sociaux. Elle constitue l'objectif
global de la politique europenne du mme nom (voir l'article 130 A du trait).
D v e l o p p e m e n t durable
Sustainable
development
Accroissement de l'activit conomique qui se ralise dans le respect de

l'environnement et l'utilisation harmonieuse des ressources naturelles de
faon ne pas compromettre la capacit des gnrations futures
satisfaire leurs propres besoins.
Par opposition, un dveloppement non durable est caractris par la
destruction de ressources naturelles, qui se rpercute ngativement sur les
potentialits de dveloppement long terme.
Dveloppement viable
B3 A ttnuation
Mitigation
Action visant rduire les effets ngatifs potentiels d'une intervention

publique sur l'environnement.
Dveloppement endogne
Endogeneous
development
II
Accroissement de l'activit conomique fond sur des avantages

comptitifs internes une rgion ou un territoire.
mp*
Les principaux facteurs de dveloppement endogne sont le capital

humain, l'entreprenariat, l'pargne locale et les rseaux locaux
d'innovation. A l'inverse, le dveloppement exogne privilgie l'attraction
de capitaux, de technologie, de savoirfaire, de comptence.
Comptitivit
Competitiveness
Capacit d'une entreprise place dans un environnement socio

conomique comptitif dfendre durablement ou accrotre ses parts de
march et gnrer de la valeur.
La notion de comptitivit peut s'appliquer une entreprise isole ou
l'ensemble des entreprises d'un secteur ou d'une rgion. Elle est
directement lie la notion d'avantage comptitif, avantage que doit
possder ou dvelopper une entreprise, un secteur ou une rgion pour tre
comptitif sur un segment de march donn.
L'analyse SWOT permet d'identifier les avantages existants (sous le terme
forces ou facteurs de succs) et les dsavantages qu'il faudrait rduire
(sous le terme faiblesses ).
Diversification
Diversification
Dploiement de la production d'une entreprise ou d'une rgion en dehors
de ses spcialisations traditionnelles, en vue de crer de nouvelles activits
et/ou de s'implanter dans de nouveaux segments de march.
Les politiques d'incitation et d'appui la diversification s'adressent
l'ensemble des entreprises implantes dans des segments de march en
crise ou menacs.
Egalit d e s c h a n c e s
Equal
opportunities
Egale capacit des femmes et des hommes accder un emploi, un

mme niveau de rmunration et des avantages sociaux dans un
environnement socioconomique donn.
Les impacts
Cet impact se rfre au principe d'galit des droits et de parit de

traitement entre les femmes et les hommes. Il signifie, d'une part, que tous
les tres humains sont libres de dvelopper leurs aptitudes personnelles et
de procder des choix sans tre limits par des rles de genre
strotyps et, d'autre part, que l'on s'abstient de survaloriser ou de
dvaloriser telle ou telle diffrence de comportement, d'aspiration et de
besoin entre les femmes et les hommes. Le principe d'galit des chances
peut appeler un traitement ingal pour compenser la discrimination.
L'valuation de l'impact sur l'galit des chances comporte une intgration
de la perspective de genre dans toutes ses tapes.
Intgration
Mainstreaming
Prise en compte systmatique des priorits et besoins propres des femmes

et des hommes dans toutes les dimensions de l'intervention, depuis le
stade de la conception et de la mise en uvre jusqu'au suivi et
l'valuation.
Par exemple, l'galit des chances est intgre l'valuation dans la
mesure o celleci distingue systmatiquement les hommes et les femmes
parmi les destinataires directs et indirects de l'intervention publique, et
galement parmi les oprateurs et les dcideurs, et dans la mesure o la
distinction concerne les besoins, les rsultats et les impacts. Par extension,
le principe de l'intgration peut aussi s'appliquer d'autres impacts
considrs comme prioritaires.
Intgration stratgique
Evaluation d ' I m p a c t sur l'Environnement (EIE)
Environmental
Impact Assessment
E( IA)
Etude de l'ensemble des rpercussions d'un projet individuel sur

l'environnement naturel.
L'EIE est une tape obligatoire pendant la procdure de slection de grands
projets d'infrastructure. Par opposition, l'Evaluation Environnementale
Stratgique (EES) se rfre l'valuation des programmes et des priorits
politiques. L'EIE consiste en deux tapes : la radioscopie (screening) qui

fait rfrence un examen initial d'ensemble pour dterminer le degr
d'valuation environnementale requis avant approbation de la mise en
uvre ; et la focalisation (scoping) qui dtermine quels impacts doivent
tre valus de faon approfondie. L'valuation de l'mpact sur
l'environnement examine les effets attendus et les effets non attendus. Ces
derniers sont souvent les plus nombreux.
VI
Les techniques
Certe partie rassemble les principaux termes techniques employs dans le
cadre de la conception et de la mise en uvre d'une valuation. Pour une
prsentation complte des principales techniques d'valuation, on peut se
reporter au Volume 3 de la Collection qui prsente 23 fiches techniques
dtailles.
Mthodes d'valuation
Mthode
Method
Plan de travail complet de l'quipe d'valuation.
Une mthode est une procdure ad hoc, construite spcialement dans un
contexte donn pour rpondre une ou plusieurs questions valuatives.
Certaines mthodes d'valuation n'ont pratiquement aucune technicit
alors que d'autres mthodes comprennent plusieurs outils.
Protocole d'valuation
Evaluation
design
Partie technique du plan de travail de l'valuation conu pour raliser la

collecte d'informations et l'analyse des donnes.
Mthodologie
Methodology
Au sens strict, il s'agit de la science de la construction des mthodes
d'valuation.
Il faut cependant admettre que la conception technique d'une valuation
relve encore du savoir-faire et de l'expertise plutt que d'une dmarche
vritablement scientifique. En pratique le terme est souvent employ au
sens de mthode telle que dfinie ci-dessus.
Outil
Tool
Procdure standardise qui permet de remplir une fonction d'valuation
(ex : analyse de rgression, enqute par questionnaire).
Les outils d'valuation servent collecter des donnes quantitatives ou
qualitatives, synthtiser des critres de jugement, expliciter des
objectifs, estimer des impacts, etc.. On reconnat un outil ce qu'il est
dcrit dans un manuel, qu'il porte un nom et qu'il peut tre enseign. Son
usage peut tre gratuit ou payant s'il est protg par une marque
enregistre. Une valuation peut avoir recours un seul outil ou plusieurs.
Technique
Technique
Techniques de structuration
Forces, faiblesses, opportunits, m e n a c e s

Strenghts,
Weaknesses,
Opportunities,
Threats
(SWOT)
Analyse des facteurs internes sur lesquels on cherchera s'appuyer

(forces) ou que l'on essaiera de compenser (faiblesses), ainsi que les
facteurs externes favorables (opportunits) ou dfavorables (menaces).
C'est un outil d'valuation qui permet de vrifier si l'intervention publique
est adapte son contexte. L'outil structure un dbat sur les orientations
stratgiques.
C a d r e logique
Logical
framework
Outil de structuration de la logique d'une intervention publique.

Il repose sur une prsentation matricielle de l'intervention faisant apparatre
ses ralisations, ses rsultats, ses impacts spcifiques et ses impacts globaux.
Chaque niveau d'objectif est associ un ou plusieurs indicateurs de succs
vrifiables ainsi qu' des conditions et risques qui influencent la russite ou
l'chec (facteurs concurrents). Cet outil est frquemment employ pour
l'valuation des projets d'aide au dveloppement. Il est par contre peu adapt
l'valuation des programmes socioconomiques car trop simplificateur.
Arbre des objectifs
Objective
tree !
Classification hirarchique des objectifs de l'intervention publique reliant sous

forme d'arborescence tous ses objectifs spcifiques et son objectif global.
L'arbre des objectifs d'un programme rend explicite la logique d'ensemble.
C'est un outil de clarification.
Cartographie conceptuelle des impacts
Concept
mapping
of
impacts
Outil d'aide la clarification des objectifs explicites et implicites, bas sur

l'identification, le regroupement et la hirarchisation des impacts attendus.
La cartographie conceptuelle des impacts se met en uvre selon une

dmarche pluraliste et participative qui peut associer un grand nombre de
participants. Elle peut dboucher sur la slection des indicateurs associer
aux principaux impacts attendus.
Vote color
Colour Vote I
Technique d'animation de runions qui repose sur une prsentation visuelle

des avis prsents au sein d'un groupe.
Dans une situation d'valuation associant plusieurs protagonistes, il permet
de structurer la discussion et la rflexion collective en favorisant
l'expression de tous les points de vue. C'est donc un outil susceptible de
renforcer l'impartialit de l'valuation dans le cadre d'une dmarche
pluraliste. Il peut tre employ pour la clarification et la hirarchisation des
questions valuatives, pour choisir les critres d'valuation, pour valider les
conclusions de l'valuation, et pour formuler des recommandations.
Certaines variantes de cet outil font appel l'informatisation.
Terme(s) connexe(s)
Abaque de Rgnier
Matrice des impacts croiss
Matrix of cross-impacts
Outil qui montre les complmentarits, les duplications et les conflits qui
risquent de surgir entre les impacts des diffrentes composantes de
l'intervention ou entre les impacts de diffrentes interventions.
Par exemple, l'outil prsente les diffrentes mesures d'un programme en
lignes et en colonnes. Dans chaque cellule, on fait figurer une note de - 3
+ 3 qui dcrit la synergie potentielle entre la mesure figurant en ligne et la
mesure figurant en colonne.
Techniques de collecte d'information
Donnes primaires
Primary
data
Donnes recueillies directement sur le terrain, grce une enqute ralise

par l'quipe d'valuation auprs des publics concerns par l'intervention.
Les donnes primaires jouent un rle important dans l'apport cognitif de
l'valuation. Elles s'ajoutent aux donnes dj disponibles au dbut de
l'valuation (recherches et valuations passes, donnes de suivi,
statistiques). Les donnes primaires sont particulirement utiles pour
analyser les impacts et les besoins de faon approfondie.
D o n n e s secondaires
Secondary
data
Informations prexistantes, rassembles et interprtes par l'quipe

d'valuation.
Les donnes secondaires comprennent des informations issues du
systme de suivi, des informations produites par les offices statistiques et
des informations provenant de recherches et d'valuations antrieures.
D o n n e s par c o u p e transversale
Cross sectional
data
Donnes collectes de faon comparative un moment donn sur

plusieurs catgories d'individus ou de faits.
Par exemple : taux de chmage compar des rgions europennes, taux
de placement compar pour les hommes et les femmes.
Srie t e m p o r e l l e
Time
series
Donnes collectes sur la mme population, de faon comparable,

chances rgulires pendant une priode donne.
Il s'agit d'observer les variations globales des caractristiques d'une

population donne au cours du temps. Les offices statistiques et les
observatoires sont les principales sources de sries temporelles.
Srie chronologique
Donnes longitudinales
Longitudinal data
Srie temporelle relative des observations rptes sur les mmes

individus de faon comparable, chances rgulires, pendant une
priode donne.
Dans le cadre de l'valuation, il s'agit le plus souvent d'observer l'volution
d'un chantillon de destinataires
Terme(s) connexe(s)
Donnes de cohorte
Echantillon
Sample
Partie d'une population slectionne pour faire l'objet d'une enqute.
Le terme population , dans son sens statistique, s'applique la totalit
des personnes, des projets ou des objets qui sont susceptibles d'tre
observs. Par exemple, la totalit des entreprises ou des individus aids,
l'ensemble des entreprises rgionales ou l'ensemble d'un groupe cible. Si
l'chantillon est reprsentatif, les rsultats de l'enqute peuvent tre
gnraliss toute la population enqute (validit interne) ou des
populations similaires (validit externe). Un chantillon est reprsentatif s'il
possde la mme distribution des caractristiques que la population dont il
est issu et si sa taille est suffisante.
E n q u t e par q u e s t i o n n a i r e
Questionnaire survey
Ensemble de questions structures adresses un chantillon de
personnes ou de faon exhaustive un groupe de personnes.
Les techniques
Un questionnaire comporte une liste de questions dont l'enchanement a

t dtermin l'avance. Selon que les questions sont ouvertes ou
fermes, la personne interroge est libre dans la formulation de ses
rponses ou contrainte de choisir des noncs prdfinis (descripteurs). Un
questionnaire peut tre administr par courrier, par entretien tlphonique,
par email ou par entretien de visu. Si l'enqute par questionnaire est
exhaustive, ou si elle porte sur un chantillon reprsentatif elle peut servir
collecter des donnes quantitatives et renseigner des indicateurs,
condition de comporter principalement des questions fermes.
Individual interview
Technique permettant de recueillir des donnes qualitatives et les opinions
des personnes concernes ou potentiellement concernes par
l'intervention, son contexte, sa mise en oeuvre ou ses effets.
Il existe plusieurs types d'entretiens individuels dont l'entretien par
conversation informelle, l'entretien semidirectif et l'entretien directif. Cette
dernire est l'approche la plus rigide et ressemble l'enqute par
questionnaire. L'entretien semidirectif, quant lui, consiste faire ragir
une personne sur des lments dtermins par avance, mais en lui laissant
une grande libert d'interprtation et de reformulation de ces lments.
Entretien d e groupe
Focus group
Technique d'enqute base sur une discussion en petit groupe souvent

employe pour permettre aux participants de se forger une opinion sur un
sujet qu'ils connaissent peu.
Elle fait appel l'interaction et la crativit des participants pour enrichir
et consolider l'information collecte. Elle est spcialement intressante
pour analyser des thmes ou domaines qui suscitent des opinions
divergentes que l'on doit tenter de rconcilier ou qui ont trait des
questions complexes qui doivent tre explores en profondeur.
Etude de cas
Case study
Etude approfondie de donnes rassembles propos d'un cas spcifique
(un projet, un destinataire, une ville).
L'tude de cas est adapte pour l'analyse inductive des impacts, en

particulier pour les interventions innovantes pour lesquelles on ne dispose
pas d'une thorie explicative des impacts. Une tude de cas se conclut par
une monographie prsente sous une forme narrative. Une srie d'tudes
de cas peut tre conduite en parallle, de faon cumulative, ou de
conception itrative. Cette dernire consiste conduire plusieurs vagues
d'tudes de cas slectionnes soigneusement pour vrifier une hypothse.
Observation ethnographique
Ethnographie
observation
Observation in situ, et de faon non perturbatrice, de l'activit quotidienne

des acteurs et/ou des destinataires de l'intervention value.
L'enquteur cherche comprendre la situation de l'intrieur . Cette
technique est utile dans une situation mal connue ou lorsque l'accs au
terrain est difficile. L'observation ethnographique permet de raliser une
collecte d'information trs approfondie, avec des moyens d'enregistrement
audiovisuels le cas chant, sur quelques situations typiques de la mise en
oeuvre de l'intervention. Elle permet d'identifier l'ensemble des effets de
l'intervention et l'influence du contexte.
Techniques d'analyse
Groupe de comparaison
Comparison
group
Groupe de personnes ou d'organisations qui n'a pas particip

l'intervention publique et qui est compar un groupe de participants afin
d'analyser les effets nets de l'intervention.
Si les deux groupes sont des chantillons tirs au sort, le groupe de
comparaison est appel groupe tmoin car il est en tous points comparable
au groupe dit exprimental . Quel que soit le mode de slection du
groupe de comparaison, il doit avoir des caractristiques aussi proches que
possible de celles des destinataires directs. Par exemple, l'valuation peut
raliser une comparaison avant et aprs entre un groupe de
destinataires directs et un autre groupe constitu avec la technique des
binmes apparis.
Analyse comparative
Groupe tmoin
Control group
Groupe de comparaison constitu de personnes ou d'organisations
ligibles mais qui ont t carts de toute participation l'intervention suite
un tirage alatoire parmi les candidats.
Mis part la participation l'intervention le groupe tmoin est en tous
points comparable celui des participants et il a t expos aux mmes
variations du contexte socio-conomique (facteurs concurrents). Lorsque
l'on compare un groupe de particpants et un groupe tmoin, l'influence des
facteurs concurrents est donc la mme des deux cts ( condition que les
deux groupes soient suffisamment nombreux).
Affectation alatoire
Groupe de contrle
Binme appari
Matching
pair
Technique de construction d'un groupe de comparaison.

Pour chaque individu d'un chantillon des destinataires directs de
l'intervention sur lequel porte l'enqute, on choisit un individu qui lui
ressemble le plus possible et qui n'a pas particip l'intervention.
A n a l y s e d e rgression
Regression
analysis
Outil statistique qui permet d'obtenir une estimation quantitative de

l'influence de plusieurs variables explicatives (l'intervention publique et les
facteurs concurrents) sur une variable explique (l'impact).
L'analyse de rgression est un outil d'analyse de causalit deductive. Elle
est base sur un modle logique explicatif et sur une srie d'observations
effectues au pralable. L'outil s'applique avec des variantes selon que les
variables du modle sont continues ou discrtes et selon que leurs relations
sont linaires ou non.
Covariance
Covariation
Le fait que deux variables voluent systmatiquement dans le mme sens
ou dans un sens oppos.
Si la covariance est faible, il n'y a pas de relation statistiquement fiable entre
elles. Une covariance forte entre A et B indique une prsomption de causalit
mais ne le dmontre pas. (A est-il la cause de B ? ou B est-il la cause de A ?
ou A et B sont-ils la consquence de quelque chose d'autre ?).
Corrlation
A n a l y s e factorielle
Factor
analysis
Outil d'analyse statistique qui permet d'identifier l'ensemble de corrlation

au sein d'une grande quantit de donnes concernant de nombreux
Les techniques
individus (par exemple, le rsultat d'une enqute) et de les reprsenter de

faon simplifie sous la forme d'un espace deux ou trois dimensions.
L'outil fait apparatre des regroupements et suggre des relations de cause
effet. C'est un outil d'analyse de causalit inductive.
Analyse structurelle-rsiduelle
Shift-share analysis
Outil d'valuation des politiques rgionales qui estime la situation
contrefactuelle par projection des tendances conomiques nationales sur
l'conomie d'une rgion donne.
L'hypothse qui fonde cette technique est qu'en l'absence de politique
rgionale, l'volution des variables conomiques de la rgion aurait t
conforme celle de l'ensemble du pays. La comparaison entre la situation
relle et la situation contrefactuelle aboutit une estimation de l'impact
macro-conomique de la politique rgionale. Les conditions optimales
d'emploi de cet outil sont rarement runies.
Analyse Entres-Sorties
Input-output
analysis
Outil qui reprsente les changes entre les secteurs d'une conomie
nationale ou rgionale sous forme de consommations intermdiaires et
finales.
L'analyse Entres-Sorties permet d'estimer les rpercussions d'un effet
direct sous forme d'effets primaires puis secondaires dans l'ensemble de
l'conomie. L'outil est applicable quand on dispose d'un tableau des
entres et sorties, ce qui est habituellement le cas au niveau national, plus
rarement au niveau rgional. L'outil est capable d'estimer des effets de
demande mais pas des effets d'offre.
Modle macro-conomique
Macro
economic
model
Outil qui permet de simuler les principaux mcanismes d'un systme

conomique rgional, national ou international.
Il existe un grand nombre de modles fonds sur des thories macro

conomiques trs diverses. Ce type d'outil est souvent utilis pour
construire des simulations prospectives, mais il peut servir en tant qu'outil
d'valuation. Dans ce cas, il permet la simulation d'une situation
contrefactuelle, et donc l'valuation quantitative des effets nets sur la
plupart des variables macro-conomiques influences par les actions
publiques : croissance, emploi, investissement, pargne, etc. Les modles
sont gnralement capables d'estimer les effets de demande, mais plus
difficilement les effets d'offre.
E n q u t e Delphi
Delphi
panel
Procdure de consultation itrative et anonyme de plusieurs experts, visant

faire converger leurs opinions vers une conclusion commune.
Par exemple, l'enqute Delphi peut tre employe en valuation ex ante
pour l'estimation des impacts potentiels d'une intervention.
Techniques de jugement
Panel d'experts
Expert
panel
Groupe de travail spcialement constitu et runi plusieurs reprises pour

la ralisation de l'valuation.
Les experts sont des spcialistes indpendants et reconnus dans les
domaines d'intervention valus. Les experts produisent collectivement un
jugement sur la valeur de l'intervention publique et de ses effets. Le panel
d'experts permet de formuler rapidement et faible cot un jugement de
synthse intgrant les principales informations connues sur le programme
ainsi que celles issues d'expriences antrieures et extrieures.
Evaluation par les pairs
Peer review
Etalonnage
Benchmarking
Comparaison qualitative et quantitative des performances de l'intervention
avec celles rputes les meilleures dans le mme domaine d'intervention
ou dans un domaine connexe.
L'talonnage est facilit lorsqu'il existe au niveau national ou rgional un
classement des bonnes et moins bonnes pratiques.
Classement
Etalon
Meilleure pratique
Benchmark
Best practice
League table
A n a l y s e multicritre
Multicriteria
analysis
Outil permettant de comparer plusieurs interventions en rfrence

plusieurs critres.
L'analyse multicritre est surtout employe dans l'valuation ex ante des
grands projets pour comparer des variantes. Elle peut aussi tre employe
dans l'valuation ex post d'une intervention pour comparer la plus ou
moins grande russite des diffrentes composantes de l'intervention. Elle
peut enfin tre employe pour comparer diffrentes interventions similaires
afin d'tablir un classement. L'analyse multicritre peut faire intervenir une
pondration refltant l'importance relative accorde chacun des critres.
Elle peut aboutir formuler un seul jugement ou classement synthtique ou
au contraire, des jugements ou classements diffrents refltant les points
de vue de diffrents protagonistes. Dans ce dernier cas, on parlera
d'analyse multicritre-multijuge.
Multicriteria-multijudge analysis
Analyse cot-efficacit
Cost-effectiveness
analysis
Outil d'valuation qui permet de porter un jugement en termes d'efficience.

Cet outil consiste reporter les effets nets de l'intervention (qui doivent tre
dtermins sparment) aux ressources financires qui ont t ncessaires
pour produire ces effets. Le critre de jugement est par exemple le cot par
unit d'impact produite (ex : cot par emploi cr). Ce cot unitaire sera
confront celui d'autres interventions choisies comme talons de
comparaison.
Analyse cot-avantages
Cost-benefit
analysis
Outil d'valuation qui juge l'intrt de l'intervention du point de vue de

l'ensemble des groupes concerns et sur la base d'une valorisation
montaire de toutes les consquences positives et ngatives de
l'intervention (qui doivent tre estimes par ailleurs).
Les techniques
Lorsqu'il n'est pas pertinent ou possible d'utiliser les prix du march pour
valoriser un gain ou une perte, un prix fictif peut tre fix par diferentes
mthodes. La premire consiste estimer la disposition des destinataires
payer pour obtenir les impacts positifs ou pour viter les impacts ngatifs.
Le prix fictif d'un bien ou d'un service peut galement tre estim par le
manque gagner en cas d'absence de ce bien ou service (ex : en cas de
chmage massif, le prix fictif d'une journe de travail non qualifie est trs
faible). Enfin, le prix fictif peut tre dcid directement par les responsables
administratifs ou par le groupe de pilotage. L'analyse cot-avantages est
surtout employe pour l'valuation ex ante des grands projets.
VII
Annexe
Bibliographie
GAO (1991), Designing Evaluations, Washington : United States General
Accounting Office, Program Evaluation and Methodology Division.
Guba E. et Lincoln Y. (1989), Fourth Generation Evaluation', Newbury Park :
Sage Publications.
Hadji C. (1990), L'valuation, rgles du jeu, Paris : ESF Editeur (collection
Pdagogies).
Monnier E. (1992), Evaluation de l'action des pouvoirs publics, Paris :
Economica.
OECD (1986) 'Glossaire sur l'valuation des politiques internationales de
dveloppement de l'OCDE'; in : Methods and Procedures in Aid
Evaluation : A Compendium of Donor Practice and Experience,
Paris : OECD.
Patton M.Q. (1987), Utilization Focused Evaluation', Newbury Park : Sage
Publications.
Rossi P. H. et Freeman H.E. (1993), Evaluation - A Systematic Approach,
Newbury Park : Sage Publications.
Scriven M. (1991), Evaluations
Publications.
Thesaurus,
Newbury
Park : Sage
Sohm E.D. (1978), Glossary of Evaluation Terms, Genve : UNO.

Vedung E. (1997), Public Policy and Program Evaluation, New Brunswick :
Transaction Publishers.Index Alphabtique Franais
Index Alphabtique Franais
Index alphabtique franais
B
Abaque de Rgnier Voir Vote color
Action Voir Mesure
Activit Voir Ressource
Additionnante 30
Adquation Voir Pertinence
Affectation alatoire
Voir
Analyse
Voir
Analyse
Analyse
Analyse
Analyse
Analyse
Groupe tmoin
comparative
Groupe de comparaison
cot-avantages 116
cot-efficacit 116
de causalit 84
de rgression 112
deductive
Voir Analyse de causalit

Analyse Entres-Sorties 113
Analyse factorielle 112
Analyse inductive
Voir Analyse de causalit
Analyse multicritre 116
Voir Analyse multicritre
Analyse structurelle-rsiduelle 113
Apport conceptuel
Voir Finalit cognitive
Apprciation Voir Evaluation
Apprciation ex ante
Voir Evaluation ex-ante
Apprentissage en double boucle
Voir Apprentissage organisationnel
Apprentissage en simple boucle
Voir Apprentissage organisationnel
Apprentissage organisationnel 22
Arbre des objectifs 105
Attnuation 97
Audit Voir Contrle
Audit de performance Voir Suivi
Auto-valuation 41
Axe Voir Programme
Bnficiaire Voir Destinataire direct

Bnficiaire final Voir Oprateur
Besoin 55
Bien-fond Voir Raison d'tre
Binme appari 112
But Voir Objectif
Cadre logique 105

Cahier des charges 46
Cartographie conceptuelle des
impacts 105
Champ de l'valuation 33
Champ d'intervention 73
Charg d'valuation
Voir Equipe d'valuation
Classement Voir Etalonnage
Coefficient d'extrapolation 85
Co-facteur Voir Facteur concurrent
Cohrence externe 93
Cohrence interne 93
Cohsion conomique et sociale 97
Commanditaire 41
Comparabilit 72
Comptitivit 98
Complmentarit 93
Condition-cadre Voir Contexte
Contexte 55
Contrle 29
Contrle de gestion Voir Suivi
Corrlation Voir Covariance
Cot unitaire Voir Efficience
Cot-efficacit Voir Efficience
Covariance 112
Crdibilit 49
Critre 63
Cycle de programmation
Voir Programme
Dcideur Voir Financeur

Descripteur 70
Destinataire direct 39
Destinataire indirect 40
Dveloppement 97
Dveloppement durable 97
Dveloppement viable
Voir Dveloppement
durable
Diagnostic Voir Evaluation ex ante
Disparit 65
Dispositif dvaluation 43
Diversification 98
Donne qualitative Voir Descripteur
Donne quantitative Voir Indicateur
Donnes de cohorte
Voir Donnes
longitudinales
Donnes longitudinales 108
Donnes par coupe transversale 107
Donnes primaires 107
Donnes secondaires 107
Durabilit 67
Echantillon 108
Effectivit Voir Efficacit
Effet 59
Effet additionnel Voir Effet net
Effet brut 81
Effet d'aubaine 81
Effet de demande 89
Effet de dplacement 82
Effet de levier 88
Effet de rseau 91
Effet de substitution 82
Effet d'crmage 96
Effet d'emploi 95
Effet d'entranement 90
Effet direct 87
Effet d'offre 90
Effet fournisseur 89
Effet inattendu 61
Effet indirect 87
Effet induit Voir Effet indirect
Effet multiplicateur de revenu 89
Effet net 81
Effet pervers Voir Effet inattendu
Effet primaire 87
Effet propre Voir Effet net
Effet secondaire 88
Effet structurant 90
Effet structurel Voir Effet structurant
Efficacit 65
Efficience 66
Egalit des chances 98
Eligibilit 65
Emploi cr ou maintenu 95
Emploi permanent 96
Employabilit 95
Enonc Voir Descripteur
Enqute Delphi 114
Enqute par questionnaire 108
Entretien de groupe 109
Entretien individuel 109
Environnement socio-conomique
Voir Contexte
Equipe d'valuation 42
Equivalent temps plein 96
Etalon Voir Etalonnage
Etalonnage 115
Etude approfondie 25
Etude d'valuabilit 46
Etude de cas 109
Evaluanda Voir Champ
Evaluateur Voir Equipe d'valuation
Evaluation 17
Evaluation mi-parcours 27
Evaluation a posteriori
Voir Evaluation ex post
Evaluation a priori
Voir Evaluation ex ante
Evaluation affranchie des objectifs
Voir Utilit
Evaluation
Evaluation
Evaluation
Evaluation
chemin-faisant 27
d'ensemble 25
dmocratique 20
d'Impact sur
l'Environnement 99
Evaluation endoformative 17
Evaluation ex ante 26
Evaluation ex post 28
Evaluation externe 41
Evaluation formative
Voir Evaluation endoformative
Evaluation in itinere
Voir Evaluation chemin-faisant
Evaluation intermdiaire
Voir Evaluation mi-parcours
Evaluation interne 41
Evaluation manageriale 18
Evaluation par les pairs
Voir Panel d'experts
Evaluation partenariale
Voir Evaluation pluraliste
Evaluation participative
Voir Evaluation pluraliste
Evaluation pluraliste 19
Evaluation rcapitulative 18
Evaluation sommative
Voir Evaluation rcapitulative
Evaluation thmatique 25
Examen Voir Evaluation
Externalit 88
Extrant Voir Ralisation
Facteur concurrent 83
Facteur contextuel
Voir Facteur concurrent
Facteur exogne
Voir Facteur concurrent
Feed-back Voir Rtroaction
Fiabilit 49
Finalit Voir Objectif
Finalit instrumentale 21
Finalit normative 21
Financeur 37
Focalisation
Voir Evaluation approfondie
Forces, faiblesses, opportunits,
menaces 105
Gagnants et perdants
Voir Public concern
Gnralisabilit Voir Validit externe
Gestionnaire 38
Grille d'observation Voir Descripteur
Groupe de comparaison 111
Groupe de contrle
Voir Groupe tmoin
Groupe de pilotage 42
Groupe tmoin 111
H
Harmonisation Voir Comparabilit
I
Impact 60
Impact de premier ordre
Voir Effet primaire
Impact global Voir Impact
Impact intermdiaire Voir Impact
Impact spcifique Voir Impact
Impartialit 49
Implementation Voir Mise en oeuvre
Imputabilit Voir Rendre des comptes
Indicateur 69
Indicateur cl 76
Indicateur de contexte 75
Indicateur de programme 75
Indicateur gnrique 76
Indicateur standard
Voir Comparabilit
Ingalit Voir Disparit

Instance d'valuation 43
Intgration 99
Intgration stratgique Voir Intgration
Intervention 35
Intrant Voir Ressource
Objectif verifiable 57
Objectivit Voir Fiabilit
Observation ethnographique 110
Observatoire 72
Oprateur 38
Outil 103
M
Matre d'oeuvre Voir Gestionnaire
Matre d'ouvrage Voir Financeur
Mandant Voir Commanditaire
Mandat 45
Matrice d'impacts croiss 106
Meilleure pratique Voir Etalonnage
Mesure 34, 69
Mta-valuation 28
Mthodes 103
Mthodologie 103
Mise en oeuvre 57
Modle de causalit
Voir Thorie d'action
Modle-macroconomique 113
Monitorage Voir Suivi
Moyen Voir Ressource
N
Neutralit Voir Impartialit
Norme 63
Notation 71
Objectif 56
Objectif global Voir Objectif
Objectif implicite Voir Objectif
Objectif intermdiaire Voir Objectif
Objectif oprationnel Voir Objectif
Objectif quantitatif
Voir Objectif verifiable
Objectif spcifique Voir Objectif
Panel d'experts 115

Partenaire Voir Protagoniste
Partie prenante Voir Protagoniste
Prennit Voir Durabilit
Performance 67
Pertinence 64
Perte sche Voir Effet d'aubaine
Pilotage Voir Suivi
Poids mort Voir Effet d'aubaine
Point zro Voir Situation de base
Politique 33
Pondration 64
Prvaluation 45
Priorit politique 57
Produit Voir Ralisation
Programme 33
Projet 34
Protagoniste 37
Protocole dvaluation 103
Public cible Voir Public eligible
Public concern 40
Public eligible 40
Quantification Voir Unit de mesure
R
Radioscopie
Voir Evaluation d'ensemble
Raison d'tre 64
Ralisation 59
Ralisation financire Voir Ressource

Redevabilit Voir Rendre des comptes
Referentiel Voir Thorie d'action
Rendre des comptes 22
Rendu-compte
Voir Rendre des comptes
Reprsentativit Voir Validit externe
Ressource 58
Rsultat 59
Rsultat durable Voir Impact
Retombe Voir Effet inattendu
Rtroaction 21
Russite Voir Efficacit
Robustesse Voir Fiabilit
Scnario hors intervention

Voir Situation contrefactuelle
Secteur d'intervention
Voir Champ d'intervention
Sensibilit Voir Indicateur
Srie chronologique
Voir Srie temporelle
Srie temporelle 107
Situation contrefactuelle 83
Situation de base 75
Situation de rfrence
Voir Situation de base
Stratgie 55
Subsidiarit 68
Succs Voir Efficacit
Suivi 29
SWOT 105
Synergie 93
Systme d'valuation 44
Systme d'indicateurs
Voir Systme d'information de suivi
Systme dinformation de suivi 71
Tableau de bord 71
Taux de ralisation 77
Taux d'absorption
Voir Taux de
consommation budgtaire
Taux d'avancement
Voir Taux de ralisation
Taux d'exposition
Voir Taux d'atteinte du public eligible
Taux de consommation budgtaire 76
Taux de couverture
Voir Taux d'atteinte du public eligible
Taux de couverture 77
Taux de placement
Voir Taux de transition
Taux de placement 95
Technique Voir Outil
Thorie d'action 84
Thorie explicative 85
Transparence
Voir Rendre des comptes
u
Usager Voir Destinataire direct
Utilisation cognitive 20
Utilit 67
Valeur ajoute communautaire

Voir Subsidiarit
Valeur sociale Voir Critre
Validit de construction 50
Validit externe 51
Validit interne 50
Viabilit Voir Durabilit
Vote color 106
Index Alphabtique Anglais
Index alphabtique anglais
Absorption rate 76
Accountability 22
Action See Measure
Activity See Input
Additional Effect See Net effect
Additionally 30
Aim See Objective
Appraisal See Evaluation
Appropriateness See R elevance
Assessment See Evaluation
Audit 29
Axis See Programme
Context indicator 75
Control See Audit
Control group 111
Core indicator 76
Cost effectiveness See Efficiency
Cost-effectiveness analysis 116
Counterfactual situation 83
Covariation 112
Coverage rate 77
Credibility 49
Criterion 63
Cross sectional data 107
Baseline 75
Benchmarking 115
Case study 109

Causality analysis 84
Cognitive aim 20
Colour Vote 106
Commissionner 41
Community value added
See Subsidiarity
Comparability 72
Comparison group 111
Competitiveness 98
Complementarity 93
Completion rate 77
Concept mapping of impacts 105
Conceptual See Cognitive aim
Concerned group 40
Concurrent factor
See Confounding factor
Confounding factor 83
Consistency See Internal coherence
Construct validity 50
Context 55
Deadweight 81
Decision-maker
See Funding authority
Deductive analysis
See Causality analysis
Delphi panel 114
Demand side effect 89
Democratic evaluation 20
Descriptor 70
Direct addressee 39
Direct effect 87
Disparity 65
Displacement effect 82
Diversification 98
Double loop learning
See Organisational
learning
Economic and social cohesion 97

Effect 59
Effectiveness 65
Efficacy See Effectiveness
Efficiency 66
Eligibility 65
Eligible public 40
Employability 95
Employment effect 95
Endogeneous development 97
End-user See Direct addressee
Environmental Impact Assessment 99
Equal opportunities 98
Ethnographic observation 110
Evaluability assessment 46
Evaluand See Scope
Evaluation 17
Evaluation Committee 43
Evaluation design 103
Evaluation setting 43
Evaluation system 44
Evaluation team 42
Evaluative question 46
Evaluator See Evaluation team
Ex-ante evaluation 26
Exogeneous factor
Expertpanel 115
Explanatory theory 85
Ex-post evaluation 28
Exposure rate See Coverage rate
External coherence 93
External evaluation 41
External validity 51
Externality 88
Extraneous factor
Extrapolation coefficient 85
Factor analysis 112

Feedback 21
Field of intervention 73
Final beneficiary See Operator
Financial realisation See Input
First round effect 87
Focus group 109
Formative evaluation 17
Framework condition See Context
Full-Time Equivalent 96
Funding authority 37
Generic indicator 76
Global evaluation
See Overall evaluation
Global impact See Impact
Global objective See Objective
Goal See Objective
Goal free evaluation See Utility
Gross effect 81
H
Harmonisation See
Comparability
I
Immediate outcome See Result
Impact 60
Impartiality 49
Implementation 57
Implicite objective See Objective
Impulsion effect 90
Income multiplier effect 89
In-depth study 25
Indicator 69
Indirect addressee 40
Indirect effect 87
Individual interview 109
Inductive analysis
See Causality analysis
Inequity See Disparity
In-house evaluation
See Internal evaluation
Input 58
Input-output analysis 113
Instrumental aim 21
Intermediate evaluation
See Mid term evaluation
Intermediate impact See Impact

Intermediate objective See Objective
Internal coherence 93
Internal evaluation 41
Internal validity 50
Intervention 35
Monitoring 29
Monitoring information system 71
Multicriteria analysis 116
Multicriteria-multijudge analysis
See Multicriteria analysis
N
Job created or maintained 95
K
Knock-on effect See First round effect
Lasting effect See Structuring effect

League table See Benchmarking
Learning 22
Leverage effect 88
Logical framework 105
Longitudinal data 108
M
Macro-economic model 113
Mainstreaming 99
Management audit See Monitoring
Manager 38
Managerial evaluation 18
Mandate 45
Matching pair 112
Matrix of cross impacts 106
Means See Input
Measure 34
Measurement unit 69
Meta-evaluation 28
Method 103
Methodology 103
Mid-term evaluation 27
Mitigation 97
Need 55
Needs assessment
See Ex-ante Evaluation
Net effect 81
Network effect 91
Neutrality See Impartiality
Norm 63
Normative aim 21
0
Objective 56
Objective tree 105
Objectivity See Reliability
Observation grid See Descriptor

On-going evaluation 27
Operating report 71
Operational objective See Objective
Operator 38
Outcome See Impact
Output 59
Overall evaluation 25
Partner See Stakeholder

Partnership evaluation
See Pluralistic evaluation
Peer review See Expert panel
Performance 67
Performance audit See Monitoring
Permanent job 96
Placement rate See Transition rate
Pluralistic evaluation 19
Policy 33
Policy priority 57
Policy-off situation
See Counterfactual situation
Pre-evaluation 45
Primary data 107
Prior appraisal See Ex-ante evaluation
Product See Output
Programme 33
Programme cycle See Programme
Programme indicator 75
Programme theory
See Theory of action
Project 34
Project promoter 39
Qualitative data See Descriptor

Quantification See Measurement unit
Quantitative data See Indicator
Quantitative objective
See Verifiable objective
Questionnaire survey 108
Raison d'etre See Rationale

Rating See Scoring
Rationale 64
Realisation See Output
Recipient See Direct addressee
Regression analysis 112
Relevance 64
Reliability 49
Representativeness See Reliability
Resource See Input
Result 59
Rolling evaluation
See On-going evaluation
Sample 108
Scope of evaluation 33
Scoping See In-depth evaluation
Scoring 71
Screening See Overall evaluation
Secondary data 107
Secondary effect 88
Self-evaluation 41
Sensibility See Indicator
Shift-share analysis 113
Side effect See Unexpected effect
Single loop learning
See Organisational learning
Skimming-off effect 96
Social cost benefit analysis 116
Social value See Criterion
Soudness See Reliability
Specific impact See Impact
Specific objective See Objective
Stakeholder 37
Stakeholder evaluation
See Pluralistic evaluation
Standard See Norm
Standard indicator See Comparability
Stastitical team 72
Statement See Descriptor
Steering group 42
Strategy 55
Structuring effect 90
Subsidiarity 68
Substitution effect 82
Success See Effectiveness
Summative evaluation 18
Supplier effect 89
Supply-side effect 90
Sustainability 67
Sustainable development 97
Sustainable result See Impact
SWOT 105
Synergy 93
System of indicators
See Monitoring information system
Target group See Eligible public

Technique See Tool
Terms of reference 46
Thematic evaluation 25
Theory of action 84
Time series 107
Tool 103
Transition rate 95
Trustworthiness See Credibility
u
Unexpected effect 61
Unit-cost See Efficiency
Utility 67
Value for money See Efficiency

Verifiable objective 57
w
Weighting 64
Winners and losers
See Reached group
Remerciements
Une premire version en cinq langues a t produite en 1993 sous forme de
document interne la Commission Europenne.
Une seconde version a t produite en 1995 en neuf langues en tenant compte
des complments et commentaires apports par un groupe d'experts
internationaux.
Le prsent Volume dcoule directement du travail qui a t ncessaire pour
produire l'ensemble de la collection MEANS avec un vocabulaire cohrent.
La coordination des travaux de ce volume a t assure par Miguel Benito Alonso et
Andrea Mairate (D.G. XVI.G.2 : Coordination de l'valuation) et a impliqu plusieurs
Directions Gnrales de la Commission Europenne, notamment les D.G. Il, V, VI, XIV
et XVI et en particulier Philippe Goybet, Anastassios Bougas et David Sweet.
notamment avec la participation de Kristian Colletis-Wahl.
experts dont les noms suivent : Dr Ahonen (University of Tampere - Finlande),
X. Ballart (Universitad Autonoma de Barcelona - Espagne), G.Becher (Prognos A.G.
- Suisse), M.L. Bemelmans-Videc (University of Nijmegen- Pays-Bas), M.Meneguzzo
(Universita Bocconi - Italie), Ch. Pollitt (Brunei University - Grande Bretagne), Thanos
Skouras (Athens University of Economics and Business - Grce), Markus Spinatsch
(Suisse), E. Vedung (Uppsala University - Sude).

Glossaire de 300 concepts et termes tech niques

1999 138 p. 14,8 21 cm
ISBN 92-828-6627-0
BELGIO U E/8ELG IE
OSTERREICH
HRVATSKA
Jean De Lannoy
. (32) 538 43 08
Fax (322)538 08 41
Email: Jean.de.lannoylntoboard.be
URL: http://www.je a n de la nnoy.be
Manz'sche Verlags und

Kohlmarkt 16
A1014 Wien
Tel. (431)53 16 11 00
Fax (431)53 16 11 67
EMail: bestellen @manz.co.at
URL: ht1p://www.manz.at/mdex.htm
Mediati ade Lid

Pavia Haiza 1
HR10000 Zagreb
Tel (3851)481 94 1
Fax (3851) 481 94 1
Rue de la Loi 244/Wetstraat 244
B1040 B ru xel le s/B russel
Tel. (32-2) 295 26 39

Fax (32-2) 735 08 60
Email: mail@ libeurop.be
URL: http://www.tibeurop.be
Moniteur belge/Belgi sch Staatsblad
Rue de Louvain 404 2/L e uven se we g 4042
B1000 Bruxelles/Brussol
Tl. (322)552 22 11
Fax (322) 511 01 84
DANMARK
J . H. Schultz Information A/S
Hers'.edvang 1012
DK'.'620 Albertslund
Tit (45) 43 63 23 00
FiX (45) 43 63 19 G9
r.mail: Schultzschuld.dk
URL: http://www.schultz.dk
DEUTSCHLAND
Bundesanzeiger Vertag GmbH
Vartriebsabteilung
D50735 Kln
Tel. (49-221) 97 66 80
Fax (49221) 97 66 82 78
EMail: vertriebbundesanzeiger.d
URL: hit ://www. bundesan zei ger. di
/GREECE
G. C. Eleftheroudakis SA
Internalional Books lor e
an e ist im lou 17
GR10564Athina
Tel. (301) 331 41 80/1/2/3/4/5
Fax (301)323 98 21
Email: elebooks@ ne1or.gr
ESPANA
Tralalgar. 27
E28071 Madrid
Tel. (34) 915 38 21 11 (Libros).
913 84 17 15(Suscrip.)
Fax (34) 915 38 21 21 (Libros),
913 84 17 14(Suscrip.)
Email: clientes com. boe.es
URL: h1tp://www.boe.es
Castell. 37
E28001 Madnd
Tel. (34) 914 36 37 00
F a x ( 3 4 ) 9 l 5 75 39 98
Email: librena@ rnundiprensa.es
URL: h1tp://www. m und iprensa.com
FRANCE
Journal officiel
Service des publicalions des CE
26. rue Desaix
Tl. (33) 140 58 77 31
Fax (33) 140 58 77 00
URL: h It //www. j rna I o II ic i el. gou .Ir
IRELAND
45 Harcoud Road
Dublin 2
Tel. (3531)661 31 11
Fax (3531) 475 27 60
ITALIA
Licosa SpA
Casella postale 552
150125 Firenze
Tel. (39} 055 64 83 1
Fax (39) 055 64 12 57
Email: licosa(tbcc.it
URL: http://www.ttbcc.il/licosa
PORTUGAL
Distribuidora de Livros Bertrand Lei."
Grupo Bertrand. SA
Rua das Terras dos Vales. 4A
Apartado 60037
P2700 Amadora
Tel. (3511)495 90 50
Fax (3511)496 02 55
Rua Marqus S da Bandeira. 16A
P1050 Lisboa Codex
Tel. (3511)353 03 99
Fax (3511)353 02 94
Email: dGl.incm@ mail.te!epac.pi
URL: http://www.incm pt
SUOMI/FINLAND
MAGYARORSZG
Euro Info Service
Europa Haz
Margitsziget
PO Box 475
H1396 Budapest 62
Subagenl lor the Palestinian A
Tel (36-1)350 80 25
Fax (36 1)350 90 32

Email: euroinfo mail.malav hu
URL: http://www.Buroinfo.hu/index.h!m
PO Box 19502
Jerusalem
Tel. (9722) 627 16 31
Fax (9722) 627 12 19
MALTA
Malta Internalional Airport
PO Box 25
Luqa LOA 05
Tel. (356) 66 44 88
Fax (356) 67 67 99
Email: gwirtn@ usa.net
POLSKA
Ars Polona
Keskuskatu I /Centralgatan 1
PL/PB 128
FIN00101 Helsinki/HelsJngtors
./tfn (3589) 121 44 18
FJiax (3589) 121 44 35
Shkposti: akaiilausakateeminen com
URL: http://www.akateeminen.com
Skr. pocztowa 1001
PL00950 Warszawa
Tel (4822)826 12 01
Fax (4822) 826 62 40
Email: ars polbevy.hsn com.pl
SVERIGE
Euromedia
Str. Gral Berthelot Nr 4
RO70749 Bucuresti
Tel. (401)31544 03
Fax (401) 314 22 6
BTJ AB
Traktorvgen 11
S221 82 Lund
Tfn (4646) 18 00 00
Fax (4646) 30 79 47
Eposl: btjeupubbtj.s
UNITED KINGDOM
The Stationery Office Ltd
51 Nine Elms Lane
London SW8 5DR
Tel. (44171)873 90 90
Fax (44171) 873 84 63
Email: ipa.enquines@ thosoco.uk
URL: http://www.lhes1alioneryo1liceco.uk
ISLAND
Bokabud Larusar Blondel
Sklavrdustig. 2
IS101 Reykjavik
Tel. (354) 551 56 50
Fax (354) 552 55 60
NORGE
Swels Norge AS
Oslen|oveien 1
Boks 6512 Etterstad
N0606 Oslo
Tel. (4722)97 45 00
Fax: (4722) 97 45 45
c/o OSEC
Stnmpfenbachstrae 85
PF 492
CH8035 Zrich
Tel. (411)365 53 15
Fax (411) 365 54 11
URL: h tip:// www.osec.ch/eics
BLGARUA
59. blvd Vitosha
BG1000 Sofia
Tel. (3592)980 37 66
Fax (3592) 980 42 30
Email: Milana@ mbox.cit.bg
CESK REPUBLIKA
ROMANI/
JAPAN
PSIJapan
71 Sanbancho. Chryodaku
Tokyo 102
Tel. (813) 32 34 6 9 2 1
Fax (813) 32 34 69 15
Email: books@ psijapan co
URL: http://www.psijapan.com
MALAYSIA
EBIC Malaysia
Level 7, Wisma Hong Leong
18 Jalan Perak
50450 Kuala Lumpur
Tel (603)262 62 99
Fax (603) 262 61 98
Email: ebickl@ mol net.my
ROSSIYA
CCEC
60letiya Oktyabrya Av. 9
1 17312 Moscow
Tel. (7095) 135 52 27
Fax (7095) 135 52 27
SLOVAKIA
Centrum VTI SR
Nam Slobody. 19
SK81223 Bratislava
Tel. (4217)54 41 B3 64
Fax (4217) 54 41 83 64
Email: europ!bb1 .sltk.sluba.sk
URL: h1tp://www.sltk sluba.sk
SLOVENUA
Gospodarski Veslnik
Dunajska cesta S
SLO1000 Ljubljana
Tel. (386)613 09 15 40
Fax (386) 613 09 16 45
URL: http://www.gvestnik.si

Rio Panuco No 141
Colonia Cuauhtemoc
MX06500 Mexico. DF
Tel (52-5)533 56 58
Fax (52-5) 514 67 99
Email: 101545.2361@ compuserve.com
EBIC Philippines
19th Floor. PS Bank Tower
Sen Gii J. Puyat Ave cor. Tindaio St.
Makali City
Melro Manilla
Tel. (632) 759 66 80
Fax (632) 759 G6 90
Email: eccpcomglobe com.ph
TURKIYE
EBIC Sri Lanka
Dnya Infotel AS
100. YilMahaliessi 34440
TR80050 BagcilarIstanbul
Tel. (90212)629 46 89
Fax (90212) 629 46 27
Email: in1otel@ dunyagazete.c
Trans Asia Hotel

115Sirchirtampalam
A. Gardiner M a wat ha
Colombo 2
Tel. (941)074 71 50 78
Fax (941) 44 87 79
Email: ebicsIQ ilmin.com
AUSTRALIA
Hunter Publications
PO Box 404
3067 AbbOISlord. ViCIOna
Tel. (613)94 17 53 61
Fax (613) 94 19 71 54
Email: jpdavies ozemail.com.au
CANADA
3020. chemin SainteFoy
G1X3VSamteFoy. Qubec
Tel. (1418)658 37 63
Fax (1800) 567 54 49
Email: Nberte@ mediom qc.ca
SIS
NISprodejna
Havelkova 22
CZ130 0 0 P r a h a 3
Tel. (4202)24 23 14 86
Fax (4202) 24 23 11 14
Email: nkpospdec.nis.cz
Tel. (1-613)745 26 65
Messageries du livre SARL

5, me RaiHesen
L2411 Luxembourg
Tl. (352)40 10 20
Fax (352) 49 06 61
Email: mail@ mdl lu
CYPRUS
PO Box 1455
CY1509 Nicosia
Tel. (3572)66 95 00
Fax (3572) 66 10 44
Email: demelrap ceci org.cy

41 Sheril Street
Cairo
Tel. (202)392 69 19
Fax (202) 393 97 32
Email, mafouda@ meobserver.com.eg
URL: riltp://www.meObserver.com.eg
NEDERLAND
EESTI
INDIA

Christoffal Plantijnstraat 2
Postbus 20014
2500 EA Den Haag
Tel. (3170)378 90 80
Fax (3170) 378 97 83
Email: sdusdu.nl
Eesll KaubandusTostuskoda (Estonien

Chamber of Commerce and Industry]
ToomKooli 17
E E0001 Tallinn
Tel.(372)64602 44
Fax 372)646 02 45
Email: einfo@ koda.ee
URL: http //www. koda.ee
EBIC India
3rd Floor. . B. Chavan Centre
Gen J. Bhosale Marg.
400 021 Mumbai
LUXEMBOURG
ROY International
41. MishrtiarHayarden Street
PO Box 13056
61130 Tel Aviv
Tel. (9723) 649 94 69
Fax (9723) 648 60 39
Email: royil@ nelvision.net il
URL: http //www. royint.co.il
Renouf Publishing Co. Lid

K U 9J3 Ottawa, Onlario
Fax (1613) 745 76 60
Email: order.dept@ renoufbooks com
URL: h tl J/www. re no ufbooks.com
EGYPT
Tel. (91-22)282 60 64
Fax (9122)285 45 64
Email: ebic@ giasbm0l.vsnl nel.in
URL: hltp://www.ebtcindia.com
EBIC Thailand
29 Vanissa Building. 8th Floor
Soi Chidlom
PI oe neh il
10330 Bangkok
Tel. (66-2)655 06 27
Fax (662) 655 06 2B
Email: ebicbkk@ ksciS.th.com
URL: http:/www.ebicbkk org
B erna Associates
Lanham MD2076
Tel. (1800) 274 44 47 (toll fie telephone)
Fax (1800)865 34 50 (loll frea fax)
Email: query@ beman.com
URL: hrtp://www.bernan corn

Wahl/ Please confaci lhe sales office
2, rue Mercier
L2985 Luxembourg
Tel. (352)29 29424 55
Fax (352) 29 2942758
Email: info.infoOopoce eec.be
URL: http://europ.eu.inl
solutions.
I.
oo *

L-2985 Luxembourg

Conception Et Conduite D'une Évaluation

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Conception Et Conduite D'une Évaluation

Încărcat de

Drepturi de autor:

Formate disponibile

Fonds structurels communautaires

valuer es programmes socio-conomiques

Conception etconduite d'une valuation

Fonds structurels communautaires

valuer les programmes socio-conomiques

MEANS est un programme de la Commission europenne.

De nombreuses autres informations sur l'Union europenne sont dispo

pratiques de manire autonome et aux commanditaires de mieux matriser

Table des matires

Les enjeux de l'valuation dans le cadre des Fonds structurels

La valeur ajoute de l'valuation

La spcificit des programmes et de leurs valuations

Le dveloppement des pratiques dans le cadre

II Prparer l'valuation et dfinir son contenu

Analyser la logique et le contenu du programme

Analyser les impacts macroconomiques

Raliser des analyses plus approfondies

Optimiser l'utilisation de l'valuation

Apprcier la qualit d'une valuation

V Assurer la russite d'une valuation

Mieux prparer l'valuation

Ouvrir l'valuation des partenaires plus nombreux

Consolider les techniques d'valuation

Annexe 1 - Processus d'valuation ex ante, mi-parcours

Annexe 2 - Guide pour la prparation d'un cahier des charges

Annexe 3 - Rfrences bibliographiques

Conception et conduite d'une valuation

publication complte et accessible un large public :

U n e aide pour ceux qui pilotent

europens (rapporteurs des units gographiques de la

Conception et conduite d'une valuation

comment les indicateurs peuvent tre utiliss pour

interviennent dans de multiples secteurs, ce qui multiplie

Conception et conduite d'une valuation

l'analyse et au choix de meilleures solutions

Conception et conduite d'une valuation

Pour ceux qui veulent mieux connatre l'valuation

Pour une vue d'ensemble rapide :

Parcourir les messages qui sont placs en italique en tte des

Pour le lecteur qui connat peu les interventions

Lire attentivement la premire Partie Les enjeux de l'valuation

Pour le lecteur qui doit passer commande d'une valuation :

Passer directement la Partie II Prparer l'valuation et dfinir son

Pour ceux qui conoivent, ralisent ou surveillent des travaux de collecte

Lire plus particulirement

la Partie III Raliser

Des conseils et recommandations sont prsents aux Parties II et IV

Pour rflchir au perfectionnement des pratiques d'valuation :

Voir les suggestions et recommandations faites en conclusions du

Pour ceux qui doivent concevoir et raliser

Consulter l'annexe 1 - Processus d'valuation - colonne ex ante

Suivre les symboles

Consulter l'annexe 1 - Processus d'valuation - colonne miparcours

Suivre les symboles

Consulter l'annexe 1 - Processus d'valuation - colonne ex post

Suivre les symboles

La valeur ajoute de l'valuation

Conception et conduite d'une valuation

Les enjeux de l'valuation dans le cadre des Fonds structurels

Ncessit pour le secteur public

Les d v e l o p p e m e n t s d e l'valuation en Europe

Conception et conduite d'une valuation

Encadr 3 - Trois conceptions de l'valuation