L'valuation des campagnes de prvention du Sida

Audrey Sitbon, Bruno Maresca CREDOC Dpartement valuation des politiques publiques

La ncessit de dmontrer l'efficacit de l'action publique se pose de manire exacerbe dans le domaine de la communication, et en particulier pour les campagnes d'intrt gnral. En l'absence d'valuation apportant rellement la preuve de leur efficacit, leur lgitimit est mise en cause. Ce scepticisme peut tre compris en questionnant les liens entre communication publique et communication commerciale. La mise en exergue des spcificits et ressemblances de ces deux types d'actions permet en effet de mieux comprendre les problmatiques relatives aux campagnes publiques.

1 LES SPCIFICITS DES CAMPAGNES D'INTRT GNRAL

Le premier parallle se situe au niveau des objectifs. Autant l'intention d'une action commerciale est univoque, autant la volont tatique parat souvent plurielle aux yeux des publics ou citoyens concerns par l'action. Aux objectifs officiels de l'action se verront, par exemple, mler des considrations politiques ou le dsir pour l'administration initiatrice de l'action de valoriser son image. Du point de vue des dfenseurs de "l'intrt gnral", ceux qui utiliseront la campagne un dessein autre qu'un rle de prparation et de protection de l'avenir seront taxs de vouloir "l'instrumentaliser". De plus, il ne parat a priori pas vident que les mthodes empruntes par les campagnes de l'Etat au monde de la publicit soient adaptes aux caractristiques de la communication publique. Celle-ci a la double particularit de vouloir rendre compte de problmatiques complexes et d'inciter l'adoption de comportements contraignants et non pas simplement de susciter la cration et/ou la satisfaction d'un besoin. Or, la ralisation de ces objectifs pourrait se heurter l'utilisation d'outils conus pour la promotion de produits de consommation. La troisime liaison entre ces deux formes de communication, qui est en quelque sorte le corollaire des deux autres, concerne les effets des campagnes et les difficults lies la mesure de leur influence. Les incertitudes sont persistantes quant aux modalits selon lesquelles la publicit est cense agir sur les individus. Les mcanismes qui amnent un individu modifier ses connaissances, reprsentations, attitudes, voire ses pratiques, se rvlent complexes et sujets controverses. Dans le cas de la communication publique, la capacit du message oprer directement sur les comportements est d'autant plus sujette caution qu'il s'agit souvent de modifier des pratiques plus impliquantes qu'un acte d'achat de produits courants. D'autre part, la mesure de ces effets pose problme. La difficile imputation de l'augmentation des ventes une campagne commerciale (Caumont, D., 1996) est exacerbe dans le cas de la communication publique. Les changements sociaux esprs peuvent tre le fait d'un nombre grand nombre de facteurs exognes l'action tatique. Il est donc impossible de dlimiter la part d'influence des mesures publiques sur les phnomnes qu'elles cherchent modifier. Cela empche en consquence de savoir si les objectifs ont t atteints grce aux moyens mis en uvre. Prenons l'exemple d'une campagne sur le thme de la prvention du sida qui aurait pour but d'augmenter l'utilisation du prservatif. Mesurer les modifications comportementales serait possible travers un certain nombre d'enqutes auprs du public vis et d'un indicateur mesurant les ventes de prservatifs. Mais on ne pourrait attribuer cet chec ou ce succs la communication publique cause des autres sources d'influences existantes. Les autres types dactions publiques de prvention, en loccurrence les actions de terrain, les actions de prvention inities par le secteur priv, les informations journalistiques, les fictions tlvises ainsi que

les communications interpersonnelles sont tout autant de modes d'information susceptibles d'inciter les individus rduire leurs conduites risque ou intgrer de nouvelles habitudes.

2 LA QUESTION D'INFORMATION

DE

L'EVALUATION

DES

CAMPAGNES

PUBLIQUES

La difficile corrlation entre une action et ses effets (Conseil Scientifique de l'Evaluation, 1996 ; Lacasse, F., Thoenig, J.-C.,1996) ne constitue qu'un des problmes poss l'valuation. Les autres difficults pour rendre compte de l'efficacit de l'action alimentent les dbats sur le manque d'utilit des campagnes. Plus gnralement, la tentative de porter un jugement sur la ralisation d'un programme se heurte dans un grand nombre de politiques publiques des contraintes la fois mthodologiques et lies aux logiques des acteurs. Souvent ce sont les moyens de dterminer l'efficacit partir de mesures de productivit qui font dfaut (Wildavsky, A., 1996). Connatre le nombre de contaminations vites grce une campagne sur le thme de la prvention du sida et in fine l'conomie engendre en matire de dpenses de soin est stricto sensu impossible. En revanche, on peut supposer que le rapport cots-bnfice sera favorable en sachant qu'il suffit d'un trs petit nombre de contaminations vites pour que le budget de prvention soit rentabilis.1 Aussi, justifier d'une gestion optimum des fonds dans le cas de la prvention du sida, comme pour d'autres sujets, relve de la quadrature du cercle. Il est alors lgitime de s'interroger sur les critres de rpartition financire des diffrents postes tels que les actions de terrain, la formation du personnel de sant ou les campagnes qui composent un programme de prvention. Cette question se pose d'autant plus que les niveaux de dcisions sont levs. Il est alors moins possible de s'appuyer sur une "rationalit technico-conomique", ceci tenant " la nature des choix auxquels font face, en gnral, les acteurs politiques." (Padioleau, J., 1982, p.63) Les responsables politiques doivent simultanment tenir compte dintrts qu'aucun critre ne permet de dpartager (Padioleau, J., 1982), et les dcisions reposent dans les cas extrmes uniquement sur des systmes de croyance "dont les fondements pistmologiques sont si diffrents que les bases pour valuer la validit des revendications politiques font compltement dfaut." (Sabatier, P. A., Jenkins-Smith, H.C., 1993, p.51) L'valuation choue donc souvent dans sa tentative de rapprochement entre des buts et des rsultats objectivement mesurables. Elle est deuximement galement limite par son incapacit prendre en compte une dimension plus impalpable des politiques publiques, savoir sa dimension symbolique. Celle-ci se voit renforce quand il s'agit de campagnes qui ont la particularit d'tre visibles par excellence. Un gouvernement qui sexprime sur un problme rend aussi compte de limportance quil lui accorde. Il serait par consquent rducteur de n'accorder de l'importance qu' la mesure des effets des campagnes sur les pratiques de la population. La troisime contrainte qui pse sur l'valuation de l'action publique concerne des problmes de temporalit. L'apprciation des rsultats risque d'tre trs imparfaite si l'on ignore quel sera le moment o l'impact sera maximum et minimum. De plus, souvent, l'valuation intervient court ou moyen terme alors que les effets peuvent se rpercuter sur le long terme (CFES, 2000). Ceci est en partie li aux exigences du personnel politique qui, ayant des comptes rendre dans le cadre de mandats phmres, exerce une pression pour que les rsultats d'une action soient rapidement estims. (Quermonne, J.-L.,1994) Cela se traduit, par exemple, dans le domaine de l'ducation la sant par un systme de financement par projet qui exclut l'valuation long terme. (Tondeur, L., 1996)

3 L'EXEMPLE DE LA PRVENTION DU SIDA

1

Ainsi, selon l'Agence Franaise de Lutte contre le sida, "sachant que le cot annuel moyen en 1992 de la prise en charge hospitalire d'un seul malade du sida se monte 150 000 francs, il aurait suffit que l'Agence Franaise de Lutte contre le Sida vite 1000 contaminations en 1992 pour que son budget se trouve "rentabilis" dans dix ans. Ce calcul est d'autant plus parlant que, selon l'Organisation Mondiale de la Sant, une contamination vite peut en empcher cinq nouvelles." (Ministre des Affaires sociales, de la Sant et de la Ville, Agence Franaise de Lutte contre le Sida, 1993)

Les mthodes d'valuation utilises dans le cadre des campagnes de prvention du sida au niveau national sont principalement de deux ordres : les premires tentent de "mesurer" les effets directs de la communication partir d'indicateurs permettant de savoir si la campagne a t vue, mmorise et de quelle manire elle a t perue et apprcie. Cest la raison dtre des post-tests. La seconde catgorie d'outils rassemble des enqutes issues de recherches en sciences sociales et en pidmiologie. Ce sont dabord des tudes quantitatives portant sur la perception sociale de la maladie ainsi que sur lvolution des attitudes et comportements face au risque.2 Des indicateurs dactivit, tels que les ventes de prservatifs, ou encore le nombre de tests de dpistage effectus, constituent dautres donnes auxquelles viennent sajouter les tudes pidmiologiques. L'observation de la perception et de l'usage de ces outils par les acteurs de la prvention nous a amens poser l'hypothse selon laquelle il existe un dcalage important entre ces deux variables, autrement dit, entre l'image vhicule par les instruments d'valuation et leur utilisation. De mme, un cart persiste entre l'valuation "idale" selon les acteurs et leur usage des instruments d'valuation. Il s'agira d'interprter ces dcalages, et notamment d'interroger les raisons pour lesquelles certains outils sont dnigrs mais restent utiliss. Nous allons le montrer partir d'un instrument en particulier, le post-test. Cette tude ralise aprs la diffusion des campagnes en mesure la visibilit et la perception. La validit de ce mode d'valuation est critique, mais pour autant, cet outil issu du monde de la publicit et calqu sur une politique de sant publique, reste utilis. Cette situation est a priori lie aux avantages qu'offrent les post-tests par ailleurs : adopts de longue date par les organismes publics qui communiquent, leurs rsultats statistiques sont les seuls mme de mesurer les effets directs d'une campagne. Nous supposons donc qu'tant donn la faible valeur attribue la signification de cet outil, il est moins utilis pour juger rellement de la pertinence de l'action que pour se rassurer et justifier l'utilisation des fonds. La dmonstration de cette hypothse passe par une tude de la perception et de l'usage des modes d'valuation par les acteurs de la prvention. Nous verrons ainsi quelles tentatives de rationalisation et de dtournement des difficults lies la mesure des effets des campagnes ils ont eu recours depuis 1987. Notre recherche s'appuie sur deux types de matriaux. Une tude documentaire a t ralise partir d'un corpus d'archives manant des diffrents ministres et organismes en charge des campagnes, depuis leurs premires actions en 1987 jusqu' l'an 2000. Nous nous sommes ainsi appuys sur une base de donnes constitue de programmes d'actions, stratgies, pr et post-tests, dossiers de presse, budgets, compte-rendus de runions, plans mdia, rapports d'valuation et correspondances. Le discours des acteurs de la prvention en France a par ailleurs t analys partir d'entretiens semi-directifs raliss de 1996 2000 auprs d'une soixantaine de personnes plus ou moins directement impliques dans la ralisation des campagnes (hauts-fonctionnaires, personnel politique, administratif, agences de publicit, milieu associatif, chercheurs en sciences sociales). Ces personnes s'inscrivent principalement dans les organisations charges de la mise en uvre des programmes de prvention (Agence Franaise de Lutte contre le sida, Direction Gnrale de la Sant, Division sida, Comit Franais d'Education la Sant, SICOM (service de communication du ministre de la Sant), Service dInformation du Gouvernement) et dans les principaux organismes ou services avec lesquels les services publics collaborent, tels que des agences de publicit (ECOM, Alice, Australie) et des associations de lutte contre le sida (Act up, AIDES, Arcat sida).

4 LE

POST-TEST, UN OUTIL D'VALUATION ISSU DU MONDE DE LA PUBLICIT

L'enqute KABP est l'une des enqutes quantitatives les plus importantes. KAPB est l'abrviation en anglais de Connaissances, Attitudes, et Comportements des Franais. Cette enqute est ralise tous les deux ans depuis 1990 auprs d'chantillons reprsentatifs de la population franaise de 18 ans 69 ans par la S.O.F.R.E.S. Source: ANRS, Connaissances, reprsentations, comportements. Sciences sociales et prvention du Sida, Coll. Sciences sociales et Sida , Paris, novembre 1994, pp.11-26. Le volume Sexualit et Sida de l'ANRS constitue dans ce cadre, un ouvrage de rfrence, rpertoriant les principaux travaux effectus sur ce thme.

Les post-tests sont des enqutes gnralement ralises dans des dlais de quelques jours quelques mois aprs la diffusion de la campagne. Jusqu' la fin des annes 1990, ces outils contenaient des interrogations plutt figes et qui, d'aprs une majorit d'acteurs de la prvention, ne faisaient pas vraiment sens dans le cadre d'une campagne de sant publique. Ces tudes quantitatives menes par tlphone ou en face--face sont construites partir d'un chantillon qui "sur-reprsente" quelques fois les groupes de la population plus spcifiquement viss par la campagne. On cherche savoir si le film, le spot radio, l'affiche, l'annonce presse ou le dpliant a t vu, compris, mmoris et apprci. La force d'implication du message est sonde travers plusieurs types de questions : l'enqut se sent-il personnellement concern par la campagne ? En a t-il parl avec son entourage ? Enfin sont interroges les intentions d'action, de modification des attitudes, voire des comportements. Les indicateurs types sont l'impact ou de mmorisation, la comprhension, l'agrment, l'implication, la reconnaissance de l'metteur et les intentions d'action et de modification d'attitudes. - Pour l'impact, les questions portent sur le nombre de personnes se souvenant de manire spontane ou assiste des lments du message, du slogan. - Pour l'agrment, on recourt le plus souvent la question suivante : Avez-vous aim la campagne ? - L'implication consiste demander aux personnes si elles se sentent concernes par le message. Le post-test de la campagne de promotion des prservatifs diffuse en 1991 et 1992, "les prservatifs, pourquoi hsiter plus longtemps?" 3 ralis par IPSOS en 19924 est mme d'illustrer la mthodologie en prsence durant la priode o l'Agence Franaise de Lutte contre le sida a pris en charge les campagnes, c'est--dire de 1989 1994. Un certain nombre d'indicateurs sont mobiliss pour chaque phase de la campagne. Lors de la prsentation des post-tests, les budgets sont rappels, puisqu'ils possdent un rle dterminant sur les performances des campagnes. Ici les investissements en Tlvision pour des spots de format 10 secondes taient de : - 3,2 MF du 25 juin au 14 juillet , du 22 juillet au 11 aot, du 9 au 29 septembre 1991 - environ 3 MF du 14 octobre au 3 novembre, du 2 au 22 dcembre 1991 - environ 3 MF du 6 au 26 janvier 1992 Les indicateurs sont la plupart du temps synthtiss sous la forme du tableau suivant. Dans l'exemple suivant, les scores sont compars des standards, mais ils ne le sont pas systmatiquement. Tableau 1 Exemple de post-test Septembre 1991 65

Janvier 1992 74

Score brut (Pourcentage de personnes se souvenant avoir vu une campagne sur la prvention du sida)

standard IPSOS Sant 64

Annonceur

AFLS

Priode de diffusion 1991/1992 Slogan Mdias Bugdet

4

"Les prservatifs, pourquoi hsiter plus longtemps ? ". Tlvision : 14 spots de 10 secondes Affichage 18 MF

IPSOS: Suivi TV de la campagne prservatifs (les couples), rapport dtude, fvrier 1992

Score spcifique (Pourcentage d'individus capables de citer de mmoire un ou plusieurs lments spcifiques du message publicitaire) Score de reconnaissance (Pourcentage d'individus reconnaissant la campagne aprs prsentation du message) Score dagrment positif ngatif indiffrent (Pourcentage d'individus estimant avoir aim la campagne) Incitation achat (Pourcentage d'individus estimant avoir t incit acheter des prservatifs)

13

24

37

66

85

65

80 10 10

77 10 13

75 12 13

53

56

Source : IPSOS: Suivi TV de la campagne prservatifs (les couples), rapport dtude, fvrier 1992. chantillon: 600 personnes: 18-55 ans Les conclusions sont gnralement tablies partir des standards (voir tableau), mais aussi des scores des campagnes prcdentes, et qui servent de rfrence pour juger de la progression positive ou ngative des indicateurs.

5 LE POST-TEST, UN OUTIL CONTEST

La validit des post-tests est questionne trois niveaux. Sont la fois jugs leurs indicateurs, la mthodologie de ce type d'tude, ainsi que leurs limites.

A/ Des indicateurs inadquats

La capacit des indicateurs intgrer les dimensions des changements mesurer est mise en cause. Cette difficult est rattacher aux origines de ces outils issus du monde publicitaire, comme l'explique un membre du CFES, organisme charg de la mise en uvre des campagnes : "on calque un peu les mthodes publicitaires sur des choses qui sont des comportements profonds et pas des comportements d'achats. C'est difficile de trouver d'autres critres, mais c'est certain que c'est fait systmatiquement, selon les mmes mthodes." Ainsi, des instruments mis au point pour estimer la capacit d'un message inciter l'achat semblent inadquats face au phnomne complexe et multidtermin que constitue un changement d'attitudes dans le cadre de la prvention du sida. Cette rduction par le post-test de la mesure de l'efficacit d'une campagne quelques variables figes aboutit mme des non-sens. On mesure des effets qui n'taient pas attendus ou qui apparaissent rducteurs: "un chiffre d'impact n'est pas ncessairement en adquation avec des stratgies publicitaires qui travaillent sur le questionnement individuel et qui, dans la plupart des cas, ne se rsument pas un slogan mmorisable." (Ardwinson, P., Ramon A., 2000, p.22) Plus gnralement, il est insatisfaisant pour les acteurs d'valuer pour chaque campagne le mme type d'effets de manire relativement sommaire quand ils avaient introduit toute une varit d'objectifs. L'intrt des indicateurs est parfois mis en cause. Citons par exemple la variable de mmorisation (impact) pose comme un pralable l'efficacit du message. Ce lien ne parat pas vident pour certains acteurs qui mettent l'hypothse suivante : les enquts peuvent trs bien ne plus se remmorer le message mais l'avoir assimil de manire inconsciente. C'est peut-tre moins le souvenir qui importe que la faon dont a t intgr le message au moment o il a t peru. Autrement dit, on peut tre totalement incapable de dcrire une affiche, alors qu'un travail inconscient d'adhsion au message s'est ralis.5
5 Cette hypothse peut d'ailleurs tre taye par des recherches empiriques en psychologie sociale qui ont pu "montrer exprimentalement que certains changements d'attitudes sont encore observables des semaines et des mois d'intervalle sans que le sujet se souvienne du contenu du message." (Moscovici, S., 1992, p115)

Le discrdit qui pse sur les post-tests relve galement de la faible porte attribue aux informations dlivres. Les indicateurs sont dcrits comme limits, les comparaisons entre post-tests impossibles et de fait la possibilit de tirer des recommandations pour la ralisation de campagnes ultrieures est estime rduite.

B/ Une mthodologie problmatique

Des choix inadapts en matire d'chantillon, des imprcisions quant aux bases permettant de dfinir le mode de passation des questions (tlphone ou face--face) et la priode du droulement du post-test sont par ailleurs indiqus. Des doutes quant la fiabilit des donnes sont apparus dans le discours des acteurs et sont lis au fait que ces enqutes reposent sur du dclaratif, comme l'indique un publicitaire de l'agence Australie charge de la ralisation des campagnes sida pendant la deuxime moiti des annes 1990 : "Cest extrmement dur valuer et puis entre le dclaratif et le vcu... Trs objectivement, je pense quune trs grande majorit des gens vous diront que cette campagne est formidable et quand on creuse, il y en aura peut-tre une trs grande majorit l-dedans qui soit, au fond, ne se sentira pas suffisamment concerne, soit sera choque mais ne voudra pas ladmettre."

6 UN INSTRUMENT

EN DCALAGE AVEC LES ATTENTES DES ACTEURS.

A/ Une possibilit limite d'influence sur les stratgies et campagnes futures

Une des attentes des acteurs de la prvention vis--vis de l'valuation repose sur sa capacit dboucher sur des recommandations pour les campagnes venir. Cela signifierait que les post-tests pourraient dsigner les lments de la communication ayant plus ou moins bien fonctionn. S'ils dterminaient avec prcision les lments du plan mdias, c'est--dire les insertions publicitaires dans les diffrents supports, et/ou de la cration (affiche, annonce dans la presse, film publicitaire) ayant contribu au succs ou l'chec de la campagne, ils permettraient de rorienter le tir, par exemple en formulant la ncessit de revoir un spot ou de l'abandonner. Or, les post-tests sont justement critiqus pour leur inaptitude cet gard. S'ils permettent de dceler des failles, ils n'aboutissent pas vraiment des recommandations.

B/ Une absence de lien entre les campagnes et les changements de comportements

Dans la mesure o cette mthode ne permet pas d'tablir de lien direct entre l'action et les changements de comportements, qui se trouvent tre pour beaucoup le but ultime de la communication, les post-tests s'avrent insatisfaisants. Ainsi selon un membre du CFES : "a indique l'impact immdiat sur les reprsentations, a indique pas l'impact vritablement sur les comportements, ni la durabilit de ces comportements" et selon le responsable d'une association de lutte contre le sida : "si vous me dites : combien de personnes on a vit de contaminations par les spots ? , il ny en aurait quun seul, ce serait dj bien, mais je ne peux mme pas vous dire quil ny en a eu un seul." Autrement dit, du fait de la nature des variations observes, savoir des attitudes et non des comportements, l'valuation s'avre insuffisante pour aboutir la conclusion de l'efficacit de l'action. Ainsi, savoir que la campagne a provoqu une intention d'achat de prservatifs n'est pas compltement satisfaisant car il est difficile, partir de l, d'anticiper sur les volutions relles en termes de consommation de ce produit. Les acteurs de la prvention n'attribuent pas les mmes causes cette absence de lien entre communication et modification des pratiques de la population. La plupart estiment qu'il est impossible d'tablir un tel rapport dans la mesure o la communication n'est qu'un facteur d'influence parmi d'autres. Selon un publicitaire, "la publicit, ce nest que 1% dexplication, ou 0,002% de lvolution des ventes de prservatifs, selon que l'on est

optimiste ou pessimiste". En revanche, un petit nombre continue penser qu'il suffirait de modifier l'outil d'valuation ou d'en utiliser d'autres pour apprcier cette relation de cause effet. Un haut-fonctionnaire du ministre de la sant s'inscrit dans cette ide : "Les valuations ne sont pas assez larges, comment dire, les tudes d'impact (post-tests) ne sont pas assez approfondies, je pense, en particulier en matire d'volution des comportements."

C/ Une interprtation douteuse des rsultats

La lecture qui peut tre faite des donnes, gnralement interprtes dans un sens positif pose problme. Il s'agit de plus, de montrer que l'usage de cette valuation relverait uniquement d'une lgitimation de l'utilisation des fonds, cette situation tant d'autant plus favorise que les gestionnaires de l'valuation et des campagnes sont issus de la mme entit, savoir le CFES. L'interprtation des rsultats des post-tests semble particulirement suspecte car ne reposant sur aucun critre prtabli. Ce constat est aussi bien le fait de chercheurs et que de ceux qui sont directement chargs de traiter ces rsultats, comme le montre cette dclaration d'un membre du CFES : "Les post-tests a sert rien. Vous avez un chiffre, vous pouvez l'interprter positivement ou ngativement de toute faon. Donc nous on l'interprte toujours positivement et puis voil. Si on avait 40% d'impact, on dirait qu'on ne s'est pas trop plant." L'interprtation problmatique des donnes est de plus lie aux conditions d'laboration et d'utilisation des post-tests. Cela tient de la non dissociation entre la ralisation et la gestion de l'valuation des campagnes, issus de la mme entit, savoir l'AFLS de 1989 1994, puis le CFES. Mme s'ils n'laboraient pas eux-mmes les valuations, ils recevaient les chiffres bruts qu'ils taient ensuite chargs d'interprter. Ainsi, un charg de communication d'une association de lutte contre le sida juge que l'valuation "est faite de faon perverse parce que le commanditaire (le CFES) est juge et parti." Un conseiller du Ministre de la Sant prconise alors "une structure indpendante qui fasse lvaluation des campagnes, comme a se pratique en Angleterre." Alors que la signification des chiffres d'impact pose problme, ces rsultats seraient utiliss dans le but de rassurer la fois les concepteurs et les investisseurs. Ce mode d'valuation tient la premire place dans la possibilit de justifier du bien-fond des campagnes. Cette mthode est en effet la seule qui tablisse un lien direct entre la campagne tudie et l'opinion de la cible vise. Tout se passe alors comme si une vritable politique de l'autruche tait en place. Personne ne serait dupe du manque de sens des donnes, mais tout le monde ou presque ferait semblant de croire l'utilit prouve des campagnes, partir de chiffres arbitrairement interprts de manire positive. Cette critique vaut d'ailleurs quant l'utilisation plus gnrale des enqutes d'opinion. Pour certains, le contexte difficile du dbut des annes 1990 lgitimait d'autant plus ce mode de justification. La communication de l'Agence Franaise de Lutte contre le Sida, alors en charge des campagnes, tait sujette de vives critiques et la possession d'un mode d'valuation est perue aprs coup, par un charg de mission, comme un moyen de faire face ces jugements ngatifs : "Vu la faon dont les campagnes taient accueillies par les associations, que les journalistes relayaient cela, il nous fallait les post-tests. Aujourd'hui, les post-tests c'est beaucoup d'argent pour pas grand chose. Les post-tests sont importants pour justifier de son existence face aux autorits de tutelle : je ne l'ai compris que plus tard. Ce n'tait pas vident d'valuer. On s'est peut-tre accroch des choses trs artificielles." Cette utilisation de donnes chiffres dans un but d'objectivation dans le cadre des politiques publiques est un phnomne largement dcrit et observ dans d'autres secteurs et dans d'autres phases que celle de l'valuation. Jean-Yves Trpos rattache ainsi l'usage de la statistique au "rsultat d'une histoire qui associe troitement l'instrument de connaissance et l'instrument de gouvernement." Il explique, comme nous l'avons observ, que la statistique ne fonctionne pas comme "langage de vrit" mais "comme machine objective. Sinon utilisable par tous, elle est lisible par tous et instrument de preuve particulirement puissant (et peut-tre, est-elle dans certains cas, un lieu commun)." (Trpos, J.-Y., 1996, p.85) Instrument routinis, le post-test a l'avantage d'tre disponible rapidement et comme beaucoup d'instruments quantitatifs, (Burlaud, A., Gibert, P., 1996) assure une fonction symbolique. Cela permet de comprendre le fait qu'il reste utilis. Ses

faiblesses sur un plan opratoire sont finalement largement compenses par le fait qu'il constitue l'instrument de lgitimation que les acteurs recherchent.

CONCLUSION : QUELLE UTILIT ONT LES POST-TESTS ?

Si l'utilit des post-tests comme instrument d'valuation de l'efficacit de l'action sur le plan de la sant publique est dcrie, l'usage rpandu de cet outil doit tre reli un intrt d'un autre ordre. Il constitue un mode d'objectivation de l'action en fournissant des chiffres susceptibles d'tre interprts positivement. Instrument de rassurance, il permet de faire la preuve que le deuxime grand objectif des campagnes ct de l'objectif de sant publique, savoir l'engagement politique sur le sujet, a t atteint. Les post-tests vont en effet permettre de savoir si la campagne a t vue, bien attribue son annonceur et servir enregistrer d'ventuelles ractions de rejet de la part des cibles vises. Or, ne pas choquer apparat comme une inquitude majeure du politique, selon les acteurs oprationnels. De fait, ce souci devient le leur, comme l'indique un conseiller ministriel : "Il y a une autocensure, un auto-blocage dans l'administration. Parfois il se disent que les politiques vont pas aimer a, donc ils ne font pas, ne proposent pas a." La ncessit de justifier de la bonne utilisation des budgets conduit les acteurs accorder une grande signification lensemble des modes dvaluation. La tentation est forte d'tablir une corrlation directe entre l'action et ses effets sur les pratiques de la population ou entre les campagnes et les donnes pidmiologiques. Cette mesure correspond une attente du politique qui souhaite obtenir des rsultats dans des dlais d'autant plus courts que durant la priode tudie, c'est--dire de 1987 2000, les changements de gouvernement se sont succds un rythme lev. Pour autant, le plus souvent, les acteurs ne considrent pas que la preuve de l'efficacit des campagnes doit tre faite partir des changements comportementaux. De plus, une partie d'entre eux reste convaincue que la communication ne peut aller jusqu' agir sur les pratiques sociales. Ils soulignent donc la fois les limites de la communication grand public et de son valuation.

BIBLIOGRAPHIE
ARDWINSON, P., RAMON, A., (2000), L'valuation des programmes nationaux de communication, propositions mthodologiques, Paris, CFES, Education pour la sant pour mieux vivre, Dossiers techniques. BURLAUD, A., GIBERT, P., (1996), "L'analyse des cots dans les organisations publiques", in : Lacasse, F., Thoenig, J.-C., (1996) L'action publique, Paris, L'Harmattan, Coll. Logiques politiques. CAUMONT, D., (1996), Le bilan de campagne publicitaire, outil d'aide la dcision, Recherches et applications en marketing, volume 11, n4, pp.93-109. CFES, edr, (2001), Avis du conseil scientifique du CFES, Education pour la sant pour mieux vivre, Paris, coll. Dossiers techniques, 1999-2001. CONSEIL SCIENTIFIQUE DE L'EVALUATION, (1992), Evaluation de l'expertise la responsabilit. Rapport annuel sur l'volution des pratiques d'valuation des politiques publiques, Paris, la documentation franaise. LACASSE, F., THOENIG, J.-C., (1996) L'action publique, Paris, L'Harmattan, Coll. Logiques politiques. PADIOLEAU, J., (1982), LEtat au concret, Paris, PUF, Sociologies. QUERMONNE J.-L., (1994), La mise en question des cabinets ministriels, Pouvoirs, n68, Editions du Seuil, janvier, pp.62-75. SABATIER, P. A., JENKINS-SMITH, H.C., edrs, (1993), Policy change and learning, An Advocacy Coalition Approach, Westview Press, Boulder. TONDEUR, L., (1996), L'ducation pour la sant, une efficacit sous condition, Actualit et dossier en sant publique, septembre, n 16, p.XXII.

TREPOS, J.-Y., (1996), La sociologie de l'expertise, Paris, PUF. WILDAVSKY A., (1996), "Analyse de politique et PPBS", in : Lacasse, F., Thoenig, J.C., (1996) L'action publique, L'Harmattan, Coll. Logiques politiques.

RESUME
Parmi la batterie d'outils disponibles pour valuer les campagnes de prvention du sida, le post-test est le seul instrument tablissant un lien direct entre l'action et ses effets. Emprunt aux techniques des publicitaires, il a la particularit d'tre la fois dnigr et systmatiquement utilis. Des questions de validit de l'outil se posent. D'une part, les indicateurs sont jugs inadquats dans le cadre d'une action de sant publique, voire dnus de signification, et d'autre part, la mthodologie du post-test pose problme. Les informations recueillies ne semblent pas combler les attentes des acteurs dans la mesure o les post-tests chouent apporter des rponses sur trois plans. Cette valuation dbouche rarement sur des recommandations pour les campagnes venir. Elle s'avre par ailleurs insatisfaisante car elle ne permet pas d'tablir de lien direct entre l'action et les changements de comportements, qui se trouvent tre pour beaucoup le but ultime de la communication. Enfin, l'analyse trs incertaine qui peut tre faite des donnes, systmatiquement interprtes de manire positive, pose problme. Si l'usage rpandu de cet outil doit tre reli un intrt, il est d'un autre ordre que celui de l'valuation des effets de l'action sur le plan de la sant publique. Instrument de rassurance, il apporte l'illusion d'une objectivation de l'impact des campagnes. Il permet ainsi de faire la preuve qu' ct de l'objectif de sant public, l'autre grand objectif de la communication sur le sida, savoir la manifestation de l'engagement politique sur le sujet, a t atteint.

LES AUTEURS Audrey SITBON

Doctorante en sociologie, associe au dpartement "Evaluation des politiques publiques" du CREDOC.

Bruno MARESCA
Sociologue, directeur du dpartement "Evaluation des politiques publiques" du CREDOC.