The Canadian Journal ' Program Evaluation Vol. 13 No.

1 LA REVUE CANADIENNE DofVALUATION DE PROGRAMME Pages

ISSN 0834-1516 Copyright 1998 Canadian Evaluation Society

123

LA MESURE DE LA SATISFACTION DES USAGERS DANS LE DOMAINE DE LA SANT ET DES SERVICES SOCIAUX: LEXPRIENCE DE LA RGIE RGIONALE CHAUDIRE-APPALACHES
Andr Prvost Andre Fafard Rgie Rgionale de la sant et des services sociaux de la Chaudire-Appalaches Sainte-Marie, Qubec Marc-Andr Nadeau Universit Laval Qubec, Qubec
Rsum:

Le processus de dcision des rgies rgionales et des tablissements publics de sant et des services sociaux se caractrise par la prsence de mcanismes dmocratiques. Il sappuie traditionnellement dans ce secteur sur lanalyse des administrateurs et des dispensateurs de service. Aussi, les systmes dinformation daide la dcision sont dans la trs grande majorit des cas orients sur le contrle des cots, le volume, et le genre de services dispenss. Lexprience de la Rgie rgionale Chaudire-Appalaches, par la mesure de la satisfaction des usagers dans six types dtablissements, a permis la validation, en partenariat avec les rseaux dtablissements cibls, dune taxonomie de services applicables un ventail de services. Elle est la base du dveloppement dinstruments communs permettant des comparaisons intersites et interservices. The decision-making process adopted by the ChaudireAppalaches regional authority and public health and social service institutions is characterized by the use of democratic procedures. Traditionally, the decision-making process in this sector relies on reviews by administrators and service providers. In addition, the information systems designed to aid decision-making are, in the great majority of cases, oriented toward controlling the cost, volume, and kind of services delivered. The experience of the regional authority, measuring user satisfaction in six types of institutions, allowed the validation of a taxonomy of services applicable to a range of services, in partnership

Abstract:

THE CANADIAN JOURNAL

OF

PROGRAM EVALUATION

with the networks of institutions targeted. This taxonomy is the foundation for developing common instruments for comparisons among different services and service areas.

Les rgies rgionales de la sant et des services sociaux sont institues dans chacune des dix-sept rgions administratives du Qubec. Elles ont principalement pour fonction de planifier, de mettre en oeuvre, et dvaluer, dans leur rgion, les programmes de sant et de services sociaux labors par le ministre de la sant et des services sociaux. En septembre 1996, la Rgie rgionale Chaudire-Appalaches publiait les rsultats dune premire mesure visant valuer la satisfaction des usagers du rseau de la sant et des services sociaux de la rgion (Fafard & Prvost, 1995). Cette tude visait dresser le portrait de la satisfaction des usagers du rseau de la sant et des services sociaux de la rgion Chaudire-Appalaches de faon gnrale et en fonction daspects de services spcifiques. Les informations recueillies permettent ainsi didentifier les aspects de services les moins satisfaisants afin dorienter les divers responsables dans les travaux destins au maintien et lamlioration de la satisfaction des usagers. Ltude fut effectue dans un contexte de changements apports dans lorganisation des services. Ils ont t planifis en sappuyant sur une lecture des transformations qui se sont opres dans les pays industrialiss avec comme proccupations majeures lefficacit et lefficience. Il tait primordial que les dcisions prises par la Rgie sappuient sur des normes reconnues et sur des volumes de services mesurs laide de systmes dinformation disponibles dans le rseau. Malgr le caractre normatif des dcisions prises lors de ladoption du Plan de transformation du rseau par la Rgie rgionale en 1995 (RRSSS, 1995), certains groupes ont mis en perspective les consquences possibles de ces changements, dont une diminution de la qualit des services. Malgr leur grande utilit pour des fins de planification, les systmes dinformation traditionnels rencontrent rapidement leurs limites au niveau de lvaluation de la qualit des services et se rvlent peu utiles pour la rgulation du systme sociosanitaire dans des situations de turbulence. Ce qui est en jeu ce niveau, ce sont les services disponibles la population, quils existent depuis longtemps, quils soient nouveaux, ou quils aient t interrompus au profit dautres services. La mesure de la satisfaction des usagers en est une de perception qui est base sur lexprience dun citoyen utilisateur de services de

LA REVUE

CANADIENNE D ' VALUATION DE PROGRAMME

la rgion avec une des constituantes du rseau sociosanitaire. Ce genre de mesure merge du rel pour correspondre, lorsque lon peut gnraliser les rsultats, lapprciation que la population se fait des services utiliss. Le prsent document relate donc lexprience de la Rgie rgionale Chaudire-Appalaches dabord partir du contexte rgional dans lequel les mesures de satisfaction ont t effectues. Il montre ensuite les principaux lments mthodologiques utiliss dans cette tude. Larticle se termine par une discussion qui montre en quoi ce type de mesure en est un daide la dcision. LE CONTEXTE RGIONAL DES MESURES DE SATISFACTION Cette premire section traite du contexte rgional dans lequel a t effectu la mesure de la satisfaction des usagers dans la rgion Chaudire-Appalaches. Pour le bnfice des lecteurs, la rgion fait lobjet dune prsentation. La section aborde, en second lieu, la transformation du rseau sociosanitaire comme aspect contextuel majeur. Elle traite ensuite des acteurs et de limputabilit du systme. Les limites des systmes dinformation traditionnels et le concept de satisfaction compltent la section. La rgion de Chaudire-Appalaches compte aujourdhui prs de 400 000 habitants ou un peu plus de 5% de la population du Qubec. Elle se situe du sud au nord entre la frontire amricaine et le fleuve Saint-Laurent. Dest en ouest, elle comprend les municipalits rgionales de comt (MRC) de LIslet et celle de Lotbinire. Ltat de sant gnral de la population rgionale se compare celui de lensemble du Qubec. Au dbut de lanne 1994, la rgion comptait 66 tablissements publics regroups en 29 conseils dadministration et 10 tablissements privs. Plus de 300 organismes communautaires oeuvrent dans la rgion. Le rseau sociosanitaire rgional procure de lemploi environ 10 000 personnes, dont 477 mdecins. En 19941995, le budget totalisait 364 966 736 millions de dollars, excluant les budgets de la Rgie de lassurance maladie du Qubec (RAMQ). Sous limpulsion du contexte de lassainissement des finances publiques, de lmergence de nouveaux besoins et dinnovations technologiques, le systme de sant et des services sociaux sest engag dans un vaste mouvement de rvision de ses programmes. Dans la

THE CANADIAN JOURNAL

OF

PROGRAM EVALUATION

rgion Chaudire-Appalaches, plusieurs changements ont t amorcs en 1995 dans le contexte de la transformation du rseau de la sant et des services sociaux. Parmi les plus importants, soulignons lobjectif de rduire le taux dhospitalisation de 112,2 100 par 1 000 habitants, celle de diminuer la moyenne de sjour de 9,4 7,9 jours, la prvision dune proportion atteindre de 50% de la part des chirurgies dun jour et ainsi de suite. Cela se traduit par une rduction du nombre de lits de courte dure lequel passe de 772 562 lits. Les acteurs et limputabilit du systme La Rgie rgionale est une instance dmocratique o se dessinent les enjeux des acteurs et o limputabilit du systme prend place. Les acteurs de la rgion de Chaudire-Appalaches, quils soient individuels ou constitus en groupe de pression, sont prsents dans plus dun lieu pour faire valoir leurs opinions. Certains participent aux dbats rgionaux par des communications avec les mdias et la Rgie. Ils peuvent galement intervenir lors des sances publiques du conseil dadministration. Dautres sont des participants aux diffrents mcanismes de consultation mis sur pied par la Rgie dans le cadre du processus de prise de dcision. Finalement, certains acteurs participent de lintrieur comme membre du conseil dadministration ce mme processus de dcision. Les mdecins, les syndicats, les corporations professionnelles, et les lites locales, cause de leur rle, ralisent lgitimement un travail de reprsentation auprs de lopinion en gnral et auprs des instances, dont celle de la Rgie, pour faire avancer les enjeux qui les animent. Parmi les enjeux les plus importants se trouvent, notamment, les intrts des diffrents corps professionnels et le dveloppement conomique local. La Rgie, quant elle, compose avec les acteurs et leurs enjeux, prend lgitimement les dcisions aprs avoir laiss place la participation dans le jeu dmocratique et sassure de leur application. Elle joue ce rle en assurant le caractre public de son conseil et par les activits de communication quelle ralise. Les perceptions vhicules par les diffrents groupes sont aussi quelquefois mdiatises. Il importe donc que ce lien dinformation avec le public soit loccasion dobtenir une rtroaction de la population afin den tenir compte dans la rgulation densemble du systme. Si la rgulation est associe des processus de normalisation des situations qui sinscrivent

LA REVUE

CANADIENNE D ' VALUATION DE PROGRAMME

lintrieur dun systme, il faut aussi savoir que ces derniers concernent les actions prvues, les enjeux, lenvironnement, et la rtroaction (Lemieux, 1996). Pour assurer une rgulation adquate du systme dans un contexte de transformation, il importe de mettre en place les moyens appropris. Ces moyens sont ncessairement dordre informationnel. Les limites des systmes dinformation traditionnels et la rgulation par la dmocratisation On assiste actuellement au Qubec comme ailleurs un engouement pour le dveloppement des systmes dinformations. La plupart des systmes dinformations permettent lobtention de renseignements tels les volumes de services, la nature des services, les ressources et les caractristiques de la clientle. Ces systmes dinformations se rvlent moins utiles pour assurer la rgulation du systme dans un contexte de turbulence, car ils ne sont gnralement pas trs souples. Par ailleurs, ils sont aussi axs sur les intrants, car la standardisation est importante et ncessaire. En outre, les informations sont souvent trs nombreuses puisque les utilisateurs potentiels sont varis et les besoins multiples. Enfin, le temps disponible pour exploiter les informations est gnralement plus restreint que celui requis pour le maintien du systme. Dans le contexte de la rgionalisation et de la dmocratisation de la sant et des services sociaux, les mesures perceptuelles dattitudes et dopinions effectues auprs dun chantillon dusagers semblent contribuer davantage que les systmes dinformations traditionnels la rgulation. Comme le mentionne Lemieux (1988) en citant Gallup, les sondages sont le seul frein ou presque la puissance grandissante des groupes de pression. Gallup montrait que des positions tenues par des groupes ne sont pas majoritaires dans lopinion publique. Lexistence de la position porte par la majorit devient donc une source importante de lgitimit pour laction des responsables administratifs et politiques. Les sondages sont aussi, selon Gallup, toujours cit dans Lemieux, un moyen qui permet aux administrateurs de prendre des dcisions plus sages. Il appert quils contribuent efficacement mieux outiller les administrateurs concernant diverses ralits de la population, cela dautant plus que les sondages historiques montrent que les gens ordinaires font de bons choix et ne se trompent gure (Lemieux, 1988).

THE CANADIAN JOURNAL

OF

PROGRAM EVALUATION

La satisfaction des usagers comme mesure de la qualit des services Lintrt pour lvaluation de la satisfaction des usagers se fait particulirement sentir depuis le dbut des annes 70, comme en tmoignent les nombreuses publications parues sur le sujet. Selon Ware et autres (1983), la mesure de la satisfaction des usagers ou des patients est une valuation personnelle des soins et des services de sant qui sont dispenss. Daprs Donabedian (1980) et Pascoe (1983), la satisfaction des usagers peut tre vue comme la raction des usagers au contexte, au processus, et au rsultat global de leur exprience relative un service. Lvaluation faite par lusager est considre, par Pascoe (1983), comme la comparaison des caractristiques marquantes de lexprience individuelle des soins de sant des standards subjectifs. Ce processus comparatif entre lexprience vcue et des critres subjectifs de lusager inclut deux activits psychologiques qui sont interrelies, soit une premire dordre cognitif et une seconde caractre affectif. Les standards subjectifs utiliss, pour juger de lexprience de soins de sant et par extension des services sociaux, seraient bass, toujours selon Pascoe (1983), sur un seul ou une combinaison des lments suivants: un idal de service, une notion de service mrit, une moyenne de lexprience passe dans des situations de services similaires, et un niveau subjectif minimal de qualit de services atteindre pour tre acceptable. Les diffrences entre les niveaux de satisfaction seraient, selon Ware et autres (1983), le reflet des prfrences personnelles tout comme des attentes des usagers. La satisfaction des usagers, en tant que concept, fait donc appel au champ perceptuel. Comme le soulignent Favaro et Ferris (1991), le client ou lusager a un point de vue unique sur la faon dont les services lui sont rendus et a une conception de leur qualit qui est importante. On conviendra facilement de limportance de la qualit des services dans le domaine de la sant et des services sociaux. Traiter de la satisfaction des usagers implique porter un jugement sur des caractristiques des services et donc de leur qualit. Ainsi, la perspective de lusager donne de linformation essentielle pour complter et quilibrer une valuation de la qualit des services (Hall et al., 1990). Si dans le secteur priv, la satisfaction des usagers est un indice vital des organisations dans le contexte dun march comptitif, il lest galement dans le secteur public puisque lusager a de plus en plus son mot dire, alors quil volue dans un environnement dassainissement des finances publiques et de refonte des programmes et des pratiques.

LA REVUE

CANADIENNE D ' VALUATION DE PROGRAMME

Certains lments doivent tre pris en compte pour obtenir une mesure de la satisfaction des usagers de qualit. Au dpart, le lecteur doit prendre note que gnralement des taux levs sont obtenus dans les mesures de satisfaction de clientles ou de consommateurs. Au travers des diffrentes tudes produites sur le sujet, ltendue des rsultats obtenus comme satisfait ou trs satisfait varie de 65% 99% (Health Services Research Group, 1992; Gorey, Chandler, & Osmun, 1996). Il importe donc danalyser les donnes de satisfaction avec prcaution en recherchant dabord les carts entre les aspects de services, et ventuellement, sur une base temporelle en fonction daspects de services semblables. Aussi, dans les tudes o les caractristiques telles que lge, la scolarit, loccupation et lethnicit des rpondants ont t examines en fonction du degr de satisfaction, aucune relation na t releve de faon concluante. Il semble plutt que dans les cas o des relations de ce type ont t observes, des mthodes utilisant des mesures non standardises et des chantillons comportant des biais soient mettre en cause. En fait, il ressort de plusieurs tudes que la faon dont les services sont dispenss constitue une des variables les plus dterminantes de la satisfaction (Health Services Research Group, 1992). Des caractristiques comme le temps consacr par les professionnels de la sant, le fait de frquenter le mme professionnel, et la clart des communications et des explications ont t associes individuellement, du moins, avec les taux de satisfaction (Health Services Research Group, 1992). La faon de prsenter ltude ou dencadrer le rpondant ainsi que la formulation des questions sont des lments dont il faut tenir compte afin dassurer la qualit de la mesure de la satisfaction. Par exemple, il semble important dassurer lobjectivit, la confidentialit, et lanonymat aux rpondants. De plus, une mesure spcifique un service ou un vnement prcis de mme que des questions rattaches des aspects de services spcifiques procurent une opinion plus nuance quune valuation plus globale ou gnrale en termes de services valus et de contenus abords (Health Services Research Group, 1992). En fait, ce qui importe le plus dans la mesure de la satisfaction est de disposer dune mthode rigoureuse qui incorpore des mesures standardises et valides. Cette proccupation tient au fait quune des limites majeures des tudes de satisfaction des usagers a t la prolifration dinstruments ad hoc qui ont rarement t tests (Ruggeri & Greenfield, 1985). Lorsque lon contrle ces conditions, comme le souligne le groupe de recherche sur les services de sant (1992), il est suffisamment vident que les mesures de la satisfaction des usagers sont utiles et valides.

THE CANADIAN JOURNAL

OF

PROGRAM EVALUATION

LE DVELOPPEMENT DES MESURES DE LA SATISFACTION DES USAGERS EN CHAUDIRE-APPALACHES Cette deuxime partie a pour objectif dillustrer de faon concrte comment la mesure de la satisfaction des usagers a t ralise dans la rgion Chaudire-Appalaches en faisant ressortir les principaux lments mthodologiques. Pour ce faire, lexprience de la mise en place dune approche pluraliste dans la dfinition et la mise en oeuvre de ltude, le dveloppement dune taxonomie de services, la planification des sondages, les mthodes danalyses, et les impacts des rsultats sont successivement prsents. La mise en place dune approche pluraliste Ds le dbut de ltude, lquipe de projet et la direction de la Rgie ont eu le souci dtablir un partenariat avec les tablissements non seulement afin de faciliter la ralisation de ltude mais surtout de contribuer sa crdibilit. Il tait en fait primordial que cette dernire soit reconnue comme valide par les acteurs et les groupes dinfluence puisque les rsultats pouvaient facilement tre rcuprs afin de faire valoir les intrts de certains ou encore risquaient dtre rapidement mis en doute par dautres acteurs dont la position ne seraient pas particulirement avantage par les donnes prsentes. Ce partenariat a t tabli tout dabord par la mise sur pied dun comit qui regroupait des personnes de la Rgie rgionale, des reprsentants des rseaux dtablissements viss par ltude (centres hospitaliers, mdecins, CLSC, centres hospitaliers de soins de longue dure, les centres de radaptation pour personnes prsentant une dficience intellectuelle, et les centres jeunesses de ChaudireAppalaches) et un reprsentant des comits des usagers. Ces personnes avaient pour mandat principal de consulter et de reprsenter le point de vue de leur rseau et de faciliter les contacts avec les tablissements. Lexprience montre que la participation dun reprsentant des usagers apporte une contribution pertinente aux travaux mme si les enjeux ne se situent pas vraiment chez ce groupe. Il apparat souhaitable dassurer, en premier lieu, la participation de reprsentants de groupes porteurs denjeux tout en limitant le nombre de personnes environ dix quinze pour faciliter le fonctionnement de ce type de comit. Mme si ltude reposait sur des bases mthodologiques crdibles, le comit a t un outil indispensable afin de la modeler aux ralits rgionales et aux besoins des utilisateurs potentiels de ses rsultats.

LA REVUE

CANADIENNE D ' VALUATION DE PROGRAMME

Les membres du comit ont donc particip activement la dfinition de ltude. Par exemple, cest avec eux quont t valides les grandes orientations de ltude, notamment les clientles cibles et celles qui ont d tre exclues pour diffrentes raisons (e.g., impact des entrevues sur les usagers, possibilits de rejoindre les usagers par une mthode de sondage, considrations financires, contexte sociopolitique, etc.). Le comit a galement particip au choix des aspects de services considrs dans ltude et la dfinition des clientles spcifiques vises dans chacun des types dtablissements, et il a t une source dinformation de premire importance dans ltablissement des procdures de ralisation de ltude (e.g., donnes pour tablir les procdures assurant la reprsentativit des chantillons, informations pour tablir les procdures de collecte de donnes, valuation de la faisabilit des sondages, etc.). Mme si la participation na pas t aussi intensive dans chacun des types dtablissements, limplication du rseau dans la dfinition de cette mesure de la satisfaction des usagers a fait en sorte que cette tude ntait plus un projet de la Rgie seulement et a ainsi contribu en amliorer la lgitimit, la crdibilit et, bien entendu, la faisabilit. Le dveloppement dune taxonomie de services Pour les fins de la prsente tude, le concept de la satisfaction des usagers est oprationnalis partir de trois sources principales. Il sagit tout dabord du cadre de rfrence labor par Aday, Fleming et Andersen (1984), qui intgre des lments de structure et de processus, en plus de dgager les aspects de services auxquels se rattachent les concepts et les variables permettant didentifier les objets de mesure de la satisfaction des usagers. Deuximement, les travaux de Ware et al. (1983), qui ont conduit au dveloppement du Patient Satisfaction Questionnaire (PSQ), ont t une source de premire main. Le modle sur lequel est bas le PSQ reprsente bien les caractristiques des services et de leurs dispensateurs qui sont les plus souvent prsents et dterminants dans la documentation scientifique. Finalement, nous navions relev au Qubec quune seule tude apparente la ntre touchant plusieurs milieux et un ventail de services du domaine de la sant et des services sociaux. Elle a t ralise par la Rgie rgionale de Montral-Centre. Cette dernire propose non seulement une taxonomie de services, mais galement les rsultats dune enqute grand public permettant dobtenir des mesures de satisfaction chez des usagers ayant eu une exprience de services en CLSC, en centre

10

THE CANADIAN JOURNAL

OF

PROGRAM EVALUATION

hospitalier, et en cabinet priv de mdecins (RRSSS MontralCentre, 1994). Ce travail nous a permis de relever les aspects de services qui ont t considrs comme les plus importants par un chantillon de la population de la rgion de Montral. Il nous a aussi influenc dans le choix dorganiser notre taxonomie de services en fonction de trois grandes dimensions. Ces travaux ont permis dobtenir une banque ou univers daspects de services pouvant tre retenus dans ltude. Il nest toutefois pas possible de tout mesurer, mme si les aspects spcifiques des services qui peuvent tre valus sont trs nombreux et ultimement tous intressants. Une des premires tapes de ltude a donc consist dterminer quels aspects de services devaient tre retenus dans la mesure de la satisfaction des usagers. Pour ce faire, une premire slection a t faite partir dun ensemble de critres permettant dobtenir une liste qui soit la fois base sur des tudes antrieures pertinentes et utiles notre contexte. De faon sommaire, les critres nous ont amen favoriser: les aspects identifis comme tant importants dans ltude de Montral-Centre en ce qui a trait aux attentes des usagers de leur rgion; les aspects qui taient applicables lensemble des tablissements du rseau afin de constituer un corps central de questions communes lensemble des sondages; les aspects sur lesquels il semble possible dagir; les aspects non seulement applicables au contexte rgional mais propres ses particularits; les aspects associs aux droits des usagers, tels que mentionns dans la Loi sur la sant et les services sociaux; et les aspects mesurables par le biais de sondages et prfrablement pour lesquels des questions ont dj t dveloppes dans dautres tudes. Avant la dtermination finale des aspects de services retenir dans lvaluation de la satisfaction en Chaudire-Appalaches, le choix obtenu aprs lapplication des critres examins prcdemment a t confront un exercice de validation auprs des membres du Comit multidisciplinaire et dautres personnes consultes dans les diffrents rseaux dtablissements retenus. Ces derniers devaient indiquer limportance quils accordaient chacun des aspects de services proposs. Pour ce faire, ils avaient comme instructions de prendre en compte les facteurs suivants dans leur slection:

LA REVUE

CANADIENNE D ' VALUATION DE PROGRAMME

11

Le choix devait tre fait en fonction du contexte des tablissements ou groupes quils reprsentaient et en fonction de la ralit rgionale. Seulement 25 30 aspects devaient tre retenus mme si lensemble des aspects proposs pouvait tre jugs importants. Le point de vue des usagers devait tre considr dans ltude. Le rsultat de la consultation correspondait bien la slection obtenue par lquipe de projet suite lapplication des critres. Dans lensemble, seulement quelques aspects de services ont t ajouts ou retranchs afin de mieux reflter les proccupations des personnes consultes. La slection finale daspects de services, prsente ci-aprs, forme donc un corps central de thmes qui se retrouvent sous la mme forme dans tous les sondages et qui permettent de dresser un tableau rgional. Ces aspects sont regroups en fonction de trois grandes dimensions et, par consquent, concernent non seulement la dimension relationnelle (huit items qui se rattachent la relation client-professionnel et aux aspects humains dans les soins), mais galement la dimension professionnelle (huit items qui relvent de la comptence, de lintervention ou des soins et des rsultats obtenus), de mme quorganisationnelle (onze items qui correspondent la faon dont les services sont dispenss et organiss). cette base commune, des aspects de services spcifiques certains milieux ont t ajouts afin de mieux reflter les particularits de chacun des rseaux dtablissements viss dans chacun des sondages. Par exemple, des aspects de services propres des clientles prises en charge long terme ou hberges ont t considrs dans les sondages propres aux tablissements concerns par ce type de clientle. Encore une fois, dans ces cas, une uniformit des aspects de services examins a t recherche. Ceci a t fait particulirement en ce qui concerne les conditions de vie des personnes hberges o huit items se retrouvent dans tous les sondages sadressant ce type de clientle. Finalement, trois questions inspires du Client Satisfaction Scale de Attkisson et Greenfield, et traduites par Leichner et Perreault, ont t utilises afin dvaluer la satisfaction globale des rpondants envers les services examins.

Tableau 1 Aspects de services retenus dans lensemble des sondages dvaluation de la satisfaction
Dimension organisationnelle Dmarches ncessaires pour recevoir les services Temps dattente avant dobtenir les services (e.g., rendez-vous) Temps dattente sur place Heures douverture/horaire des intervenants Endroit des services Information pour trouver les services dsirs/ncessaires Propret des locaux Confort des locaux Liens entre les professionnels Suivi du dossier Possibilit de choisir intervenants

12

Dimension relationnelle Respect et considration coute Comprhension Respect des dcisions Accueil Gentillesse Respect de lintimit Confidentialit et discrtion

THE CANADIAN JOURNAL

OF

Dimension professionnelle Temps accord Informations suffisantes Informations claires Informations pour la prise de dcision Implication dans recherche de solutions Qualit ou comptence du personnel Efficacit des services Disponibilit

Aspects de service associs aux conditions de vie pour les personnes hberges Atmosphre/ambiance Activit de loisirs Horaire Heures des visites Mesures de scurit Nourriture Personnalisations de lenvironnement Possibilit davoir intimit

PROGRAM EVALUATION

LA REVUE

CANADIENNE D ' VALUATION DE PROGRAMME

13

En somme, la mthode employe nous a permis dobtenir un construit du concept de satisfaction adapte la ralit rgionale tout en respectant les exigences mthodologiques telles quun nombre restreint ditems et surtout lobtention dun corps commun daspects de services tudis. De plus, cette tude aura permis de mettre la disposition des tablissements du rseau un instrument de mesure commun et des rsultats auxquels chaque tablissement peut se rfrer et se comparer localement, diminuant ainsi une des principales limites souvent associes lvaluation de la qualit et de lutilit de la mesure de la satisfaction des usagers. LA PLANIFICATION DES SONDAGES Les types dtablissements concerns par ltude sont les centres hospitaliers (CH), les Centre locaux de services communautaires (CLSC), les cliniques mdicales prives, les Centres dhbergement de soins de longue dure (CHSLD publics et privs conventionns) et les units de soins griatriques de certains CH et CLSC, les Centres de radaptation de personnes prsentant une dficience intellectuelle (CRPDI), et les Centres jeunesse (CJCA). Afin de rejoindre les clientles des rseaux dtablissements viss par ltude, quatre sondages ont t raliss (Figure 1). Le premier sondage, identifi sondage grand public, permet de rejoindre les clientles des services les plus utiliss par la population, soit ceux des centres hospitaliers, des CLSC, et des cliniques mdicales. Les trois autres sondages visent les clientles des CHSLD, CRPDI, et des CJCA. Mentionnons que les rpondants taient des usagers des tablissements ou des personnes responsables (tuteurs ou proches consigns au dossier ou parent) de ces derniers, compte tenu de lexprience ncessaire pour porter un jugement sur la qualit des services. Dans le cas des sondages grand public et CHSLD, les rpondants taient des usagers ou des personnes responsables, en cas dincapacit ou de non disponibilit de ces derniers de participer lentrevue. En ce qui a trait aux sondages CRPDI et CJCA, les personnes responsables taient les rpondants. Plusieurs lments visant assurer la crdibilit des rsultats ont t mis en place en tenant compte des ressources et chanciers disponibles pour raliser ce projet. Parmi les plus importants, il faut souligner les suivants:

Figure 1.

14
THE CANADIAN JOURNAL
OF

PROGRAM EVALUATION

Note: Les types de services spcifis sous la ligne pointille sont considrs dans lchantillonnage mais ne font pas partie de lanalyse comme telle, car de trop grands chantillons seraient ncessaires pour analyser les rsultats en fonction des types de services de chaque type dtablissement. Ces catgories de services ont toutefois servi tablir le construit le plus reprsentatif possible de lentit de services de ltablissement auquel ils se rattachent.

LA REVUE

CANADIENNE D ' VALUATION DE PROGRAMME

15

Les quatre sondages taient les plus semblables possibles au point de vue mthodologique (corps central daspects de services mesurs, mme structure des questionnaires et des questions, mmes procdures de collecte de donnes, etc.). Pour tous les sondages, les chantillons taient alatoires et stratifis en fonction de certaines variables afin dassurer la reprsentativit des clientles de chacun des types dtablissements valus et des sous-rgions. Dans le cas du sondage grand public, les usagers ont t slectionns laide du bottin tlphonique et du logiciel spcialis dentrevues tlphoniques assistes par ordinateur Interviewer. Les tests des sommes, dinvraisemblance, de classe, et dintervalle ont t effectus. Dix pourcent des entrevues ont fait lobjet dune mesure de conformit. Des listes dusagers ont t requis pour les autres sondages. Une procdure dtaille conforme au plan dchantillonnage a permis la ralisation de ce travail. Deux des trois sondages clientles ont aussi t administrs par une firme indpendante comme pour le sondage grand public. Le sondage CHSLD fut ralis par un groupe dintervieweurs form par lquipe de recherche. Ce sondage administr dans le lieu dhbergement de lusager se prtait davantage au contexte de cette clientle. Les taux de rponses taient levs (60 87%) et les marges derreurs se situaient moins de 5% pour les donnes rgionales et autour de 10% pour les sous-rgions. Plusieurs lments visaient amliorer la validit des rponses et donc la qualit des donnes. Par exemple: Les procdures de collecte des donnes (e.g., intervieweurs indpendants) visaient rassurer les rpondants quant la confidentialit et lanonymat. Les questions taient formules le plus simplement possible et lchelle de rponse ne comportait que quatre choix afin de faciliter ladministration du questionnaire par tlphone. Lusager se voyait plac dans un contexte de service prcis afin que lobjet de son valuation soit le plus spcifique possible et afin de faciliter sa mmoire et de rendre son valuation la plus juste possible. Les aspects de services valus taient aussi trs circonscrits afin dviter une valuation globale des services, laquelle savre gnralement positive.

16

THE CANADIAN JOURNAL

OF

PROGRAM EVALUATION

Comme autre lment associ au contrle de la qualit des sondages, le niveau de consistance interne a t estim laide du coefficient de Cronbach dans les quatre sondages, et aucun ne sest rvl infrieur 0,85. Il convient de rappeler que ce coefficient est plutt conservateur comparativement aux autres mthodes disponibles telles que les mthodes de bissection. Les mthodes danalyse Devant la masse dinformation disponible, il tait essentiel de faire ressortir les principaux rsultats positifs ( maintenir) et ngatifs ( amliorer) des sondages. Ces derniers devaient tre suffisamment spcifiques pour assurer que les dcideurs et les gestionnaires se sentent concerns et quils puissent identifier des pistes daction prcises sans toutefois tomber dans le pige dtablir un bulletin de performance destin chacun des tablissements ou mme chacune des sous-rgions. Encore une fois, les membres du comit ont t impliqus dans linterprtation des rsultats obtenus. Dans ce contexte, il fallait aller au-del des taux de satisfaction qui sont gnralement levs. Cela a t fait par le biais de lidentification des aspects de services les plus et les moins satisfaisants pour chaque type dtablissement. En ce qui concerne les aspects les moins satisfaisants, deux critres identiques pour tous les types dtablissements ont t utiliss (critre 1: aspects de services pour lesquels le plus petit nombre de rpondants trs satisfaits est observ et critre 2: aspects de services prsentant la plus grande proportion de rpondants insatisfaits). titre indicatif, la Figure 2 prsente les rsultats des moyennes des proportions de rpondants trs satisfaits pour chaque type dtablissement selon les dimensions de services. On constate des proportions de rpondants trs satisfaits qui varient selon ltablissement mais qui, pour chacun deux, avoisine un indice moyen de satisfaction (IMS). Ces rsultats montrent une application du critre 1 portant sur les trs satisfaits. Cette application donne lieu pour chaque type dtablissement une analyse non seulement sur les dimensions de services (3 4), mais galement sur les aspects de services spcifiques de celles-ci (25 30), comme le montre la Figure 1. Cette approche a t galement applique sur les proportions qualifies de insatisfaits pour permettre lapplication du critre 2. Elle offre lavantage de discriminer davantage les aspects de services selon deux perspectives en sintressant dabord

LA REVUE

CANADIENNE D ' VALUATION DE PROGRAMME

17

un concept apparent la qualit (trs satisfaits) et un autre concept, cette fois de non qualit (insatisfaits et trs insatisfaits). Le problme soulev leffet que les scores obtenus des tudes de satisfaction sont levs, comme cest le cas des quatre sondages effectus ici, sen trouve donc contourn ou solutionn. Dans les prsentations, laccent a donc t mis la fois sur les aspects positifs et ngatifs et sur les aspects communs et divergents entre les types dtablissements et entre les sous-rgions. De plus, ds ce moment des pistes daction, avec lesquelles les dirigeants de la Rgie et les membres du comit taient en accord, taient suggres afin de diriger les discours vers la recherche de solutions. Les impacts des rsultats et laide la dcision La mesure de la satisfaction auprs dun aussi vaste bassin dusagers de divers types de services de sant et de services sociaux lchelle rgionale a donc permis une mesure directement associe la qualit des services telle que perue par la population, soit lutilisateur envers qui la Rgie est imputable. Bref, cette mesure ajoute de linformation utile laction, la prise de dcision, de mme qu la rgulation du systme. Toutefois, elle comporte ses propres limites qui attnuent en quelque sorte limpact mme des rsultats. Une des limites importantes de cette tude est de ne porter que sur les usagers passs ou actuels. Il est vident que le dbat public entourant le systme de la sant et des services sociaux implique aussi les non-usagers ou les usagers futurs des diffrents tablissements. Une autre limite est certainement le pige viter pour un organisme public comme la Rgie rgionale dutiliser les rsultats pour des fins de rgulation dfensive plutt que comme outil de rgulation dmocratique. Comme autres limites signaler, soulignons le fait que de nombreux professionnels ne reconnaissent pas encore lusager la comptence de porter un jugement sur la qualit des services et donc que les seuls rsultats de ce type dtude ne sont pas suffisants pour justifier la mise en place de mesures correctrices. Une dernire limite tient au fait, comme nous lavons dj soulign, de la prolifration dinstruments ad hoc qui, loin de sestomper, semble en plein essor. Mentionnons, ce titre, les travaux dagrment des tablissements de sant et de services sociaux et lvaluation de la qualit de lacte effectue par des corporations professionnelles. Parmi les impacts plus positifs, ltude a permis dobtenir des informations sur des aspects de services pour lesquels on avait peu ou

Figure 2 Moyennes des proportions de rpondants trs satisfaits pour chaque dimension de services selon les types dtablissements

18
THE CANADIAN JOURNAL
OF

PROGRAM EVALUATION

LA REVUE

CANADIENNE D ' VALUATION DE PROGRAMME

19

pas de donnes (e.g., satisfaction envers les dlais dattente). Souvent dans ces domaines, les actions reposaient sur des informations lies aux systmes dinformation de gestion dont les impacts taient interprts en partie sur la base des impressions ou des commentaires des dispensateurs et dcideurs. Maintenant ces donnes permettent de lgitimer des dcisions et des actions et contribuent ainsi la rgulation du systme. Par ailleurs, la mdiatisation des rsultats a mis en vidence les responsabilits de la Rgie en matire dimputabilit en regard des services offerts la population. titre dillustration, voici un bref rsum des principaux constats, actions ou suivis qui ont t associs cette tude et qui ont eu un impact direct sur le systme: Le rsultat indiquant que la population disait manquer dinformation concernant les services offerts, et ceci dans tous les types dtablissements valus, a donn lieu la ralisation dune campagne dinformation lchelle rgionale. Les dlais dattente pour obtenir les services se sont rvls tre un problme du point de vue de lusager dans plusieurs types dtablissements. Mme si les problmes de cette nature relvent des responsabilits de chaque tablissement, ces derniers ont t invits assurer un suivi sur cette question qui met en relief notamment les pratiques professionnelles et de gestion. Toutefois, la Rgie a fait connatre publiquement cette faiblesse du systme la population et aux tablissements. La satisfaction des usagers envers la qualit des services ressort comme tant trs leve notamment en ce qui concerne les dimensions relationnelles et professionnelles. Ces rsultats ont eu pour effet de rassurer lensemble des acteurs quant au maintien de la qualit des services offerts malgr les changements importants introduits. De faon gnrale, aucune diffrence notable nest releve concernant la satisfaction des usagers entre les sous-rgions (quoique les marges derreurs soient leves, avec une moyenne de 10%) et entre les diffrentes catgories dtablissements. Ces rsultats de ltude, jumels aux hauts taux de satisfaction gnralement enregistrs, ont ainsi diminu ou tempr des discours ou positions vhiculs par divers groupes de pressions concernant la satisfaction de la population envers les services reus. En somme, devant limpact de cette tude auprs des acteurs, des dcideurs, des gestionnaires, de la population, et ultimement dans

20

THE CANADIAN JOURNAL

OF

PROGRAM EVALUATION

la qualit des services offerts, la mesure de la satisfaction des usagers apparat comme un outil dinformation utile la Rgie rgionale. Les informations obtenues ont en effet pu tre retournes aux diffrents acteurs, groupes de pression, et mme auprs de la population par le biais des mdias. Elles ont pu ainsi ajouter des lments nouveaux et fiables dans la rgulation du systme par le biais de sa contribution aux dbats et enjeux entourant la transformation du rseau des services de sant et services sociaux dans Chaudire-Appalaches. CONCLUSION La mesure de la satisfaction des usagers sest effectue dans la rgion Chaudire-Appalaches dans un contexte o les services de sant et des services sociaux et leurs retombes pour le dveloppement conomique local et rgional constituent un enjeu majeur. Derrire cet enjeu, diffrents groupes dinfluence sont loeuvre (professionnels de la sant regroups en syndicats et en corporations professionnelles, et administrateurs). Les groupes affects par des reconfigurations de services, des contraintes budgtaires, et ainsi de suite font valoir leurs options auprs de diffrentes instances, dont celle de la Rgie rgionale de la sant et des services sociaux de Chaudire-Appalaches. La Rgie est imputable de la gestion du rseau rgional au ministre de la sant et des services sociaux, mais surtout la population rgionale. Il importe donc que le lien dinformation avec le public soit loccasion dobtenir une rtroaction et den tenir compte dans la rgulation densemble du systme. Les moyens pour obtenir cette rtroaction sont dordre informationnel. Les systmes dinformation traditionnels se rvlent peu utiles pour assurer la rgulation du systme, car ils manquent de souplesse. Les sondages sont particulirement efficaces pour pallier la puissance grandissante des groupes de pression, puisque les options proposes par ces groupes et les orientations gouvernementales voluent plus que jamais en comptition dans lopinion publique. Lexistence de la position soutenue par la majorit constitue donc une source importante de lgitimit sur laquelle peut sappuyer laction des responsables administratifs et politiques. Dans le secteur de la sant et des services sociaux, la qualit des services telle que perue par les usagers du rseau devient donc un autre enjeu, cette fois plus spcifique, la Rgie rgionale. Lvaluation de la satisfaction des usagers est un des moyens jugs utiles pour assurer la rgulation du systme. Elle se veut une

LA REVUE

CANADIENNE D ' VALUATION DE PROGRAMME

21

mesure souple qui se modle aux structures, aux services, et leurs caractristiques. Elle devient ainsi un outil de rgulation. Lexprience de la Rgie rgionale sest effectue partir dune approche pluraliste o les diffrents lments de la mthode furent valids tout au long du dveloppement du projet et de sa ralisation. Le concept de la satisfaction a t oprationnalis partir daspects de services qui ont t regroups lintrieur dun corps central ditems. Ce corps central a t complt dautres aspects de services qui venaient mieux rendre compte des ralits particulires chacune des catgories dtablissements cibls. Ltude fut ralise dans six catgories dtablissements partir de quatre sondages dont la mthode commune assure la reprsentativit des territoires et des clientles. Par ce procd, il a t possible de raliser des comparaisons intersites et interservices. Ce choix mthodologique a permis dobtenir de linformation utile et sensible des enjeux de la rgion tout en vitant de personnaliser les rsultats. Les rsultats de ltude ont t prsents sous la forme de constats qui, partir de critres, ont t classs en aspects positifs ou ngatifs dans le but de susciter limplication des dcideurs. Ceux-ci devenaient ainsi plus concerns et ncessairement plus engags dans les lments de suivi apporter lvaluation de la satisfaction des usagers. Dans ce contexte, certains suivis prsents dans ltude se sont raliss ce jour. Ces derniers ont gnr des changements qui contribuent lamlioration des services et qui devraient se traduire par une plus grande satisfaction des usagers. Par ailleurs, lexistence de cette tude a aussi produit des impacts allant dans le sens de la rgulation du systme. Les rsultats ont clairement contribus la prise en compte de nouvelles donnes dans le discours des diffrents acteurs quant aux zones de force et de faiblesse du systme. Il en rsulte, entre autres, un outil utile pour assurer limputabilit de la Rgie auprs de la population et des principaux acteurs.

RFRENCES Aday, L.A., Fleming, G.V., & Andersen, R. (1984). Access to medical care in the U.S. Who has it, who doesnt. Chicago: Pluribus Press. Angus, E.D. (1995). Pour un systme de soins viable au Canada: Rapport de synthse. Ottawa: Universit dOttawa et Queens University, 147.

22

THE CANADIAN JOURNAL

OF

PROGRAM EVALUATION

Assemble Nationale. (1991). Lois sur les services de sant et les services sociaux et modifiant diverses dispositions lgislatives. Projet de loi 120 (chapitre 42). Attkisson, C., & Greenfield, T.K. (1994). Client Satisfaction Questionnaire8 and Service Satisfaction Scale-30. Dans M.E. Maruish (Ed.), The use of psychological testing for treatment planning and outcome assessment (pp. 402420). Hillsdale, NJ: Lawrence Erlbaum Ass. Donabedian, A. (1980). Exploration in quality assessment and monitoring - Volume 1 - The definition of quality and approaches to its assessment. Ann Arbor, MI: University of Michigan. Fafard, A., & Prevost, A. Coll. Sylvie Veilleux. (1996). valuation de la satisfaction des usagers du rseau de la sant et des services sociaux de Chaudire-Appalaches 1995-1996. Sainte-Marie: Rgie rgionale de la sant et des services sociaux de Chaudire-Appalaches. Favaro, P., & Ferris, L.E. (1991). Program evaluation with limited fiscal and human resources. Dans A.J. Love (Ed.), Evaluation methods sourcebook (p. 20). Ottawa: Socit canadienne dvaluation. Gorey, K.M., Chandler, R.G., & Osmun, D. (1996). Prevalent department of social services client satisfaction: A research and practice note. Canadian Journal of Program Evaluation, 11(1), 129138. Hall, J.A., Feldsein, M., et al. (1990). Older patients health status and satisfaction with medical care in an HMO population. Medical Care, 28, 261270. Health Services Research Group. (1992). A guide to direct measures of patient satisfaction in clinical practice. Canadian Medical Association Journal, 17271731. Leichner, P., & Perrault, M. (1990). Dveloppement et validation dune chelle multidimensionnelle de satisfaction en psychiatrie. Verdun: Centre hospitalier Douglas. Lemieux, V. (1986). Les politiques publiques et lexercice du pouvoir (Deuxime dition). Qubec: Laboratoire dtudes politiques et administratives, Dpartement de science politique, Facult des sciences sociales, Universit Laval.

LA REVUE

CANADIENNE D ' VALUATION DE PROGRAMME

23

Lemieux, V. (1988). Les sondages et la dmocratie. Qubec: Institut Qubcois de recherche sur la culture, 84. Ministre de la Sant et des Services Sociaux. (1994). Rapport de lenqute sociale et de sant 1992-1993 (Vol. 1). Qubec. Morin, H. (1993). Thorie de lchantillonage. Qubec: Presses de lUniversit Laval. Pascoe, G.C. (1983). Patient satisfaction in primary health care: A literature review and analysis. Evaluation and Program Planning, 6, 185210. Rgie rgionale de la sant et des services sociaux de Chaudire-Appalaches. (1995). Les services de sant et les services sociaux de Chaudire-Appalaches lheure des choix: Dcisions. Sainte-Marie. Rgie rgionale de la sant et des services sociaux de Montral-Centre. (1994). Les dimensions du service en matire de sant et de services sociaux: valuation des attentes et valuation de la satisfaction. Montral. Ruggeri, M., & Greenfield, T.K. (1985, April-June). The Italian version of Service Satisfaction Scale (SSS-30) adapted for community-based psychiatric patients: Development, factor analysis and application. Evaluation and Program Planning, 18(2), 191202. Ware, J.-E., Snyder, M.K., Wright, W.R., & Davies, A.R. (1983). Defining and measuring patient satisfaction with medical care. Evaluation and Program Planning, 6, 247263.