L’EVALUATION INTERNE OU L’AUTO-EVALUATION

DANS LA LOI DU 2 JANVIER 2002

(Conférence organisée par l’URIOPSS le jeudi 13 mai 2004 à la Baume-lès-Aix)

Contribution de Patricia BROTTO et François CHARLEUX (Cabinet RH &

organisation – Marseille) : « Pour un projet d’établissement au service de la qualité »

Introduction

Nous avons intitulé à dessein notre intervention « pour un projet d’établissement au

service de la qualité » et il nous semble important, avant d’aborder l’évaluation
interne dans la loi du 2 janvier 2002, de préciser deux choses :
1) L’évaluation dont il est question a pour champ, spécifiquement,
l’Etablissement et ses activités, et non l’Association ou son projet fondateur.
L’ « objet associatif » est hors de portée d’une démarche d’évaluation
normative. Nous nous référons ici au travaux de Jean AFCHAIN (Les
associations d’action sociale, Dunod, Paris, 2001)
2) L’évaluation ne peut s’envisager en dehors du cadre fixé par le projet
d’établissement. L’existence d’un projet d’établissement nous semble donc un
préalable à toute démarche d’évaluation.

Notre intervention comprendra deux parties. La première, intitulée « Contexte

réglementaire et démarche générale », après un rappel des exigences de la loi 2002-
2 en matière d’évaluation interne, nous conduira à aborder :
- la notion de « référentiel » au cœur du dispositif réglementaire,
- la démarche méthodologique préconisée par la DGAS en matière
d’évaluation interne,
- le lien à établir entre « Évaluation interne » et « Évaluation externe ».

La deuxième partie, « Du projet d’établissement à la démarche d’amélioration

continue » permettra de préciser certains points de méthode, utiles au moment de la
mise en œuvre d’une démarche d’auto-évaluation au sein d’un établissement. Il y
sera évoqué en particulier :
- la construction d’un référentiel d’auto-évaluation,
- le système documentaire à mettre en place, sans lequel aucune
évaluation formelle n’est évidemment possible,
- la démarche d’auto-évaluation et d’amélioration continue.

www.rh-organisation.fr Tél. 04 91 13 46 23 -1-

Première partie : Contexte réglementaire et démarche générale (F. CHARLEUX)

- Les exigences de la loi 2002-2

Si la qualité a toujours été au centre des préoccupations des établissements,

l’exigence réglementaire porte aujourd’hui sur l’obligation de formaliser (avant la fin
de l’année 2006) une évaluation interne : « Art. L. 312-8. - Les établissements et
services procèdent à l'évaluation de leurs activités et de la qualité des prestations
qu'ils délivrent, au regard notamment de procédures, de références et de
recommandations de bonnes pratiques professionnelles … »

L’utilisation de l’expression « de références et de recommandations de bonnes

pratiques professionnelles » est ici essentielle ; elle indique clairement que les
« référentiels » vont constituer la pierre angulaire du dispositif d’auto-évaluation. La
note de la DGAS du mois de mars 2004 dont nous aurons à reparler le confirme par
ailleurs. Mais qu’est-ce qu’un « référentiel » ?

- La notion de référentiel d’auto-évaluation

La notion n’est pas inconnue du secteur sanitaire et social. Nous citerons par
exemple le référentiel « ANGELIQUE », de juin 2000, pour l’amélioration de la
qualité en EHPAD (Ce référentiel est le fruit du travail de la mission MARTHE -
mission d’appui à la réforme de la tarification de l’hébergement des personnes
âgées. Cette mission était composée de représentants des services de l’Etat, des
conseils généraux, de l’assurance maladie, de responsables et de professionnels
d’établissements publics et privés, ainsi que de cadres de l’Ecole Nationale de la
Santé Publique). Mais plus connu encore, et qui s’inscrit dans une démarche
analogue qui lie à la fois évaluation interne et évaluation externe, est le référentiel
d’accréditation hospitalière (ANAES) de février 1999 pour sa première version.

Dans cette perspective méthodologique, un référentiel est un guide d’auto-évaluation

qui regroupe un ensemble de « références » ou de « bonnes pratiques
professionnelles » par rapport auxquelles un établissement peut comparer ses
propres pratiques. A titre d’illustration voici un extrait du référentiel d’accréditation
hospitalière pour la partie concernant « le patient et sa prise en charge – Droit et
information du patient ».

Référence 1 – L’établissement inscrit les droits et l’information du patient dans ses priorités.
1a – L’établissement a adopté les principes énoncés dans la charte du patient hospitalisé : le projet
d’établissement intègre ces principes.
1b – La direction, la Commission médicale d’établissement et la DSSI ou le responsable du service
de soins infirmiers développement une politique reposant sur les principes de la charte du
patient hospitalisé.
1c – L’existence de la charte est portée à la connaissance des professionnels et le document est
disponible dans tous les secteurs d’activités.
1d – Les professionnels sont formés à la question du respect des droits du patient.

www.rh-organisation.fr Tél. 04 91 13 46 23 -2-

Le référentiel apparaît ainsi sous la forme d’une suite d’affirmations dont chacune
constitue une exigence normative à respecter. Le champ de l’évaluation est
explicitement l’établissement, et l’objet, le dispositif d’accompagnement social ou
médico-social.

La question qui circule par conséquent aujourd’hui à l’intérieur des établissements

concerne la nature de ce référentiel ? Quel sera sa forme ? Quel sera surtout son
contenu ?

- Le Conseil national de l’évaluation (CNE)

La réponse dépend bien sûr du Conseil national de l’évaluation sociale et médico-

sociale qui, pour le moment, n’a pas fait connaître sa doctrine en la matière. On
retiendra simplement que le décret du 26 novembre 2003 (création du CNE), précise
que celui-ci, afin de promouvoir dans les établissements et services sociaux et
médico-sociaux le développement de l'évaluation interne et de l'évaluation externe,
sera chargé en particulier :

« 1° De valider, ou d'élaborer dans le cas prévu au premier alinéa de l'article L. 312-

8 précité, et de diffuser les outils et instruments formalisant les procédures,
références et recommandations de bonnes pratiques professionnelles applicables
aux différentes catégories d'établissements et de services énumérés aux I et III de
l'article L. 312-1 du même code ; »

« 2° De donner un avis sur les organismes habilités à pratiquer l'évaluation externe

mentionnée au deuxième alinéa de l'article L. 312-8 précité ; » etc.

Il apparaît donc probable, à la lecture de ce texte, que chaque établissement devra

choisir entre s’approprier un référentiel ou élaborer le sien propre. Cette hypothèse
est par ailleurs confirmée par une note récente de la DGAS.

- Démarche qualité et évaluation interne – Guide méthodologique (DGAS –

mars 2004)

La direction générale de l’Action Sociale (DGAS) a diffusé en effet au cours du mois

de mars 2004 un guide méthodologique (Démarche qualité – Evaluation interne dans
un établissement ou service médico-social ou social et recours à un prestataire.
Guide méthodologique. Préface de Jean-Jacques TREGOAT, directeur général de
l’Action sociale) qui mérite d’être évoqué en raison notamment des précisions qu’il
apporte sur les moyens à envisager en matière d’évaluation interne. Ni publication
scientifique, ni texte réglementaire, ce guide se veut un outil « d’aide à la décision »
destiné aux établissements et services que préoccupe la démarche qualité telle que
l’entend la loi 2002-2.

www.rh-organisation.fr Tél. 04 91 13 46 23 -3-

La première partie de ce guide est consacrée à la présentation des modalités de
mise en œuvre d’une démarche qualité. Partant de la distinction qu’il convient de
faire entre les notions de « démarche qualité » (processus d’amélioration continue) et
d’«évaluation» (mesure ponctuelle du niveau d’atteinte des objectifs), les auteurs
proposent la démarche suivante :

Information des acteurs

Formation des personnels à la démarche qualité

Appropriation ou élaboration d’un référentiel

Évaluation interne au moyen du référentiel

Planification et mise en œuvre des actions d’amélioration

Nouvelle évaluation interne

La troisième étape « Appropriation ou élaboration d’un référentiel » est révélatrice et

représente un point essentiel de ce guide méthodologique. A la différence du
secteur sanitaire qui utilise un référentiel unique (le « guide d’accréditation »
ANAES), il apparaît clairement ici que chaque établissement ou service devra choisir
son propre outil d’auto-évaluation. On notera alors qu’« élaboration » ou
« appropriation » forment deux opérations sensiblement identiques : pour
« élaborer » un référentiel il sera toujours utile de consulter les référentiels existants,
et s’ « approprier » un référentiel exigera inévitablement l’examen préalable des
référentiels en question...

- Evaluation interne/évaluation externe

A ce stade de notre exposé il nous semble important de formuler également une

hypothèse sur le lien qui devrait exister au plan méthodologique entre évaluation
interne et évaluation externe. Contrairement à certaine idée reçue qui tend à séparer
ces deux opérations, nous souhaiterions montrer qu’elles sont au contraire
intrinsèquement liées. Examinons ce lien en présentant ce que pourrait être la
démarche d’évaluation externe. Nous nous inspirons ici de la démarche
d’accréditation hospitalière.

www.rh-organisation.fr Tél. 04 91 13 46 23 -4-

 Demande d’engagement dans la procédure

Validation du référentiel

Évaluation interne

Communication de l’évaluation interne

à l’organisme habilité

Évaluation externe

Rédaction d’un rapport d’évaluation

D’un point de vue méthodologique, le référentiel utilisé pour l’évaluation interne

devrait donc servir lors de l’évaluation externe. Certes, là encore, il appartient au
Conseil national de faire connaître son avis. Mais il serait évidemment incohérent de
laisser un établissement s’auto-évaluer à l’aide d’un instrument (validé par ailleurs )
différent de celui qui servirait ensuite à l’évaluateur externe.

Deuxième partie : Du projet d’établissement à la démarche d’amélioration

continue (P. BROTTO)

Nous avons vu la place accordée au référentiel dans la démarche générale

d’évaluation interne. Considérons maintenant de plus près cet instrument, son
organisation et son utilisation dans une démarche d’amélioration continue.

- Le référentiel d’auto-évaluation : un contrat entre les parties prenantes

Le référentiel se situe à l’interface des relations entre les différentes parties

prenantes, comme la contractualisation du plus grand dénominateur commun :

www.rh-organisation.fr Tél. 04 91 13 46 23 -5-

 Bénéficiaires
(usagers,
familles…)

REFERENTIEL
Établissement D’AUTO- Commande
ou service EVALUATION sociale

Association

1) Le référentiel est l’expression concrète du projet d’établissement ou du projet

de service.
2) Le référentiel spécifie l’engagement pris par l’établissement à l’égard de ses
bénéficiaires.
3) Le référentiel est une traduction de la commande sociale et des modalités de
sa prise en compte
4) Le référentiel est l’attestation formelle de l’inscription du projet d’établissement
dans les valeurs associatives

Outil d’aide à la décision, le référentiel d’auto-évaluation doit se construire dans une

perspective opérationnelle. Pour cela, il conviendra de s’assurer que :
1) Le référentiel développe principalement les domaines à forts enjeux pour
l’établissement (Principe d’efficacité)
2) Il permet la définition d’objectifs réellement poursuivis, de résultats
véritablement désirés (principe de réalisme)
3) Il se décline à l’aide d’un vocabulaire concret, compréhensible par tous
(principe de simplicité)

- Les étapes de la construction d’un référentiel

Le référentiel se structure sur la base de dimensions, définies chacune par plusieurs

critères ; ces critères à leur tour se déclinant en indicateurs :

Définir les dimensions du référentiel

Décliner les critères pour chaque dimension

Identifier les indicateurs pour chaque critère

Dimensions: aspects clefs de l’organisation dont dépend le fonctionnement de

l’organisation
Critères: caractéristiques concrètes de chaque dimension.

www.rh-organisation.fr Tél. 04 91 13 46 23 -6-

Indicateurs: ils décrivent le niveau de réalisation des exigences portées par chaque
critère. C’est au travers des indicateurs que l’on arrive à cerner le modèle de
fonctionnement souhaité.

Exemple de dimensions :

Dimension 1 : Le processus de direction

Dimension 2 : Le service rendu aux usagers
Dimension 3 : Les partenariats
Dimension 4 : Le management des ressources humaines
Dimension 5 : La gestion des ressources matérielles

D’autres hypothèses sont toujours imaginables, mais celle à privilégier devra

permettre une description fine du fonctionnement de l’établissement. A titre
d’exemple également, voici déclinée en partie la dimension 4, « Le management des
ressources humaines » :

Dimension Critère Indicateurs

1 - Chaque salarié bénéficie d’un entretien annuel
de progrès qui permet d’établir ses besoins en
Management Gestion des formation (enregistrement)
des ressources compétences
humaines 2 - Un plan de formation annuel est établi en
fonction des priorités et des objectifs d’amélioration
de l’établissement

Ces deux indicateurs représentent à la fois l’ambition de l’établissement en matière

de « Gestion des compétences » et le moyen pour évaluer le niveau de réalisation
d’un des critères de la dimension « Management des ressources ».

La recherche des critères et des indicateurs doit aboutir de cette manière à la

construction d’une image à la fois globale et contrastée de l’ensemble des activités
de l’établissement.

- Répondre à l’exigence d’une auto-évaluation : la pyramide documentaire

La pratique de l’évaluation oblige à concevoir un système documentaire qui permet

la « traçabilité » sans laquelle aucune évaluation formelle n’est possible. On
distinguera trois niveaux à cette « pyramide » documentaire :

www.rh-organisation.fr Tél. 04 91 13 46 23 -7-

 Le projet d’établissement
(avec en annexe le
référentiel d’auto-
évaluation)

Les procédures et les

modes opératoires

Les enregistrements

Exemple :

Niveau 1 - Le projet « Chaque personne accompagnée bénéficie d’un projet personnalisé. Ce

d’établissement ou de projet est élaboré et évalué selon une procédure documentée. »
service (et le référentiel)

Niveau 2 - Les procédures Une procédure référencée décrit le processus d’élaboration et

et modes opératoires d’évaluation des projets personnalisés. Les exigences en matière
documentaire (enregistrements) sont spécifiées dans la procédure.
Niveau 3 - Les Le projet (ou une partie du projet) fait l’objet d’un document écrit
enregistrements enregistré.

- Évaluation interne et amélioration continue de la qualité

Le pilotage de l’amélioration continue suppose des réunions périodiques permettant

à la direction de suivre l’évolution du projet (actions entreprises, résultats obtenus,
etc.). La démarche est la suivante :

1 - L’auto-évaluation Le référentiel sert de base à un diagnostic qualité

guidée (identification des écarts)
Ce diagnostic est conduit selon le principe d’une auto-
évaluation partagée qui associe les différents
personnels

2 - L’élaboration du PAC Chaque écart constaté donne lieu à la planification

(Plan d’amélioration d’une action corrective. L’ensemble des actions
continue) correctives constitue le plan d’amélioration continue

3 - La revue de Direction Régulièrement, l’équipe de direction examine et

et l’amélioration continue du réajuste le dispositif d’évaluation (référentiel et
dispositif d’évaluation démarche d’évaluation partagée)

www.rh-organisation.fr Tél. 04 91 13 46 23 -8-

Ces réunions formelles, souvent nommées « revues de direction » constituent un des
moyens les plus efficaces dont dispose la direction d’un établissement ou d’un
service pour appuyer ses décisions. C’est au cours de ces réunions que sont
discutées les suites à donner aux différentes opérations d’évaluation de la qualité.
Ces réunions feront l’objet d’un enregistrement spécifique.

Conclusion

La pratique de l’auto-évaluation (voire l’évaluation externe) ne constitue pas une

remise en cause (de la qualité) du travail des opérateurs. L’auto-évaluation ne vise
pas davantage la standardisation a priori des pratiques professionnelles. L’auto-
évaluation ou l’évaluation interne concerne avant tout les pratiques managériales.
Elle vise à développer notamment la capacité des établissements et des services à
s’engager dans un processus d’amélioration continue de la qualité du service rendu
à la personne accompagnée.

www.rh-organisation.fr Tél. 04 91 13 46 23 -9-