OUTIL DE VERIFICATION DE LA

QUALITE DES DONNEES

MANUEL DE MISE EN OEUVRE

AVANT-PROJET
Mai 2008

Logos inclure : le Fonds Mondial de lutte contre le SIDA, la tuberculose et le

paludisme
Bureau du Coordonnateur Mondial pour la lutte contre le SIDA, Initiative du
Prsident amricain pour la lutte contre le SIDA, USAID
OMS
MEASURE Evaluation
STOP TB
RMB
ONUSIDA
Banque Mondiale

Remerciements
Cet outil a t labor grce la contribution dun certain nombre de personnes de diverses organisations.
Parmi les personnes les plus troitement impliques dans llaboration de loutil, on compte Ronald Tran Ba
Huy du Fonds Mondial de lutte contre le SIDA, la Tuberculose et le Paludisme et Karen Hardee, J. Win
Brown, Ron Stouffer, Sonja Schmidt, Yoko Shimada, David Boone et Philip Setel du Projet MEASURE
Evaluation. Einar Heldal, consultant TB et Charlotte Kristiansson de lInstitut Tropical Suisse ont aussi
contribu llaboration de loutil. Les autres personnes qui ont aussi contribu llaboration de loutil
sont : Bernhard Schwartlnder, Bernard Nahlen, Daniel Low-Beer, Linden Morrison, John Cutler, Itamar Katz,

Gulshod Allabergenova et Marton Sziraczki du Fonds Mondial de lutte contre le SIDA, la Tuberculose et le
Paludisme; Kathy Marconi, Michelle Sherlock et Annie La Tour du Bureau du Coordonnateur Mondial du
SIDA. Parmi les autres personnes qui ont apport une contribution et une analyse technique on peut citer :
Malgosia Grzemska, Christian Gunneberg, Pierre-Yves Norval, Catherine Bilger, Robert Makombe, Yves
Souteyrand, Tisha Mitsunaga, Cyril Pervilhac, Chika Hayashi, Abdikamal Alisalad, Evelyn Isaacs, Thuy
Nguyen Thi Thanh, Spes C Ntabangana, Andrea Godfreay, et Mehran Hosseini de lOMS; Bilali Camara de
PAHO/WHO, Deborah Rugg et Saba Moussavi de UNAIDS, Bob Pond de Health Metrics Network (HMN),
Pepukai Chikudwa de lAlliance Internationale contre le VIH/SIDA, Arnaud Trebucq de lUnion Internationale
contre la Tuberculose et les Maladies Pulmonaires, Rene LHerminez de KNCV Tuberculosis Foundation,
Rick Steketee de PATH, Verne Kemerer de MEASURE Evaluation, Abdallah Bchir et Anshu Banerjee de
lAlliance Mondiale pour les Vaccins et lImmunisation (GAVI); John Novak de USAID; Scott McGill et Gloria
Sanigwa de Family Health International; Matthew Lynch de Johns Hopkins University, Lee Yerkes de
Elizabeth Glaser Pediatrics AIDS Foundation. Loutil a grandement bnfici de la participation dun certain
nombre de personnes pendant les essais pilotes en Tanzanie, au Rwanda, au Vietnam et Madagascar.

Table des Matires

INTRODUCTION
A.
Contexte
B.
Objectifs
C.
Cadre conceptuel
D.
Mthodologie
E.
Slection des sites
F.
Rsultats
G.
Considrations thiques
H.
Mise en uvre
PHASE 1: Prparation et commencement
Etape 1. Choisir le pays, le(s) programme/ projet(s), le(s) indicateur(s) et la priode couverte par
le rapport.
Etape 2. Informer du programme, demander la documentation et obtenir les autorisations
ncessaires au plan national.
Etape 3. Choisir les sites qui seront vrifis.
Etape 4. Se prparer pour des visites de vrification sur le terrain
Etape 5. Faire une revue de la documentation
PHASE 2: Unit de S&E du programme/projet
Etape 6. Evaluer les systmes de gestion des donnes
Etape 7. Tracer et vrifier les rsultats venant de niveaux intermdiaires dagrgation.
PHASE 3 : Niveau(x) Intermdiaire(s) dagrgation
Etape 8. Evaluer les systmes de gestion dagrgation de donnes
Etape 9. Retrouver et vrifier les rsultats des rapports des sites.
PHASE 4: Les sites de fourniture de services
Etape 10. Evaluer les systmes de collecte et de notification des donnes
Etape 11.Retrouver et vrifier les rsultats partir des documents source
PHASE 5: Unit de S&E
Etape 12. Consolider lvaluation des systmes de gestion des donnes
Etape 13. Rdiger des recommandations et des conclusions prliminaires
Etape 14. Tenir une runion de clture
PHASE 6: Achvement
Etape 15. Rdiger un rapport prliminaire daudit
Etape 16. Revoir et collecter les remarques des pays et organisations commanditaires de lEQD
Etape 17. Finaliser le rapport daudit
Etape 18. Communiquer avec le programme/projet
Etape 19. Initier le suivi des actions recommandes
ANNEXE 1 : Protocole dvaluation du systme et protocoles de vrification des donnes
ANNEXE 2. Modles pour les organisations commanditaires de lEQD
ANNEXE 3 : Modles pour lagence daudit

ANNEXE 4 : slectionner un chantillon reprsentatif national

ANNEXE 5 : Calcul du facteur de vrification

INTRODUCTION

A- CONTEXTE
Les programmes nationaux et les projets financs par des donateurs uvrent dans le but de
raliser les ambitieux objectifs lis la lutte contre les maladies telles que le Syndrome
dImmunodficience Acquis (SIDA), la tuberculose et le paludisme. La mesure du succs et
lamlioration de la gestion de ces initiatives reposent sur des systmes solides de suivi et
dvaluation (S&E) qui produisent des donnes de qualit relatives lexcution du programme.
Dans lesprit du Three Ones, du Stop TB Strategy et du RBM Global Strategic Plan , un
certain nombre dorganisations multilatrales et bilatrales ont collabor pour laborer ensemble
un outil dEvaluation de la Qualit des Donnes (EQD). Lobjectif de cette initiative harmonise est
de fournir une approche commune pour lvaluation et lamlioration de la qualit des donnes
dans leur ensemble. Un outil unique contribue sassurer que les normes sont harmonises et
permet une mise en uvre conjointe entre les partenaires et avec les programmes nationaux.
Loutil dEQD met exclusivement laccent sur (1) la vrification de la qualit des donnes
rapportes, et (2) lvaluation des systmes sous-jacents de gestion et de notification des donnes
pour des indicateurs de rsultat standards au niveau du programme. Loutil dEQD nest pas
destin valuer tout le systme de S&E de la rponse dun pays au VIH/SIDA, la tuberculose
ou au paludisme. Dans le contexte du VIH/SIDA, lEQD
concerne la composante 10 (cest--dire la supervision de
soutien et la vrification des donnes) du Cadre
organisationnel pour un systme national fonctionnel de S&E
du HIV
Deux versions de loutil dEQD ont t dveloppes: (1)
L Outil de vrification de la qualit des donnes donne les
directives utiliser par une quipe externe daudit pour valuer
la capacit dun programme/projet fournir des donnes de
qualit ; et (2) l Outil dvaluation de routine des donnes de
qualit est une version simplifie de lEQD pour laudit; il
permet aux programmes et projets dvaluer la qualit de leurs
donnes et de renforcer les systmes de gestion et de
notification des donnes.
Elaboration dun cadre fonctionel
pour un systeme National de S&E

B- OBJECTIFS
Les objectifs de la version de lOutil dEQD pour la vrification consistent :

Vrifier la qualit des donnes rapportes pour les principaux indicateurs sur
les sites slectionns; et

Evaluer la capacit des systmes de gestion des donnes collecter et

rapporter des donnes de qualit. .
Par ailleurs, pour les programmes/projets auditer, les conclusions de lEQD peuvent savrer trs
utiles pour le renforcement de leur systme de gestion et de notification des donnes.
Loutil daudit de lEQD indique les procdures, protocoles et modles sur comment :

Dterminer la porte de la vrification de la qualit des donnes. LOutil dEQD

commence par les critres suggrs pour slectionner le pays, le(s) programme/projet(s) et
les indicateurs valuer. Dans la plupart des cas, cest lorganisation commanditaire de
lEQD qui choisit ces paramtres.

Engager le(s) programme/projet(s) et se prparer pour une mission de vrification.

LOutil dEQD contient des modles de lettres de notification de lEvaluation de la Qualit
des Donnes au programme/projet (afin dobtenir les autorisations requises) ainsi que des
indications pour prparer la mission dans le pays.

Evaluer la conception et la mise en uvre des systmes de gestion et de notification

des donnes. LOutil dEQD indique les tapes et un protocole pour identifier les risques
potentiels lis la qualit des donnes cres par le systme de gestion et de notification
des donnes du programme/projet.

Tracer et vrifier (recompter) les rsultats des indicateurs slectionns. LOutil dEQD
indique le(s) protocole(s) avec des instructions spciales, bases sur lindicateur et le type
du site de fourniture de service (par exemple, une structure sanitaire ou communautaire)
qui orientera lquipe daudit pendant la recherche et la vrification des donnes de
lindicateur slectionn partir des documents source et la comparaison des rsultats avec
les rsultats rapports par le(s) programme/projet(s).

Elaborer et prsenter les conclusions et recommandations de lquipe daudit. LOutil

dEQD fournit les indications sur comment et quand prsenter les conclusions et
recommandations de lEQD aux reprsentants du programme/projet et comment
programmer les activits de suivi, afin de sassurer que les tapes convenues pour
amliorer les systmes et la qualit des donnes sont ralises.

Remarque: Mme si lOutil de vrification de la qualit des donnes na pas t conu pour
valuer la qualit des services fournis, son utilisation pourrait aider amliorer la qualit des
services rsultant de la disponibilit de donnes de meilleure qualit lies la performance du
programme.

C- CADRE CONCEPTUEL
Le cadre conceptuel de lEQD et du REQD est illustr par figure 1 (ci-dessous). En gnral, la
qualit des donnes rapportes dpend des systmes sous-jacents de gestion et de notification
des donnes; des systmes plus solides doivent produire des donnes de meilleure qualit. En
dautres termes, pour que des donnes de bonne qualit soient produites par et travers un
systme de gestion de donnes, il est ncessaire de mettre en place des composantes
fonctionnelles cl tous les niveaux du systme les points de prestation de service, le(s)
niveau(x) intermdiaires o les donnes ont t rassembles (par exemple districts, rgions) et
lUnit de S&E au niveau le plus haut o les donnes ont t transmises. Par consquent, les
outils dEQD et REQD sont conus pour :
(1) vrifier la qualit des donnes,
(2) valuer le systme qui produit les donnes, et
(3) laborer des plans daction pour les amliorer.

Introduction- Figure 1. Cadre conceptuel pour le (R)EQD : Systmes de gestion et de

notification des donnes, domaines fonctionnels et qualit des donnes

D- METHODOLOGIE
LEQD est fond sur les composantes de la qualit des donnes, savoir que les programmes et
projets ont besoin de rapports de donnes exacts, fiables, prcis, complets et opportuns que les
gestionnaires peuvent utiliser pour affecter de manire efficace les ressources disponibles et
valuer le progrs fait dans le sens de latteinte des objectifs fixs (voir introduction, tableau 1).
Par ailleurs, les donnes doivent tre assez intgres pour tre considres comme crdibles et
doivent tre produites en respectant les normes de confidentialit.
Introduction Tableau 1: Dimensions de la qualit des donnes
Dimension de la
qualit des
donnes

Exactitude

Fiabilit

Prcision

Lexhaustivit

LOpportunit

LIntgrit

Confidentialit

Dfinition oprationnelle

Aussi appele validit Les donnes exactes sont considres comme tant correctes: Les donnes
mesurent ce quelles doivent mesurer. Des donnes exactes minimisent les erreurs (par exemple,
parti pris de l'enregistrement ou de la personne qui conduit l'interview, erreur de transcription, erreur
dchantillonnage) au point de les rendre ngligeables.
Les donnes gnres par le systme dinformation dun programme sont bases sur des
protocoles et procdures qui ne changent pas en fonction de la personne qui les utilise, du moment
et de la frquence de leur utilisation. Les donnes sont fiables parce quelles sont mesures et
collectes de manire cohrente.
Cela signifie que les donnes sont assez dtailles. Par exemple, un indicateur requiert la
connaissance du nombre dindividus qui ont reu de lassistance et des analyses du VIH et reu les
rsultats de leurs tests, selon le sexe de la personne. Un systme dinformation manque de
prcision sil na pas t conu pour enregistrer le sexe de lindividu qui a reu lassistance et les
analyses.
Lexhaustivit signifie quun systme dinformation duquel on tire les rsultats est inclusif de manire
approprie : Il reprsente la liste exhaustive des personnes ou units ligibles et pas juste une
fraction de la liste.
Des donnes sont dites opportunes quand elles sont jour (actuelles), et quand linformation est
disponible temps. Lopportunit est affecte par: (1) le rythme auquel le systme dinformation du
programme est mis jour ; (2) le rythme de changement des activits relles du programme ; et (3)
quand linformation est rellement utilise ou requise.
Les donnes sont intgres quand le systme utilis pour les gnrer est protg de tout parti pris
ou manipulation dlibrs pour des raisons politiques ou personnelles.
La confidentialit signifie que les clients sont assurs que leurs donnes seront conserves en
conformit avec les normes nationales et/ou internationales en matire de donnes. Cela signifie
que les donnes personnelles ne sont pas divulgues et que les donnes contenues sur des
supports papier et lectroniques sont traites avec un niveau de scurit appropri (par exemple,
gards dans des armoires fermes et des fichiers protgs par des mots de passe).

En fonction de ces dimensions de la qualit des donnes, loutil dEQD comprend deux
composantes : (1) valuation des systmes de gestion et de notification des donnes; et (2)
vrification des donnes dclares pour les indicateurs cl au niveau des sites choisis.
En consquence, la mise en uvre de lEQD est soutenue par deux protocoles (voir ANNEXE 1) :

Protocole 1: Protocole dvaluation du systme ;

Protocole 2: Protocole de vrification des donnes.

Ces protocoles sont administrs chaque niveau du systme de collecte et de notification des
donnes (cest--dire Unit de S&E du programme/projet, sites de fourniture de service et, de
faon approprie, tout niveau intermdiaire de regroupement - rgions ou districts).
Protocole 1- Evaluation des systmes de gestion et de notification des donnes :
Lobjectif de cette partie de lEQD est didentifier les dfis potentiels lis la qualit des donnes
cres par les systmes de gestion et de notification des donnes trois niveaux : (1) lUnit de
S&E du programme/projet, (2) les sites de fourniture de service, et (3) tout niveau intermdiaire de
regroupement (au niveau desquels les rapports des sites de fourniture de service sont rassembls
avant dtre envoys lUnit de S&E du programme/projet, ou tout autre niveau adquat).
Lvaluation des systmes de gestion et de notification des donnes se fera en deux tapes :

Un bureau en dehors du site pour la vrification de la documentation fournie par le

programme/projet ;

Des valuations du suivi sur le site au niveau de lUnit de S&E du programme/projet et au

niveau des sites de fourniture de service et des niveaux intermdiaires dagrgation (par
exemple districts, rgions).

Lvaluation couvrira 5 domaines fonctionnels comme indiqu en Introduction- Tableau 2 :

Introduction- Tableau 2. Questions dvaluation du systme par domaine fonctionnel

Domaines fonctionnels
Structures S&E,
fonctions et capacits

II

III

IV

Dfinitions des
indicateurs et
indications de
notification

Fiches et outils de
Collecte et de
notification des donnes

Processus de gestion
des donnes

Rsum des questions

1

Le personnel cl des S&E et de la gestion des donnes a-t-il t

identifi et des responsabilits claires lui ont-elles t assignes?

La majorit du personnel cl des S&E et de la gestion des

donnes a-t-elle reu la formation requise ?

Y a til des dfinitions dindicateurs oprationnels rpondant aux

normes requises et qui sont systmatiquement suivies par tous les
points de service ?

Le programme/projet a-t-il fourni une documentation claire (par

crit) de ce qui doit tre dclar qui, comment et quand est-ce
quune dclaration est-elle ncessaire ?

Y a-il des fiches standard de collecte et de notification des

donnes qui sont systmatiquement utilises ?

Les donnes sont-elles enregistres avec assez de

prcision/dtails pour mesurer les indicateurs adquats ?

Les donnes sont-elles gardes selon les normes internationales

ou nationales de confidentialit ?

Les documents sources sont-ils conservs et rendus disponibles

selon un accord crit ?

Une documentation claire sur les tapes de collecte, regroupement

et manipulation existe-elle ?

10

Les dfis lis la qualit des donnes ont-ils t identifis et des

mcanismes ont-ils t mis en place pour les relever ?

11

Y a-t-il des procdures clairement dfinies et suivies pour identifier

et harmoniser les divergences dans les rapports ?

12

Y a t-il des procdures clairement dfinies et suivies pour vrifier

priodiquement les donnes source ?

Liens avec les systmes

de notification au plan
national

L
e systme de collecte et de notification des donnes du
programme/projet est-il li au systme de notification national?
13

Le rsultat de cette valuation sera lidentification des forces et faiblesses de chaque domaine
fonctionnel du systme de gestion et de notification des donnes.

Introduction- Figure 2. Evaluation du systme de gestion des donnes (Illustration)

Protocole 2- Vrification des donnes rapportes pour les indicateurs cl :

Lobjectif de cette partie de lEQD est dvaluer, sur une chelle limite, si la fourniture de service
et les sites de regroupement des donnes collectent et rapportent les donnes pour mesurer le(s)
indicateur(s) vrifi(s) de manire prcise et temps- et de faire une vrification par recoupement
des rsultats rapports avec dautres sources de donnes. Pour cela, lEQD dterminera si un
chantillon des sites de fourniture de service a enregistr avec exactitude lactivit lie (aux)
indicateur(s) slectionns sur les documents source, et ensuite retrouver ces donnes afin de voir
si elles ont t correctement rassembles et/ou autrement manipules car ayant t soumises par
les sites initiaux de fourniture de service travers les niveaux intermdiaires lUnit de S&E du
programme/projet.
Lexercice de vrification des donnes se fera en deux tapes :

Vrifications approfondies au niveau des sites de prestation de service ; et

Vrifications du suivi aux niveaux intermdiaires de regroupement et au niveau de lUnit de

S&E du programme/projet.

Remarque: Pour des objectifs de vrification, les visites de sites au niveau intermdiaire de
regroupement doivent avoir lieu avant que les visites de sites au niveau des sites de fourniture de
service ne soient entreprises.

10

Introduction- Figure 3. Totaux du rapport de traage et de vrification du site de fourniture de service

travers les niveaux intermdiaires de regroupement jusqu lUnit de S&E du programme/projet

La premire tape de la vrification des donnes a lieu au niveau des sites de fourniture de service. Il y a cinq
types de vrification standard des donnes qui peuvent tre faits ce niveau (Introduction- Tableau 3) :
Introduction- Tableau 3. Site de fourniture du service- 5 types de vrification des donnes

Vrifications

Description

Requis

1 - Description

Dcrire la connexion entre la fourniture des services/commodits et

lachvement du document source pour enregistrer ce service.

Dans tous
les cas

2- Revue de la
documentation

Rviser la disponibilit et lexhaustivit de tous les documents source

de lindicateur pour la priode de notification slectionne.

Dans tous
les cas

3- Traage et
vrification

Retrouver et vrifier les nombres transmis: (1) Recompter les nombres

transmis partir des documents source disponibles ;(2) Comparer les
nombres vrifis avec les nombres transmis du site ;

Dans tous
les cas

4- Vrifications par
recoupement

Faire des vrifications par recoupement ( cross-checks ) des totaux

vrifis du rapport avec les autres sources de donnes (par exemple
rapports dinventaire, rapport de laboratoire, registres, etc.).

Dans tous
les cas

5- Contrle inopin

Faire des contrles inopins ( spot-checks ) pour vrifier la

Si faisable

11

fourniture relle des services ou commodits aux populations cibles.

Parce quil y a des diffrences significatives entre certains types dindicateurs et de sites- par
exemple des sites o il ya des installations (cliniques) et des sites communautaires- lEQD
contient des protocoles propres lindicateur pour raliser ces tapes standard de vrification des
donnes (par exemple, Protocole ART, Protocole VCT, Protocole(s) TB de Traitement des
rsultats; Protocole ITN, etc.). Ces protocoles spcifiques lindicateur sont bass sur des
protocoles gnriques qui ont t labors pour des sources de donnes fonctionnelles et
communautaires. Les fiches techniques des sites de fourniture de service de ces protocoles
gnriques de vrification des donnes sont montres en ANNEXE 1.
La seconde tape de la vrification des donnes a lieu aux niveaux intermdiaires de
regroupement (par exemple districts, rgions) et au niveau de lUnit de S&E du
programme/projet. Comme illustr en Introduction- Figure 3, lEQD value la capacit au niveau
intermdiaire de rassembler avec exactitude ou sinon de traiter les donnes soumises par les sites
de fourniture de service et transmettre ces donnes au prochain niveau dans les dlais requis. De
la mme manire, lUnit de S&E du programme/projet doit rassembler avec exactitude les
donnes transmises par les niveaux intermdiaires, publier et distribuer les rsultats du
programme national pour rpondre aux besoins dinformation des acteurs (par exemple les
donateurs).
Par consquent, les vrifications suivantes Introduction- Tableau 4) seront faites aux niveaux
intermdiaires dagrgation. Les mmes vrifications sont faites au niveau de lUnit de S&E.
Introduction- Tableau 4. Niveaux intermdiaires dagrgation des donnes- 2 Types de
vrification des donnes

Vrifications

Description

Requis

1- Revue de la
documentation

Faire la revue de la disponibilit, lopportunit et lexhaustivit des

rapports attendus des sites de prestation de service pour la priode de
transmission slectionne.

Dans tous
les cas

2- Traage et
vrification

Retrouver et vrifier les nombres transmis: (1) Rassembler nouveau

les nombres soumis par les sites de prestation de service ; (2)
Comparer les comptes vrifis aux nombres soumis au prochain
niveau (Unit de S&E du programme/projet) ; (3) identifier les raisons
dune quelconque diffrence.

Dans tous
les cas

Le rsultat de ces vrifications sera des statistiques sur lexactitude, la disponibilit, lexhaustivit
et lopportunit des donnes transmises.

12

Introduction- Figure 4. Statistiques sur la qualit des donnes (Illustration)

E- SELECTION DES SITES

Il ya quatre mthodes de slection des sites pour lvaluation de la qualit des donnes (EQD) :

1. Slection cible les sites visiter sont slectionns dans un but prcis, par exemple en
fonction de leur taille, leur proximit gographique ou par souci de la qualit des donnes
transmises. Dans ce cas, il nest pas ncessaire davoir un plan dchantillonnage. Cependant,
les conclusions de la vrification de la qualit des donnes produites partir dun tel
chantillon cibl ou dirig ne peuvent tre utilises pour faire des dductions ou
gnralisations sur tous les sites, ou sur un groupe de sites dans ce pays.

2. Conception de site restreint Un seul site est slectionn pour lEQD. Lavantage de cette
approche est que lquipe peut maximiser ses efforts sur un site et avoir un haut niveau de
contrle sur la mise en uvre des protocoles de vrification et une connaissance des
systmes spcifiques au site desquels les rsultats sont drivs. Cette approche est idale
pour mesurer le changement dans la qualit des donnes qui peut tre attribu une
intervention (par exemple une formation en gestion des donnes). Dans cette approche, la
vrification de la qualit des donnes est excute sur un site choisi ; lintervention est faite et

13

est suivie par une autre vrification de la qualit des donnes sur le mme site. Alors, tout
changement de la qualit des donnes pourrait plus probablement tre le rsultat de
lintervention.

3. Echantillonnage alatoire stratifi Cela implique quun chantillon alatoire stratifi est tir
dun groupe de sites sous- nationaux o une variable dintrt particulier est choisie comme
base des sites visiter. Comme exemple de ces variables, on peut citer les sites ruraux, les
sites extrmement grands, les sites grs par un certain type dorganisation (par exemple les
ONG) ou les sites qui se trouvent dans des rgions ou districts particuliers du pays. De tels
chantillonnages alatoires stratifis permettent Lquipe daudit de faire des dductions
partir des rsultats de la vrification de lchantillon de tous les sites appartenant la variable
dintrt de la stratification (comme tous les sites ruraux, tous les sites trs grands, toutes les
ONG, etc.).

4. Echantillonnage alatoire Il est souvent souhaitable de donner des avis sur la qualit des
donnes dun programme ou dun pays entier. Cependant, dans la plupart des pays il serait de
loin trs coteux et trs long de vrifier tous les sites de transmission de donnes dun
programme. En plus, cela peut tre inexact et trompeur de tirer des conclusions pour tous les
sites de mise en uvre en fonction de lexprience dun petit nombre. Les techniques
dchantillonnage alatoires nous permettent de slectionner un nombre relativement petit de
sites desquels des conclusions peuvent tre tires et qui peuvent tre gnralises pour tous
les sites du programme/projet. De tels chantillonnages reposent sur des proprits
statistiques (par exemple la taille de lchantillon, la variabilit du paramtre mesur) qui doit
tre examin lors du choix de lapproche utiliser. Parfois, le nombre minimum de sites
acceptable (en termes de validit statistique) requis par la mthodologie de lchantillonnage
est toujours trop grand en termes de cots et de personnel disponible. Compromettre la
mthodologie en incluant moins de sites que ce qui est indiqu ou remplacer un site par un
autre pour des raisons de convenance peut produire des estimations errones ou biaises de
la qualit des donnes. Cependant, vu les ressources appropries, lchantillonnage alatoire
offre la mthode la plus puissante pour tirer des dductions sur la qualit des donnes pour un
programme ou un pays entier. Cette mthode implique la slection au hasard dun certain
nombre de sites qui sont ensemble reprsentatifs de TOUS les sites o les activits qui
soutiennent lindicateur objet de ltude sont mises en uvre. Reprsentatif signifie que les
sites slectionns sont similaires la population entire de sites en termes dattributs qui
peuvent affecter la qualit des donnes, par exemple, la taille, le volume de service et la
localisation. Lobjectif de cette approche est de produire des estimations quantitatives de la
qualit des donnes qui peuvent tre perues comme tant indicatifs de la qualit des donnes
dans lensemble du programme/projet et non uniquement des sites slectionns.
Le nombre de sites slectionns pour une EQD donn dpendra des ressources disponibles
pour faire les vrifications et du niveau de prcision dsir pour lestimation au niveau national
du facteur de vrification. Une estimation plus prcise requiert un chantillon plus large de
sites. Lquipe daudit devrait travailler avec lorganisation commanditaire de lEQD pour
dterminer le bon nombre de sites pour un programme et un indicateur donns.
F- RESULTATS
Dans la ralisation de lEQD, Lquipe daudit collectera et fournira des informations sur : 1) la
preuve de la revue du systme de gestion et de notification des donnes du programme/projet et
2) la preuve de la vrification des donnes. La documentation comprendra :

14

Des protocoles et modles complets compris dans loutil dEQD.

Des critiques et des observations, interviews et conversations avec les principaux

reprsentants de lUnit de S&E en charge de la qualit des donnes, aux niveaux
intermdiaires de transmission et au niveau des sites de fourniture de service.

Des conclusions prliminaires et des bauches de notes de recommandations bases

sur des preuves collectes dans les protocoles ;

Rapport final daudit Le rapport final daudit rsumera les preuves collectes par lquipe
daudit, identifiera les rsultats ou vides lis ces preuves et fera des recommandations
pour amliorer la qualit des donnes. Le rapport comprendra aussi le rcapitulatif des
statistiques suivantes qui sont calcules partir des protocoles de gestion du systme et
de vrification des donnes.
1- Force du systme de gestion et de notification des donnes base sur lanalyse du
systme de collecte et de notification des donnes du programme/projet comprenant les
rponses aux questions sur la bonne conception et la bonne mise en uvre du systme.
2- Exactitude des donnes transmises travers le calcul des facteurs de vrification
gnrs partir de lexercice de recherche et de recomptage de vrification entrepris
chaque niveau du systme de transmission (cest--dire, le ratio de la valeur recompte de
lindicateur sur la valeur transmise).
3- Rapports de disponibilit, exhaustivit et opportunit travers les pourcentages
calculs au(x) niveau(x) intermdiaire(s) dagrgation et de lUnit de S&E.
Ces statistiques sommaires, qui sont automatiquement gnres sur des fichiers Excel,
sont labores partir des protocoles dvaluation et de vrifications des donnes du
systme.

Toute communication relative au suivi avec le programme/projet et lorganisation

commanditaire de lEQD relative aux rsultats et recommandations de la vrification de la
qualit des donnes.

G- CONSIDERATIONS ETHIQUES
Les vrifications de la qualit des donnes doivent se faire en adquation totale avec les normes
thiques du pays et, si ncessaire, de lorganisation commanditaire de lEQD. Bien que les
quipes de vrification puissent avoir besoin daccder aux informations personnelles (par
exemple dossiers mdicaux) pour les besoins du recomptage et de vrification par recoupement
des rsultats transmis, sous aucune circonstance, des informations personnelles ne seront
divulgues en relation avec la ralisation de la vrification ou la transmission des rsultats et des
recommandations. Les quipes de vrification nont pas le droit de photocopier ou demporter des
documents du site.
En plus, le vrificateur nacceptera ni ne sollicitera directement ou indirectement un bien de valeur
conomique comme prsent, pourboire, faveur, loisir ou prt qui pourrait sembler tre destin de quelque
manire que ce soit linfluencer dans son travail officiel, plus particulirement venant de quelquun dont les

15

intrts peuvent tre srieusement affects par laccomplissement ou le non-accomplissement du travail du

vrificateur. Cette clause ninterdit pas lacceptation de nourriture ou de rafrachissements de valeur
insignifiante reues occasionnellement pendant une runion, confrence ou autres rencontres auxquelles le
vrificateur participe, ni lacceptation de matriel promotionnel non sollicit tels que stylos, calendriers,
et/ou autres articles de valeur nominale intrinsque.
H- MISE EN UVRE
La vrification de la qualit des donnes sera mise en uvre de manire chronologique en 19
tapes conduites en six phases, comme indiqu en Introduction Figure 1.
Introduction - Figure 1. Phases et tapes de vrification de la qualit des donnes
PHASE 1

PHASE 2

PHASE 3

PHASE 4

PHASE 5

Niveaux intermdiaires de rassemblement

(ex :district)
de gestion M&E
Unit de gestion M&E
Prparation et commencement (sites Unit
multiples)
Sites de fourniture de service / Organisations

PHASE 6

Fin
(sites multiples)

Assess Data Management and Reporting System

1- Slectionner les indicateurs et la priode de transmission du pays, Programme/projet

6- Evaluation des systmes
8- Evaluation
de gestiondes
dessystmes
donnes de
10-collecte
Evaluation
et dedes
notification
systmesdes
de rassemblement
donnes
12- Consolider
et de notification
lvaluationdes
desdonnes
systmes 15de gestion
Rdigerdes
undonnes.
projet de rapport de vrification

16- Analyser et collecter le feedback du pays et de lOrganisation commanditaire du DQ

2- Informer le Programme, demander la Documentation et Obtenir les autorisations nationales
9- Rechercher
et vrifier les
rsultats
11- Rechercher
des
sites deetfourniture
vrifier lesdersultats
Service partir des document source
7- Rechercher et vrifier les rsultats des
sites de rassemblement
intermdiaires
Reports

17- Finalize Audit Report

3- Slectionner les sites verifier

Rechercher et vrifier les donnes des indicateurs

18- Communiquer
avec le Programme/projet
13-Projet de rapport de notes de rsultats et recommandations
prliminaires

parer pour des visites de vrification sur le terrain: 1) Timing, 2) Constitution de lquipe; et 3) logistique

14- Tenir une runion de

clture
19Proposer un suivi des actions recommandes
5- Revue de la Documentation

PHASE 1- les tapes 1-5 sont ralises par lOrganisation commanditaire de lEQD et dans
le bureau de Lquipe daudit.

Lorganisation commanditaire de lEQD dtermine le pays et le(s) programme/projet(s)

auditer. Lquipe daudit et/ou lorganisation commanditaire(s) de lEQD
slectionne(nt) alors les indicateurs correspondant et la priode de transmission (tape
1).

Lorganisation commanditaire de lEQD est charge dobtenir lautorisation nationale

dentreprendre la vrification, si ncessaire, et dinformer formellement du
programme/projet de lEQD Avant de visiter le programme/projet, Lquipe daudit fait

16

suivre une demande de documentation pour sa revue, comprenant des informations

desquelles seront tires les exemples de sites (tape 2).

Lquipe daudit, en collaboration avec lorganisation commanditaire de lEQD identifie

le nombre et la localisation des sites de fourniture de service et des niveaux
intermdiaires dagrgation qui y sont lis (cest--dire districts ou rgions) auprs
desquels les valuations de systme ainsi que la vrification des donnes seront
entreprises (tape 3).

Lquipe daudit se prpare pour des visites sur le terrain ; cela consiste faire un
programme de visites, constituer Lquipe daudit et rgler les questions logistiques qui
y sont relatives (tape 4).

Lquipe daudit fait une revue de la documentation fournie par le programme/projet.

(tape 5)

PHASE 2 - Les tapes 6-7 sont ralises au niveau de lUnit de S&E du

programme/projet.

Lquipe daudit value le systme de gestion et de notification des donnes au niveau

de lUnit de S&E (tape 6). Lvaluation a pour but didentifier les dfis potentiels lis
la qualit des donnes cres par le systme de gestion et de notification des donnes
du programme/projet.

Lquipe daudit commence par retrouver et vrifier le(s) indicateur(s) slectionn(s) en

faisant la revue des rapports soumis par les niveaux infrieurs de transmission (tels que
le bureau au niveau rgional ou du district), pour la priode de transmission
slectionne (tape 7).

PHASE 3- les tapes 8-9 sont ralises aux niveaux intermdiaires dagrgation (tels que
le bureau rgional ou de district), si le dans systme de gestion des donnes du
programme/projet, il existe de tels niveaux.

Lquipe daudit value le systme de gestion et de notification des donnes en

dterminant comment les donnes transmises par les niveaux infrieurs (par exemple
les sites de fourniture de service) sont rassembles et transmises lUnit de S&E du
programme/projet (tape 8).

Lquipe daudit continue rechercher et vrifier les nombres transmis des sites de
fourniture de service aux niveaux intermdiaires (tape 9).

PHASE 4- Les tapes 10-11 sont ralises au niveau des sites de fourniture de service (par
exemple, dans une structure sanitaire ou une communaut).

Lquipe daudit continue lvaluation du systme de gestion et de notification des

donnes au niveau des sites de fourniture de service en dterminant si un systme qui
fonctionne est en place pour collecter, vrifier et transmettre les donnes au niveau
suivant dagrgation (tape 10).

Lquipe daudit recherche et vrifie aussi les donnes pour lindicateur(s)

slectionn(s) des documents source jusquaux rsultats transmis par les sites de
fourniture de service (tape 11).

17

PHASE 5- Les tapes 12-14 sont encore ralises au niveau de lUnit de S&E du
programme/projet.

Lquipe daudit finalise lvaluation du systme de gestion et de notification des

donnes en rpondant aux dernires questions sommaires de vrification (Etape 12).

Lquipe daudit rdige alors lavant-projet des rsultats et recommandations

prliminaires de lEQD (tape 13) et les partage avec les reprsentants du
programme/projet de S&E pendant une runion ferme de vrification (tape 14).
Laccent est mis sur latteinte dun consensus avec les cadres du S&E sur les mesures
prendre pour amliorer la qualit des donnes.

PHASE 6 - Les tapes 15-19 sont ralises au niveau du bureau de Lquipe daudit et
travers des runions avec lorganisation commanditaire de l'EQD et le bureau du
programme/projet.

Lquipe daudit termine une bauche de rapport daudit (tape 15) qui est
communique lorganisation commanditaire de lEQD et le programme/projet (tape
16).

En fonction du feedback reu, Lquipe daudit termine le rapport final daudit (tape
17) et communique le rapport au programme/projet.

A ltape de la vrification finale, on pourrait demander Lquipe daudit de proposer

un processus de suivi afin de permettre de sassurer que les amliorations identifies
dans le rapport final daudit sont mises en uvre. (Etape 19)

18

PHASE 1: PREPARATION ET COMMENCEMENT

PHASE 1
La premire phase de lEQD a lieu avant la rencontre entre Lquipe
daudit et le programme/projet. La responsabilit de la phase 1
Prparation et commencement (sites multiples)
repose en partie sur lorganisation commanditaire de lEQD et en
partie sur lagence dAudit.
1- Slectionner les
indicateurs et la priode
de notification dun
pays,
Programme/projet(s)

2- Informer le
Programme, demander
la Documentation et
Obtenir les
autorisations
Nationales

3- Slectionner les
Sites vrifier

4- Se Prparer pour
des visites de
vrification sur le
terrain: 1) Timing; 2)
Constitution de
lquipe; 3) Logistique

5- Revue de la
Documentation

1. Lidentification du pays et du programme/projet, de(s)

indicateur(s) slectionn(s) et de la priode de transmission
seront les points focaux du travail rel de vrification des
donnes au niveau de quelques sites de fourniture de service.
2. Notifier au programme/projet(s) slectionn
du projet
dEvaluation de la Qualit des Donnes et leur demander la
documentation relative au systme de gestion et de
notification des donnes que Lquipe daudit peut consulter
avant les visites des sites. Obtenir si besoin les autorisations
nationales pour entreprendre les vrifications, informer les
autorits
comptentes, coordonner avec les autres
organisations telles que les donateurs, impliquer
les
partenaires et les agences nationales de vrification si
ncessaire.
3. Dterminer le type dchantillon et le nombre de sites qui
seront soumis aux vrifications de la qualit des donnes sur
le terrain et communiquer la liste des sites au
programme/projet.
4. Se prparer pour les visites des sites en dterminant le
programme de la visite, en constituant Lquipe daudit et en
rglant les questions logistiques.
5. Faire la revue de la documentation fournie pour commencer
dterminer si le systme de gestion et de notification des
donnes programme/projet est capable de transmettre des
donnes de qualit, sil est implment fidlement sa
conception.
La dure des tapes suivantes de la PHASE 1 est estime entre
quatre et six semaines.

19

ETAPE 1. SELECTIONNER LE PAYS, LE (S) PROGRAMME/PROJET(S), LE/LES

INDICATEUR(S) ET LA PERIODE VISEE PAR LAUDIT

Ltape 1 peut tre accomplie par lOrganisation Commanditaire de LEQD et/ou lEquipe dAudit.
A- PROCEDER A LA SELECTION DU PAYS ET DU (DES) PROGRAMME/PROJET(S)
Selon toute probabilit, lOrganisation commanditaire de lEQD dcidera du pays ainsi que du
Programme/projet qui devrait faire lobjet dune Evaluation de la Qualit des Donnes. Cet outil
dEQD prsente certaines stratgies relatives la slection dun (de) Programme/projet(s) pour un
audit travers la fourniture dune liste de critres pertinents et dautres questions prendre en
compte. De toute vidence il nexiste pas de rgle unique relative la slection du (des)
Programme/projet(s) auditer; des circonstances internationales, locales et programmatiques
doivent tre prises en compte lors de la prise de dcision. La documentation de laudit devrait
inclure des informations sur lidentit de la personne ayant procd la slection et, dans la
mesure o elles sont connues, les raisons qui ont motiv cette dcision.
Une liste reprsentative des critres utiliser pour la slection dun pays et dun Programme/projet
est montre ci-dessous au niveau de lEtape 1 - Tableau 1. Si un Programme National fait
effectuer laudit, il peut galement utiliser ces critres pour procder la slection des aspects du
programme (ex. les indicateurs) qui seront audits.
Etape 1 - Tableau 1. Critres Illustratifs pour la Slection du Pays, du Secteur des
Maladies /de la Sant et du Programme/projet
1

Le montant du financement investi au niveau des pays et des programmes/projets

au sein du secteur des maladies/de la sant.

Les Rsultats cibls ou notifis issus des pays et des Programmes/projets (tel que
le nombre de personnes sous traitement ART, de MII distribues ou les Nombres
de cas Dtects avec le programme DOTS).

Les grandes diffrences au niveau de la notification des rsultats dune priode

lautre au sein dun pays ou dun Programme/projet.

Les Ecarts entre les rsultats programmatiques et les autres sources de donnes
(ex., dpenses lies lachat de produits sanitaires qui ne correspondent pas au
nombre de personnes sous traitement ARV notifi).

Les carts entre les donnes notifies issues dun projet particulier et les rsultats
nationaux (ex., le nombre notifi de MII distribues ne correspond pas aux chiffres
lchelle nationale).

Les conclusions issues des valuations de S&E prcdentes indiquant des carts
au niveau des systmes de gestion et de notification des donnes au sein du
( des) Programme/projet(s).

Les Opinions/rfrences relatives aux faiblesses perues de la qualit des

donnes et/ou aux risques au sein dun Programme/projet.

Un calendrier daudit priodique associ au financement ou aux examens de

renouvellement.

La volont de choisir au hasard certains pays et programmes/projets devant faire

lobjet dun audit.

Quand les Organisations Charges de lEQD slectionnent le pays et le Programme/projet devant

faire lobjet dune Evaluation de la qualit des donnes, elles pourraient juger utile de classer les
pays (ou les Programmes/projets) en fonction du montant quelles y ont investi et/ou des
conclusions qui ont t rapportes (rsultats). Ce classement pourrait se faire dans lordre
suivant :

Tout dabord, classer les pays ou le (les) Programme/projet(s) en fonction du

montant de linvestissement pour une maladie spcifique ;

En second lieu, identifier les indicateurs ncessaires pour le classement des pays
(ou des Programmes/projets) en fonction des rsultats notifis (cette liste sera en
gnral rserve lOrganisation particulire commanditaire de lEQD) ;

En troisime lieu, dterminer le classement de chaque pays ou Programme/projet

pour chacun des indicateurs identifis.

Cette liste devrait aider lOrganisation Commanditaire de lEQD de classer les pays ou
Programme/projet(s) par priorit. ANNEXE 2, Etape 1 Le Modle 1 sert illustrer une telle
analyse.
B- PROCEDER A LA SELECTION DE(S) LINDICATEUR(S)
Dautres dcisions importantes prendre lorsquon se prpare pour une Evaluation de la Qualit
des Donnes consistent dcider: (1) des indicateurs qui seront inclus dans laudit; et (2) de la
(des) priode(s) pendant laquelle (lesquelles) effectuer laudit. Dans certains cas, il peut tre
demand lAgence dAudit de faire cette slection. Il est recommand de slectionner jusqu
deux indicateurs au sein dun Secteur des Maladies /de la Sant et dinclure quatre
indicateurs au maximum si plusieurs Secteurs des maladies/de la Sant sont associs
une Evaluation de la Qualit des Donnes. La slection de plus de quatre indicateurs pourrait
aboutir lobtention dun nombre excessif de sites valuer.
La dcision relative aux indicateurs inclure sera en gnral prise par lOrganisation Charge
deffectuer l EQD et peut tre base sur un nombre de critres, y compris une analyse des
niveaux de financement concernant divers Secteurs du Programme (ex., ARV, PTME, MII, DOTS,
BCC) ainsi que les rsultats notifis relatifs aux indicateurs associs En outre, le facteur
dterminant pourrait tre les Secteurs du Programme qui proccupent lOrganisation Charge
deffectuer lEQD et/ou le Programme National (ex. les programmes communautaires qui peuvent
tre plus difficiles suivre que les programmes infrastructurels). Lanalyse effectue au niveau de
lEtape 1 peut contribuer guider la slection des indicateurs inclure dans lEvaluation de la
Qualit des Donnes.

Les critres pour la slection des indicateurs relatifs lEvaluation de la Qualit des Donnes
pourraient tre les suivants :
1. Indicateurs Examiner Ncessairement . Selon le(s) programme/projet(s) slectionn pour
faire lobjet dun audit, lOrganisation Commanditaire de lEQD peut avoir une liste des
indicateurs revoir absolument et qui devraient tre slectionns en premier (ex les
indicateurs relatifs aux personnes sous Traitement ARV, aux MII distribues ou (Retraites) et
aux Nombres de cas Dtects avec le programme DOTS) Ceux-ci constituent en gnral les
indicateurs qui sont utiliss lchelle internationale pour mesurer la raction mondiale face
la maladie. Par exemple, en ce qui concerne les audits effectus par le biais du Fonds Mondial,
les indicateurs devant faire lobjet dun audit proviendront en gnral de sa liste des 10
premiers indicateurs. Sous le PEPFAR, la liste proviendra probablement dindicateurs qui se
rapportent pour la plupart directement aux objectifs consistant placer 2 millions de personnes
sous traitement tout en offrant 10 millions de personnes un appui et des soins mdicaux.
Dautres bailleurs de fonds et Programmes Nationaux peuvent avoir des listes diffrentes
dindicateurs importants prendre en compte.
2. Importance Relative des Indicateurs.
a) Importance Relative de lInvestissement en Ressource dans les Activits Lies
lIndicateur. Par exemple, si le Programme/projet investit plus de 25 pour cent de son
financement dans un secteur spcifique du programme, alors lindicateur cl prsent au
niveau de ce secteur pourrait tre slectionn.
b) Chiffre rapport pour un Indicateur Relatif lobjectif par Pays. Si le Programme/projet
identifi a une activit notifie considrable au sein dun pays pour un indicateur, cet
indicateur devrait tre pris en compte pour un audit. Le terme considrable pourrait tre
dfini comme le fait de gnrer plus de 25 pour cent des chiffres globaux du pays rapports
pour cet indicateur.
3. Slection intentionnelle au Cas par Cas Dans certains cas, lOrganisation Charge
deffectuer lEQD peut avoir dautres raisons motivant linclusion dun indicateur dans
lEQD. Ceci pourrait tre d au fait quil ya des indicateurs pour lesquels il existe des
incertitudes concernant la qualit des donnes. Tel pourrait galement tre le cas des
indicateurs qui sont censs tre vrifis rgulirement et pour lesquels l'Organisation
commanditaire de lEQD veut un audit indpendant. Ces raisons devraient tre
documentes en tant que justificatifs de linclusion.
ANNEXE 2 Etape 1 Modle 2 contient un modle illustratif pour lanalyse de limportance relative
des investissements et des rsultats de lindicateur par Secteur du Programme.
C- SELECTIONNER LA PERIODE DE LAUDIT
Il est galement important didentifier la priode vise par laudit associe (aux) lindicateur (s)
devant faire lobjet dun audit. Idalement, la priode devrait correspondre la priode la plus
proche qui est pertinente pour le systme national ou pour les activits du Programme/projet
associes l'Organisation Commanditaire de lEQD. Si les circonstances le justifient, la dure de
l'audit pourrait tre moindre (par exemple, une fraction de la priode vise par laudit, tel que le
dernier trimestre ou mois de la priode vise ). Par exemple, le nombre de pices justificatives
dans un site de CDV o il ya beaucoup de monde pourrait tre important, les ressources du

personnel daudit peuvent tre limites ou les Sites de Fourniture de Service du Programme/projet
pourraient produire des rapports mensuels ou trimestriels relatifs aux pices justificatives en
question. Dans d'autres cas, la priode pourrait correspondre une priode vise plus rcente au
cours de laquelle des rsultats significatifs ont t notifis par le(les) programme/projet(s).
D - DOCUMENTER LA SELECTION
ANNEXE 2, Etape 1 Le Modle 3 fournit un outil qui peut tre utilis pour documenter la
slection du pays, du (des) programme(s)/projet(s), de lindicateur (des indicateurs) et de la
priode vise faisant lobjet de l'audit.

ETAPE 2. INFORMER LE PROGRAMME, DEMANDER LA DOCUMENTATION ET OBTENIR

DES AUTORISATIONS NATIONALES
LEtape 2 est typiquement accomplie par lOrganisation Commanditaire de lEQD.
A - INFORMER LE PROGRAMME ET DEMANDER LA DOCUMENTATION
L'Organisation Commanditaire de lEQD devrait aviser le programme/projet de l'imminence de
lEvaluation de la Qualit des Donnes ds que possible et obtenir les autorisations ncessaires
lchelle nationale et ailleurs. Elle devrait galement aviser les autres organisations, au besoin, de
laudit et demander une coopration, si ncessaire. On sattend ce que lEquipe dAudit suive
les rglementations nationales relatives la confidentialit des donnes et lthique. Il
incombe lEquipe dAudit d'identifier ces rglementations nationales et de les respecter.
ANNEXE 2, Etape 2 Modle 1 contient une bauche du langage pour la lettre de notification.
Cette lettre peut tre modifie, si ncessaire, en collaboration avec les parties prenantes locales
(par exemple, la Commission Nationale des Maladies, le Ministre de la Sant, le CCM, les
bailleurs de fonds concerns). La lettre doit tre accompagne de la demande de documentation
initiale provenant de lUnit de S&E, qui se situe au niveau de lEtape 2 - Tableau 1. Il est
important que l'Organisation Commanditaire de lEQD souligne la ncessit pour le(s) membre(s)
du personnel de lUnit de S&E en question daccompagner l'Equipe dAudit lors de ses visites de
sites.
Une fois la lettre de notification envoye, l'Organisation Commanditaire de lEQD devrait envoyer
une copie de la lettre de notification toutes les parties prenantes concernes, y compris, par
exemple :

Les agents du pays daudit en relation avec le programme/projet en cours daudit;

Lagence nationale daudit, au besoin, et
Les bailleurs de fonds, les partenaires au dveloppement, les organisations internationales
partenaires d'excution et les reprsentants concerns du groupe de travail de S&E.

LAgence dAudit devrait suivre avec le Programme/projet slectionn concernant laudit en cours,
les calendriers, les points de contact et la ncessit de fournir lavance certaines informations et
documentations.
L'Equipe dAudit aura besoin de quatre types de documents au moins deux semaines avant la
mission de pays.
1) Une liste de tous les points de service avec les derniers rsultats notifis, relatifs (aux)
lindicateur(s) ;
2) Une description des systmes de collecte et de notification des donnes ;
3) Les modles des formulaires de collecte et de notification des donnes; et
4) Les autres documents disponibles relatifs aux systmes de gestion et de notification des
donnes et la description du programme/projet (par exemple, un manuel des
procdures).

1) Liste des Sites de Fourniture de Services qui offrent des services en rapport avec
lindicateur(les indicateurs). L'Equipe dAudit devrait recevoir une liste de tous les Sites de
Fourniture de Service partir de laquelle un chantillon des sites auditer sera slectionn. Cette
liste de sites de fourniture de services devrait inclure :

La localisation rgion, district, etc. et dterminer si la zone est urbaine ou rurale.

Le type d'infrastructure - si le site de fourniture de service est une infrastructure sanitaire

(et de quel type par exemple, hpital, centre de soins de sant primaires) ou un site de
service communautaire.

Les dernires annonces des rsultats pour chacun des Sites de Fourniture de Services
(par exemple, le nombre de personnes sous traitement ou de cas traits avec succs)

Des informations sur d'autres lments (si ncessaire) - l'Organisation Commanditaire de

lEQD peut dfinir d'autres caractristiques qui dfinissent l'chantillon de sites tirer. Par
exemple, la slection peut inclure des sites du secteur public et priv ou peut se focaliser
sur les sites soutenus par des organisations religieuses ou non gouvernementales.

Une fois les Sites de Fourniture de Services et les Niveaux d'Agrgation Intermdiaires associs
slectionns pour laudit, il est essentiel que l'Equipe dAudit travaille dans le cadre du
Programme/projet afin daviser les sites et de leur fournir les fiches d'information qui figurent au
niveau de lannexe 3, Etape 2 Modles 1, 2, 3. Cette dmarche vise s'assurer que le
personnel concern est disponible et que les pices justificatives sont accessibles pour lindicateur
(les indicateurs) et la priode vise pour laudit.
2) Description du systme de collecte et de notification des donnes relatif lindicateur
(aux indicateurs). L'Equipe dAudit devrait recevoir le(s) modle(s) achev(s) qui figure au niveau
de l'annexe 2, tape 2 Modle 2 dcrivant le systme de collecte et de notification des donnes
ayant un rapport avec l'indicateur (les indicateurs)en cours daudit.
3) Les modles des formulaires de collecte et de notification des donnes. L'Equipe dAudit
devrait recevoir tous les modles des formulaires de collecte et de notification des donnes utiliss
tous les niveaux du systme de gestion de donnes pour l'indicateur (les indicateurs) auquel ils
sont lis (par exemple, les dossiers des patients, les fiches d'admission des clients, les registres,
les rapports mensuels, etc.)
4) Autres documents pour la revue des systmes. Les autres documents requis sont
ncessaires pour que l'Equipe dAudit puisse commencer l'valuation du systme de collecte et de
notification des donnes pour lindicateur(les indicateurs) slectionn(s) . Ces documents sont
numrs ci-dessous au niveau de l'Etape 2 - Tableau 1. Dans le cas o le Programme/projet ne
dispose pas de ces documents, l'Equipe dAudit devrait se prparer pour le faire suivre de la
gestion du Programme/projet, une fois dans le pays.
En outre, l'Organisation Commanditaire de lEQD devrait galement fournir l'Equipe dAudit des
documents de base pertinents concernant le pays et le programme/projet en cours daudit.

tape 2 - Tableau 1. Liste des Secteurs Oprationnels dAudit et de Documents

Demander au Programme /projet pour lExamen sur Place (si disponible)
Secteurs
Oprationnels
Informations
de Contact

I Structures
de S&E, Rles
et Capacits,

Documentation gnrale requise

Noms et coordonnes des agents cls du Programme/projet, y

compris le personnel cl charg des activits de gestion des
donnes.

Organigramme reprsentant les responsabilits de S&E.

Liste des postes et des statuts de S&E ( ex plein temps ou

partiel, pourvus ou vacants).

II Dfinitions
des
Indicateurs et
Directives de
rdaction des
rapports

III Formulaires et
Outils de
collecte et de
notification
des Donnes

Plan de formation de S&E, sil en existe un.

Instructions aux sites de notification concernant les besoins

de notification et les dlais.

Description de la manire dont la fourniture de service est

enregistre sur les pices justificatives, et sur les autres
documents tels que les registres cliniques et les rapports
priodiques des sites.

Un organigramme dtaill de donnes y compris:

o des sites de fourniture de service aux Niveaux
dAgrgation Intermdiaires (ex les bureaux de
district, les bureaux provinciaux, etc.),
o Des niveaux dAgrgation Intermdiaires (sil yen a )
lUnit de S&E.

Plan National de S&E, sil en existe un.

Des dfinitions oprationnelles des indicateurs en

cours daudit.
Un formulaire (des formulaires) de collecte des
donnes pour lindicateur(les indicateurs) en
cours daudit.
Un formulaire (des formulaires) de notification de
donnes pour lindicateur (les indicateurs)
faisant lobjet de laudit.
Des instructions pour remplir les formulaires de
collecte et de notification des donnes.

Vrifier
sils
sont
fournis

tape 2 - Tableau 1. Liste des Secteurs Oprationnels dAudit et de Documents

Demander au Programme /projet pour lExamen sur Place (si disponible)
Secteurs
Oprationnels

Documentation gnrale requise

IV - Processus
de Gestion des
Donnes

V Liens avec
le Systme
National de
Notification

Vrifier
sils
sont
fournis

Une documentation crite des processus de

gestion des donnes comprenant une
description de toutes les tapes de vrifications
dagrgation et de manipulation des donnes
accomplies chaque niveau du systme de
notification des donnes.
Des procdures crites en vue de relever les
dfis spcifiques de la qualit des donnes (ex
le double comptage, perdu pour le suivi), y
compris des instructions envoyes aux sites de
notification des donnes.
Des directives et des calendriers pour les visites
de surveillance de routine des sites.
Des liens documents entre le systme de
notification des donnes du Programme/projet et
le systme national de notification des donnes
concern.

La revue des systmes sera effectue en rpondant aux questions situes au niveau du
Protocole 1 de lEQD Protocole dEvaluation du Systme Le protocole est labor en cinq
secteurs oprationnels avec treize questions cls rcapitulatives qui sont essentielles pour valuer
la conception et la mise en uvre du systme de gestion des donnes du (des)
programme(s)/projet(s)afin de produire des donnes de qualit. Effectuer la vrification sur place
avec la documentation fournie avant la visite du Programme/projet allgera le fardeau que laudit
fera peser sur le personnel charg de la gestion des donnes au niveau de lUnit de S&E.
B- OBTENIR LAUTORISATION NATIONALE
Dans certains cas, une autorisation spciale pour effectuer lEQD peut tre requise auprs dun
autre organisme national, telle que lAgence dAudit Nationale. LANNEXE 2, Etape 2 Modle 3
fournit un texte pour la lettre exigeant cette autorisation supplmentaire en vue deffectuer lEQD.
Cette lettre devrait tre envoye lOrganisation Commanditaire de lEQD. Le(s) destinataire(s) de
la lettre dautorisation variera( varieront) en fonction le Programme/projet en cours daudit.
L'autorisation nationale ainsi que toute autre autorisation approprie pour effectuer lEQD auprs
des bailleurs de fonds appuyant les sites audits ou des agents du Programme/projet devraient
tre incluse dans le Rapport Final dAudit en tant que pice jointe.

ETAPE 3. SELECTIONNER LES SITES DEVANT FAIRE LOBJET DUN AUDIT

Ltape 3 peut tre accomplie par lOrganisation Charge de LEQD et/ou lEquipe dAudit.
Dans cette partie quatre alternatives sont prsentes pour la slection des sites au sein desquels
les quipes dEvaluation de la Qualit des Donnes effectueront le travail. Les alternatives sont
prsentes par ordre de complexit, de la Stratgie d'Echantillonnage A qui est compltement non
statistique, la Stratgie d'Echantillonnage D qui est une mthode dchantillonnage en grappes
plusieurs degrs qui peut tre utilise pour faire des infrences statistiques sur la qualit des
donnes lchelle nationale. Les Stratgies d'Echantillonnage B et C reprsentent des points
centraux entre les approches non statistiques et statistiques et offrent l'quipe daudit la
possibilit d'adapter laudit un ensemble spcifique de sites en fonction des besoins ou des
intrts.
L'Organisation Commanditaire de lEQD devrait dcider de la Stratgie d'Echantillonnage en se
basant sur l'objectif de lEQD et les ressources disponibles. L'Agence dAudit dcidera, sur la base
du type d'chantillon utilis, des sites devant faire lobjet de l'audit. Il se peut que lOrganisation
Commanditaire de lEQD souhaite tre implique dans la prise des dcisions relatives la
slection du site, en particulier si l'chantillonnage n'est pas alatoire.
A - METHODE DE SELECTION A
Il s'agit d'un chantillon prdtermin que l'Organisation Commanditaire de lEQD impose
l'Equipe dEvaluation de la Qualit des Donnes. Dans certains cas, il peut savrer ncessaire
d'effectuer une Evaluation de la Qualit des Donnes afin de se concentrer en particulier sur un
ensemble de points de fourniture de services qui sont prdtermins. Dans ce cas, il nest pas
ncessaire dlaborer un plan d'chantillonnage. Toutefois, les rsultats de lEvaluation de la
Qualit des Donnes produites partir d'un tel chantillon choisi dessein ou cibl ne
peuvent pas tre utiliss pour faire des dclarations gnralises (ou des infrences
statistiques) sur la population totale des sites dans ce pays. Les rsultats seront limits ces
sites visits par l'quipe d'audit.
B- METHODE DE SELECTION B
La Stratgie d'Echantillonnage B est aussi appele un plan de site sensible. Il est communment
utilis comme substitut pour l'chantillonnage probabiliste (bas sur un algorithme alatoire) et
constitue un bon plan de comparaison des rsultats d'audit sur plusieurs priodes. Au niveau du
Plan de Site Sensible, l'quipe daudit slectionne un site o se drouleront tous les travaux.
L'avantage de cette approche est que l'quipe peut maximiser ses efforts dans un seul site et avoir
un haut degr de contrle sur l'laboration des protocoles daudit ainsi quune connaissance des
systmes spcifiques au site do proviennent les rsultats. La Stratgie d'chantillonnage B
est idale pour valuer les effets d'une intervention afin damliorer la qualit des donnes.
Par exemple, lEQD est appliqu un site, et constitue une mesure de base. Une
intervention est mene (par exemple la formation), et lEQD est excut une seconde fois.
tant donn que tous les facteurs susceptibles dinfluencer la qualit des donnes sont les
mmes pour le pr et post-test (le mme site est utilis), toute diffrence dans la qualit des
donnes note au cours du post-test peut probablement tre attribue l'intervention. Une
telle approche de mesure rpte utilisant loutil dEvaluation de la Qualit des Donnes pourrait

tre hors de prix si elle est utilise conjointement avec un plan d'chantillonnage qui implique
plusieurs sites.

C- METHODE DE SELECTION C
Cet chantillon est tir par l'Equipe dEvaluation de la Qualit des Donnes dans le but de
maximiser l'exposition aux sites importants, tout en minimisant le temps et la somme d'argent
investis dans lexcution effective de laudit. Dans la plupart des cas, la Stratgie
d'Echantillonnage C implique la slection alatoire des sites au sein d'un groupe particulier, o
lappartenance au groupe est dfinie par un attribut d'intrt. Parmi les exemples de ces attributs,
on peut citer la localisation(par exemple, zone urbaine/rurale, rgion/district), le volume du service,
le type d'organisation (par exemple, religieuse, non gouvernementale), ou la performance sur les
valuations du systme(par exemple les sites qui ont obtenu de faibles rsultats avec lOutil de
Renforcement des Systmes de S&E).
L'chantillonnage alatoire stratifi utilis au niveau de la Stratgie d'Echantillonnage C
permet l'quipe daudit de faire des infrences, partir des rsultats de l'audit, tous les
sites qui appartiennent l'attribut dintrt de stratification (comme tous les sites ruraux,
tous les trs grands sites, tous les sites religieux, etc.). Ainsi, les rsultats de l'audit peuvent
tre gnraliss, partant du panel de sites vers une plus grande "population" de sites qui
appartiennent les sites chantillonns. Cette capacit gnrer des statistiques et faire de telles
gnralisations peut tre importante et est discute de manire plus dtaille dans la partie cidessous qui dcrit la Stratgie d'Echantillonnage D.
L'Echantillonnage Stratifi utilis au niveau de la Stratgie d'Echantillonnage C est sous national :
Les auditeurs de la qualit des donnes nessaient pas de faire des gnralisations sur les
programmes nationaux. En ce sens, la stratgie diffre de la Stratgie d'Echantillonnage D (cidessous), principalement en ce qui concerne sa plus petite porte. Les deux stratgies utilisent un
chantillonnage alatoire (expliqu plus en dtail dans l'Annexe 4), ce qui signifie qu'au sein dun
groupement particulier de sites (base dchantillonnage), chaque site a une chance gale d'tre
slectionn dans l'chantillon daudit.
IL est possible de calculer un facteur de vrification qui indique la qualit des donnes pour le
groupe avec l'attribut d'intrt, mais qui n'a pas une porte nationale.
D- METHODE DE SELECTION D
La Stratgie d'Echantillonnage D est utilise pour obtenir un Facteur de Vrification lEchelle
Nationale pour les indicateurs au niveau du programme, elle est complexe et requiert des
informations compltes et actualises sur la rpartition gographique des sites (quels que soient
les indicateurs qui ont t slectionns), ainsi que les rsultats spcifiques du site qui ont t
annoncs (dnombrements)pour l'indicateur qui est en cours d'valuation. La Stratgie
d'chantillonnage D pourrait galement tre considre comme un chantillon en grappes deux
phases modifi(modifi dans la mesure o un chantillon alatoire stratifi de sites, au lieu d'un
chantillon alatoire simple, est pris au sein des grappes slectionnes).

L'chantillonnage en grappes constitue une variation sur l'chantillonnage alatoire simple (o tous
les sites seraient choisis au hasard) qui permet un groupe de sites plus facile grer de faire
lobjet dun audit. Si tous les sites taient choisis au hasard, ils seraient probablement disperss
au niveau de tout le pays et demanderaient beaucoup de temps et de ressources pour l'audit.
Lchantillonnage en grappes prvoit la slection de quelques districts rduisant ainsi le nombre de
Voyages requis par les auditeurs.
Un plan d'chantillonnage scientifique suppose l'utilisation de la thorie des probabilits et implique
des statistiques. L'objectif des statistiques dans ce contexte est de permettre aux auditeurs de
produire des conclusions quantitatives relatives la qualit des donnes et qui peuvent tre
considres comme des prvisions de la qualit des donnes pour l'ensemble du
Programme/projet, et pas simplement comme la qualit des donnes au niveau des sites
slectionns. En outre, un chantillon scientifique prvoit la quantification de la certitude des
estimations d'exactitude trouves par laudit(c'est--dire les intervalles de confiance). Les
avantages d'un tel plan d'chantillonnage proportionnellement reprsentatif vont au-del du calcul
des Facteurs de Vrification et s'appliquent tous les rsultats empiriques issus de lEvaluation de
la Qualit des Donnes.
La principale unit d'chantillonnage pour la Stratgie d'Echantillonnage D est une grappe, qui
renvoie l'unit administrative politique ou gographique dans laquelle se situent les Sites de
Fourniture de Service. En pratique, la slection dune grappe est gnralement une unit
gographique, comme un district. En fin de compte, la slection d'une grappe permet l'quipe
daudit d'adapter le plan d'chantillonnage en fonction de ce quoi ressemble le programme du
pays.
La stratgie souligne ici utilise la probabilit proportionnelle la taille (PPT) pour obtenir la
dernire srie de sites que l'quipe daudit visitera. La Stratgie d'Echantillonnage D gnre une
slection de sites devant tre visits par l'quipe daudit qui est proportionnellement reprsentatif
de TOUS les sites o des activits appuyant l'indicateur(les indicateurs) l'tude sont en cours
dexcution.
Les grappes sont slectionnes dans la premire phase en utilisant un chantillonnage alatoire
systmatique, tandis que les grappes avec des programmes actifs tablissant des rapports sur
l'indicateur d'intrt sont inscrites dans une base dchantillonnage. Dans la deuxime phase les
Sites de Fourniture de service issus des grappes slectionnes sont choisis en utilisant un
chantillonnage alatoire stratifi, alors que les sites sont stratifis en fonction du volume de
service.
Le nombre de sites slectionns pour un EQD donn dpendra des ressources disponibles pour
effectuer laudit et le niveau de prcision dsir pour lvaluation du facteur de vrification
lchelle nationale. Les Equipes dAudit devraient travailler avec l'Organisation Commanditaire de
lEQD pour dterminer le nombre exact de sites pour un programme et un indicateur donns.
L'Annexe 4 contient une discussion dtaille et un exemple illustratif de la Stratgie
d'Echantillonnage D pour la slection des grappes et des sites pour lEQD.
Remarque: Lexactitude des estimations du facteur de vrification trouv par lutilisation de la
mthode d'chantillonnage GAVI employe ici a t mise en doute. Il est fortement conseill
l'Agence d'Audit dentrer en contact avec un spcialiste de l'chantillonnage qui peut guider
l'laboration des chantillons reprsentatifs et que les facteurs de vrification gnrs travers
lutilisation de ces mthodes soient interprts avec prudence.

ETAPE 4.

SE PREPARER POUR LES VISITES DAUDIT SUR SITE

LEtape 4 est accomplie par lEquipe dAudit.

LAgence dAudit devra se prparer pour les visites daudit sur site. En plus dinformer le
Programme/projet, dobtenir une liste des sites en question et de demander une documentation
(Etapes 2-3), lAgence dAudit devra : (1) estimer le temps requis pour effectuer laudit ( et
travailler avec le Programme/projet pour se mettre daccord sur les dates); (2) constituer une
Equipe dAudit avec les comptences requises; et (3) prparer le matriel pour les visites de site.
Finalement, lAgence dAudit devra laborer des programmes de voyage pour les visites de sites.
A - ESTIMER LE TEMPS
En fonction du nombre et de lemplacement des sites chantillonns visiter, l'Agence d'Audit
devra estimer le temps requis pour effectuer l'audit. Indications :

LUnit de S&E prendra normalement 2 jours (1 jour au dbut et 1 jour la fin des visites
de sites) ;

Chaque Niveau dAgrgation Intermdiaire (ex les Bureaux de District ou

Provinciaux) prendront entre une demi-journe et un jour ;

Chaque Site de Fourniture de Service prendra entre une 1/2 journe et deux jours (ce qui
veut dire qu'il est possible de demander plus dun jour lorsquil sagit de grands sites avec
des nombres se situant dans les centaines ou de sites qui comprennent des centres
satellites ou quand des contrles au hasard sont effectus).

LEquipe dAudit devrait galement prvoir une journe de travail supplmentaire la fin
des visites de sites pour se prparer la runion avec lUnit de S&E.

LEtape 4 Tableau 1 fournit un calendrier quotidien illustratif pour les visites de sites qui aidera
lAgence dAudit estimer le temps total requis.
Etape 4 Tableau 1 Calendrier Quotidien Illustratif pour les Visites dEvaluation sur Sites
de la Qualit des Donnes et les Runions
Pays :

Indicateur :

Date :

Maladie :
Activit

Remarque: ajouter le voyage et les journes de

travail de lquipe de lEQD, ncessaires
UNITE DE S&E (Dbut) - 1 jour

Equipe :
Temps
Estim

Remarques

Etape 4 Tableau 1 Calendrier Quotidien Illustratif pour les Visites dEvaluation sur Sites
de la Qualit des Donnes et les Runions
Pays :

Indicateur :

Date :

Maladie :
Activit

Equipe :
Temps
Estim

Remarques

Introduction et prsentation du processus dEQD

30min

Matin jour 1

Questions et rponses

15 min

Matin jour 1

Confirmer la priode vise par laudit

15 min

Matin jour 1

Complter le Protocole 1 de lEQD: Protocole

dEvaluation du Systme
a Demander une documentation supplmentaire
( si ncessaire)
Discutez et obtenez les rponses aux questions
relatives aux protocoles

2 heures

Matin jour 1

Complter le Protocole 2 de lEQD: Protocole de

Vrification des Donnes

2-4
heures

Aprs midi jour 1

POINT DE FOURNITURE DE SERVICE entre journe 2 jours

1

Introduction et prsentation du processus dEQD

30 min

Matin jour 1

Questions et rponses

15 min

Matin jour 1

Discuter de la priode vise par le rapport et du

temps dobservation du service

15 min

Matin jour 1

Complter le Protocole 1 de lEQD: Protocole

dEvaluation du Systme
a. Demander une documentation supplmentaire
(si ncessaire)
b. Discutez et obtenez les rponses aux
questions sur les protocoles

1-2
heures

Matin jour 1

Complter le Protocole 2 de lEQD: Protocole de

Vrification des Donnes

4-15
heures

Observation/Description

1 heure

Aprs midi jour 1

Rvision de la documentation

1-2
heures

Aprs midi jour 1

Trace et vrification

1-4
heures

Aprs midi jour 1

Vrifications par recoupement

1-2
heures

Aprs midi jour 1

Etape 4 Tableau 1 Calendrier Quotidien Illustratif pour les Visites dEvaluation sur Sites
de la Qualit des Donnes et les Runions
Pays :

Indicateur :

Date :

Maladie :
Activit

Contrles inopins

Equipe :
Temps
Estim
0-6
heures

Remarques
Jour 2 (dans le cas chant)

NIVEAU DAGREGATION INTERMEDIAIRE entre journe

et 1 jour
1

Introduction et prsentation du processus dEQD

30 min

Matin jour 1

Questions et rponses

15 min

Matin jour 1

Discuter de la priode vise par laudit

15 min

Matin jour 1

Complter le Protocole 1 de lEQD: Protocole

dEvaluation du Systme
a. Demander une documentation supplmentaire
(si ncessaire)
b. Discutez et obtenez les rponses aux
questions relatives aux protocoles

1-2
heures

Matin jour 1

Complter le Protocole 2 de lEQD: Protocole de

Vrification des Donnes

2-4
heures

Aprs midi jour 1

1-2
heures

Matin

JOURNEE DE TRAVAIL DE LEQUIPE DAUDIT

1

Examiner et consolider les protocoles 1 & 2 de

lEQD

Complter les rsultats prliminaires et les notes

de recommandation

3 heures

Matin

Prparer un expos final pour la runion avec

lUnit de S&E

4 heures

Aprs midi

2-3
heures

Matin

UNITE DE S&E (Fin) - 1 jour

1

Tenir une runion de clture

B- CONSTITUER LEQUIPE DAUDIT

Au moment o lOrganisation Commanditaire de lEQD procdera la slection de lorganisation
devant effectuer lEvaluation de la Qualit des Donnes, il est recommand que les comptences
suivantes soient reprsentes au niveau des quipes daudit :

Sant Publique (troitement lie au secteur des maladies et lindicateur(aux indicateurs)

en cours daudit)
Audit de Programme
Evaluation de Programme (ex les systmes dinformation sanitaires, la conception des
systmes de S&E, ltablissement de rapport sur lindicateur)
Gestion des Donnes (ex, une comprhension et des connaissances solides en modles
de donnes et en interrogation/analyse des bases de donnes)
Excel (de solides aptitudes prfrables manipuler, modifier et/ou crer des fichiers et des
feuilles de programmation)
Exprience Pertinente des Pays, prfrable

Les membres de lEquipe dAudit peuvent avoir un mlange des comptences cites ci-dessus.
Lorsque le nombre total des membres de lquipe variera selon lampleur de laudit, il est
recommand que lEquipe dAudit compte en son sein 2-4 conseillers au minimum y compris au
moins un Conseiller Hors Classe. Lquipe peut tre compose de conseillers internationaux et/ou
rgionaux. De plus, si les conseillers ne parlent pas la langue du pays, un ou plusieurs traducteurs
indpendants devraient tre embauchs par l'Equipe d'Audit.
Lors des visites des sites, lEquipe dAudit devra se scinder en sous-quipes et faire quipe avec
au moins un reprsentant du programme/projet. Chaque sous-quipe sera charge de visiter un
nombre de sites relatifs laudit (par exemple, une sous-quipe visiterait les sites A, B, et C, au
moment o la seconde sous-quipe visiterait les sites D, E et F). Pour les sous-quipes qui
visitent les systmes informatiss, un membre de lquipe devrait tre en mesure d'interroger la
base de donne en question.
Finalement, lOrganisation Commanditaire de lEQD peut poser dautres conditions relatives aux
membres de lquipe ou aux comptences. Il sera important pour tous les membres de lEquipe
dAudit de connatre les protocoles spcifiques de lindicateur actuellement utiliss dans laudit et
de se familiariser avec le Programme/projet en cours daudit.
C - PREPARER LA LOGISTIQUE
Le Matriel Emporter lors des Visites dAudit
Lorsque lEquipe dAudit visite le Programme/projet, elle devrait se doter de tout le matriel
ncessaire pour accomplir les tapes de laudit sur site. Une liste du matriel que lEquipe dAudit
devrait se doter est montre dans lAnnexe 3, Etape 4 Modle 4.
Remarque: Lorsque les protocoles de l'EQD sont des fichiers Excel automatiss, lEquipe dAudit
devrait se doter de versions papier de tous les protocoles ncessaires. Dans certains cas, il peut
tre possible dutiliser des ordinateurs au cours des visites de sites, mais dans dautres cas
lEquipe dAudit devra remplir les protocoles sur les versions papier et ensuite transcrire les
rsultats vers le fichier Excel.
Planifier le Voyage
LEquipe dAudit devrait collaborer avec le Programme/projet pour planifier un voyage au niveau du
pays (si lEquipe dAudit est externe) et des sites chantillonns la fois pour fixer des rendezvous et coordonner avec le personnel du Programme/projet qui accompagnera lquipe daudit au

cours des visites de sites. LEquipe dAudit devrait prendre les arrangements ncessaires pour
assurer le transport vers les sites chantillonns et le logement de lquipe.

STEP 5. REVOIR LA DOCUMENTATION

Ltape 5 est excute par lEquipe daudit.

Lobjectif de la rvision et de lvaluation de la conception du systme de gestion et de modification

des donnes du Programme/projet est de voir si le systme est capable de produire des rapports
avec de bonnes donnes de qualit sil est mis en uvre comme prvu. La rvision et lvaluation
sont faites en plusieurs tapes, dont une rvision documentaire des informations fournies
lavance par le Programme/projet, des tudes de suivi de lUnit S&E du Programme/projet, des
sites de collecte de donnes choisis et des Niveaux Intermdiaires de compilation. Pendant la
rvision documentaire sommaire hors site, lEquipe daudit va uvrer commencer poser des
questions sur le Protocole 1 EQD : Protocole dEvaluation du Systme bas sur la
documentation fournie. LEquipe daudit devrait nanmoins prvoir que toute la documentation
requise ne sera pas soumise, lavance, par le Programme/projet de la mission du pays.
Lidal serait que lexamen documentaire donne lEquipe daudit une bonne comprhension de
lorganisation du systme denregistrement des donnes son exhaustivit et la disponibilit de la
documentation relative au systme et qui vient en appui aux procds de vrification. Pour le
moins, lexamen documentaire va identifier les zones et les interrogations que lEquipe daudit aura
besoin de suivre dans lUnit S&E du Programme/projet (PHASE 2).

Du fait que le systme de S&E peut varier au sein des indicateurs et peut tre plus fort pour
certains indicateurs que pour dautres, lEquipe daudit aura besoin de remplir sparment le
Protocole 1 EQD : Protocole dEvaluation du Systme pour chaque indicateur vrifi pour le
Programme/projet slectionn. Cependant, si les indicateurs slectionns pour vrification sont
collects dans les mmes formes et systmes de reproduction de donnes (ex. les nombres TAR
et Ol ou les nombres de Dtection TB traits avec succs), Seul un Protocole 1 EQD :
Protocole dEvaluation du Systme peut tre complt pour ces indicateurs.

LANNEXE 1 prsente la liste de 39 questions contenues dans le Protocole 1 EQD : Protocole

dEvaluation du Systme, que lEquipe daudit va complter, sur la base de sa rvision de la
documentation et des sites de vrification visits.

Pendant quelle travaille, lEquipe daudit devrait avoir suffisamment de notes dtailles ou des
documents de travail relatifs aux tapes de la vrification qui soutiendront les conclusions
finales de lEquipe daudit. Un espace est rserv dans le protocole pour des notes lors des
runions avec le personnel du Programme/projet. De plus, si davantage de notes dtailles sont
ncessaires tous les niveaux de vrification pour tayer les conclusions et recommandations,

lEquipe daudit devra identifier ces notes comme documents de travail et le nombre adquat de
documents de travail doit tre mentionn sur une colonne approprie sur tous les modles et
protocoles dEQD. Par exemple, les documents de travail pourraient tre numrots et le
numro de rfrence not sur une colonne approprie des modles et protocoles EQD. Il est
galement important de garder les notes des principaux entretiens ou des runions avec les
administrateurs et le personnel du S&E pendant la phase de vrification. Lannexe 3, Etape 5
Modle 1 fournit un format des notes de ces entretiens.

PHASE 2: PROGRAMME/PROJET DE LUNITE DE S&E

PHASE 2

Gestion de lUnit de S&E

La deuxime phase de lEQD mene lUnit de S&E du

Programme/projet tre audit. Les tapes de la PHASE 2
sont :
6. Evaluation de la conception et de la mise en uvre du
systme de gestion et de modification des donnes
lUnit S&E
7. Dbut du suivi et de la vrification des rsultats
rapports des Niveaux Intermdiaires de compilation (ou
des Sites de collectes de donnes) lUnit de S&E.

6 Evaluation des Systmes de gestions des donnes

Pendant la PHASE 2, lEquipe daudit devrait rencontrer le chef

et les autres principaux responsables de lUnit de S&E
impliqus dans la gestion et la communication des donnes
Ces tapes de la PHASE 2 sont prvues pour un jour.

et vrification des rsultats des rapports des Sites Intermdiaires de compilation

ETAPE 6. SYSTMES DEVALUATION ET DE GESTION DES DONNES

(A LUNITE DE S&E)
Ltape 6 est excute par lEquipe daudit.

Tandis que lEquipe daudit de la qualit des donnes peut tre trs dterminante concernant la
conception du systme de gestion de modification des donnes bas sur lexamen documentaire
hors site, il sera ncessaire de procder un suivi sur site trois niveaux (lUnit de S&E), les
Niveaux Intermdiaires de compilation et les Points de collecte de donnes)) avant quune
valuation finale ne puisse tre faite sur la capacit de lensemble du systme collecter et
informer de la qualit des donnes. LEquipe daudit doit aussi prvoir la possibilit que le
Programme/projet puisse avoir des systmes puissants dinformation des donnes pour certains
indicateurs et non pour dautres. Par exemple, un Programme/projet peut avoir un systme
puissant de collecte de donnes de traitement ART et un faible systme de collecte de donnes
sur les activits communautaires de prvention.
.
Protocole 1 de lEQD bas sur le programme Excel : Protocole du Systme dEvaluation
contient une fiche de travail complter par lEquipe daudit au niveau de lUnit de S&E. LEquipe
daudit aura besoin de complter le protocole de mme quobtenir un appui documentaire pour les
rponses obtenues au niveau de lUnit S&E du Programme/projet. Le moyen le plus expditif de
le faire est dinterroger le ou les principaux responsables de la gestion des donnes et le personnel
du Programme/projet et de modeler les questions de lentretien sur les questions non rsolues des
systmes de conception selon lexamen de la documentation fournie. Avec un peu de chance, une
runion permettra lEquipe daudit de complter Protocole 1 EQD : la section (fiche de travail)
de lUnit S&E du Protocole du Systme dEvaluation.
Il est important que lEquipe daudit inclue des notes et commentaires sur le Protocole 1 EQD :
Protocole du Systme dEvaluation afin de documenter de manire formelle lensemble de la
conception (et la mise en uvre) du systme de gestion et de modification des donnes du
Programme/projet et didentifier les zones ncessitant une amlioration. Les rponses aux
questions et les notes qui leur sont associes vont aider lEquipe daudit rpondre aux 13
questions primordiales de la liste rcapitulative de lEquipe daudit vers la fin de lEQD (Voir Etape
12 Tableau 2 pour la liste rcapitulative des questions qui trouveront entirement des rponses
dans la PHASE 5 Etape 12).
A mesure que lEquipe daudit complte le Protocole 1 EQD : Protocole du Systme
dEvaluation, elle devrait garder lesprit les deux questions suivantes qui vont dterminer
les conclusions partielles (Etape 13) et le rapport de vrification (bauch dans lEtape 15
et finalis dans lEtape 17).

1. La conception de lensemble du systme de gestion et de modification des donnes du

Programme/projet va-t-elle assurer que sil est mis en uvre comme prvu, il va collecter
et communiquer des donnes de qualit ? Pourquoi/pourquoi pas ?

2. Quelles conclusions du systme de gestion de modification des donnes justifient les

notes de recommandations et les changements la conception afin damliorer la qualit
des donnes ? Elles devront tre consignes dans le Protocole 1 EQD : Protocole du
Systme dEvaluation.
N.B.: Pendant que lEquipe dEvaluation rencontre lUnit de S&E, elle devrait dterminer la
manire dont les conclusions de la vrification seront partages avec le personnel aux niveaux les
plus bas en cours de vrification. Les pays ont diffrents protocoles de communications ; par
consquent, dans certains pays, lEquipe daudit pourra partager les conclusions partielles
chaque niveau alors que dans dautres lUnit de S&E va prfrer partager les conclusions la fin
de la vrification Il est important pour lEquipe daudit de se conformer au protocole de
communication local. Le plan de communication devrait tre partag tous les niveaux.

ETAPE 7. SUIVRE ET VERIFIER LES RESULTATS DES NIVEAUX

INTERMEDIAIRES
Ltape 7 est excute par lEquipe daudit.

LEtape 7 est la premires de trois tapes de vrification des donnes qui vont valuer, sur une
chelle limite, si des Sites de collectes de donnes, des Niveaux de Compilation Intermdiaires
(par exemple : districts ou rgions) et lUnit de S&E sont en train de collecter, de compiler et de
communiquer, correctement et temps, des donnes relatives aux indicateurs vrifis.
.
LEquipe daudit va utiliser la version adquate du Protocole 2 de lEQD : Protocole de
Vrification des donnes pour le(s) indicateur(s) vrifier afin de dterminer si les sites
prlevs ont correctement enregistr la collecte des donnes sur les documents sources. Ils vont
alors suivre ces donnes pour dterminer si les nombres ont t correctement compils et/ou, par
contre, manipuls as mesure quils sont transmis partir des premiers Sites de collectes de
donnes, travers les Niveaux Intermdiaires de Compilation, lUnit de S&E. Le protocole a
des actions spcifiques entreprendre par lEquipe daudit au niveau de lUnit de S&E, aux
Niveaux Intermdiaires de compilation et sur les Sites de collecte de donnes (pour plus de dtails
sur le Protocole 2 de lEQD : Protocole de Vrification des donnes, voir Etapes 9 et 11).
Cependant, dans certains pays les Sites de collecte de donnes peuvent faire leur communication
directement lUnit centrale de S&E sans passer par les Niveaux Intermdiaires de compilation
(exemple : districts ou rgions). Dans ces instances, la vrification au niveau de lUnit S&E devrait
tre base sur les rapports directement soumis par les Sites de collecte de donnes.
.

Alors que lexercice de vrification des donnes implique un nouveau dcompte des nombres du
niveau de la premire collecte, des fins de logistiques, la feuille de travail de lUnit de S&E du
Protocole 2 de lEQD : Le Protocole de Vrification des donnes peut tre dabord complt.

Cela fournit lEquipe daudit les nombres reus, compils et communiqus par lUnit de S&E et
ainsi, un repre pour les nombres que lEquipe daudit aurait compter nouveau au niveau des
Sites de collecte de donnes et aux Niveaux Intermdiaires de compilation.
..
Au niveau de lUnit de S&E, les tapes entreprises par lEquipe daudit sur le Protocole 2 EQD :
Protocole de Vrification des donnes, sont :

1. Compiler nouveau les nombres rapports de tous les Sites intermdiaires de

compilation: Les rsultats communiqus partir de tous les Sites Intermdiaires de
compilation (exemple : districts et rgions) devraient tre compils nouveau et le total
compar au nombre contenu dans le rapport sommaire prpar par lUnit de S&E. LEquipe
daudit devrait voir les raisons possibles de toutes les diffrences entre les nombres vrifis et
ceux donns.
1. .
STATISTIQUES : Calculer le Ratio de Vrification du Rsultat de lUnit de S&E.
Somme des dcomptes rapports de tous les Sites intermdiaires de compilation
Le dcompte total contenu dans le rapport sommaire prpar par lUnit de M&E.

2. Copier les rsultats des Sites Intermdiaires de compilation vrifis tels quobservs
dans le rapport sommaire prpar par lUnit de S&E. Pour calculer le facteur dajustement
(qui est ncessaire pour dduire un Facteur de Vrification Compos voir ANNEX 5),
lEquipe daudit aura besoin de trouver les nombre disponibles lUnit M&E pour les Sites
Intermdiaires de compilation vrifis. Ils seront susceptibles dtre contenus dans le rapport
sommaire prpar par lUnit de S&E ou dans une base de donnes.
3. Revoir la disponibilit, lexhaustivit et le respect des dlais des rapports reus de tous
les sites de compilation. Combien de rapports devraient alors venir des Sites Intermdiaires
de Compilation ? Combien y a en a-t-il ? Ont-ils t reus temps ? Sont-ils complets ?
STATISTIQUES : Calculer le pourcentage de tous les rapports qui sont A) disponibles; B)
reus temps et C) complets.
A) Le pourcentage de rapports disponibles (disponible pour lEquipe daudit) =
Somme des dcomptes rapports de tous les Sites intermdiaires de compilation
Nombre de rapports attendus de tous les sites intermdiaires de compilation
B) Le pourcentage de rapports reus temps (reus la date prvue) =
Le nombre de rapports reus temps de tous les Sites intermdiaires de compilation
Nombre de rapports attendus de tous les sites intermdiaires de compilation

C) Le pourcentage de rapports complets =

Nombre de rapports complets de tous les sites intermdiaires de compilation
Nombre de rapports attendus de tous les sites intermdiaires de compilation

C'est--dire que pour quun rapport soit considr comme complet, il devra contenir au
moins (1) le dcompte rapport relatif lindicateur, (2) la priode de transmission des
donnes ; (3) la date de remise du rapport et (4) une signature du personnel qui a remis
le rapport.
.
Attention : Sil y a une indication que certains des rapports ont t confectionns (pour les buts de
la vrification), lEquipe daudit devrait enregistrer ces rapports comme non disponibles et
chercher dautres sources de donnes pour confirmer le dcompte communiqu (par exemple, un
rapport de fin danne du site contenant des rsultats de la priode objet de la vrification). En
dernier recours, lEquipe daudit peut dcider de visiter le(s) site(e) pour lesquels les rapports
semblent confectionns pour obtenir la confirmation des dcomptes communiqus. Dans tous les
cas, si ces dcomptes communiqus ne peuvent tre confirms, lEquipe daudit devra rejeter les
dcomptes communiqus et enregistrer 0 pour ces sites dans le Protocole 2 de lEQD :
Protocole de Vrification de donnes.

N.B.: En aucun cas, lEquipe daudit ne devrait enregistrer des informations personnelles, une
photocopie ou enlever des documents de lUnit de S&E.
.

PHASE 3: NIVEAU(X) INTERMEDIAIRE(S) DE COMPILATION

PHASE 3

ux Intermdiaires de Compilation

des donnes ont t communiques par les Sites de collecte

de donnes slectionns.
Les Sites de fourniture de service peuvent tre agrgs avec
des donnes dautres sites et/ou, par contre, manipules avant
quelles ne soient communiqus au sige du
Programme/projet.

(ex. district, rgion)

Les Etapes de cette phase de vrification sont :

on des Systme de Gestion des Donnes

8.
Dterminer si les lments cls du systme de gestion
et de modification des donnes du Programme/projet sont mis
en uvre au niveau des sites intermdiaires considrs (ex.,
districts ou Rgions).
9.

et vrification des rsultats des rapports de Site

La troisime phase de
lEQD se droule l o elle
est applicable, un ou
davantage de niveaux
intermdiaires de
compilation (indiqus) o

Suivre et vrifier les chiffres rapports du (des) Site (s)

de collecte de donnes travers nimporte quelle
compilation ou autre procd de manipulation raliss
sur les sites intermdiaires (si ces sites existent).

Pendant la PHASE 3, lEquipe daudit devrait sentretenir avec

les
principaux
responsables
impliqus
dans
le
Programme/projet de S&E au Niveau Intermdiaire de
compilation appropri dont le(s) membre(s) de lquipe
charg(s) du S&E et dautres membres de lquipe qui
contribuent la compilation des donnes reues des Sites de
collecte de donnes (ou par contre manipules),
communiquant les rsultats au niveau suivant de
communication.
La dure des tapes suivantes de la PHASE 3 est prvue
pour tre d'une demi-journe un jour.

ETAPE 8. SYSTMES DVALUATION ET DE GESTION DES DONNES (AUX

NIVEAUX INTERMEDIAIRES DE COMPILATION)

Ltape 8 est excute par lEquipe daudit.

Dans les Etapes 5 et 6 (des PHASE 1 et 2), lEquipe daudit a valu la conception et la mise en
oeuvre du systme de gestion et de modification des donnes du Programme/projet travers un
examen documentaire dune documentation fournie et des rvisions au niveau de lUnit de S&E
du Programme/projet. Dans les Etapes 8 et 10, lEquipe daudit continue dvaluer si le systme
de gestion et de modification des donnes est mis en uvre comme prvu sur les Sites
Intermdiaires de compilation et les Sites de collecte de donnes Dans lEtape 8, lEquipe daudit
devrait complter la fiche du Site Intermdiaire de compilation du Protocole 1 de lEQD :
Protocole du Systme dEvaluation.
Les vrifications suivantes (Etape 8 Tableau 1) sont faites aux Niveaux Intermdiaires de
compilation. Des vrifications semblables sont faites lUnit de S&E.

Etape 8 Tableau 1 Niveaux Intermdiaires de compilation 2 Types de Vrifications des

donnes

Vrifications

Description

Besoin

Revue de la
Documentation

Vrifier la disponibilit, lopportunit et lexhaustivit de tous les

rapports des sites de collecte de donnes pour les priodes de
collecte choisies.

Dans tous
les cas

2 Suivi et
Vrification

Suivre et vrifier les nombres collects : (1) Compiler de nouveau les

nombres fournis par les Sites de collecte de donnes ; (2) Comparer
les dcomptes vrifis aux nombres fournis au niveau suivant
(Programme/projet Unit de S&E) ; (3) Identifier les raisons de toute
diffrence.

Dans tous
les cas

Dans lEtape 8, lEquipe daudit continue dvaluer le systme de gestion et de modification des
donnes aux Niveaux Intermdiaires de compilation auquel sont jointes et manipules les donnes
des Sites de collectes avant dtre transmises lunit de S&E du Programme/projet. Des
instructions spcifiques pour complter la fiche du Niveau Intermdiaire de compilation du

Protocole 1 de lEQD : Protocole de Systme dEvaluation, se trouvent dans le fichier Excel du

protocole.

ETAPE 9. SUIVI ET VERIFICATION DES RESULTATS DES RAPPORTS DE SITE

(AUX NIVEAUX INTERMEDIAIRE DE COMPILATION)
Ltape 9 est excute par lEquipe daudit.

lEquipe daudit va continuer avec le Protocole 2 de lEQD : Protocole de Vrification des

donnes, pour les Etapes 9 et 11.
Comme le montre lIntroduction Figure 3, la Vrification de la Qualit des Donnes cherche
dterminer si les sites intermdiaires de collectes rapportent les rsultats de la compilation ou des
tapes de la manipulation des donnes faite sur les rapports reus des Points de collecte de
donnes, avec exactitude et temps opportun.
.
Comme indiqu plus haut, dans certains pays les Sites de collecte de donnes peuvent faire leur
communication directement lUnit centrale de S&E sans passer par les Niveaux Intermdiaires
de compilation. Dans de telles instances, lEquipe daudit ne devrait pas raliser lEtape 9.
Lquipe daudit va raliser la vrification de la qualit des donnes suivantes pour chacun des
indicateurs slectionns au(x) Niveau(x) Intermdiaire(s) de compilation.
.
1. Compiler nouveau les nombres rapports de tous les Points de Collecte des Donnes:
Les rsultats communiqus partir de tous les Points de Collecte des Donnes devraient tre
compils nouveau et le total compar au nombre contenu dans le rapport sommaire prpar
par le Site de compilation Intermdiaire. LEquipe daudit devrait identifier les raisons possibles
de toutes les diffrences entre les nombres vrifis et les rsultats communiqus.
STATISTIQUES : Calculer le ratio de vrification du rsultat du Site de Compilation
Intermdiaire.
La somme des donnes rapportes de tous les Points de collecte
Le dcompte total contenu dans le rapport sommaire prpar par le Site Intermdiaire
de Compilation.

1. Revoir la disponibilit, lexhaustivit et le respect des dlais des rapports reus de

tous les Points de Collecte des Donnes. Combien de rapports proviendraient alors des

Points de Collecte des Donnes ? Combien y a en a-t-il ? Ont-ils t reus temps ?

Sont-ils complets ?
STATISTIQUES : Calculer le pourcentage de tous les rapports qui sont A) disponibles; B)
reus temps et C) complets.
i. Pourcentage de rapports disponibles (disponible pour lEquipe daudit) =
Le Nombre de rapports reus de tous les Points de collecte
Nombre de rapports attendus de tous les Points de Collecte des Donnes:
ii. pourcentage de rapports reus temps (reus la date prvue) =
Nombre de rapports reus temps de tous les Points de Collecte des Donnes
Nombre de rapports attendus de tous les Points de Collecte des Donnes:
iii. Pourcentage de rapports complets (c d : qui contiennent toutes les donnes
appropries pour mesurer lindicateur) =
Nombre de rapports complets reus de tous les Points de Collecte des Donnes:
Nombre de rapports attendus de tous les Points de Collecte des Donnes:
C'est--dire que pour quun rapport soit considr comme complet, il devra contenir au
moins (1) le dcompte rapport relatif lindicateur, (2) la priode de transmission des
donnes ; (3) la date de remise du rapport et (4) une signature du personnel qui a remis
le rapport.
Attention : Sil y a une indication que certains des rapports ont t confectionns (pour les buts de
la vrification), lEquipe daudit devrait enregistrer ces rapports comme non disponibles et
chercher dautres sources de donnes pour confirmer le dcompte communiqu (par exemple, un
rapport de fin danne du site contenant des rsultats de la priode objet de la vrification). En
dernier recours, lEquipe daudit peut dcider de visiter le(s) site(e) pour lesquels les rapports
semblent confectionns pour obtenir la confirmation des dcomptes communiqus. Dans tous les
cas, si ces dcomptes communiqus ne peuvent tre confirms, lEquipe daudit devra rejeter les
dcomptes communiqus et enregistrer 0 pour ces sites dans le Protocole 2 de lEQD :
Protocole de Vrification de donnes.
N.B.: En aucun cas, lEquipe daudit ne devrait enregistrer des informations personnelles, une
photocopie ou enlever des documents des Sites Intermdiaires de Compilation.

PHASE 4 : SITES DE COLLECTE DE DONNEES

PHASE 4

La quatrime phase de lEQD a lieu sur les Sites de

collectes slectionns o sont ralises les tapes
suivantes de vrification de la qualit des donnes

Sites de collecte de donnes / Organisations 10. Dterminer si les lments cls du systme de

gestion et de modification des donnes du

Programme/projet sont mis en uvre sur les Sites de
collectes.
10- Systme dvaluation et de diffusion des donnes collectes

11.

Suivi et vrification des donnes tires des

documents sources pour les indicateurs
slectionns.

Pendant la PHASE 4, lEquipe daudit devra

sentretenir avec les principaux responsables de la
collecte et de la gestion des donnes du Site de
collecte y compris le personnel impliqu dans le
complment des documents sources, la compilation
des donnes et la vrification des rapports avant leur
remise au prochain niveau administratif.

11- Suivi et vrification des rsultats venant des Documents Sources

La dure prvue pour les tapes suivantes de la

PHASE 4 est d'une demi-journe et deux jours.
Les grands sites (les nombres communiqus par
plusieurs centaines), les sites qui englobent des
centres satellites ou bien destins la ralisation
contrles cibls peuvent ncessiter plus dun
jour.

ETAPE 10. EVALUATION DU SYSTEME DE COLLECTE ET DE DIFFUSION DES

DONNES
(AUX POINTS DE COLLECTE)

LEtape 10 est ralise par lEquipe daudit

Dans lEtape 10, lEquipe daudit devra complter la fiche du Point de Collecte du Protocole 1 de
lEQD : Protocole du Systme dEvaluation.

ETAPE 11. SUIVI ET VERIFICATION DES RESULTATS TIRES DES DOCUMENTS

SOURCES
(AUX POINTS DE COLLECTE)
Ltape 11 est excute par lEquipe daudit.

Au niveau du Site de collecte des donnes, chaque protocole dindicateur spcifique commence
avec la description du (des) service(s) fournis afin dorienter lEquipe daudit vers ce qui est en
train dtre compt et communiqu. Cela va aider conduire lEquipe daudit aux documents
sources appropris au niveau du Point de collecte qui peuvent tre considrablement diffrents
pour divers indicateurs (exemple : carnets de sant, registres, numro didentification).
Sans tenir compte du fait que les indicateurs sont vrifis ou de la nature du Site de collecte (au
niveau sanitaire/ clinique ou communautaire), lEquipe daudit va raliser certaines ou toutes les
tapes de vrification de donnes suivantes (Etape 11 Tableau 1) pour chaque indicateur
slectionn.
.

Etape 11 Tableau 1. Site de Collecte 5 Types de Vrifications des donnes

Vrifications
1 - Description

Description
Dcrire le rapport entre la fourniture des services/produits et
lachvement du document source qui enregistre ce service fourni.
.

2 Revue de la
Documentation

Vrifier la disponibilit et lexhaustivit de tous les documents sources

des indicateurs pour la priode de diffusion des rapports choisie.

3 Suivi et
Vrification

Suivre et vrifier les nombres collects : 1)

4 - Recoupements

5 Contrle
cibl

Compter de nouveau les

nombres fournis par les documents sources disponibles; (2)
Comparer les nombres vrifis aux nombres fournis par le site;
(3) Identifier les raisons de toute diffrence.

Besoin
Dans tous
les cas

Dans tous
les cas

Dans tous
les cas

Procder des recoupements des totaux vrifis des rapports avec

dautres sources de donnes (par exemple relevs dinventaires,
rapports de laboratoires, autres registres, etc.)

Dans tous
les cas

Procder des contrles ponctuels pour vrifier la fourniture relle

de services ou de produits aux populations cibles.

Si faisable

Avant de commencer la vrification des donnes, lEquipe daudit aura besoin de comprendre et
de dcrire le systme denregistrement et diffusion relatif lindicateur en vrification au niveau du
Site de collecte (c d : du premier enregistrement de collecte des donnes sur les documents
sources la diffusion des nombres compils au prochain niveau dadministration).

1. [Dans tous les cas] DESCRIPTION - Dcrire le rapport entre la fourniture de service et
lachvement du document source. Cette Etape va fournir lEquipe daudit un cadre de
rfrence pour le lien entre la fourniture de service et le processus denregistrement, et obtenir
des indices pour voir si des facteurs externes tels que les dlais et/ou des activits
concurrentes peuvent compromettre lenregistrement correct et opportun des activits du
programme.
1. .

2. [Dans tous les cas] REVUE DE LA DOCUMENTATION Vrifier la disponibilit et

lexhaustivit de tout indicateur de documents sources pour la priode de diffusion
retenue.
2. .
o

Revoir un modle du document source (en obtenant une copie vierge) et dterminer si le
site dispose de documents sources vierges suffisantes;

o
o

Vrifier la disponibilit et lexhaustivit des documents sources et sassurer que tous les
documents sources complts entrent dans la priode de diffusion vrifier ;

o
o

Vrifier que les procdures sont en place pour empcher le report derreurs (ex : double
dcompte de patients transfrs lintrieur/ extrieur, dcd ou qui ont chapp au
suivi (si cest applicable).

o
Noter que les protocoles spcifiques dindicateurs sont lists comme de(s) document(s)
source(s). Si lEquipe daudit dtermine que dautres documents sources sont utiliss, elle
peut modifier le(s) protocole(s) en consquence mentionner sur ses fiches de travail le
changement opr sur le protocole. LEquipe daudit devra strictement garder la
confidentialit des documents sources.

3. [Dans tous les cas] SUIVI ET VERIFICATION Compter nouveau les rsultats
provenant des documents sources, Comparer les nombres vrifis ceux collects
des sites et expliquer les diffrences.
3.
STATISTIQUES : Calculer le Ratio de Vrification de Rsultat pour le Site de collecte de
donnes.

Nombres vrifis sur le Site de collecte de donnes

Dcompte communiqu du Site de collecte de donnes slectionn
Les raisons possibles des diffrences peuvent comprendre de simples saisies de donnes ou
des erreurs daddition qui peuvent tre dcouvertes en comparant les tapes de lEquipe
daudit au travail fait par le site. LEquipe daudit peut galement avoir besoin de parler au
personnel qui communique les donnes sur des explications possibles et un suivi avec les
responsables de la qualit des donnes du programme si ncessaire. Ltape est cruciale
dans lidentification des moyens damliorer la qualit des donnes sur les Sites de collecte.
Il est important de noter que lEquipe daudit pourrait trouver de graves erreurs sur un site
dans les deux sens (c d : excs et dfaut de communication des donnes) qui
aboutissent une diffrence ngligeable entre les chiffres communiqus et ceux qui sont
compts nouveau mais qui sont indicatifs de grands problmes de la qualit des donnes.
De mme, une seule erreur mathmatique pourrait engendrer une grande diffrence. Ainsi,
en plus du facteur de vrification calcul pour le site, lEquipe daudit aura besoin de prendre
en compte la nature des rsultats avant de tirer des conclusions sur la qualit des donnes
du site.

3. [Dans tous les cas, faire des recoupements possibles] RECOUPEMENTS Faire des
recoupements possibles des totaux des rapports vrifis avec dautres sources de
donnes. Par exemple, lquipe pourrait examiner sparment les relevs dinventaires
consignant les quantits de mdicaments de traitement, les trousses danalyse ou des INT
achets et livrs pendant la priode dlaboration des rapports pour voir si ces nombres
corroborent les rsultats communiqus. Dautres recoupements pourraient inclure, par
exemple, la comparaison des fiches de sant aux registres de laboratoire ou de pharmacie
de lunit. LEquipe daudit peut ajouter les recoupements au protocole, comme il convient.
3.
STATISTIQUES : Calculer le pourcentage de diffrence pour chaque recoupement

5. [Si possible] CONTROLES CIBLES Contrles cibls pour vrifier que la

fourniture des services ou de produits peuvent galement tre faits si le temps et les
ressources le permettent. Les Contrles cibls supposent le choix dun nombre de
patients (ex: 3-5) partir des documents sources et vrifier sils reoivent effectivement les
services enregistrs. Les contrle cibls peuvent tre fait de deux manires: (1) lEquipe

daudit obtient les noms et adresses de personnes dans la communaut et fait les efforts de les
localiser; ou (2) lEquipe daudit demande aux reprsentants du site de prendre contact avec
des patients et de leur demander de venir au point de ravitaillement (par exemple le jour
suivant). Pour des raisons de confidentialit, les contrles cibls ne seront pas possibles pour
des indicateurs relatifs certains services mdicaux tels que les ARV pour le traitement du
VIH.
5.
Comme not ci-dessus, alors que les cinq tapes de vrification des donnes du Protocole de
lEQD 2 : Le Protocole de Vrification des donnes ne devrait pas changer (1- description, 2revue de la documentation, 3- suivi et vrification, 4 recoupements, 5-contrles cibls), au sein de
chaque tape de vrification, le protocole peut tre modifi pour mieux convenir au contexte du
programme (ex : ajouter des contrles cibls, modifier le document de rfrence source). Des
modifications importantes devraient tre discutes avec lorganisation commanditaire de l'EQD.

Note : En aucun cas, lEquipe daudit ne devrait enregistrer des informations personnelles,
photocopie, ou enlever des documents des sites.-{}-

PHASE 5: UNITE DE S&E

daudit va retourner lUnit de S&E au niveau du

Programme/projet. Les Etapes de la PHASE 5
ont pour but de :

PHASE 5

Gestion de lUnit de S&E

12- Systmes Consolids dEvaluation et de gestions des donnes

3- Ebauches prliminaires des dcouvertes et notes de recommandations

14- Conduire la runion de clture

12. Complter lvaluation du systme de

gestion et de modification des donnes
en rpondant aux 13 questions
primordiales du rsum de vrification.
13. Dvelopper une vrification prliminaire
des
rsultats
et
formuler
des
recommandations.
14. Communiquer les rsultats prliminaires
aux
agents
de
S&E
du
Programme/projet et aux responsables
de la gestion pendant la runion de
clture des vrifications.
La dure prvue pour les tapes suivantes
de la PHASE 5 est de deux jours

Dans la quatrime phase

de

lEQD,

lEquipe

ETAPE 12. EVALUATION CONSOLIDEE DES SYSTEMES DE GESTION DES

DONNEES
LEtape 12 est ralise par lEquipe daudit

Par le moyen de lEtape 10, feuilles de calcul de Excel du Protocole 1 EQD : Protocole du
Systme dEvaluation relatif lUnit de S&E, les Niveaux Intermdiaires de compilation et les
Sites de collecte de donnes seront complts. Sur la base des rponses toutes les questions,
un tableau rcapitulatif (Etape 12 Tableau 1) sera automatiquement gnr, de mme qu un
graphique sommaire des forces du Systme de gestion et de modification des donnes (Etape 12
Figure 1). Les rsultats produits seront bass sur le nombre de Oui, entirement,
Partiellement et Non, pas du tout, des rponses aux questions sur le Protocole 1 de lEQD :
Protocole du Systme dEvaluation.

Etape 12 Tableau 1. Tableau Rcapitulatif : Evaluation du Systme de gestion et de

modification des donnes (Illustration)
I

II

III

IV

Collines

2,67

2,50

1,67

1,78

2,00

M(parsit
o e)
y
e
n1,78
n
e2,12

Atakora

3,00

2.25

1,33

1,67

2,50

2,15

Borgu

2,33

2,00

1,67

1,90

2,50

2,08

TABLEAU SOMMAIRE
Evaluation des Systmes de gestion et de
modification des donns

Structure M&E
fonctions
Fonctionsetet
capaciats
Capacits

Definitions des IndicateurCollection de donnes et

Processus de gestion
et Indication
formes de diffusion/outils
des dones
formes de
De
diffusion/outilsand
modification

Liens avec le Systme

national de diffusion
with National

Unit M&E
-

Unit nationale M&E

Unit

1,80

1,83

1,80

1,82

1,67

Sites Niv eau Intermdiaire dAgrgation

Points de collecte/Organisations
1.1

Savalou

2,67

2,00

1,67

1,86

2,00

2,04

1.2

Tchetti

2,00

2,25

1,67

2,13

2,00

2,01

1.3

Djalloukou

2,67

1,75

1,67

2,00

2,25

2,07

2.1

Penjari

2,33

2,00

2,00

1,86

2,50

2,14

2.2

Ouake

2,67

2,25

1,67

1,88

2,50

2,19

2.3

T anagou

2,67

2,75

1,67

1,88

2,75

2,34

3.1

Parakou

2,33

2.00

2,00

1,86

2,25

2,09

3.2

Kandi

2,33

2,25

1,67

2,00

2,25

2,10

3.3

Kalale

2,67

2,25

1,67

1,88

2,50

2,19

2,46

2,15

1,76

1,92

2,30

2,12

Moyenne (par zone fonctionnelle

Code cl de couleur
ver

2,5 - 3.0

Oui, compltement

jaune

1,5 - 2.5

Partiellement

rouge

< 1,5

No n- pas du tout

Etape 12 Figure 1. Evaluation du Systme de gestion et de modification des donnes

(Illustration)

Interprtation des rsultats : Les notes gnres pour chaque zone fonctionnelle sur le Site de
collecte, le Site Intermdiaire de compilation et lUnit de S&E sont des moyennes des rponses
qui sont codifies 3 pour Oui, entirement, 2 pour Partiellement et 1 pour Non, pas du tout.
Les rponses codifies N/A ou Non applicable ne sont pas prises en compte dans la notation.
La valeur numrique de la notation nest pas importante, les notes sont destines tre compars
travers des zones fonctionnelles comme un moyen de mettre en priorit des activits de
renforcement du systme . Cest dire que les notes sont lies les uns aux autres et sont davantage
significatifs dans la comparaison du rendement dune zone fonctionnelle une autre. Par
exemple, si le systme est not en moyenne 2,5 pour la Structure de S&E, Fonctions et
Capacits et 1,5 pour les formulaires/outils de collecte et modification des donnes, on pourrait
logiquement conclure que les ressources seront utilises de manire plus efficace dans le
renforcement des Formulaires/outils de collecte et modification des donnes plutt que dans la
Structure de S&E, Fonctions et Capacits. Par consquent, les scores ne devront pas tre
exclusivement utiliss pour valuer le systme dinformation. Ils devront plutt tre interprts
dans un contexte dentretiens, de revues de documentation, de vrification et dobservations des
donnes faites pendant lexercice de lEQD.

En utilisant ces rsums de statistiques, lEquipe daudit devrait rpondre aux 13 questions
fondamentales sur la fiche de vrification des questions du protocole. (voir Etape 12 tableau 2).
Pour rpondre ces questions, lEquipe daudit aura les fiches compltes du Protocole 1 de
lEQD : Fiches du Protocole du systme dvaluation pour chaque site et niveau visit ainsi que
le tableau rcapitulatif et le graphique des rsultats provenant du protocole (voir Etape 12
Tableau 1 et Figure 1). Partant de ces deux sources dinformation, lEquipe daudit aura besoin
dutiliser son jugement pour donner une rponse globale au rsum des questions de lvaluation.

Etape 12 Tableau 2. Rsum des Questions de lEvaluation

13 RESUME DES QUESTIONS FONDAMENTALES DE LEVALUATION
Z
one du Programme:
I
ndicateur:
Rponse
Question

Oui entirement
Partiellement
Non pas du
tout
N/A

10

Les principaux agents de S&E et de la gestion des donnes sont-ils

identifis avec des responsabilits clairement attribues ?

La majorit des principaux agents de S&E et de la gestion des donnes

ont-ils reu la formation requise ?

Le Programme/projet a-t-il clairement dcrit (par crit) ce qui est

attribu chacun et quand et comment ces rapports doivent tre
labors ?
Y'a-t-il des dfinitions des indicateurs oprationnels qui rpondent aux
normes requises systmatiquement respectes par tous les services ?
Y a-t-il des formulaires types de collecte et de modification de donnes
qui sont systmatiquement utiliss ?
Les donnes sont-elles enregistres avec suffisamment de
prcisions/dtails pour mesurer les indicateurs adquats ?
Les donnes sont-elles gardes conformment aux directives
nationales ou internationales de confidentialit?

Les documents sources sont-ils gards et disponibles conformment

la politique consigne par crit ?

Existe-il des tapes spcifiques de documentation de collecte, de

compilation et de manipulation ?
Les dfis de qualit des donnes sont-ils identifis et des mcanismes
mis en place pour les relever ?

Commentaires

11

12

13

Y a-t-il des procdures clairement dfinies et suivies pour identifier et

concilier les diffrences dans les rapports ?
Y a-t-il des procdures clairement dfinies et suivies pour vrifier
priodiquement la source de donnes ?
Le systme de collecte et de modification des donnes du
Programme/projet est-t-il li au Systme national de communication?

ETAPE 13. EBAUCHE DE CONCLUSIONS PRELIMINAIRES ET NOTES DE

RECOMMANDATIONS
LEtape 13 est accomplie par lEquipe dAudit.

A lEtape 12, lquipe dAudit aura dj effectu lvaluation du systme dinformation et du

systme de gestion des donnes, mais aussi, les protocoles de vrification des donnes partir
des indicateurs slectionns. En prparation de sa runion de clture avec lunit de Suivi et
Evaluation (S&E), lEquipe daudit rdige des conclusions prliminaires dans lEtape 13 de
lEvaluation de la Qualit des Donnes, avec des notes de recommandations sur les problmes
ayant trait la qualit des donnes rvles par laudit. En Annexe 3, Etape 13-Tableau 1 on
trouve un modle (format) de ces Notes de Recommandations. Ces conclusions et problmes sont
transmis lunit M&E du Programme/projet (Etape 14) et constituent la base du Rapport Final
dAudit (Etapes 15 et 17). LEquipe daudit devra aussi envoyer une copie des conclusions
prliminaires et des notes de recommandations lorganisation qui a demand lEvaluation de la
Qualit des Donnes (EQD).
Les conclusions et notes de recommandations prliminaires seront tires des rsultats provenant
du Protocole EQD 1 : Protocole dvaluation du systme et le protocole 2 de lEQD
Protocole de Vrification des Donnes et seront dfinis par LEquipe daudit sur la base des
lments suivants

Les rubriques de notes des Protocoles dans lesquelles LEquipe daudit a expliqu les
conclusions relatives : (1) L'valuation du systme de gestion et de notification des donnes;
et (2) la vrification dun chantillon de donnes rapportes par le systme.. . Dans chaque
protocole, la dernire colonne peut tre coche avec la marque () pour toute conclusion o
une note de recommandation est ncessaire

Les documents de travail qui donnent plus de preuves sur les conclusions de lEQD mene
par lEquipe daudit.

Les conclusions devront mettre en vidence les aspects positifs du systme de S&E du
programme/ projet et leur rapport avec la gestion et diffusion des donnes, mais aussi avec les
faiblesses identifies par lquipe daudit. Il est important dinsister sur le fait que toute conclusion
ne signifie pas forcment la dfaillance du Programme / Projet dans llaboration ou la mise en
uvre de son systme de collecte de donnes. Le projet/Programme peut disposer de la
capacit de mettre en place un certain nombre de contrles innovantes et de dmarches efficaces
pour garantir une collecte cohrente et fiable. Il lui est possible, par exemple, de disposer dun
systme fort de S&E qui produise des donnes de qualit, sans pour autant que celui ci
napparaisse en version clairement documente et dite
Toutefois, le but de lEvaluation de la Qualit des Donnes est damliorer la qualit des donnes.
Ainsi, pendant que LEquipe daudit labore son systme de gestion des donnes et ses rapports
de vrification, elle devra clairement identifier les preuves et conclusions qui indiquent le besoin
damliorations dans le but de renforcer la mise en uvre et llaboration du systme de S&E.
Toutes les conclusions devraient sappuyer sur des documents de preuves que LEquipe daudit
peut citer et fournir en mme temps que les Notes de Recommandations

Au nombre des exemples de conclusions relatives la llaboration et la mise en uvre du

systme dinformation, de collecte et de gestion de donnes, on peut citer:.

Le manque de documents dcrivant les diffrentes tapes de stockage et de manipulation

des donnes.
Labsence de directives claires et/ou cohrentes lendroit des sites dinformation
concernant lopportunit ou la destination de transmission des rapports.
Le manque de personnel dsign pour passer en revue et questionner les rapports soumis
par les divers sites.
Labsence de processus formel pour pallier aux rapports incomplets ou inexacts soumis par
les divers sites.
Labsence dun programme de formation approprie pour les collecteurs et gestionnaires
de linformation dans les divers sites.
Lexistence de diffrences entre les dfinitions de lindicateur du programme et la mme
dfinition telle que cite dans les formulaires de collecte de donnes du programme/projet.
Labsence de formulaires standard de collecte de donnes.

Quelques exemples de conclusions issues du systme et relatives la vrification des donnes:

Un manque de coordination entre la fourniture de services et ldition de documents

sources.
Des documents sources incomplets ou inexacts.
Erreurs dans lenregistrement et/ou la manipulation des donnes.
Mauvaise interprtation ou application inexacte de la dfinition de lindicateur.

Ebauche de note(s) de Recommandations

Dans le projet de Notes de Recommandation, LEquipe daudit devra donner la preuve manifeste
indiquant une menace la qualit des donnes. Lquipe devra aussi donner une ou plusieurs
recommandations pour empcher la rcurrence. LEquipe daudit pourrait proposer un dlai
dexcution des actions recommandes et demander lagrment du programme/projet et de
lOrganisme demandeur de lEQD. LEtape 13 Tableau 1 donne une ide du contenu des Notes
de Recommandation.
Etape 13 Tableau 1. Conclusions Illustratives et Recommandations pour le Programme de
traitement de TB dans un pays X,
- Nombre de Cas de tuberculose enregistrs sous DOTS qui ont t traites avec succs Un pays x mne un programme organis et durable de traitement de la Tuberculose sur la base de
standards et protocoles internationaux. Les procds et exigences pour rendre compte des resultats du
programme de Tuberculose sont explicitement identifis et recommands dans son Manuel du Pogramme
National de Tuberculose et de Lpre. Le Manuel identifie les formulaires ncessaires et les exigences
dinformation selon les sites de fourniture de services, les districts et les rgions.
Un pays x mne un programme organis et durable de traitement de la Tuberculose sur la base de
standards et protocoles internationaux. Les procds et exigences pour rendre compte des rsultats du
programme de Tuberculose sont explicitement identifis et recommands dans son Manuel du Programme
National de Tuberculose et de Lpre. Le Manuel identifie les formulaires ncessaires et les exigences
dinformation selon les sites de fourniture de services, les districts et les rgions.

Etape 13 Tableau 1. Conclusions Illustratives et Recommandations pour le Programme de

traitement de TB dans un pays X,
- Nombre de Cas de tuberculose enregistrs sous DOTS qui ont t traites avec succs -

Sur la base des informations recueillies travers les interviews avec les principales autorits et partir des
documents examins, LEquipe daudit a identifi les lments suivants en rapport avec lamlioration de la
Qualit des Donnes dans le programme de traitement de TB dans un pays X donn.
Conclusions et Recommandations pour lUnit S&E
1) Formation S&E

CONCLUSION : LEquipe daudit a dcel labsence dun programme systmatique et document de

formation en matire de gestion des donnes qui identifie les besoins en formation. Elle a aussi dcel
un manque de comptences ncessaires en matire de gestion des donnes tous les niveaux du
programme, depuis les travailleurs de la sant dans les Sites de Fourniture de Services jusquaux
coordinateurs de districts, les recruteurs rgionaux et les gestionnaires de donnes au sein des units
de S&E. Actuellement la formation est ouverte, mise en oeuvre, et finance par diffrents bureaux
divers niveaux du programme de Tuberculose (TB).

RECOMMENDATION: Il est recommand lUnit S&E du Programme National de Tuberculose dlaborer

un programme pour coordonner les ressources en formation disponibles et didentifier les besoins en
formation travers le systme y compris ceux ncessaires pour lexcution efficace des exigences en
matire de gestion des donnes.
2) Les contrles de supervision des rapports des Districts

CONCLUSION: Labsence de contrles de supervision des fichiers utiliss pour la conservation des
rapports trimestriels provenant des bureaux des districts peut mener dventuelles erreurs de
stockage. Par exemple lexercice de vrification men par LEquipe daudit a identifi des copies de
rapports, des rapports obsoltes et des rapports annuels plutt que des rapports trimestriels dans ces
fichiers, qui pourraient engendrer des erreurs dans lenregistrement des donnes.

RECOMMANDATION: Il est recommand la rvision permanente des fichiers utiliss pour la conservation
des rapports rgionaux par un superviseur du programme de gestion aprs leur transmission, mais avant
mme que ce ne soit ltape denregistrement des donnes qui permette de rduire les possibilits
derreurs.

CONCLUSION; Approximativement, il manquait la signature dun superviseur dans 2% des rapports

rgionaux soumis au MOH. Cette signature aide renseigner que le dossier a fait lobjet dun examen
pour vrifier si les informations taient compltes et dceler dvidentes erreurs.

RECOMMANDATION: Il est recommand au MOH de renforcer lexigence que les rapports transmis portent
la signature du superviseur, en rejettant, par exemple, les rapports qui nont pas t examins.
3) Politique de Mmorisation des Documents Sources.

CONCLUSION: Au sein du Programme de TB Il nexiste aucune politique de mmorisation des outils

dinformation, comme les fiches de traitement des malades, les registres et les formulaires relatifs au
stockage des donnes. Bien que les documents soient systmatiquement archivs pendant des
annes, Il est ncessaire dasseoir une politique spciale de mmorisation des documents pour une
bonne gestion des donnes.

Etape 13 Tableau 1. Conclusions Illustratives et Recommandations pour le Programme de

traitement de TB dans un pays X,
- Nombre de Cas de tuberculose enregistrs sous DOTS qui ont t traites avec succs RECOMMENDATION: Il est recommand au bureau du programme de dterminer dans son nouveau
systme dinformation, une politique spcale de mmorisation des documents pour le programme de
Tuberculose TB et pour les principaux outils de dinformation.
Conclusions et Recommandations pour les sites Intermdiaire de Stockage
4) Le Contrle de Qualit dans lenregistrement des Donnes.
CONCLUSION: LEquipe daudit a dcouvert que des mesures limites ont t prises pour liminer les
possibilits derreurs denregistrement des donnes au niveau du district. Alors des contrles sont
organiss au niveau du logiciel denregistrement pour identifier les entres inappropries, le personnel
du district narrivait pas laborer toute autre documentation pour liminer des erreurs dinsertion de
donnes.
RECOMMENDATION: Il est recommand au programme de dterminer les diffrentes tapes
dlimination des erreurs denregistrement partout o un chiffre est inscrit dans le systme dinformation
lctronique.
Conclusions et Recommandations pour les Sites de Fourniture de Services
5) La capacit Rcuprer des Documents Sources

TROUVAILLE: Dans tous les sites de fourniture de services, Il a t difficile LEquipe daudit de
mener terme lexercice de vrification des donnes parce que le personnel du site a t confront
la difficult ou sest avre incapable de rcuprer ou de retrouver des documents sources. Par
exemple, il a t difficile de retrouver les fiches de traitement des patients pour les patients qui avaient
suivi le traitement de Tuberculose (TB). Lorsqu il nest pas possible de faire une telle vrification,
lquipe daudit qualit des donnes ne peut pas, son tour, confirmer que le nombre rapport de cas
traits est exact et valable.

RECOMMENDATION: Il est recommand aux sites de fourniture de Services de classer et conserver

systmatiquement les documents sources de traitement de la Tuberculose durant les priodes spcifiques
de collecte, afin quils puissent tre facilement retrouvs pour des besoins daudit.

LEtape 14 est excute par lquipe daudit

A la conclusion des visites de site, le Chef de LEquipe daudit devra tenir une runion de clture
avec les cadres suprieurs de la cellule S&E du programme/projet et le Directeur/Charg de
programme pour entre autres:
1. Partager les rsultats de la vrification des donnes (exercice de dcompte) et passer en
revue le systme;
2. Prsenter les conclusions prliminaires et les notes de recommandation;
3. Discuter des ventuelles dmarches pour amliorer la qualit des donnes.
Une entrevue physique offre au personnel de gestion des donnes du programme/projet
lopportunit de discuter de la faisabilit damliorations ventuelles et des calendriers lis au
projet. Le Chef de LEquipe daudit devra cependant souligner le fait que les conclusions tires de
laudit ce point sont prliminaires et sujettes au changement une fois que LEquipe daudit aura
obtenu une meilleure opportunit dexaminer et de rflchir sur les preuves collectes sur les
protocoles et dans ses documents de travail.
LEquipe daudit devra encourager le programme /projet partager les conclusions pertinentes
avec les bailleurs (porteurs de projets) appropris au niveau du pays tels que les groupes de
travail multipartenaires de S&E et le programme national, si ncessaire. LEquipe daudit devra
aussi discuter de la manire dont les conclusions seront partages avec les officiels S&E du
Programme/projet, avec les Points de fourniture de Service audits et les niveaux intermdiaires
de
stockage
(ex,
Rgions, Districts)
PHASE 6
.
la
ainsi
sur
des
lui
les
en

Comme toujours,
runion de clture
Execution (Sites multiples)
que tout accord
lidentification des
conclusions
et
amliorations qui
sont
relatifs
devront
tre
15- Elaboration du rapport daudit
consigns dans
documents
de
travail
de
LEquipe daudit
16- collecte et examen des remarques faites par le pays et lOrganisme demandeur de lEQD vue
de figurer
dans le Rapport
Final dAudit.
17- Elaboration du rapport daudit final

18- Rencontre avec le Programme/projet

19- Mise en oeuvre du suivi des actions recommandes

PHASE 6:
EXECUTION

lEQD et le Programme/Projet. Dans la phase 6, lquipe daudit

excute les tapes suivantes:
15.

Elaboration du rapport daudit.

16.

Remarques sur le rapport daudit en rapport avec le

Programme / projet et avec lOrganisme demandeur de
lEQD.

17.

Elaboration du rapport daudit final sur la base des

discussions menes dans ltape 16.

18.
La dernire phase de lEQD
a pour thtre les bureaux
de lquipe charge de
conduire lEQD, mais aussi
elle se droule sous forme
de rencontres physiques et
sous forme de confrences
tlphoniques
entre
lOrganisation qui demande

Transmission du rapport daudit final ainsi que les

recommandations et notes finales au Programme /
Projet et lOrganisme qui commande lEQD.

19. Si ncessaire, mise en oeuvre des procdures de suivi en

vue de garantir que les changements convenus sont bien
intgrs.
Dans la phase 5, la dure totale de ces tapes est estime entre
deux quatre semaines.

ETAPE 15. ELABORATION DU RAPPORT DAUDIT

LEtape 15 est mene par lquipe daudit.

Dans une priode de une deux semaines, lquipe daudit devra revoir tous les documents
produits durant la mission et laborer un rapport comprenant toutes les conclusions et
amliorations suggres. Tous les grands changements rvls par les conclusions de laudit et
effectues aprs la runion de clture dans un pays donn devraient tre communiques de faon
claire aux autorits du pays hte du Programme / Projet. Le document d'audit sera envoy la
Direction du Programme / Projet ainsi qu' l'Organisme ayant command lEQD. Dans l Etape 15 tableau 1, on y dmontre la dmarche suggre pour l'laboration du rapport d'audit.

Etape 15 - Tableau 1: Dmarche suggre pour l'laboration du rapport final d'audit (FDQR).
Section

Table des matires

Sommaire

II

III

Introduction and Contexte

Objectif de lEQD
Contexte du Program/project
Indicateurs et Priode du rapport Logique de slection
Sites intermdiaires dinformation et de prestation de service
Description du systme dinformation et de collecte des donnes (en rapport avec les
indicateurs vrifier)

Evaluation du systme dinformation et de gestion de donnes

Description de lactivit d'valuation du systme de gestion des donnes.

Rsum des statistiques du tableau de bord (tableau et graphe des rgions fonctionnelles - Etape 12:

Tableau 1 et Figure 1)

Conclusions principales aux trois niveaux suivants:

- Sites de prestation de service
- Niveaux intermdiaires de rpartition
- Unit de S&E
Forces et faiblesses du systme de gestion des donnes

(sur la base de 13 (questions daudit

rsumes)

IV

Verification des dones transmises

Description des tapes de vrification des donnes dj excutes

Exactitude des donnes Facteur de vrification

Prcision et confidentialit des donnes transmises

Disponibilit, tat davancement et opportunit des rapports

Conclusions principales aux trois niveaux suivants:

- Sites de prestation de service
- Niveaux intermdiaires de rpartition
- Unit de S&E

Apprciation gnrale de la qualit des donnes (sur la base de la vrification des donnes transmises)

Notes de recommandations et changements suggrs

VI

Classification finale de la Qualit des Donnes DQ (sur la base du systme de gestion et de

notification des donnes, mais aussi sur la base de la vrification des donnes). Cette section
devrait se conformer aux spcifications fournies par lOrganisme qui commande laudit.

VII

Rponse des autorits locales aux conclusions de lEvaluation de la Qualit des Donnes EQD

VIII

Rsum et programme damlioration du systme de gestion et de notification des donnes

ETAPE 16. REMARQUES SUR LE RAPPORT ET LA COLLECTE DE LA PART DU

PAYS DEMANDEUR DE LEQD
LEtape 16 est excute par lEquipe daudit.

Pour parvenir un consensus et faciliter les changements de qualit des donnes identifies dans
les notes de recommandation, lquipe daudit doit discuter du rapport avec lOrganisme
demandeur de lEvaluation de la Qualit des Donnes (DQA) et avec la Direction du Programme /
Projet et la Direction en charge du Suivi et Evaluation (S&E). Le Programme / Projet aura
loccasion de ragir aux conclusions de laudit. Cette raction pourra tre incluse dans le
rapport daudit final.

ETAPE 17. ELABORATION DU RAPPORT FINAL D'AUDIT

LEtape 17 est excute par lEquipe daudit.

Une fois que le Programme / Projet et lOrganisme demandeur de lEQD auront rvis le rapport
daudit (Dans un dlai de 2 semaines, moins dun consensus autour dune autre priode) et
convenu de mesures recommandes pour traiter des questions concernant la Qualit des
Donnes, lquipe daudit crira le rapport final daudit. Quand bien mme lquipe daudit va
recevoir les ractions, il est important de noter que le contenu du rapport final daudit est
dtermin exclusivement par lquipe daudit.

ETAPE 18. RENCONTRE AVEC LE PROGRAMME/PROJET

LEtape 18 est excute par lEquipe daudit.

Lquipe daudit dposera officiellement le rapport daudit final, avec la ou les notes de
recommandation final(e) s, auprs du Programme / Projet et de lOrganisme demandeur de lEQD
dans une priode maximum de quatre semaines aprs la fin de la mission dans un pays donn.

STEP 19. MISE EN OEUVRE DES ACTIONS DE SUIVI RECOMMANDEES

LEtape 19 peut tre excute par lOrganisme demandeur de lEQD et /ou par lquipe daudit.

Le Programme / projet devra normalement envoyer des lettres de suivi, une fois que les
changements / amliorations convenus sont intgrs. Si lOrganisme demandeur de lEQD
souhaite limplication de lquipe daudit dans lactivit de suivi des mesures de renforcement
identifies par le Programme / Projet, il faudra alors trouver un accord appropri. LOrganisme
demandeur de lEQD et /ou lquipe daudit devront tenir un fichier de rappel pour rester
vigilants sur la date laquelle les notifications devront tre faites (voir Annexe 3, tape 19
Modle 1). En gnral, les problmes mineurs de Qualit des donnes devront tre traites
dans le dlai de un six mois, alors quil faut six douze mois pour les problmes
majeures.

Annexes

ANNEXE 1: Les protocoles de lEQD

Protocole 1: Le Protocole de Vrification du Systme
Protocole 2: Le Protocole de Vrification des Donnes

Protocole 1: Le Protocole dvaluation du Systme (SIDA et Malaria)

prestation de Points de

I - Structure, Fonctions and Capacites du S&E

regoupement Niveaux de

Composante du systme de S&E

S&E UNITE

Les cases coches

indiquent le niveau
du systme
dinformation o la
question est pose.

necessaire ?Documentation dappui

LISTE DE TOUTES LES QUESTIONS -Pour reference seulement (Protocole 1

Evaluation du Systeme)

Il existe un tableau / structure descriptif qui identifie clairement les postes ayant des
responsabilits dans la gestion des donnes au niveau de lunit de S&E.

Oui

Tous les postes rservs au S&E et aux systmes de gestion des donnes ont t pourvus.

Il y a un programme de formation pour le compte du personnel concern par la collecte et

diffusion des donnes tous les niveaux du processus dinformation.

Oui

Tout le personnel approprie a ete forme aux outils et processus de gestion des donnes.
4
All relevant staff have received training on the data management processes and tools.

Un cadre du personnel (c a d le responsable du programme) est charge de lexamen des

donnes statistiques regroupes avant transmission / communication des rapports provenant
de lunit S&E.

Il existe un personnel dsign pour examiner la qualit des donnes (c a d, la prcision,

exhaustivit, et lopportunit) obtenues des sous niveaux dinformation (c a d, les rgions,
districts et points de service).

Il existe un personnel dsign pour examiner les statistiques regroupes avant transmission au
niveau suivant (c a d district, bureaux rgionaux, Unit centrale de S&E).

La responsabilit de lenregistrement de la prestation de services sur les documents de source

(originaux) est clairement assigne au personnel appropri.

II- Quelques Definitions sur les Indicateurs et Directives dinformation

9

Lunit S&E a renseigne et partage la dfinition des indicateur(s) avec tous les niveaux
appropris du systme information (c a d, les rgions, districts et points de services).

Oui

1
0

A chaque indicateur mesur par le Programme / Projet correspond une description de services.

Oui

Lunit S&E a rdig des pour tous les sous niveaux dinformation sur
The S&E Unit has provided written guidelines to each sub-reporting level on
1
1

Le sujet sur lequel ils sont censs rendre compte

Oui

1
2

La forme sous laquelle (c d, sous quel format spcifique) les rapports devaient tre
soumis.

Oui

1
3

Les personnes qui les rapports devraient tre soumis

Oui

1
4

Le moment o les rapports devaient tre soumis

Oui

Il existe une politique dite qui dtermine la dure de conservation des documents source et
des formulaires de collecte.

Oui

1
5

III- Outils / Formulaires de collecte et diffusion des donnes

1
6

Pour tous les points de prestation de service, lUnit S&E a identifi un document source
standard (dossier mdical, formulaire de consommation du client, registre, etc.) pour
lenregistrement des prestations.

Oui

1
7

Lunit S&E a identifie des outils et formulaires standard (ddition) de diffusion des donnes
utiles pour tous les niveaux dinformation.

Oui

1
8

LUnit S&E a donne des instructions claires sur la manire de remplir les outils / formulaires
de collecte et diffusion des donnes.

1
9

Les documents originaux ainsi que les outils / formulaires indiqus par lUnit S&E sont utiliss a tous
les niveaux dinformation correspondant.

2
0

Mme si des organisations multiples mettent en oeuvre des activits sous lgide du
programme / Projet, ils utilisent tous les mmes formulaires ddition et rendent compte avec la
mme frquence (dlais).

2
1

Les donnes collectes par le systme de S&E ont autant de prcision pour mesurer les
indicateur(s) ( c a d des donnes pertinentes sont collectes par sexe, age, etc. si lindicateur
indique une mauvaise rpartition par ces caractristiques.

Oui

2
2

Tous les documents et formulaires destines a la mesure des indicateur(s) sont disponibles pour
les besoins de laudit (y compris des imprimes dats pour sadapter une ventuelle
informatisation du systme)

IV- Les processus de gestion des donnees Data Management Processes

2
3

2
4

2
5

2
6

2
7

2
8

2
9

3
0

3
1

Lunit S&E a clairement renseigne le regroupement de donnes, lanalyse et/ou les tapes de
la manipulation effectues a chaque niveau du systme ddition (diffusion).

Oui

Il existe une procdure crite pour faire face aux rapports en retard, incomplets, manquants
(perdus), inexacts ; y compris le suivi des sous niveaux de gestion sur les problmes de la
qualit des donnes.

Oui

Dans le cas ou les divergences ne sont pas dceles dans les rapports des sous niveaux de
gestion, lunit S&E ou les niveaux intermdiaires de (regroupement) (traitement) (c a d, les
districts et rgions) renseignent sur la manire de pallier ces irrgularits.

Des contrles qualit sont effectues sur place pour les cas ou des donnes provenant de
(consignes sur) formulaires sur support papier sont entres dans un ordinateur (c a d, le
double emploi, la vrification des enregistrements supplmentaires (vrification des
enregistrements aprs lentre des donnes).

Pour les systmes automatiss, il existe une procdure bien tablie, documente et activement
excute dadministration des bases de donnes. Celle ci comprend les procdures de
sauvegarde / rparation, dadministration de la scurit, et dadministration de lutilisateur.

Oui

Oui

Au niveau de chaque point de prestation de service / de chaque organisation (c a d une

mme personne qui reoit le mme service deux fois dans une priode de gestion, une personne
enregistre comme recevant le mme service dans deux diffrents endroits, etc.).

A travers les points de prestation de service / organisation (c a d, une personne enregistre

comme recevant le mme service dans deux points de prestation de service / organisations
diffrentes, etc.).

Des remarques sont systmatiquement faits tous les sous niveaux de traitement sur la
qualit de leurs rapports (c a d, lexactitude, exhaustivit et lopportunit).

Il existe une dition de la procdure de sauvegarde pour les cas ou lenregistrement ou le

traitement des donnes sont informatises.

Si la rponse est Oui, la de sauvegarde la plus rcente est approprie, tant donn la frquence
de mise a jour du systme informatise (c a d les sauvegardes sont hebdomadaires ou
mensuelles).

Les informations personnelles utiles (pertinentes) (sensibles) sont conserves en accord avec
les directives de confidentialit nationales et internationales.

Le systme ddition vite le double dcompte de populations

3
2

3
3

3
4

3
5

Le systme ddition permet lidentification et lenregistrement dun marginal , une personne

dont on ne parvient plus a assurer le suivi et une personne dcde.
The reporting system enables the identification and recording of a "drop out", a person "lost to followup" and a person who died.
Lunit S&E peut dmontrer que des visites rgulires pour la supervision des sites ont eu lieu
et que la qualit des donnes a t examine.

Oui

V- Links with National Reporting System

3
6

3
7

3
8

3
9

Lorsque disponible, les outils / formulaires nationaux appropries sont utilises pour la collecte
et diffusion de donnes.

Si possible, les donnes sont rapportes a travers un canal unique issu des systmes
nationaux dinformation.

Les dlais de diffusion sont harmonises avec les prvisions du programme national (c a d, les
raccourcis dates en prvision des rapports mensuels)

Les sites de prestation de service sont identifies comme dtenteurs de numros didentification
rpondant a un systme national.

Oui

Protocole 2: Protocole de Vrification des Donnes (Illustrations Interventions a base

communautaire)

ANNEXE 2: Quelques modles pour

lOrganisme Demandeur de
lEQD

Annexe 2, Etape 1 - Modle 1. Tableau Illustratif du classement des pays selon les investissements et selon les R

Disease:

SIDA
Classement des resultats rapports

Zone du Programmme
_Traitement_

Zone du Programme
_Communication pour le
Changement de
comportements
Assistance
communautaire_

Zone du Programm
_OVC_

Indicateurr # 1
Population sous ARV

Indicateur # 2
Nombre de Condoms
Distribus

Indicateur # 3
Nombre de OVC So
traitement et prise e
charge

$66 Million

2
(6,500)

4
(3 million)

8
(1,879)

$52 Million

1
(7,000)

NA

10
(1,254)

Countries (or
Programs/projects)
(classs par
investissement en
Dollar)

Classement par Investissement

en Dollar

County X
Country Y

Annexe 2, Etape 1 - Modle 1. Tableau Illustratif du classement des pays selon les investissements et selon les R

Annexe 2, Etape 1 - Modle 2. Analyse Illustrative de lImportance Relative des Investissements et des rsultats de
Programme

Program/project: _____________

Zone de
Programme

$ Investis dans la
zone de
Programme

% Total des
Investissements
dans le
Programme
/projet

Principal Indicateur
dans la zone de
Programme

Rsultats
escompts ou
rapports pour
lIndicateur

Traitement ART

$2,000,000

80%

Population sous ART

20,000

% de Rs
escompt
rapport
lchell
pays

80%

Annexe 2, Etape 1 - Modle 3. Documentation of the selection of the Country, Disease/Health Area, Program/proje
Indicators

Pays

Zone de
Maladie/
Sant

Program/project

Zone de
Programme

Indicateur (s)

Priode
dInformation

Critres
vigueur po
slection
lIndicateu
priod
dinforma

Annexe 2, Etape 2 - Modle 1. Lettre de Demande de Notification et de Documentation au

Programme /projet Slctionn
Date
Adresse
Cher(e) _________________:
[Votre organisation] a t choisie pour un Audit Qualit des Donnes par [nom de lOrganisation
ayant Command lAudit] en rapport avec le [nom du Programme/projet].
Le but de cet audit est de : (1) valuer la capacit des systmes de gestion des donnes du
programme/projet(s) pour lequel vous dressez un rapport qualit des donnes; et de (2) vrifier la
qualit des donnes transmises selon les indicateurs cls dans les sites slectionns. [Nom du
Cabinet dAudit] mnera laudit et vous contactera bientt dans le cadre de cet audit.
Cet Audit Qualit des Donnes concerne [Maladie], [zone dimplantation du programme] et les
vrifications vont se concentrer sur les indicateurs suivants:
1

[nom de lindicateur]

[nom de lindicateur]

Laudit va :
1. Evaluer la forme des systmes de gestion et de diffusion des donnes;
2. Vrifier au niveau des sites de fourniture de service et des niveaux intermdiaires de stockage
(ex, districts, rgions) si le systme est excut tel que dfini ;
3. Retrouver et vrifier dans quelques sites, les chiffres prcdemment transmis pour un nombre
limit dindicateurs et;
4. Transmettre les conclusions de laudit ainsi que les amliorations suggres sous forme de
Rapport dAudit formel.
Avant que laudit ne dmarre, [nom de lAgence dAudit] devra:
-

Une liste de tous les Sites de Fourniture de Service en mme temps que les derniers rsultats
transmis (selon les indicateurs ci-dessus);

Le modle 1 rempli (attach cette lettre) dcrivant le systme de collecte et diffusion des
donnes (selon les indicateurs ci-dessus);

Des modles de formulaires de collecte et diffusion des donnes (selon les indicateurs cidessus).

Cette information est essentielle au dmarrage de laudit, par consquent elle est requise dans les
deux semaines suivant la reception de cette lettre et devra tre envoye [adresse du Cabinet
dAudit].

Pour permettre LEquipe daudit dexcuter la phase initiale dexamen de votre systme global de
gestion des donnes et de limiter, le moins possible, la prsence de lquipe sur le terrain, nous
souhaiterions aussi que vous fournissiez lAgence dAudit toute la documentation existante et
disponible figurant au Tableau 1 (attach cette lettre).
Merci de soumettre la documentation demande ______________ au ______ par _________.
Toute documentation disponible sous forme lectronique pourra tre envoye par email ______.

Aprs examen par le service dinformation de linformation et de la documentation fournies, le

Cabinet dAudit poursuivra laudit dans le bureau qui fait office dunit de Gestion du S&E pour le
Programme/projet et dans un nombre rduit de vos sites de diffusion et bureaux intermdiaires de
gestion de donnes (ex les bureaux ou districts rgionaux). Pour faciliter les visites de sites, nous
souhaiterions que LEquipe daudit soit accompagne de deux membres du personnel de lunit
S&E, ou alors des personnels chargs de recevoir, examiner et / ou rdiger les rapports provenant
des entits de diffusion.
Du fait que le temps ncessaire pour laudit dpend du nombre et de lemplacement des sites
sonds, vous serez contacts par lAgence de vrification pour rpondre des questions plus
spcifiques en rapport avec le calendrier, aprs la slection de lchantillon de sites. Cependant,
vous devez vous attendre ce que laudit dure entre 10 et 15 jours (avec deux jours de plus
lUnit de S&E et autour dun jour par Site de Fourniture de Service et par Niveau de Stockage
Intermdiaire ex, Districts ou Rgions).
Enfin, puisque LEquipe daudit aura besoin dobtenir et de passer en revue les documents sources
(ex, dossiers des clients ou registres dinscription), il est important dobtenir une autorisation
officielle pour avoir accs ces documents. Cependant, nous voulons vous assurer quil ne sera
retenu aucun dtail concernant les personnes durant laudit. Lquipe cherchera seulement
vrifier si les chiffres consigns dans les documents sources pour et en rapport avec le service
ou lactivit sont exacts cette priode de laudit. Les dossiers personnels ne vont ni quitter le site,
ni tre photocopies.
Nous aimerions aussi souligner que nous ne mnagerons aucun effort pour limiter limpact quaura
notre audit sur votre personnel et sur les activits en cours. A cet gard, il serait apprciable si
vous mettiez tout de suite la disposition du Cabinet daudit, un interlocuteur principal dans ce
processus. (Votre principal responsable de gestion des donnes, par exemple) afin que nous nous
contentions exclusivement dchanger avec la bonne personne. Pour toute question prire de
contacter ___________ ____________.
Sincrement Vtre

cc:

Cabinet Gouvernemental dAudit

Bailleur/Partenaires au Dveloppement et Partenaires dans la Mise en Oeuvre
Autres, si ncessaire pour le pays et pour laudit

Tableau 1 - Liste des Zones Fonctionnelles dAudit et de la Documentation exiger du

Programme/projet de la part du service de traitement de linformation (si disponible)
Zones
Fonctionelless
Information sur
le Contact

I - Structures,
Rles et
Capacits du
S&E

Documentation Gnrale Necessaire

Noms et informations sur les contacts ncessaires pour les principaux

agents du programme/projet, y compris les personnes cls responsables
des activits de gestion des donnes.

Organigramme dmontrant les responsabilits au sein du S&E.

Liste des postes et statuts en S&E (ex., plein temps, ou temps partiel,
pourvus ou vacants).

Plan de formation en S&E, sil en existe un.

Instructions aux sites de diffusion sur les exigences et les dlais.

Description de la manire dont la fourniture des services est enregistre

dans les documents sources et dans dautres documents tels que les
registres des cliniques et les rapports priodiques des sites.

II Dfinitions
dindicateur et Schma dtaill sur la manire dont les donnes circulent :
Indications
o Des Sites de Fourniture de Services aux Niveaux Intermdiaires de
pour la gestion
Stockage (ex bureaux de districts, bureaux provinciaux, etc.);
des donnes
o Des Niveaux Intermdiaires de Stockage (sil en existe) lUnit de S&E.

III Collecte de
Donnes et
Formulaires et
outils de
gestion
IV Les
Processus de
Gestion des
Donnes

V Les
rapports avec
le Systme
National de
Gestion

Programme National de S&E, sil en existe.

Dfinitions oprationnelles des indicateurs qui sont audits.

Formulaire(s) de Collecte des Donnes pour les indicateurs qui sont

audits.

Formulaire(s) de collecte pour les indicateurs qui sont audits.

Instructions pour remplir les formulaires de collecte et gestion des donnes.

Documentation rdige sur les processus de gestion des donnes avec

toutes les dmarches accomplies sur la vrification de toutes les donnes,
du stockage et de la manipulation tous les niveaux du systme de gestion.

Procdures rdiges pour faire face aux dfis spcifiques de qualit des
donnes (ex double dcompte, perdu suivre), y compris les instructions
envoyes aux sites de gestion.

Indications et prvisions pour les visites rgulires de supervision.

Rapports de renseignement entre le systme de gestion des donnes du

Programme/projet et le systme national de gestion des donnes
correspondant.

Est -elle
fournie ?

Annexe 2, Etape 2 Modle 2 - Description du Systme de Collecte et de Diffusion des des Donnes

A remplir - DESCRIPTION DU SYSTEME DE COLLECTE ET DIFFUSION DES DONNEES

Prire de remplir ce modle de formulaire pour chaque indicateur en vrification par lEvaluation de la Qualit des Donnes (DQA)
Nom de lIndicateur
Dfinition de lIndicateur
1
-

Ya tlI une personne charge de lanalyse et de la gestion des donnes dans lUnit S&E au niveau Central ?

1.1-

Si "Oui", prire de donner le nom et ladresse email de la personne contact:

Oui

Non

Oui

Non

Nom
e-mail

ENREGISTREMENT DE LA FOURNITUREDE SERVICE SUR LES DOCUMENTS SOURCES (aux Points de Fourniture de Service)
2
-

Ya-t-il un formulaire standard au niveau national que tous les points de fourniture de service utilisent pour enregistrer la fourniture de
service auprs des populations cibles?
2.1-

3
-

Si "Non", combien de formulaires diffrents sont utiliss par les points de fourniture de services?

Nombre

Quel le nom du formulaire(s) utilis par les points de fourniture de services?

Nom du Formulaire(s)

4
-

Quels sont dans le formulaire les principaux domaines qui correspondent lindicateur ?

Domaine 1
Domaine 2
Domaine 3
Domaine 4

87

Veuillez ajouter

LA TRANSMISSION DES DONNEES, DEPUIS LES POINTS DE FOURNITURE DE SERVICES JUSQUA LUNIT NATIONALE DE S&E (En passant par tous
niveaux intermdiaires Districts, Rgions, )
5
-

Prire dutiliser ce tableau pour expliquer le processus de transmission des donnes dans votre pays. Dans la premire ligne, fournir les informations sur les
rapports qui sont reus au bureau central. Indiquer la provenance de ces rapports, combien de rapports vous vous attendez recevoir pour chaque priode
de laudit, et combien de fois par an vous recevez ces rapports.
Nombre dexpditeurs
Rapports reus par by:

6
-

(ex : par trimestre=4fois par an)

Infrastructures de Sant

Districts

Rgion

Other [please specify]

National

Other [please specify]

A quel niveau les donnes sont informatises pour la premiere fois (i.e., enregistrs dans lordinateur)?

Infrastructures de Sant

8
-

Quelle est la frquence de

rception des rapports dans
lanne

Quel est le niveau le plus bas au niveau central pour lequel vous recevez des donnes lUnit de Gestion du S&E ?

Patients individuels

7
-

(ex si les rapports sont envoys par

les districts, indiquer ici le nombre de
districts)

Expditeur

Districts

Rgion

Prire de fournir tout autre commentaire (le cas chant).

88

Enfin, prire de joindre les modles (1) document source; et (2) rapports reus chaque niveau.

89

Annexe 2, tape 2 Modle 3. Lettre de Demande d'Agrment National pour lEQD

Date
Adresse de l'Agence Nationale dAgrment pour la Vrification de la Qualit des Donnes
Cher__________________:
En tant que partie intgrante de ses activits de supervision en cours [nom de l'organisation
commanditaire de l'audit] a slectionn [programmes/projets] au/en [pays] pour une Vrification de
la Qualit des Donnes. Soumis l'approbation, la Vrification de la Qualit des Donnes aura
lieu entre [mois ___ et ____], [Anne].
Le but de cette vrification de la qualit des donnes est d'valuer la capacit du systme de
gestion des donnes du programme de faire tat des donnes de qualit et de suivre et vrifier les
rsultats rapports des sites slectionns lis aux indicateurs suivants :
1

[nom de l'indicateur]

[nom de l'indicateur]

[Nom du Cabinet daudit] a t slectionn par [nom de lOrganisation Commanditaire de lAudit]

pour excuter la vrification de la qualit des donnes.
La conduite de cette vrification de la qualit des donnes peut ncessiter l'accs aux donnes
rapportes travers le systme dinformation national sur [la maladie et la zone du programme].
La vrification va inclure la reprise des donnes collectes pendant les priodes dlaboration des
rapports, dont lobtention et lexamen des documents source (par exemple des fiches/registres
denregistrements ou dinscriptions de client, des fiches de formation, des fiches de distribution des
produits). Tandis que l'quipe de vrification aura besoin de manire potentielle de l'accs
l'information personnelle du patient, elle gardera ces informations dans le secret absolu et aucune
documentation de la vrification ne contiendra ou ne rvlera des informations personnelles. Le
but de l'accs une telle information est dnumrer et de procder des vrifications en vue de
l'audit. Si ncessaire, l'quipe de vrification devra avoir accs et utiliser de telles informations au
niveau des sites de fourniture de service. Les informations personnelles ne devront ni tre retires
du site ni photocopies.
Les rsultats de la vrification de la qualit des donnes peuvent galement tre utiliss pour
amliorer le Systme suivi-valuation (S&E) des programmes/projets.
Pour toute information concernant cette vrification de la qualit des donnes, veuillez contacter
______ au ________.

[Nom de l'organisation commanditaire de l'audit] require formellement par la prsente

l'approbation pour conduire cette vrification de la qualit de donnes.
Veuillez indiquer ci-dessous approuv ou non approuv (en indiquant les raisons de la nonapprobation) et renvoyer cette lettre _________ au ________.
___________________
Approuv/Non approuv (veuillez entourer lune des options)

____________________
Date

Veuillez agrer lexpression de nos sentiments distingus.

CC: Le Directeur du programme/projet, le Cabinet dAudit de lEtat, les bailleurs /Partenaires au
Dveloppement et les Partenaires dexcution et Autres, la convenance de l'Audit.

ANNEXE 3: Modles pour lAgence et

lEquipe daudit
Annexe 3, tape 2 Modle 1. Fiche d'informations pour l'unit de S&E implique dans
lEQD
1- Objectif du EQD
Les objectifs de la vrification de la qualit des donnes sont de :

vrifier que les systmes convenables de gestion des donnes sont mis en place et
vrifier la qualit des donnes collectes pour les indicateurs principaux dans les sites
slectionns.

2- Indicateur(s) Inclus dans lAudit

- complter par lEquipe daudit 3- Priode dlaboration des rapports examine
- complter par lEquipe daudit 4- Tches accomplies par lEquipe daudit au niveau de lUnit de S&E.

Interroger le gestionnaire du programme et le personnel impliqu dans le S&E et la gestion des

donnes.

Revoir la disponibilit, lexhaustivit et le respect des dlais des rapports reus des sites de
collecte.

Reprendre le dcompte des nombres partir des rapports reus et comparer les rsultats aux donnes
collectes par lunit de S&E.

5- Personnel disposition au niveau de lunit de S&E pendant le EQD

Directeur du programme

Agent responsable de la gestion des donnes.

Personnel impliqu dans la rvision et la compilation des rapports reus des sites de collecte.

Personnel des TI impliqu dans la gestion des bases de donnes, si possible

Personnel appropri des organisations partenaires intervenant dans le renforcement des
systmes de S&E, si possible.

6- Documentation prparer avant larrive de lquipe daudit

Les rsultats collects par l'unit de S&E pour la priode choisie pour llaboration des
rapports (voir le point 3 - ci-dessus).
L'accs aux rsums des rapports de site soumis pour la priode (voir le Point 3 - cidessus).

Lorganigramme prsentant les responsabilits de S&E

La liste des postes et statuts de S&E (par exemple, plein temps ou temps partiel, pourvus ou
vacants)

Le plan de formation en S&E, sil existe.

Les ordres de service sur les sites de collecte concernant les exigences et dlais dlaboration
des rapports.

La description de la manire dont la fourniture de services est enregistre sur des documents
sources et sur d'autres documents tels que des registres de consultation et des rapports
priodiques de sites.
Le diagramme dtaill de la manire dont les donnes circulent des sites de fourniture de service
l'unit de S&E.

Le plan national de S&E, sil existe.

Les dfinitions oprationnelles des indicateurs vrifier (voir le point 2 - ci-dessus)

Le modle de collecte de donnes et formulaires dlaboration des rapports pour les

indicateurs vrifier (avec les directives).

La documentation crite des processus de gestion des donnes dont une description de toutes les
tapes de vrification des donnes, de compilation et de manipulation mises en oeuvre chaque
niveau du systme dlaboration des rapports.
Les procdures crites pour relever les dfis spcifiques de la qualit de donnes (par exemple,
double emploi, "perdu de vue "), dont des directives envoyes sur les sites de collecte.
Les directives et programmes pour les visites de routine de supervision des sites.

7-Temps prvu pour lEquipe daudit au niveau de lunit de S&E

- A complter par lEquipe daudit [Directive : 2 jours - 1 jour au dbut et 1 jour la fin du EQD]

ATTENTION : En aucun cas les rapports ne devraient tre confectionns pour les buts de
laudit.

Annexe 3, tape 2 Modle 2. Fiche d'informations pour les niveaux de compilation

intermdiaires choisis pour le EQD
1- Objectif du EQD
Les objectifs de la vrification de la Qualit des Donnes sont de :

vrifier que les systmes convenables de gestion des donnes sont mis en place
vrifier la qualit des donnes collectes pour les indicateurs principaux dans les sites
slectionns.

2- Indicateur(s) Inclus dans la vrification

- complter par lEquipe daudit 3- Priode dlaboration des rapports examine
- complter par lEquipe daudit 4- Tches accomplies par lEquipe daudit au niveau de la compilation intermdiaire.

Interroger le responsable du site et le personnel impliqu dans la gestion et la compilation des

donnes.
Revoir la disponibilit, lexhaustivit et le respect des dlais des rapports reus des sites de
collecte.
Reprendre le dcompte des nombres partir des rapports reus et comparer le rsultat aux
donnes collectes au niveau suivant.
Comparer les donnes communiques avec dautres sources de donnes (des relevs dinventaires,
des rapports de laboratoire, etc.)
Vrifier la vracit des services rendus la population cible (si possible)
5- Personnel disposition au niveau de la compilation intermdiaire lors de lEQD

Le directeur du site

Le personnel impliqu dans la rvision et la compilation des rapports reus des sites de collecte.

le personnel des TI impliqu dans la gestion des bases de donnes, si possible

6- Documentation prparer avant larrive de lquipe daudit

Les rsultats collects au niveau suivant pour la priode choisie pour llaboration des
rapports (voir le point 3 - ci-dessus).
L'accs aux rsums des rapports du site soumis pour la priode (voir le Point 3 - cidessus).
Description des tapes de compilation et/ou de manipulation faites sur les donnes soumises
par les sites de collecte.

7-Temps prvu pour lEquipe daudit au niveau de la compilation intermdiaire

- complter par lEquipe daudit [Directive : entre 1/2 journe et 1 jour chaque site de niveau de
compilation intermdiaire]

ATTENTION : En aucun cas des documents sources ou des rapports ne devraient tre
confectionns pour les buts de laudit.
Annexe 3, tape 2 Modle 3. Fiche d'informations pour les sites de fourniture de services
choisis pour le EQD
1- Objectif du EQD
Les objectifs de la vrification de la Qualit des Donnes sont de :

vrifier que les systmes convenables de gestion des donnes sont mis en place
vrifier la qualit des donnes collectes pour les principaux indicateurs dans les sites
slectionns.

2- Indicateur(s) Inclus dans la vrification

- complter par lEquipe daudit 3- Priode dlaboration des rapports examine
- complter par lEquipe daudit 4- Tches accomplies par lEquipe daudit au niveau du site de fourniture de services.

Interroger le responsable du site et le personnel impliqu dans la collecte et la compilation des

donnes.

Comprendre comment et quand les documents sources sont complts par rapport la fourniture de
services.

Vrifier la disponibilit et lexhaustivit de tous les documents sources pour la priode choisie pour
llaboration des rapports.

Reprendre le dcompte des donnes enregistres partir des documents sources disponibles et
comparer les rsultats aux chiffres collects par le site .

Comparer les donnes collectes avec dautres sources de donnes (par exemple des
releves dinventaires, des rapports de laboratoires, etc.)
Vrifier la fourniture relle de services ou de produits aux populations cibles (si possibles).

5- Personnel disposition au niveau du site de fourniture de services lors du EQD

Le directeur du site.

Le personnel responsable pour remplir les documents sources (par exemple les fiches de traitement du
patient, les registres de consultation, la feuille de pointage, etc.).
Le personnel responsable du report des donnes dans des registres ou le systme informatique (selon
la convenance).
Le personnel responsable de la compilation des rapports priodiques (par exemple mensuel, trimestriel,
etc.).

6- Documentation prparer avant larrive de lquipe daudit

Les rsultats collects au niveau suivant pour la priode choisie pour llaboration des

rapports (voir le point 3 - ci-dessus).

Tous les documents sources pour la priode de collecte choisie, dont les documents sources
des sites auxiliaires/priphriques (voir le point 3 - ci-dessus).
Description des tapes de compilation et/ou de manipulation faites sur les donnes soumises au niveau
suivant.

7-Temps prvu pour lEquipe daudit au niveau du site de fourniture de services

- complter par lEquipe daudit [Directive : Entre journe et deux jours (plus dun jour sera ncessaire
pour des sites importants avec des donnes collects en plusieurs centaines ou des sites qui comprennent
des centres satellites ou lorsque des contrles locaux sont faits.]

ATTENTION : En aucun cas, des documents sources ou des rapports ne devraient tre
confectionns pour les buts de laudit.

Annexe 3, Etape 4 Modle 4. Liste de contrle pour la prparation de lEquipe daudit aux
visites de vrification des Sites

Article

Lettre dagrment

Directives de mise en oeuvre

Protocole 1 de l'EQD : Protocole dvaluation du systme (faire des copies de

toutes les fiches de travail et fichiers informatiques concerns)

Protocole 2 de l'EQD Protocoles de vrification des donnes (faire des copies de

toutes les fiches de travail et fichiers informatiques concerns)

Liste des sites et des contacts

Programmation confirme des visites de sites

Ordinateur portable (au moins un par sous-quipe)

Plan dappui logistique pour l'audit

Documentation convenable fournie par le Programme/projet pour lexamen

documentaire

10

Autres

Cocher
lorsque
cest
complet )

Annexe 3, Etape 5 Modle 1. Format des notes de recodification des

Interviews/Runions avec les responsables de S&E et le personnel

Nom et adresse du Programme/projet (et de lOrganisation) :

Numro du contrat (si possible) :

Noms des personnes interroges :

Auditeur :

Date de linterview :

Zone du programme :

Indicateur(s) concern(s) :

Rfrence du document de travail ou numro de lindex :

But de linterview :

Description narrative des discussions :

Signature de lauditeur :

Date :

Annexe 3, Etape 13 - Modle 1. Note de Recommandations de la Vrification de la Qualit

des Donnes

Nom et adresse du Programme/projet (et de lOrganisation) :

Numro du contrat (si possible) :

Personne contact :
Auditeur :

Date de laudit :

Situation :

Indicateur(s) appropri(s) :

Classification:
importance

Dominant/de moindre

Dimension de la qualit des donnes :

Explication des rsultats (preuves comprises) :

Action recommande pour la correction (remplir avant la runion de clture avec le

Programme/projet) :

Notes des discussions de la runion de clture avec le Programme/projet :

Action finale recommande ((remplir aprs la runion de clture avec le Programme/projet) :

Date dexcution prvue (si possible) :

Signature de lauditeur :

Date :

Annexe 3, Etape 19 - Modle 1 : Fichier de rappel pour lactivit de renforcement de la qualit

des donnes de S&E du Programme/projet :
Nom et adresse du Programme/projet (et de lOrganisation) :
Numro du contrat (si possible) :
Personne contact :
Auditeur :

Date de laudit :

Zone du programme :

Indicateur(s) appropri :

Dsignation et
description de
lactivit

Date dexcution
prvue

Personne(s)
responsable(s)

Date vrifie

Rsultat

ANNEXE 4: Site de slection qui utilise

des techniques de
prlvement group
Instructions pour le prlvement par lutilisation dun prlvement group double

1. Dterminer le nombre de groupes et de sites Lquipe daudit devrait travailler avec

lorganisation commanditaire du EQD pour dterminer le nombre de groupes et de sites au
sein des groupes.

2. Plus dun niveau intermdiaire. Dans le cas o il existerait plus dun niveau de compilation
intermdiaire (c d que les donnes vont des districts vers les rgions avant darriver au
niveau national), un prlvement de groupe triple doit tre matrialis. Cela signifie que
deux rgions devraient tre prleves et deux districts prlevs dans chaque rgion.

3. Pas de niveau intermdiaire. Si les donnes sont collectes directement du site de

fourniture de services au niveau national (c d pas de site intermdiaire de compilation), la
slection du site sera faite comme prcdemment (prlvement group avec le district
comme unit `de prlvement de base) mais le calcul du facteur de contrle changera.
Dans ce cas, il ny a pas dajustement pour lerreur qui apparatrait entre le district et le
niveau national.

4. Prparer le cadre de prlvement . La premire tape dans le choix des groupes pour la
vrification sera de prparer un cadre de prlvement ou une liste de toutes les zones (ou
groupes) o l'activit est mene (par exemple des zones avec des sites de traitement
d'ART). La mthodologie pousse choisir des groupes proportionnellement la taille,
cest--dire . le volume de service. Il est souvent utile d'tendre le cadre de prlvement de

sorte que chaque groupe soit numr proportionnellement la taille du programme dans le
groupe. Par exemple, si un groupe donn est responsable pour 15% des patients qui
reoivent des services, ce groupe devrait comporter 15% des lments dans le cadre de
prlvement. Pour plus de dtails, voir l'exemple dillustration de la stratgie de
prlvement D (annexe 4, tableau 3) ci-dessous. Il faut veiller ne pas classer un cadre de
prlvement de manire polariser le choix des groupes. Le classement des groupes peut
introduire la priodicit ; par exemple chaque 10me groupe est une zone rurale. Le
classement par ordre alphabtique est, en gnral, une manire passive de classer les
groupes.

5. Calculer lintervalle de prlvement. L'intervalle de prlvement est obtenu en divisant le

nombre d'lments dans le cadre de prlvement par le nombre d'lments prlever. En
utilisant un tableau de numrotation alatoire (annexe 4, tableau 5) ou une mthode
similaire, il faut choisir au hasard un point de dpart sur le cadre de prlvement. Cest la
premire zone prleve. Continuer ensuite, par le moyen du cadre de prlvement,
slectionner les zones qui concident avec des intervalles de prlvement multiples.

6. Slectionner au hasard un point de dpart. Utiliser le tableau de numrotation alatoire

(annexe 4, tableau 5) pour dterminer au hasard un numro de dpart. Slectionner un
point de dpart sur le tableau en cherchant ailleurs et en marquant un point sur le tableau

avec un crayon. Tracer un trait au-dessus de la range la plus proche du point et un trait la
gauche de la colonne la plus proche du point. En allant vers la bas et droite de votre point
de dpart, il faudra choisir le premier nombre lu partir du tableau dont les derniers chiffres
X sont situs entre 0 et N. (o N = la taille de population, M = la taille du prlvement, X =
le nombre de chiffres de N. Si N est un nombre deux chiffres, alors X sera 2. Si N est un
nombre quatre chiffres, X sera 4, etc.).
Exemple :

N = 300, M = 50, le point de dpart est la colonne 3, ligne 2 sur le Tableau de

numrotation alatoire (lire en bas). Vous devrez slectionner 043 comme nombre de
dpart.
59468
99699
14043
15013
12600
33122
94169
etc.

7. Slectionner les groupes. Descendre la liste des groupes classs et numrots et sarrter au
nombre de dpart. Cest le premier groupe. Continuer vers le bas du cadre de prlvement
jusquau nombre dlments gal lintervalle de prlvement. Le numro de dpart +
l'intervalle de prlvement = 2me groupe. Le numro de dpart + 2 (l'intervalle de
prlvement) = 3me groupe, etc.

8. Stratifier les Points de Fourniture de Services . Classer les points de fourniture de services
dans chacune des zones de prlvement par volume de service, c.--d. la valeur de
l'indicateur de la priode dlaboration des rapports audite. Diviser la liste en niveaux
selon le nombre de sites choisir. Classer les sites par volume de service et les partager
quitablement entre les niveaux. Si possible, choisir un nom nombre gal de sites partir

de chaque niveau. Par exemple, si vous choisissez trois sites, crer trois niveaux (petit,
moyen et grand). Si vous slectionnez deux sites, crer deux niveaux. Pour six sites, crer
trois niveaux et slectionner deux sites par niveau et ainsi de suite.
9. Slectionner les Points de Fourniture de Services Pour un grand nombre de sites vous
pouvez utiliser un tableau de numrotation alatoire et slectionner systmatiquement des
sites comme ci-dessus. Pour un nombre restreint de sites, le prlvement alatoire simple
peut tre utilis pour slectionner des sites dans des groupes.

10. Slection des sites de sauvegarde. Si possible, choisir un site de sauvegarde pour
chaque niveau. Utiliser ce site uniquement si vous ne pouvez pas visiter les sites
slectionns au dpart pour des problmes de scurit ou d'autres facteurs. Commencer par
un nouveau cadre de prlvement pour slectionner ce site (les sites dj slectionns tant

exclus) Ne pas remplacer des sites par complaisance. Le remplacement des sites devrait
tre discut, si possible, avec l'organisation commanditaire du EQD.
11. Connatre sa mthodologie de prlvement. Les sites sont supposs tre slectionns pour
une vrification autant que possible au hasard (et de manire quitable) tout en tirant profit
de la nature pratique et de l'conomie lies au prlvement de groupe. Il vous sera peut-tre
demand dexpliquer pourquoi un site donn a t slectionn. Attendez-vous dcrire les
mthodes de prlvement et expliquer la slection quitable des sites.

Exemple d'illustration Prlvement de Groupes doubles

Dans l'exemple qui suit, un prlvement de groupes doubles modifi, est utilis pour matrialiser un
prlvement d'ART dans notre pays afin de dduire une estimation de la qualit des donnes au
niveau national. Dans une conception de groupe de prlvement, le prlvement final provient des
niveaux. Chaque niveau est compos de deux activits : (1) lnumration, (2) le prlvement.
Lnumration signifie llaboration dune liste complte de tous les lments partir desquels un
nombre sera slectionn. On parle de prlvement lorsquun nombre dlments dtermins au
pralable est slectionn au hasard partir de l'numration complte des lments. Un
prlvement est juste aussi bon que la liste dont il provient. La liste, galement appele cadre de
prlvement, est bonne (valide) si elle est complte, c.--d. si elle comprend tous les lments
connus qui comportent la population des lments Pour des sites ART dun pays, un bon cadre de
prlvement signifie que chaque site ART du pays est correctement identifi dans la liste .
Indicateur d'illustration pour cette application = nombre d'individus soumis la thrapie antirtrovirale (ART). Objectif de l'audit : vrifier la conformit des rapports nationaux de notre pays
sur les progrs des ART en se fondant sur les systmes de suivi administratifs. Plan de
prlvement : la conception de groupe double est utilise pour slectionner 3 zones, ensuite 3
sites dART dans chacune des zones slectionnes. Niveau de prlvement 1 : (a) numrer
toutes les zones, (b) slectionner 3 zones. Problme : lnumration de toutes les zones est
inefficace parce que les sites dART peuvent ne pas tre localiss dans chaque zone de notre
pays. Par consquent, pour rendre le prlvement des zones plus efficace, il faut dabord
dcouvrir les zones disposant de sites ART. Dans la grille d'illustration ci-dessous, les cellules
surlignes reprsentent ces zones (n=12) dans lesquelles des sites de ART sont localiss. Ces 12
zones surlignes comprennent le cadre initial de prlvement (Annexe 4, Tableau 1).

Annexe 4, Tableau 1. Grille dillustration

- Prsentation de toutes les zones dans
notre pays
1

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

1.

Cadre de prlvement pour le niveau 1 : La liste en Annexe 4, Tableau 2 est appele cadre
de prlvement. Elle contient une liste complte des zones concernes pour la vrification des
sites de ART, parce que seules les zones dans lesquelles les sites de ART sont localiss sont
incluses dans la liste.

2.

La premire colonne du cadre contient un plan de numrotation simple commenant par 1

et se terminant avec le dernier lment de la liste, ce qui, dans ce cas, est 12, parce que seules 12
zones de notre pays contiennent des sites de ART. .

3.

La deuxime colonne du cadre contient le numro de la zone qui correspond la grille

d'illustration prsente au tableau prcdent. Il sagissait des cellules surlignes qui ont montr les
zones qui contenaient des sites d'ART. La colonne 2 (numro de zone) n'numre pas les zones
choisies. Par contre, elle numre uniquement ces zones de notre pays o se trouvent des sites
d'ART. Le prlvement de 3 zones sera tir de la colonne 2.

4.

La troisime colonne montre le nombre de sites d'ART situs dans chaque zone. Ceci est
important parce que la slection des zones sera proportionnelle au nombre d'individus qui reoivent
les ART dans chaque zone.
Annexe 4, Tableau 2. Cadre de prlvement pour la slection des districts dans
notre pays
Cadre de
prlvement numro
simple ascendant

Numro
de zone

Nombre de
sites ART par
zone

Nombre dindividus qui

reoivent les ART par
zone

300

100

200

12

500

16

500

19

60

20

70

21

300

22

90

10

26

600

11

27

80

12

28

200

24

3000

Total

5.

La prochaine tape de ce niveau du prlvement est d'utiliser le cadre de prlvement pour

slectionner les trois zones o les auditeurs vont mener la vrification dans des sites spcifiques des
ART. Nous essayons d'estimer un paramtre (qualit des donnes) pour toutes les zones/sites dans le
pays en utilisant quelques unes slectionnes. Par consquent nous voudrions que ces quelques-unes
que nous slectionnons soient autant que possible typiques pour fournir une estimation aussi proche
de la valeur relle que possible. Quelques zones peuvent contribuer davantage, ou moins, la
moyenne de la qualit des donnes dans tout le pays. Puisque nous sommes intresss par le choix
des zones qui sont reprsentatives de toutes les zones avec des sites ART dans le pays, et que nous
savons que quelques zones, avec des sites ART, peuvent ne pas tre typiques (ou reprsentatives) de
toutes les zones avec des sites ART. Nous devons nous assurer que des zones avec un grand volume
de services (qui contribuent davantage la qualit moyenne de donnes de toutes les zones) sont
incluses dans notre prlvement. Par consquent, la technique de prlvement va choisir des zones
en utilisant la probabilit proportion la taille

6.

En d'autres termes, la possibilit qu'une zone soit choisie pour l'audit dpend du nombre
d'individus en traitement dans la zone. Cette information peut tre trouve dans la colonne 4 de
l'Annexe 4, Tableau 2 : Nombre d'individus qui reoivent les ART par zone. Habituellement, ce
nombre correspond aux rapports trimestriels.

7.

Une manire de lier la probabilit de la slection d'une zone au volume de service est de
gonfler le cadre de prlvement en fonction du nombre d'individus qui reoivent les ART dans
chaque zone. Par exemple, si dans la zone #1 un nombre total de 300 individus reoivent les ART,
la zone #1 devrait alors tre numre dans le cadre de prlvement 300 fois.

8.

Pour faciliter cela, il faut diviser les valeurs dans la colonne 4 (nombre d'individus recevant
les ART) par 10. Par exemple, la zone #1 devrait apparatre maintenant 30 fois au lieu de 300 fois.
La zone #3 devrait apparatre 10 fois au lieu de 100 fois, et ainsi de suite. Ce cadre de prlvement
gonfl est prsent dans le tableau 3 de cette section.

9.

En utilisant le cadre de prlvement gonfl prsent en annexe 4, tableau 3, nous sommes

prts utiliser le prlvement systmatique alatoire pour choisir trois zones.

10.

Dans le prlvement systmatique alatoire, chaque lment KTH du cadre de prlvement

est choisi pour intgration dans le prlvement final de l'audit. Si la liste (le cadre de prlvement)

contient 1.000 lments et que vous vouliez un prlvement de 100 lments, vous choisirez chaque
10me lment pour votre prlvement. Pour s'assurer contre la polarisation, l'approche standard
est de choisir le premier lment au hasard. Dans ce cas-ci, il faut choisir au hasard un nombre
compris entre 1 et 10. Ce nombre va reprsenter le premier lment dans votre prlvement. En
comptant 10 lments au-del de ce nombre vous aurez la reprsentation du deuxime lment dans
votre prlvement, et ainsi de suite.
11.

Dans cet exemple de site des ART, nous voulons choisir trois zones, ensuite au sein de
chacune des ces trois zones choisies nous voulons slectionner trois sites des ART. Par

consquent la dimension souhaite pour notre prlvement est neuf sites dART. C'est un
prlvement double : la premire phase implique l'numration et le prlvement des zones. La
seconde phase implique l'numration et le prlvement des sites ART.
12.

Notre cadre de prlvement est organis par une mthodologie de probabilit

proportionnelle la taille parce que la liste est alourdie par le nombre d'individus qui reoivent les
ART par zone. En d'autres termes, nous aurons une plus grande probabilit de choisir une zone o
un nombre lev d'individus reoivent les ART, parce que ces zones sont numres plus souvent
(cest dire ce que linflation du cadre de prlvement a accompli).

13.

Dans le prlvement systmatique alatoire, l'intervalle de prlvement est calcul en

divisant la taille souhaite du prlvement (trois zones) par le nombre d'lments dans le cadre de
prlvement (300 dans le cadre prsent en Annexe 3, Tableau 3). Ainsi, notre intervalle de
prlvement est de 300/3, qui est gal 100.

Annexe 4, Tableau 3. Cadre de prlvement pour la slection des zones sur la base dune
probabilit proportionnelle la taille*
#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

Zon
e
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
3
3
3
3
3
3
3
3
3
3
9
9

#
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92

Zon
e
9
9
9
9
9
9
9
9
9
9
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12
12

#
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142

Zon
e
12
12
12
12
12
12
12
12
12
12
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16
16

#
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192

Zon
e
16
16
16
16
16
16
16
16
16
16
19
19
19
19
19
19
20
20
20
20
20
20
20
21
21
21
21
21
21
21
21
21
21
21
21
21
21
21
21
21
21
21

#
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242

Zon
e
21
21
21
22
22
22
22
22
22
22
22
22
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26

#
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292

Zon
e
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
26
27
27
27
27
27
27
27
27
28
28
28
28
28
28
28
28
28
28
28
28

#
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342

Zon
e

43
44
45
46
47
48
49
50

9
9
9
9
9
9
9
9

93
94
95
96
97
98
99
100

12
12
12
12
12
12
12
12

143
144
145
146
147
148
149
150

16
16
16
16
16
16
16
16

193
194
195
196
197
198
199
200

21
21
21
21
21
21
21
21

243
244
245
246
247
248
249
250

26
26
26
26
26
26
26
26

293
294
295
296
297
298
299
300

28
28
28
28
28
28
28
28

343
344
345
346
347
348
349
350

14.

En utilisant une mthodologie de dmarrage alatoire, slectionnons maintenant un nombre

au hasard entre 1 et 100. Utiliser la table de numrotation alatoire en Annexe 4, Tableau 5 pour
gnrer ce numro alatoire. Choisir un point de dpart sur le tableau en cherchant ailleurs et en
marquant un point sur le tableau avec un crayon. Tracer une ligne au-dessus de la range la plus
proche du point et une ligne gauche de la colonne la plus proche du point. A partir du point de
dpart (le point) descendre la colonne droite du trait vertical jusqu' un nombre infrieur
l'intervalle de prlvement. Ce nombre est votre point de dpart et votre premire zone prleve.
Dans ce cas le nombre alatoire est gal 14. Il devient maintenant le premier lment choisi
partir du cadre de prlvement et correspond la zone #1.

15.

Dans un prlvement systmatique alatoire, nous nous dplaons de manire systmatique

vers le bas de la liste sur la base de l'intervalle de prlvement. Notre intervalle de prlvement
calcul est 100. Puisque notre point de dpart alatoire tait 14, la tche est maintenant de se
dplacer 100 ranges vers le bas de la liste pour arriver notre prochaine zone choisie. 14 plus 100
gal 114. Cette position sur notre liste se rapporte la zone #16. C'est notre prochaine zone
choisie.

16.

Descendre la liste par notre intervalle de prlvement (100) partir de 114 signifie que
notre prochaine zone est 114 + 100 = 214, ce qui correspond la zone #26. C'est notre troisime
zone slectionne.

17.

L'tape 1 de la stratgie de prlvement a produit les trois zones dont les vrais sites des ART
vrifier seront tirs de l'tape 2.

18.

En utilisant exactement la mme mthodologie qui a t utilise dans l'tape 1 de cette

stratgie de prlvement, il faut numrer tous les sites des ART dans le district #1, le district #16,
et le district #26, (annexe 4, tableau 4)

Annexe 4, Tableau 4. Les quatre zones slectionnes et lnumration des sites des
ART au sein du District #12
Enumration dillustration des sites ART au
sein des zones slectionnes (le district #16
est surlign)

Les 4 zones choisies dans le

prlvement de lAudit

Numr
o de
District

Sites par
District

Dcompte
compil
collect :
Individus
soumis
aux ART

300

16

500

26

600

Numro
de
District

16

Dcompte
compil
collect :
Individus
soumis
aux ART

Numro
du site.

500

#1

100

#2

350

#3

50

500

Total

19.

20.

Dcompte
spcifique
collect du
site :

La tche consiste maintenant choisir trois sites des ART dans chacun des districts
slectionns. Mais, comme nous pouvons le voir partir du tableau 4, le district #1 dispose
seulement de 2 sites des ART; Le district #16, 3 sites et le district #26, 5 sites.

Selon la distribution de la population du pays et de l'pidmiologie de la maladie concerne,

il peut y avoir beaucoup de sites par zone, ou relativement peu. Etant donn la maturit relative des
programmes de TB et de la distribution gnralise de la TB et du paludisme, les sites qui ont des
programmes qui soccupent de ces maladies sont susceptibles d'tre assez nombreux par zone.

Dautre part, les sites qui ont des programmes VIH/SIDA seront relativement moins nombreux,
particulirement dans les pays avec une basse prdominance ou les pays pidmies concentres
(c.--d. des cas trouvs principalement dans les groupes haut risque). Dans notre exemple des
ART il y a trs peu de sites par zone. Avec ces nombres restreints de sites par zone, n'importe quelle
sorte de hasard (chance) peut tre utilis pour driver les 9 sites des ART qui comporteront le
prlvement de l'audit. Il est peut-tre plus facile dutiliser un algorithme de prlvement alatoire
simple dans ce cas-ci. Dans le cas o il y aurait beaucoup de sites par zone, les sites devraient tre
classs par zone selon le volume de service et trois sites choisis en utilisant le prlvement alatoire
stratifi. C'est--dire, stratifier les sites dans le grand, le moyen et le petit volume (le nombre de
patients traits, le nombre de produits distribus) et choisir un site au hasard partir de chaque
niveau. Ceci va assurer une reprsentation convenable de tous les sites en ce qui concerne le volume
de service.
21.

A ce point, un prlvement de neuf sites des ART a t matrialis. Maintenant les

vrificateurs de la qualit des donnes connaissent les zones visiter et quels sites sont vrifier
dans ces zones, ainsi l'quipe peut planifier son travail en consquence. Aprs que l'quipe de

vrification a termin les travaux au niveau de ces neuf sites, la prochaine tape sera de calculer les
facteurs de vrification.
N.B : La combinaison du nombre de groupes et des sites dans les groupes n'est pas fixe, en

revanche, cette combinaison devrait tre base sur la distribution des sites travers un paysage qui
est fonction des programmes. Peu de sites peuvent tre slectionns par zone quand le volume de
services est fortement concentr. Par exemple, dans notre pays nous aurions pu choisir 4 zones
et ensuite 2 sites par zone afin d'assurer une reprsentation plus gographique des sites. Tandis que
l'augmentation du nombre de zones dans le prlvement conduit une plus grande puissance
statistique de l'analyse (c.--d. une plus grande prcision de l'valuation de la qualit des
donnes), les dpenses et le temps requis pour voyager vers les zones supplmentaires seront
probablement suprieurs l'amlioration marginale de la prcision (voir Woodard et Error! Bookmark not
defined.
pour une discussion sur la prcision des valuations en utilisant la mthodologie de
prlvement de GAVI EQD).

Le nombre total de groupes et de sites sera dtermin par l'organisation commanditaire du EQD en
consultation avec le cabinet daudit, mais dpend finalement des ressources disponibles pour la
conduite de la vrification de qualit de donnes. A cet gard, les principales contraintes sont : (1)
le temps qu'une quipe de vrification peut consacrer au travail lintrieur du pays, (2) la
composition (nombre et formation) de l'quipe de vrification lintrieur pays, et (3) le
financement disponible pour soutenir l'excution de l'audit.

Quelle doit - tre la taille de l'chantillon ?

Il n'y a pas une bonne ou une mauvaise rponse cette question. La vraie question qu`on doit poser
est : quel nombre de groupe (par exemple, les districts) et combien de sites par groupe doit-on
choisir en vue de produire des statistiques exactes?
Des Statistiques prcises dans ce cas, signifient que les facteurs de vrification qui sont calculs
pour les chantillons de districts reprsentent les facteurs de vrification de tous les districts qui
n'ont pas t slectionns dans l'chantillon de vrification de la qualit des donnes.
En d'autres termes, l'chantillonnage alatoire permet l'quipe EQD d`estimer un facteur de
vrification national en contrlant les chiffres recenss dans seulement une fraction du nombre total
(national) de sites. Quel est le degr dexactitude de cette estimation ? Quel est le pourcentage de
similitude entre les rsultats trouvs par les auditeurs pour cette partie des sites et les rsultats qui
pourraient tre trouves pour l'ensemble des sites?
La rponse rside dans les erreurs d'chantillonnage. Une erreur d'chantillonnage est une mesure
de la probabilit d`cart entre les estimations de l'chantillon et les supposes vraies valeurs. (Les
vraies valeurs sont gnralement appeles les paramtres.) Les erreurs d'chantillonnage
reprsentent une fonction compose de deux choses: (1) la taille de l'chantillon, et (2) la variabilit
de ce paramtre.

Les erreurs d'chantillonnage diminuent mesure que la taille de l'chantillon augmente. Plus
l`chantillon est grand, moins il existe d`erreurs d'chantillonnage et plus les rsultats sont exacts.
Les erreurs d'chantillonnage dpendent aussi de la variabilit du paramtre. Par exemple, si le vrai
facteur de vrification national (paramtre de la qualit des donnes) se trouve tre 0,95, il est
probablement un indicateur de bonnes pratiques en matire de rapports, dans la majorit des sites
dans le pays. Par consquent, il est probable quun chantillon alatoire contienne des sites ayant de
bons rapports de performance. Dans cet chantillon, la qualit des donnes est uniformment bonne,
donc on n'aura pas besoin d'un large chantillon pour le dmontrer.
D'autre part, si le vrai facteur de vrification national est 0,50, alors il reflte probablement une
combinaison de bonnes et mauvaises qualits des donnes dans tous les sites du pays. Il faudrait un
chantillon plus large pour sassurer quun nombre suffisant de ces bons et mauvais sites sont
reprsents dans l'chantillon tout comme ils sont disposs dans l'ensemble du pays.
L'erreur d'chantillonnage est un concept mathmatique qui permet de calculer des intervalles de
confiance. Il concerne spcifiquement le nombre d'carts types (plus ou moins) qui existent entre les
rsultats dchantillon et les vrais chiffres (le paramtre). La plupart des manuels de statistiques ont
des tableaux derreurs d'chantillonnage dans leur appendice o la valeur spcifique de l'erreur
d'chantillonnage est indique en fonction de la taille de l'chantillon et de la variabilit du
paramtre.
La cl de la rduction des erreurs d'chantillonnage dans le cadre de la vrification de la qualit des
donnes est de se rappeler que la taille de l'chantillon n'est pas le nombre de groupes (districts)
dans l'chantillon, ni non plus le nombre de sites dans l'chantillon, mais la taille de l'chantillon
porte sur le nombre de structures de service de sant (lorsquun patient sous ARV se rend au site)
recenses sur le site.
Dans l'annexe 4, nous utilisons un cas o trois districts sont slectionns et trois sites choisis par
district. Les auditeurs vrifient les chiffres des patients ARV recenss recevant des services ARV
sur les sites slectionns. Le nombre total de patients ARV recenss est 1400. C'est le nombre rel
que les agents de contrle de la qualit des donnes cherchent vrifier et il constitue une taille
effective de l'chantillon si lon considre les questions statistiques de lexactitude de l'chantillon.
Quelle est la taille de cet chantillon ? En Ouganda, le nombre total de personnes sous ARV
recenss recevant directement des soins partir des sites en 2005 tait de 49.600. Mille quatre cents
personnes, soit environ trois pour cent de ce total, qui, dans la plupart des conditions, est une taille
d'chantillon raisonnable pour cette population. Au Nigeria, le nombre total de personnes
directement bnficiaires des ARV tait 18900 en 2005. Pour le Nigeria, la taille d'chantillon
alatoire de 1400 personnes, ce qui reprsente environ huit pour cent du total - 8% de l'chantillon
est fort dans la plupart des applications.
Sinon, moins quun pays dispose dun trs grand nombre de sites o d e grands services de sant
exercent (par exemple, l'Afrique du Sud, le Kenya, lOuganda), il est gnralement possible de
saisir une fraction solide de services en visitant 8 12 sites, en utilisant une probabilit
proportionnelle la mthodologie de la taille.
Toutefois, la dfinition mathmatique de la technique d`chantillonnage des groupes, modifie et en
deux tapes dcrites ici, indique que l`exactitude des estimations du facteur de vrification des

donnes de couverture vaccinale est trop faible pour une utilisation raliste l'chelle nationale.
Dans les simulations, Woodard et AL ont trouv que jusqu' 30 districts devraient tre
chantillonns pour parvenir la prcision d`environ + / -10%. Compte tenu de l'investissement en
temps, en personnel et en ressources financires ncessaires pour visiter 30 districts, le calcul d'un
facteur de vrification national exact est peu probable.
Cela dit, il est possible d'avoir un aperu de la qualit globale des donnes dans un programme /
projet sans recours l'estimation nationale du FV. Les aspects qualitatifs de lEQD sont suffisants
pour dterminer les forces et faiblesses d'un systme de rapports. Par exemple, si les dfinitions
d'indicateurs sont mal comprises dans une majorit d'chantillon reprsentant des sites, il est fort
probable que les dfinitions d'indicateurs soient aussi mal comprises dans les districts non choisis
comme chantillon. Le rcit des indicateurs et la comparaison avec les valeurs recenses d'un
chantillon de sites sont galement suffisants pour dterminer dans un sens gnral si la qualit des
donnes est bonne, mdiocre ou mauvaise, mme sans bnficier d'une estimation nationale prcise.
Les rapports manquants ou les grandes disparits entre les rsultats communiqus et recenss dans
une poigne de sites est le signe de lexistence des disparits similaire.
En fin de compte, le facteur de vrification national doit tre interprt avec prudence. Dans le but
de la vrification de la qualit des donnes, il devrait tre utilis comme une indication de qualit
de donnes (ou absence de qualit de donnes) plutt que comme une mesure exacte.

Annexe 4, Tableau 5. : Tableau de Nombres Alatoires

Tableau de Nombres Alatoires

Extrait de Rand Corporation, A Million Random Digits with 100,000 Normal Deviates
(New York: The Free Press, 1955)

ANNEXE 5: Calcul du facteur de vrification

Dans une vrification de la qualit des donnes, l'une des questions les plus fondamentales est la
mesure dans laquelle les rsultats recenss correspondent ceux inspects. Plus prcisment, pour
un indicateur examin, quelle est la proportion de sites dans (nom du pays) qui a recens des
rsultats exacts au cours de la priode prcdente ? . Le facteur de vrification reprsente une
faon de rsumer la rponse cette question dans une mesure standard et quantitative.
L'utilisation de facteurs de vrification (FV) peut tre applique l'ensemble total des indicateurs de
sant que l'outil de vrification de la qualit des donnes est destin couvrir - condition que la
stratgie d'chantillonnage utilise par l'quipe de vrification soit statistiquement
reprsentatif pour le programme dans l'ensemble du pays (ou dans une importante partie du
programme dans le pays) et que le nombre rel de sites dans l'chantillon soit suffisamment
important pour produire des estimations fiables pour la cohrence des rapports.

Le facteur de vrification est un indicateur de cohrence des rapports qui est mesur 3 niveaux:
(1) au niveau des prestations de services du site, (2) au niveau administratif du district et (3) au
niveau administratif national. Il est souvent appel indicateur de cohrence des rapports au niveau
du district parce que les entits de base de l'chantillonnage pour lestimation des facteurs de
vrification sont les districts (ou niveaux d'agrgation intermdiaire ). On peut galement sy rfrer
comme indicateur fond sur le district parce que dans l'approche GAVI les facteurs de vrification
sont conus lchelle du district et au niveau national.

L'quation pour calculer les facteurs de vrification se compose

de quatre facteurs
:
Facteur #1 : Les chiffres examins par lquipe daudit dans un site choisi
Facteur #2 : les chiffres recenss et examins dans un site de prestations de services choisi.
Facteur #3 : les chiffres recenss et examins venant de tous les sites dun groupe choisi (district).
Factor #4 : Les chiffres recenss des groupes choisis (districts) ainsi quils ont t examins
lchelle nationale*.
* les groupes font rfrence une entit administrative/gographique comme un district, une province,
une rgion, et
** Lchelle nationale fait rfrence au lieu final ou se fait laggregation de chiffres recenss comme
lorgane appropri du gouvernement du pays daccueil ou lagent de liaison stratgique du
PEPFARequipe USG

Le calcul du facteur de vrification se compose de trois tapes.

Premire tape
Diviser le facteur #1 par le facteur # 2
Chiffres examins au niveau du site choisi
Chiffres recenss au niveau du site choisi
Le rsultat est gal la proportion de chiffres recenss au niveau du site choisi qui est inspect par
lquipe daudit. Ce rsultat peut tre appel le nombre vrifi du site
Deuxime tape

Diviser le facteur #3 par le facteur # 4

Chiffres recenss provenant de tous les sites des groupes choisis
Chiffres recenss partir des groupes choisis (districts) ainsi quils ont t examins au niveau
national.
Ce rsultat est gal la proportion du groupe choisi ou des rapports du district qui sont entirement
consistants avec les rapports nationaux. Il est appel pourcentage de cohrence du groupe ou
facteur d'ajustement.
Le facteur d'ajustement rpond la question suivante : "Les rsultats recenss au niveau des
districts slectionns (pour tous les sites dans le district choisi - et pas seulement les sites qui ont
t visits par l'quipe de vrification) sont-ils exactement les mmes que ceux (pour le district )
qui ont t examins au niveau national?
Troisime
Pour chaque district slectionn comme chantillon, il faudra faire la somme de valeurs recomptes
des sites audits et la diviser par la somme des valeurs des sites audits. Multiplier ce rsultat pour
chaque district choisi comme chantillon par le facteur d'ajustement appropri pour chaque district.
Lorsque ajust plus tard avec la pondration "du district" comme il est indiqu ci-dessous, ce
rsultat sera le facteur de vrification national.
Il est important de se rappeler que les units de temps devraient tre quivalentes travers chacun
des facteurs utiliss pour calculer le FV. Cela signifie que si l'auditeur effectue lanalyse et la
vrification des rsultats recenss pour les 12 derniers mois au niveau dun site choisi, cette priode
(les 12 derniers mois) devrait tre prise comme base pour les autres facteurs de l'quation.
Le facteur de vrification peut tre exprim en utilisant la notation statistique comme suit :

4 xij

VFi

j 1
4

j 1

yij

L o :
i = district choisi (i = 1, 2, 3) et
j = site choisi (j = 1, 2, 3)
et o

Rdi
Rni

Xij = Les chiffres valids de lnime site de lnime district

Rdi = au niveau du district, les chiffres recenss de tous les sites dans lnime district, qui ont t
traits pour soumission au niveau national
Rni = au niveau national, les chiffres recenss et examins selon des rapports de lnime district.
Afin d'obtenir un facteur de vrification national, il faut d'abord calculer les facteurs de vrification
au niveau du district. Le FV est calcul comme la moyenne pondre des facteurs de vrification du
district.
L'exemple montrant comment les facteurs de vrification sont obtenus suppose que l'quipe de
vrification de la qualit des donnes travaille dans les trois districts qui ont t slectionns dans la
section de l'chantillon alatoire dcrit ci-dessous. Ces trois districts (# 1, # 16 # 26) et les sites
ARV intgrs entre eux sont exposs l'annexe 5, tableau 1.

Annexe 5, Tableau 1. Le flux de chiffres ARV indiqus au niveau des sites

choisis ( i = 1, 16, 26 ( i = 1, 16, 26) et jusquau niveau national

Agrgation des chiffres recenss des districts ( N ) Niveau National

(300) + (500) + (700) = 1.500
Agrgation des chiffres recenss des sites ( n ) Au niveau du district :
Numro didentification du district ( I )
1
(300)
1
(15
0)

2
(150
)

16
(500)
3
(100
)

4
(350
)

26
(600)
5
(50)

6
(200)

7
(100
)

8
(100
)

NA*
(100
)

9
(100)

Au niveau du site: Numro didentification du site choisi (j ) et les chiffres

recenss des ARV ( y )

Il faut remarquer que les chiffres valids des ARV au district 26 (600) sont
mal report Niveau national (700)
* NA = Les sites qui ne sont pas choisis dans lchantillon alatoire
L'chantillonnage deux tapes des groupes, comme nonc ci-dessus, a t trouv dans trois
districts et un total de 10 sites d'ARV. Conformment l'approche de GAVI, cette stratgie ncessite
un certain nombre de sites qui seront choisis par district. Dans cet exemple, trois sites sont choisis
par district. Le problme est que puisque seul le district # 1 dispose de deux sites d'ARV, il n'est pas
possible den slectionner trois.
Une solution a ce problme est de slectionner les deux sites ARV du district #1, tous les 3 sites du
district 16 et choisir au hasard 4 sites parmi les 5 du district 26. Il faut noter quil y a un bon
nombre dalternatives disponibles pour aborder le problme dchantillonnage cit ci-dessus.
Une fois quune alternative la question dchantillonnage cite ci-dessous est identifie, lquipe
daudit peut commencer remplir le tableau approprie pour le calcul des facteurs de vrification. Le
tableau peut tre illustr comme suit :
Tableau Illustratif du calcul des facteurs de vrification
I = district choisi (i = 1, i = 16, i = 26)
j = site ARV Choisi situe lnime district
x = chiffres examins au niveau du site choisi N
y = nombres recenss au niveau du site N
Lannexe 5, tableau 2 illustre les calculs obtenus partir des calculs du tableau
Annexe 5, Tableau 2. Calcul de i, j, x et y

x/y

145

150

0,96

130

150

0,86

Total:

275

300

0,91

16

100

100

1,00

16

355

350

1,01

16

45

50

0,90

Total:

500

500

1,00

26

100

200

0,50

26

50

100

0,50

26

75

100

0,75

26

40

100

0,40

Total:
4
265
500
0,53
L'une des lignes du tableau est surligne dans le but de mieux comprendre comment le FV est
calcul. La ligne est associe au district 26 (i = 26) et au site numro 7 (j = 7). La 3mee colonne du
tableau montre X, reprsentant le nombre de patients sous ARV vrifis que les auditeurs ont fourni
au niveau du site (50). La 4me colonne du tableau montre Y, reprsentant le nombre de patients
sous ARV recenss au niveau de ce site (100). Cette partie des facteurs de vrification est calcule
en divisant tout simplement le nombre vrifi (50) par le nombre recens (100) = (0,50).
Le tableau montre comment les sites sont regroups au sein des districts, parce que les facteurs de
vrification sont calculs au niveau du district en mettant en commun les rsultats de l'audit de
chaque site slectionn dans un district. Ainsi, le facteur de vrification du district #1 dans le
tableau est de 0,91, ce qui est obtenu en regroupant les rsultats [x / y] des deux sites du district #1.
Le groupage des rsultats est simple : le total de la colonne X (275) est divis par le total de la
colonne Y (300) pour le calcul du FV au niveau du district pour le district #1. Cette opration est
effectue pour chacun des districts choisis.
A en juger par ces facteurs de vrification (sur la base des valeurs alatoires inscrites dans la
colonne X), le tableau indique que le district #26 a augment le nombre de patients sous ARV dans
ses sites en les reportant. Ici, le nombre total de patients sous ARV recenss tait de 500, tandis que
le nombre total, examin, qui a t calcul par l'quipe de vrification de la qualit des donnes
charge de lexamen des documents sources dans les quatre sites choisis tait de 265. 265 diviss
par 500 gale 0,53, ce qui implique que les auditeurs nont pu vrifier que la moiti environ de
tous les patients sous ART qui ont t recenss dans ce district.
Les deux dernires tapes pour obtenir un facteur de vrification national sont (1) de calculer le
facteur d'ajustement [Rdi/Rni] pour chaque groupe et (2) de multiplier le facteur d'ajustement par
les facteurs de vrifications pondrs au niveau du district.
Calcul du facteur d'ajustement: Lannexe 5 tableau 1 montre le flux du nombre dARV recens
provenant du site choisi jusquau niveau des districts slectionns (ou groupes) et, enfin, jusquau
niveau national (ou niveau de validation final). Dans notre exemple, le tableau indique que le
nombre dARV recens et valid du district (District 26) ne se reflte pas au niveau national. Plus
prcisment, le nombre recens de 600 patients sous ARV, comme indiqu dans les services de sant
du district 26, ne correspond pas au chiffre de 700 patients sous ARV recens pour le district 26 au
bureau national de sant.
Ce fait a t dcouvert par un membre de l'quipe de vrification de la qualit des donnes qui
examinait les rsultats au niveau du district par rapport ce qui aurait pu tre observ au niveau
national. A la suite de ce travail de l'quipe de vrification de la qualit des donnes qui seffectue
dans les niveaux d'agrgation plus leve que le site ( savoir les niveaux d'agrgation intermdiaire
et finale), on a maintenant ce dont on a besoin pour calculer le facteur d'ajustement.

Rdi/Rni est gale :

1. Les chiffres recenss valids provenant de tous les sites dun district choisi comme ils ont
t examins par l'auditeur au niveau d'agrgation (ou intermdiaire) du district :
2. Diviss par
3. Les Chiffres recenss et valids provenant de tous les sites dun district choisi comme ils ont
t examins par lagent vrificateur au niveau d'agrgation nationale (ou plus lev).
Dans notre exemple, les facteurs d'ajustement de chaque district seront :

District 1 : 300/300 = 1,0

District 16 : 500/500 = 1,0

District 26 : 600/700 = 0,86

Le facteur d'ajustement est appliqu en le multipliant avec le facteur de vrification pour chaque
district. Ainsi, la les facteurs de vrification ajusts de chaque district sont :

District 1 : 0,91 x 1,0 = 0,91

District 16: 1,0 x 1,0 = 1,0

District 26: 0,53 x 0,86 = 0,46

La prochaine tape du calcul est de mesurer les facteurs de vrification ajusts du district avec les
chiffres examins au niveau du district. On a mesur les facteurs de vrification des districts parce
quon veut accorder plus d'importance un facteur de vrification qui reprsente un grand nombre
de patients et proportionnellement moins d'importance un facteur de vrification qui reprsente un
nombre moins important de patients.
En d'autres termes, sur la base de notre exemple thorique des trois districts, il semble que le district
16 a le plus grand nombre de patients sous ARV et que le district 26 a le plus petit nombre de
patients sous ARV pendant cette priode. Quand on conoit un facteur de vrification standard pour
l'ensemble des trois districts, idalement, on aimait attribuer proportionnellement plus de poids la
vrification des rsultats du district 16, corrlativement moins de poids au district 26, ainsi de suite.

Le tableau de la page suivante prsente les calculs intermdiaires et finaux qui sont ncessaires
ltablissement d'une moyenne pondre de tous les facteurs de vrification du district.

Annexe 5, Tableau 3. Calcul de la moyenne et la moyenne pondre

du district de vrification des facteurs

i=1

i = 16

i = 26

Total

Nombre examin au niveau du district X

275

500

265

1040

Nombre recens au niveau du district Y

300

500

500

1300

Facteur de vrification du District X/Y

0,91

1,00

0,53

2,44

Facteur dajustement

1,0

1,0

0,86

Facteur de vrification ajust du district

0,91

1,0

0,46

2,37

Pondration

275

500

265

1040

FV (pondr)

250,25

500,00

121,9

872,15

Moyenne de district

0,81

Pondration en moyenne du district

0.84

* La pondration utilise ici est le nombre examin de patients sous ARV (X)
La moyenne du district est calcule en additionnant les trois facteurs de vrification pour chaque
district (0,91 + 1,00 + 0,53 = 2,44), ensuite diviser le total par trois (2,44 : 3 = 0,813).
La moyenne pondre du district est calcule en multipliant dabord chacun des trois facteurs de
vrification ajusts du district par la pondration au niveau du district concerne. Dans cet exemple,
la pondration est gale au nombre examin (x) lchelle du district. Dans le tableau, cette valeur
est affiche dans la ligne intitule FV (pondration). Ensuite on prend la somme des valeurs
pondres, ce qui est indiqu dans la dernire colonne de la ligne intitule FV (pondration) =
872,2, puis on divise cette valeur par la somme des pondrations (1040). Ainsi, 872.2 : 1040 = 0,84.

Selon les calculs indiqus l'annexe 5, tableau 3, la moyenne arithmtique simple des facteurs de
vrification combins de l'ensemble des trois districts est de 0,813 alors que la moyenne pondre
est de 0,840. La moyenne pondre est suprieure parce que son calcul prend en compte le fait que
le district 16 avait plus de patients sous ARV que les autres districts. Puisque le facteur de
vrification pour le district 16 est de 1,00, ce (parfait) FV est applicable d'autres patients sous
ARV, donc il a plus d'influence sur la moyenne gnrale.