Analyse critique d’article

P Vignon
Réanimation polyvalente
CHU Limoges
 Analyse « critique »
• Déterminer objectivement les points forts et faibles d’un
article scientifique
• Pouvoir le situer dans la littérature existante pour
déterminer son apport éventuel à l’état des connaissances
• Définir son champ d’application potentiel
• Choisir s’il doit être mis en pratique dans son service, le
cas échéant en modifiant des procédures de soins écrites
• Evaluer l’impact d’éventuelles modification dans les
procédures de soins et suivre la littérature à ce sujet.
 Analyse de la qualité d’un article
1. Objectif de l’étude (hypothèse testée)
2. Type d’étude (adaptée à l’hypothèse)
3. Facteur étudié (critère principal de jugement)
4. Population source (critères d’inclusion et exclusion)
5. Facteurs de confusion et biais (liés à la méthodologie)
6. Analyse statistique (adaptée au type d’étude / objectif)
7. Aspect éthique (accord CPP, loi de bioéthique)
8. Présentation des résultats (exhaustivité, détails)
9. Discussion et conclusion des auteurs (rapport avec les résultats)
 Objectif principal de l’étude
• Une étude = un objectif principal
• Un objectif principal = un critère principal de jugement
• Le critère principal de jugement doit permettre d’évaluer l’objectif
principal de l’étude
• Il doit être aisément utilisable et reproductible par toute équipe
qui prend en charge le même type de malades
• Fondamental : conditionne le succès de l’étude ! (ex, midazolam)
L’hypothèse de l’étude est-elle clairement énoncée dans l’introduction ?
A-t-elle été posée a priori ?
 Objectif(s) secondaire(s) de l’étude
• Une étude peut avoir un ou plusieurs objectifs secondaires
• Evaluent des questions complémentaires (ex, tolérance
d’un traitement, facteurs de risque d’une complication…)
• Souvent en rapport avec la littérature existante (ex,
mortalité à 28 jours ; UTSTEIN et arrêt cardiaque)
• Evitent la multiplication d’études « ancillaires »…

Les objectifs secondaires sont-ils pertinents et en nombre raisonnable ?

S’agit-il d’une étude ancillaire ou d’une duplication de publication ?
 Type d’étude
• Identifier le type d’étude :
– Expérimentale (animaux, volontaires sains) Prospectiv
e
– Essais cliniques (thérapeutiques ou diagnostiques) Rétrospec
tive
– Enquêtes (population ou échantillon de population) Randomis
ée
– Autre (synthèse, mise au point, méta-analyse, recommandation
Contrôlée
non
d’experts etc…) randomisé
e
• Déterminer si le type d’étude est adapté à l’hypothèseCas-témoin…
testée (ex, Swan-Ganz et mortalité)

Le type d’étude permet-il de répondre à l’objectif principal ?

 Critère principal de jugement
• Le critère principal de jugement doit être idéalement :
– Unique (non composite)
– Objectif (mesurable)
– Reproductible (inter- et intra-observateur)
– Utilisable en pratique (faisabilité)

• Il doit découler directement de l’objectif principal

Le critère de jugement a-t-il tous les critères de qualité ?

Est-il adapté pour répondre à l’objectif principal de l’étude ?
 Population source
• Doit être adaptée pour tester l’hypothèse de l’étude (ex,
trachéotomie en réanimation)
• Doit être représentative (échantillon) de la population de
patients intéressés par l’hypothèse testée (ex, choc
septique et nb défaillances d’organes ; ATIII et héparine)
• Doit être détaillée (caractéristiques) en terme de critères
d’inclusion et d’exclusion (ex, choc septique et fenêtre
d’inclusion)

Existe-t-il un « flow chart » type CONSORT ?

 Randomisation
• Centralisée ou non
• Stratification ou non :
– Par centre ?
– Selon le patient (ex, ATIII et héparine, TVP et âge)
• Taille des blocs variable ou non

Le type de randomisation a-t-il permis de limiter le biais de sélection ?

 Biais
• Dépendent directement de la qualité de la méthodologie
• Biais de sélection :
– Précision des critères d’inclusion / exclusion
– Exhaustivité (« screen failure log) +++
• Biais d’exécution :
– En rapport avec les soins / explorations réalisés
– Faisabilité et logistique (24h/24 ou diurne ou jours ouvrables)
• Biais d’exclusion :
– Perte de vue (suivi)
Les biais de l’étude remettent-
• Biais de détection : ils en cause les résultats ?
– Exclusion de l’analyse finale
– Honnêteté scientifique…
Biais de
sélection

Biais
d’exécution

Biais
d’exclusion
Biais de
détection
 Taille de l’échantillon
• Doit être adaptée à l’objectif principal :
– Calcul d’effectif a priori ?
– Base : littérature, résultats préliminaires (observationnel)?
• Etude de supériorité ou d’équivalence (non infériorité) ?
• Ampleur de la différence pertinente ?
– Relation ampleur de différence et taille des groupes
– Balance : faisabilité / pertinence (ex, 2% mortalité sur 50%)
• Analyse intermédiaire prise en compte dans le calcul d’effectif
• Durée du suivi adapté à l’objectif principal (ex, mortalité J28
dans le choc septique)
 Bases pour les règles de calculs
• Supériorité ou équivalence
• Risque ALPHA : en règle 5%
risque consenti de mettre en évidence une différence qui n’existe
pas
• Risque BETA : en règle 20% mais parfois inférieur
risque consenti de ne pas mettre en évidence une différence qui
existe)
Puissance de l’étude = 1 – BETA (en règle 80%, ou plus)
• Tests uni- / bilatéraux : différence détectée dans un seul / deux sens
La puissance de l’étude est-elle adaptée / suffisante pour en tirer les
conclusions ?
 Analyse statistique : validité ?
• Description (moyenne / médiane ; déviation standard / erreur
standard, intervalles de confiance) : dispersion des valeurs
• Paramétrique et non paramétrique (distribution normale / non) :
n < ou > 30 ou distribution a-normale (durée hospitalisation…)
• Distinguer comparaisons ponctuelles et mesures répétées
• Comparaison de deux méthodes de mesures : Blant et Altman
et non corrélation (linéaire) & dispersion (2 SD)
• Comparaison de deux interprétations qualitatives : Kappa &
dispersion (intervalles de confiance 90%)
• Identification d’une valeur seuil : courbe ROC
 Analyse statistique : validité ?
• Temps de survie d’un événement : modèles de survie
(Kaplan-Meier, Cox…)
• Influence de co-variables sur le critère principal de jugement :
analyse multivariée et ajustement sur les différences
PAS DE COMPARAISONS UNIVARIEES MULTIPLES +++
(test de Bonferroni : 5% / nb de tests réalisés)
• Valeur de P < 0,05 : à relativiser !!!
– Pas de rapport de cause à effet
– 5% de risque d’erreur à conclure à une différence statistiquement
significative alors qu’elle n’existe pas réellement)
 Attention au culte du P !!
• Significatif ne veut pas dire relation de cause à effet +++
• Seuil de 5% : 1 chance sur 20 de mettre en évidence une
différence qui n’existe pas dans une comparaison au hasard !!
Donner la valeur du P (0,04 ou 0,000000001 ?)
• P > 0,05 :
– Pas de différence entre les deux groupes comparés
– Puissance insuffisante +++ (pb calcul d’effectif)
• Juger selon les intervalles de confiance du paramètre comparé
entre les groupes (pertinence augmente si IC étroits)
 Analyses en sous-groupes
• Doivent avoir été prévues a priori pour être exploitable
• Sinon : hypothèses nouvelles à explorer par d’autres
études prospectives mais pas de conclusions possibles
(risque de conclusion faussement positive)
• Problème : manque de puissance +++

Les analyse en sous-groupes ne prévalent-elle pas sur l’analyse

principale dans la présentation ?
Les conclusions des auteurs ne sont-elles pas excessives ?
 Aspects éthiques
• Interventionnelle : CPP, consentement éclairé signé
(dérogation consentement d’urgence, prolongement de
consentement)
• Observationnelle : avis d’un comité d’éthique, information
au patient traçabilitié)
 Présentation des résultats
• Caractéristiques de la population d’étude (« flow chart »)
• Tableau : population globale et groupes comparés
Comparabilité des groupes ?
• Critère principal de jugement
• Critères secondaires de jugement
• Analyses post-hoc éventuelles

Présentation des résultats en accord avec les objectifs et la

méthodologie choisie ?
 Discussion et conclusion
• Discussion de la validité interne et externe des résultats
• Limites de l’étude
• Conclusion à tirer des résultats présentés

La discussion est-elle directement en rapport avec les résultats de

l’étude ?
La conclusion des auteurs est-elle supportée réellement par les
résultats obtenus ?
 Analyse « critique »
• Déterminer objectivement les points forts et faibles d’un article
scientifique
• Pouvoir le situer dans la littérature existante pour déterminer son
apport éventuel à l’état des connaissances
• Définir son champ d’application potentiel
• Choisir s’il doit être mis en pratique dans son service, le cas
échéant en modifiant des procédures de soins écrites
• Evaluer l’impact d’éventuelles modification dans les procédures
de soins et suivre la littérature à ce sujet.
 Cohérence externe
• Intérêt / pertinence de l’étude :
– Originalité (ex, pas de réponse dans la littérature) ?
– Intérêt de dupliquer les résultats (ex, données rares ou parcellaires,
publication thématique d’une même équipe) ?
– Hypothèse née d’une étude en sous-groupe d’une étude précédente ?
– Extension à une population plus large / représentative ?
• Comparaison à des études antérieures :
– Validité de la confirmation de résultats antérieurs
– Raison pour des résultats différents (comparabilité des populations ?)

Intérêt scientifique / pratique de l’étude ?

 Analyse « critique »
• Déterminer objectivement les points forts et faibles d’un article
scientifique
• Pouvoir le situer dans la littérature existante pour déterminer son
apport éventuel à l’état des connaissances
• Définir son champ d’application potentiel
• Choisir s’il doit être mis en pratique dans son service, le cas
échéant en modifiant des procédures de soins écrites
• Evaluer l’impact d’éventuelles modification dans les procédures de
soins et suivre la littérature à ce sujet.
 Champ d’application potentiel
• Dépend des caractéristiques de la population d’étude
• Dépend de l’exhaustivité des inclusions des patients éligibles et de la
qualité méthodologique (biais réduits)
• Pièges à éviter :
– Ne pas appliquer aveuglément un nouveau traitement / procédure sans
discernement : population étudiée comparable au recrutement du service ?
– Ne pas appliquer systématiquement les résultats concernant une analyse post-
hoc même s’ils confirment une conviction personnelle
– Appliquer le même traitement à la même population et ne pas
« personnaliser » les résultats d’une étude +++
• Résister aux effets modes !!! (ex, NO inhalé et SDRA ; HSCH et choc
septique ; insuline et normoglycémie stricte…)
 Conclusions
• Article « critique » d’article = garder son indépendance !!
• Règles simples et générales :
– Lecture d’articles scientifiques
– Préparation et rédaction du mémoire de DESC
– Publication dans des revues à comité de lecture
– Règles utilisés par les « lecteurs » de revues à comité de lecture
(« reviewers »)
• Professionalisation de la recherche « académique » sur les
traces de la recherche « industrielle » : exigences accrues !
• Gagnant : malade car recherche indivisible des soins !