Octombrie 2010 Bogdan GRIGORIU

Scopul prezentarii
nelegerea scopului si a principiilor generale ale acestor

tipuri de studii Capacitatea de a citi si interpreta rezultatele unei metaanalize Evaluarea critica a unui astfel de studiu
Savoir Savoir-faire Faire Savoir

Problema
Specificul tiinelor vieii (existenta unei variabiliti inter-

individuale uneori f marcata = rezultate statistice) impune necesitatea repetrii experimentelor fizica
In multe situaii obinerea unor dovezi clare privind utilitatea

sau efectul unui factor/intervenie (in principal terapeutice) este dificila din cauza efectului modest sau existentei altor cofactori
Ideea aflata in spatele diferitelor tipuri de sinteze ale

literaturii (si deci a meta-analizei) este de a analiza mpreuna rezultatele mai multor proceduri experimentale similare si a formula unele concluzii comune

Tipuri de sinteze
Review

=Narative review

Systematic review

Pot fi combinate
Meta-analiza

Tipuri de sinteze ale literaturii (I)

Sinteza simpla = literature review = narative review Imagine proprie a unui specialist asupra unei probleme - Fara metoda, subiectiva
Reviewer -ul alege singur literatura considerata relevanta

uneori se rezuma doar la o opinie argumentata

Supusa bias-ului de publicare si citare

Sinteza simpla
Utila pentru: Aducerea la zi a unor cunotine Eventual aprecierea unor dezvoltri posibile ulterioare (speculatii) Introducerea unui articol ( background ) Dezavantaj => Bias = prere proprie (as good as the

reviewer)
Transmite de fapt un mesaj (argumentat) dorit de reviewer

Tipuri de sinteze ale literaturii (II)

Sinteza exhaustiva = systematic review O singura ntrebare ncearc sa sintetizeze cunoaterea intrun domeniu ngust Afectate de heterogeneitatea epistemologica In general narativa rezultate calitative Poate include o meta-analiaza Sursa cea mai buna = Cochrane library Meta-analiza

Ce aduce in plus meta-analiza

Exhaustiva (cel puin in partea de cutare a informaiilor) Selectarea studiilor in favoarea si in defavoarea ipotezei de studiu Riguroasa si reproductibila Metodologie +++ (predefinita) Bazata pe rezultate ce nu au bias (de fapt cat mai redus) Cuantificabila Luarea in calcul a problemelor statistice Da o mai buna estimare a efectului

Istoricul meta-analizei
Prima meta-analiza moderna a fost fcuta de Gene Glass

in 1976 pentru a dovedi ca afirmaia fcuta de Eysenck in anii 50 privind ineficacitatea psihoterapiei este greita
El analizeaz rezultatele a 375 de studii de psihoterapiei

pentru a putea dovedi eficacitatea acestei metode de tratament

Exista studii anterioare similare ncepnd cu 1904, apoi in

anii 50 privind combinarea valorilor p ( Cochrane)

Istoricul meta-analizei
Conceptualizare matematica veche 1932 - Fisher
1954 - Cochrane (combinarea valorilor p) 1959 - Mantel et Haenszel

Medline
21 meta-analize in 1986 431 meta-analize in 1991 1 032 meta-analize in 2002

1200 1000 800 600 400 200 0 1986 1991 1996 21 431

1032

2002

Definitie/Utilitate
Este o metoda statistica de combinare a rezultatelor mai

multor studii care se adreseaz unei probleme similare. Ea se realizeaz prin identificarea unui parametru comun ce definete efectul interveniei.
Rezultatele obinute constituie o estimare mai buna a

efectului real dect cele care rezulta din studii unice.

In timp ce studiile clasice se concentreaz asupra

gradului de semnificaie a rezultatelor (semnificativ/ non semnificativ) meta-analiza este orientata mai degrab spre a vedea care este direcia si magnitudinea efectului

Principiile meta-analizei
Studiile semnificative adica pozitive nu pun probleme Trebuie studiata reprezentativitatea esantionului Atentie la confounderi !!!! Date usor de recoltat (usor de publicat , des citate)

40 citari/ an / 7 pe an pt non-S

Studiile non semnificative pun mai multe probleme Pot corespunde realitatii = nu exista efect/legatura Poate fi vorba de lipsa de putere statistica

Esantilon prea mic

Sunt mai dificil de publicat = Bias de publicare

Rezultatele S ET NS pun probleme de interpretare Tentatia este de a amesteca pur si simplu datele

Paradoxul lui Simpson

Studiul 1 : risc de 30% in ambele brae

Trt 1 Trt 2

n 60 120

ev 18 36

Risc 18/60 = 0,3 36/120 = 0,3

Risc relativ RR=1 Odss ratio OR=1

Studiul 2 : risc de 70% in ambele brae

Trt1 Trt 2 Total 1+2

n 120 60

ev 84 42

Risc 84/120=0,7 42/60=0,7

RR=1 OR=1

Trt1 Trt 2

n 180 180

ev 102 78

Risc 102/180=0,56 RR=0,76 78/180=0,43 OR=0.58

Paradoxul lui Simpson II

Etude 1 Complications Pas de complications Total Cas 40 20 60 Tmoins 70 50 120 180 OR Etude 2 Complications Pas de complications Total Cas 30 80 110 Tmoins 10 40 50 160 OR

1.43

1.50

Somme des effectifs Complications Pas de complications

Cas 70 100

Tmoins 80 90

OR

0.79

Total

170

170

Amestecarea datelor nu corespunde realitii din cauza heterogeneitatii si desechilibrelor aritmetice

Avantajele metanaliazei (I)

Sintetizarea unei mase importante de informaie

Testare statistica privind factorii perturbatori si mrimea

efectului in diverse studii Generalizare mai buna

O mai buna estimare a efectului real al interveniei Mai aproape de efectul in practica de zi cu zi

Posibilitatea de a evalua si explica diferena intre studii Realizarea unor analize de subgrup

Putere statistica mai ridicata (permite uneori generarea unei

concluzii acolo unde studiile individuale nu au putut transa)

Necesitate totui de a confirma rezultatele printr-un studiu de

mari dimensiuni

Avantaje (II)
Reconcilierea rezultatelor discordante
Evaluarea comparativa a unui studiu fata de celelalte

(eterogeneitate /analiza sensibilitii) Constatarea lipsei de date fiabile si a modului in care studiile ulterioare ar trebui sa abordeze subiectul Poate uneori rspunde la ntrebri care nu au fost adresate in studiile individuale
Gsirea unor elemente care sa explice eterogeneitatea intre

studii Foarte puin util pentru efectele secundare (cele rare) !!!!

Stabilirea premiselor studiilor de confirmare

Probleme ntlnite in practica, legate de calitatea informaiei

Existenta unui risc statistic (a, b) la nivelul fiecrui

studiu Selecia studiilor "Poluarea" data de studiile cu bias Bias-ul de publicare

Existenta unui risc statistic

Alfa (a) = sa respingem ipoteza nula atunci cnd este adevrata = gsirea unei diferene acolo unde ea nu exista = prin hazard tipic 0,05 Beta (b) Sa acceptam ipoteza nula atunci cnd ea este falsa = sa nu gsim o diferena dei ea exista ; variaza de la studiu la studiu (0,2) Cel mai important si pierdut din vedere in studiile clinice = lipsa de putere statistica Interpretare dificila uneori pentru clasificarea ca a sau b!!!!!

Existenta unui risc statistic exemplu Angioplastia in IMA

N Studiu 1 Studiu 2 Studiu 3 Studiu 4 Studiu 5 Studiu 6 56 100 395 52 103 301 Mortalitate grup trat 6.9% 6.0% 2.5% 4.3% 4.2% 1.9% Mortalitate grup control 5.2% 2.0% 6.5% 17.2% 3.5% 7.3% p NS NS NS NS NS p<0.05

Interpretare: Negativista: lipsa reala a efectului risc alfa la studiul pozitiv Pozitiva: Lipsa de putere statistica (risc beta ) Detecie posibila prin studii de sensibilitate/eterogeneitate

Existenta unui risc statistic

Daca tratamentul nu are efect: din 100 de studii 5 pot fi pozitive !!!! ( a = 0,05) Daca tratamentul este eficace: Daca facem doar 5 studii atunci ansa (sau riscul) de a gsi un studiu pozitiv este de 23 %; daca facem 20 studii ansa este de 64 %
p = 1 - (1- a)N = 1 - 0.95N cu un a de 0,05

Bias-ul de publicare
Studii facute Studii pozitive 5 Studii negative 95 Studii publicate 5 0

Meta-analiza negativa

Meta-analiza pozitiva

Este necesar sa cautam TOATE studiile realizate Studiile mari sunt mai frecvent publicate Studiile publicate in limba locala sunt mai frecvent negative

Bias de publicare (funel plot)

Selectia studiilor
Hipocolesterolemiantele, Ravnskov, BMJ 1992

Numrul de citri/an depinde de rezultatul studiului Rezultat negativ (n=10) 7.4 Rezultat pozitiv (n=14) 40 Rezultat pozitiv, revista prestigioasa (n=8) 61 Este mult mai interesant sa publici rezultate pozitive (OR 3) Studiile pozitive au o sansa mai mare de a fi publicate si deci analizate

"Poluarea" data de studiile cu bias paradigma GIGO

Garbage in Garbage out

Sinteza

"Poluarea" data de studiile cu bias

Studiile proaste fac sinteze proaste ( inclusiv metaanalize) Existenta unui numar limitat de studii cu bias va influenta

rezultatele unei metatanalize insa exista un efect tampon al celorlalte studii.

Detectie posibila prin studiul de eterogeneitate

Este necesara selectia TUTUROR studiilor ce indeplinesc un

numar MINIM de criterii de calitate

Probleme ale meta-analizei

Tipul de intrebare pusa este esential De exemplu: Mortalitatea cardiovasculara si consumul

de betacaroten

MA nu este o analiza comuna a datelor experimetale !!!!!

Din cauza eterogeneitatii populaiei incluse in diferitele

studii rezultatele nu se pot adiiona = Paradoxul lui Simpson

Perele Mere = rezultate aberante

Paradoxul lui Simpson

Studiul 1 : risc de 30% in ambele brae

Trt 1 Trt 2

n 60 120

ev 18 36

Risc 18/60 = 0,3 36/120 = 0,3

Risc relativ RR=1 Odss ratio OR=1

Studiul 2 : risc de 70% in ambele brae

Trt1 Trt 2 Total 1+2

n 120 60

ev 84 42

Risc 84/120=0,7 42/60=0,7

RR=1 OR=1

Trt1 Trt 2

n 180 180

ev 102 78

Risc 102/180=0,56 RR=0,76 78/180=0,43 OR=0.58

Ce face meta-analiza ??
Meta-analiza nu aduce mpreuna rezultatele de la diverse

serii de pacieni ci combina EFECTUL INTERVENTIEI la

diverse serii de pacieni

Masurarea efectului unei interventii

Indici Riscul relativ Odds ratio Diferena de risc (reducerea riscului) Number needed to treat (NNT) "effect size"

Criteriile binare
Cele mai utilizate; de obicei frecventa apariiei unui

eveniment considerat important

True endpoints Surogate endpoints In grupul control = R0 In grupul tratat = R1

Date necesare
Tabel 2x2 pentru fiecare criteriu
Eveniment prezent Eveniment absent Efectiv total (N)

Criteriu1 Grup tratat Grup control TOTAL

---

---

---

Riscul Relativ
RR = RT / RC
Ev. 45 56 Efectif 180 176 Risc 45 / 180 = 0.25 56 / 176 = 0.32 Grp T Grp C

RR = 0.25 / 0.32 = 0.79

Reducerea relativa a riscului RRR = 1 - 0.79 = 21%

Riscul relativ, interpretare

RR < 1 (RT < RC) Reducerea frecventei evenimentului efect benefic RR > 1 (RT > RC) Creterea frecventei evenimentului Efect deleter RR = 1 (RT = RC) Efect este nul

Odds ratio (raportul de sanse )

RT / 1 RT OR RC / 1 RC
Ev. 45 56 Efectif 180 176 Risc 45 / 180 = 0.25 56 / 176 = 0.32

Grp T Grp C

OR = (0.25/(1-0.25) /( 0.32/(1-0.32)) = 0.71

Odds ratio este o aproximare a riscului relativ

Relatia intre RR si OR
OR este apropiat de RR doar daca riscul de baza este redus (<0.4)
1.0 0.8 Odds-ratio

0.6
0.4 0.2 0.0 0.00 0.25 0.50 0.75 Risc in grupul control 1.00
RR=0.8

Diferenta de risc
DR = RT - RC
Ev. 45 56 Efectif 180 176 Risc 45 / 180 = 0.25 56 / 176 = 0.32

Grp T Grp C

DR = 0.25 - 0.32 = -0.07 = -7%

Lipsa efectului DR = 0

Number needed to treat NNTNumar necesar de tratat

NNT = Numarul de pacienti ce trebuie tratati pentru a

evita UN eveniment NNT = 1 / DR

1 / 0.07 = 14

Importanta Semnificatie clinica Limite Personalizare prea mare a beneficiului Extensie = Number needed to harm (pt efecte secundare)

NNT erori de interpretare

Trebuie tratai 14 pacieni pentru a evita un eveniment

doar un pacient din 14 beneficiaz de tratament

NNT = Valoare medie Toi pacienii beneficiaz cte puin de tratament In medie acest beneficiu este echivalent la un eveniment evitat pentru NNT pacieni tratai

De ce mai multi descriptori ?

RR 4S 0.71 WOSCOPS 0.78 ISIS 2 0.77 DR 3.3% 0.9% 2.8% NNT 30 112 36

Relatia intre RR si DR
R0=50% R0=1% R0=10% R1=25% R1=0.5% R1=5% RR=0.5 RR=0.5 RR=0.5 DR=25% DR=0.5% DR=5%

Beneficiu absolut - relativ

Beneficiu absolut Diferenta de risc

Utilitate in sanatate publica Consecinta directa a tratamentului

Beneficiu relativ Riscul relatif

Explica mai bine efectul si eficacitatea interventiei

Pertinenta clinica
Pertinenta clinica semnificatia statistica
Depinde de riscul de baza (natural) Importanta intervalului de incredere RR = 0.70 [0.42; 0.98] RR = 0.70 [0.65; 0.75]

Tipuri de meta-analize
In privina tipului de studiu Analiza efectului unei intervenii ( tratament ) Studiul unui factor de risc Meta-analize diagnostice In funcie de datele utilizate Meta-analize ce includ rezultatele de la studiile individuale Meta-analiza ce folosete datele originale de la fiecare pacient Ambele tipuri de date ( meta-analize ierarhice) Meta-analize prospective

Cum facem o sinteza a literaturii ?

Definirea problemei Identificarea si selectarea studiilor Analiza critica a studiilor Calitate Factori perturbatori Rezultate Generalizabilitate Colectarea informaiilor Analiza si prezentarea rezultatelor Structura clasica : background, obiective, metode, rezultate, discuii si concluzii Interpretarea rezultatelor Imbunatatirea si aducerea la zi a sintezei Pentru meta-analiza = selectarea parametrului prin care se masoara

efectul interveniei

Este meta-analiza arma finala ?

NICIODATA Calitatea datelor introduse este esentiala (GIGO) Bias-uri (selecie, experimentare/interpretare, publicare) Condiiile in care sunt realizate studiile si ntrebarea

pusa in fiecare studiu eseniala Necesitatea de confirma metaanaliza printr-un studiu de mari dimensiuni

Metodologie
Scop: Evitarea bias-urilor
Definirea unui proptocol A priori (inainte de obtinerea datelor) Evita alegerile arbitrare dictate de rezultate Doua elemente imortante Selectia exahaustiva a datelor din literatura (inclusiv cele nepublicate) Selectia riguroasa a studiilor si clasificarea lor in functie de calitatea lor

Cum estimam efectul unei interventii ?

Efectul Estimat Efect real al = + prin MA interventiei Eroare aleatorie + Bias

Eroare aleatorie: redusa prin numarul de studii Bias, eroare sistematica depinde de calitatea studiilor redus aprin rigoarea metodologica a MA

Modele matematice
Fixed effect model toate studiile provin din aceeasi

distributie statistica ( adica diferentele dintre ele sunt datorate hazardului intervalul de incredere mai ingust
Random efect model studiile provind din distributii

statistice diferite interval de incredere mai larg

49

Rezultatele statistice
Efectul comun al tratamentului Media ponderata de inversul variantei Cu cat un studiu este mai precis cu att contribuia lui este mai mare Calculul intervalului de ncredere Daca un studiu este preponderent (ca efect) el poate

masca celelalte studii = testarea sensibilitaii

Testarea omogeneitii (test de eterogeneitate)

Prezentarea rezultatelor - Forest plot

Studiu 1 Studiu 2 Studiu 3 Studiu 4 Studiu 5 Global 0 0.5 1 1.5 2

OR

Omogenitate Eterogenitate
Omogenitate exista o parte fixa comuna Eterogenitate Cel putin un studiu nu are o parte fixa comuna cu cellelalte studii Testele de eterogenitate este are o putere redusa

(beta +++) (Q-Cochrane, Altman etc) Daca testul este pozitiv tehnicile simple (fixed effect model) nu pot fi aplicate

Eterogenitate omogenitate reprezentare grafica

Studiu 1 Studiu 2 Studiu 3 Studiu 4 Global 0 0.5 1 1.5 2

Originea eterogenieitatii
Eterogenieitate empirica - este rezultatul

caracteristicilor diverse ale studiilor individuale

pacienti tratament Daca este prea mare meta-analiza nu are rost.

Eterogeneitate statistica Dimensunea efectului obtinut variaza mult de la un studiu la altul

Rolul eterogeneitatii
Negativ Impune un model matematic mai complex Ipoteza distributiei gausiene a eterogeneitatii +/ Rol informativ Cautarea surselor ce o genereaza in functie de caracteristicile fiecarui studiu

Meta-analiza non semnificativa

Probleme identice a studiilor negative (non

semnificative)
Absenta effetului Rezultat non semnificativ

?
Lipsa de putere sttatistica

Calculul puterii posteriori

Meta-analiza non semnificativa

Analiza intervalului de incredere pertinenta clinica ? RR = 0.98 [0.96; 1.02] RR = 0.98 [0.45; 1.60]

P<0.05

NS

0.5

1.5

2 RR

Utilitate
Sintetizarea unei mase importante de informaie

Testare privind factorii si mrimea REALA al efectului in

diverse studii Generalizare mai buna

O mai buna estimare a efectului real al interveniei Mai aproape de efectul in practica de zi cu zi

Posibilitatea de a evalua si explica diferena intre studii Realizarea unor analize de subgrup

Putere statistica mai ridicata (permite generarea unei concluzii

acolo unde studiile individuale nu au putut transa)

Necesitate de a confirma rezultatele printr-un studiu de mari

dimensiuni

 Reconcilierea rezultatelor discordante

Evaluarea comparativa a unui studiu fata de celelalte

(eterogeneitate /analiza sensibilitii) Constatarea lipsei de date fiabile si a modului in care studiile ulterioare ar trebui sa abordeze subiectul Poate uneori rspunde la ntrebri care nu au fost adresate in studiile individuale
Gsirea unor elemente care sa explice eterogeneitatea intre

studii Foarte puin util pentru efectele secundare (cele rare) !!!!

Stabilirea premiselor studiilor de confirmare

Evaluarea unei meta-analize

Este bine definita ntrebarea ? ntrebare clara care sa justifice FIECARE studiu inclus in meta-analiza Criteriiile de selectie a studiilor sunt pertinente ? Endpoint-ul evaluat de fiecare studiu; trebuie sa fie acelai Strategia de culegere a datelor a fost exhaustiva si eficienta ? Bazele de date internaionale fie generale: MEDLINE, EMBASE, BIOSIS, PASCAL sau specifice: PsyLit, CancerLit Referinele articolelor deja publicate Baza de date Cochrane Registrele de studii clinice Rezumatele la congrese Interogarea liderilor de opinie Industria farmaceutica (data on file) Cutare manuala in revistele importante (greeli de indexare ++) Succesul se definete prin numrul de studii nepublicate gasite

Evaluarea unei meta-analize (II)

Calitatea metodologica a studiilor a fost evaluata ? Se evalueaza
Randomizarea Controlul factorilor perturbatori (confounders) Absenta cazurilor pierdute din vedere Analiza in intentie de a trata

Rol: Eliminarea studiilor care nu pot raspunde la intrebarea pusa Eliminarea studiilor cu bias important Eliminarea publicatiiilor multiple Se face o lista cu studiile excluse si cauza excluderii

Evaluarea unei meta-analize (III)

3 categorii de calitate Bune includere medii analiza de sensibilitate Inaceptabile excludere Analiza statistica a fost facuta corect ? trei pasi Evaluarea efectului comun Test de asociere statistica Analiza de sensibilitate si testele de heterogeneitate S-a realizat analiza de sensibilitate ? Primul pas : Bune Al doilea pas: bune + medii Compararea rezultatelor Exista studii preponderente care dau singure un rezultat pozitiv ?

Evaluarea unei meta-analize (IV)

Concluziile sunt in concordanta cu rezultatele ?

Recomandarile facute sunt in concordanta cu

rezultatele ? Care este pertinenta reprezentativitatea rezultatelor

Interventiile sunt ele inca utilizate reprezinta ele tratamentul standard ?

Care este pertinenta criteriilor de eficienta ? Sunt ele reprezentative clinic Sunt criterii intermediare (surogate endpoints) ?

Evaluarea unei meta-analize (V)

Parametrul cel mai util este folosit Daca se folosete OR atunci riscul de baza este suficient de mic ? Care este gradul de precizie al estimrii efectului Care este intervalul de ncredere ? Magnitudinea efectului estimat este ea pertinenta

clinic ?