METODOLOGIA CERCETARII

STIINTIFICE
2015
curs 4.

Evaluarea unui studiu clinic/articol cu tema in

plan terapeutic (RCT). sau cum estimam
efectul unui tratament
1. Evaluarea relevantei unui RCT
2. Evaluarea validitatii unui RCT:
3. Criteriile JADAD de evaluare a RCT
4. Erorile din RCT: tipuri si solutii
5. Analiza si interpretarea rezultatelor studiilor
RCT cu tema terapeutica (parametrii
semnificatiei clinice ale RCT :
RR,RRR,RA,RAR,NNT,OR)
6. Cat de precisa este estimarea efectului
tratamentului intr-un RCT?
7. Puterea statistica a studiului si marimea
esantionului in RCT

Prezentarea si evaluarea unui

studiu/articol cu subiect in plan
terapeutic (ex. efectul unui tratament)
1.Evaluarea relevantei unui RCT:
Cum?
Putem sa il aplicam in practica? Utilitatea?
Se poate generaliza la toti pacientii?
Sau inclus toate rezultatele clinice importante, sau au
fost alese doar cele favorabile autorilor Catalogul
studiilor?
Exista un Calcul beneficiu/risc favorabil(al
tratamentului)
Ce tip de studiu RCT avem?
Cele mai valide si utilizate studii in plan terapeutic sunt
studiile clinice randomizate trials (RCT)!!!

2. Evaluarea validitatii unui studiu

tip RCT:
Includerea in studiu (esantionarea). S-au
folosit criterii de includere/excludere in studiu
la esantionare?
Regula: pacientul este intai INCLUS in studiu
(cum?...folosind criterii de Includere/excludere, valabile
international) APOI alocat randomizat in doua grupuri
TRATAMENT+MARTOR!

A fost alocarea pacientilor in cele doua loturi

intamplatoare (=randomizata =R)?
De ce? .numai prin R se pot aloca relativ egal factorii
potentiali importanti pe care ii cercetam (f de risc sau protectie)
R este singura cale de a elimina erorile sistematice de
selectie!
Cum ?...Metode de randomizare: numere intamplatoare
alocate de PC, dat cu banul, software de randomizare RNG

Locul si ordinea esantionarii =E (cf. criteriilor de

includere/excludere) si al alocarii randomizate =AR
(soft de randomizare), directia studiuluiin timp si
momentul interventiei cercetatorului (prin aplicarea
tratamentului/procedurii experimentale) intr-un RTC

E
A
R

A fost realizata eficient orbirea?...pacientii, investigatorii si cei ce

analizeaza rezultatele au cunoscut detaliile studiului?
Simplu orb (=doar pacientii), dublu orb (=pacientii+medicii),triplu orb
(=pacientii+medicii +statisticienii) .
Particularitate: la utilizare de produse placebo, atentie la propr.
organoleptice (folosit numai la medicamente noi!).
In situatii cu afectiuni grave, placebo nu este etic, folosim un alt
medicament de referinta!La proceduri chir. Placebo este
procedura traditionala!

Grupurile din studiu ,Tratament si Martor (=Placebo) sunt relativ

egale la inceputul studiului?....numai asa si distributia fact,de risc
sau protectie este egalizata in cele doua grupuri, putand trage
concluzia ca o eventuala diferenta/asociere provine doar din
tratamentul/medicatia administrata (scopul RCT).
CONDITIE: pe tot parcursul unui RCT,*sau cel putin la debut,
grupurile de studiu trebuie sa beneficieze de tratament egal
de sanse,(=nr. De subiecti relativ egal, trat., recomandari si
abordari ig-dietetice identice)!

Analiza subiectilor randomizatidin RCT s-a

facut in intentia de tratament?

In cursul RCT, in urma evolutiei afectiunii sau sub

tratament, unii pacienti pot trece dintr un grup in
altul (ex. : din bolnavii devin sanatosi sau invers)
FEN. CROSS OVER.(apare o trecere incrucisata din
grupul TRATAMENT la MARTORRespectivii pacienti
vor fi analizati totdeauna ca apartinand grupului
in care au fost alocati la inceput (=din care au
plecat)!= analiza in intentia initiala de
tratament

ALTE SITUATII: pacientii care nu si au luat tratamentul

(inclusiv pt PLACEBO), pacientii necomplianti,
indisciplinati, sau care nu au terminat studiul..si ei
raman cuprinsi in cercetare pana la final si analizati tot
cf alocarii de grup initiala!

Urmarirea subiectilor pana la finalizarea

studiului (=follow up) a fost corecta (abandon si
pierderi)?

Rata abandonului din studiu=subiecti pierduti

Recomandare tehnica: nu ne bazam pe studii care au pierdut
pe parcurs >20% din pacienti!

pierderi definitivenu mai stim deloc despre ei, deci

nu stim daca au suferit efectul urmarit(=endpoint,
boala) ACESTIA NU SE MAI IAU IN CALCUL LA
STUDIU!!!

pierderi relative: s au mutat cu domiciliul, au suferit

efecte negative ale tratamentului, mor, nu mai vor sa
participeSE IAU IN CALCUL , dar se re-aloca
cf.principiului evolutiv in cel mai rau caz= adica
se re-aloca pacientii pierduti din grupul care a mers
mai bine ca si cum ar fi evoluat rau si invers..

3. RCT este valid???

Criteriile JADAD de evaluare rapida a unui
RCT
punctaj=R+O+U
Randomizarea (=R)

Orbirea (=O)

2 pct. R adecvata
1 pct.
R fara alte informatii
0 pct. fara R
2 pct. dublu orb
1 pct. dublu orb fara alte informatii
0 pct. fara orbire

Urmarirea (=U)

1 pct. exista descrise motivele pierderii pacientilor

0 pct. nu exista descrise motivele pierderii pacientilor
RCT bun >4-5 puncte VALID!!!!!
RCT slab 1-2 punte..INVALID

4. Erorile din RCT: tipuri si solutii de

evitare
Exista doua tipuri de erori erori de analiza
clinica

erori de analiza
statistica
Erori (=bias) de analiza clinica/metodologica
=sistematice:
E de selectie .cele mai importante,se rezolva prin
randomizare =impact 40%
E de executie si detectie rezolvate prin orbire
=supraestimare de efecte cu 17%
E de migrare, prin abandon studiu..urmarire atenta si
analiza in intentia de tratament initiala !

Erori de analiza statistica

Eroarea tip I sau alfa.

Poate genera un aspect de falsa semnificatie statistica,

in realitate diferenta semnificativa obtinuta nefiind
reala ,ci datorata doar variabilitatii intamplatoare a
valorilor biologice prezenta in cele 2 grupuri

Eroarea de tip II sau beta.

Produce inversul, lipsa semnificatiei statistice,

datorata tot variabilitatii intamplatoare , cu toate ca in
acest caz, aparent, tratamentul a avut efect!. Apare
cand studiul nu a avut suficienta putere statistica.

ATENTIE: aceste erori pot aparea

numai datorita intamplarii!!!

Deci:

In studiile clinice RTC sau in cele de cohorta, pot

aparea numeroase erori si devieri ale
masuratorilor (bias).
Singurele si cele mai bune variante pt a le
inlatura sunt:
Randomizarea selectiei subiectilor prin
criterii valide (in studii observationale de
cohorta)
Randomizarea directionarii subiectilor spre
diferte tipuri de tratamente, in RTC (trials)
Orbirea

5.Semnificatia statistica in RTC

In finalul oricarui studiu RTC , in urma

analizei statistice a datelor, software ul

ne rezuma doua valori:
P si Intervalul de incredere
(CI)
Aceste date ne folosesc numai pentru a vedea
daca rezultatele clinice obtinute in studiul
esantioanelor noastre sunt valabile dpdv
statistic, adica sunt semnificative statistic si
in concluzie, pot fi extrapolate populatiei
generale (.sau sunt nesemnificative statistic,
ele fiind doar rezultatul jocului intamplarii!)

Sa ne reamintim
Analiza statistica descriptiv a
studiilor clinice ne permite:

Sa prezentam un set de date dintr un studiu clinic

permite nelegerea facil a caracteristicilor
evenimentelor studiate
realizeaza descrierea fenomenelor, facut grafic
si prin indicatori:

o pentru date din variabile nominale

tabele de frecven (a observaiilor pe categorii)

grafice: bare, rozeta, s.a.
modul (categoria cea mai frecvent)

o pentru date din variabile cantitative

msura tendinei centrale (media, mediana,

modul)
msura dispersiei (deviaia standard, variana)
Ilustrarea distribuiei normale

caz-martor
Cand apreciem dpdv clinic un RTC cu tema terapeutica
suntem interesati sa aflam daca grupele de subiecti
studiate au avut rezultate mai bune unul fata de altul.
Cum procedam?.... vom cauta cat de frecvent
apar (la gr. pacienti/gr. martori) aceste rezultate
bune/rele. Rezultatele sunt reflectate de frecventele
si ratele de aparitie a fenomenelor respective.
In analiza clinica a grupurilor din RTC (sau studii cazmartor), vom compara frecvente si rate de aparitie a
diverselor efecte, adica vom determina FRECVENTA si
RATELELE (raporturi) diversilor parametrii clinici
caracteristici RTC sau studii C-M
Semnificatia clinica a unui RTC este evidentiata
prin determinarea (calcularea) RISCURILOR, iar pt
studii caz martor de COTE (=ODDS)

Parametrii semnificatiei clinice in studiile

terapeutice (RTC):

Intr -un studiu terapeutic tip RCT , vom masura asocierea intre factorii
de risc si efectul studiat (numit si end point sau boala)
Cum? prin calcularea FRECVENTELOR de aparitie si
RAPOARTELOR diferitelor RISCURI: (RA, RR, RAR, RRR) pt.
evaluarea clinica, si ulterior vom verifica semnificatia statistica a acestor
asocieri prin analiza/evaluare lor statistica in vederea stabilirii existentei
semnificatiei statistice!
Indicatorii clinici specifici RTC-urilor sunt : RA,RR,RRR,RAR,
dpdv matematic, acestia ii vom calcula comparand proportiile (frecventele) de
aparitie a diverselor variabile (factorii presupusi si efectele) la pacientii din loturile
studiate .
Pt comparatii statistice vom utiliza tabele de contingenta 2x2! Rezultatele se pot
exprima si procentual..

RA

RA=riscul absolut=probabilitatea (%) de a suferi/face end point -ul/boala la

unui pacient din cadrul unei populatii (grup,esantion)
RA este de doua tipuri:
R la nexpusi (neexpusi factorului presupus de risc)=R bazal=rata evenimentului in
gr.martor = CER =control event rate=%
R la expusi=rata evenim. la gr.cu boala=EER =experimental event rate =%

RR

RR =riscul relativ , este un raport care compara probabilitatea

de a suferi efectul (=boala) a pacientilor expusi vesus neexpusi
RR=R expusi/R neexpusi
InterpretareRR: RR=1, R egale la ambele categoriideci FR (fact de risc)
nu influenteaza efectul
RR<1, FR este de fapt Fact. Protectie:!!!!
RR>1, FR este puternic asociat cu efectuladica
probabil el l-a produs!

RAR
RAR=reducerea absoluta a riscului = R expusi-R neexpusi
este o diferenta a riscurilor!
Interpretare RAR:
.medicamentul/tratamentul va salva la fiecare 100 de pacienti expusi
doar % lui RAR (fiindca efectul FR va aparea oricum la % celor expusi!)
Deci RAR ne arata cati pacienti (avand deja boala, expusi efectului FR) am
salvat prin tratamentul studiat!

Folosirea tabelului de contingenta 2x2 pentru

calcularea valorilor riscurilor intr-un RTC

R expusi=a/(a+b)
R neexpusi=c/(c+d)
Riscul relativ=RR=R expusi/R neexpusi
Reducerea absoluta a riscului=RAR=R neexp-R exp

RRR
RRR=reducerea

relativa a riscului

Evalueaza eficacitatea tratamentului, estimand ce

proportie din pacientii cu risc bazal (si neexpusi la
FR)ar fi eliminata de la aparitia efectului (boala)prin
tratament

RRR=1-RR
INTERPRETARE CLINICA

RRR

este proportia cu care a scazut riscul

bolii la cei care au luat tratamentul

Recomandari de interpretare a RRR

RRR este utilizat cand ne propunem sa studiem efectele unei

ingrijiri sau al unui FR sau F protectie, presupus a fi implicat
in aparitia unei boli sau deces!
Cu cat RRR creste ,cu atat asocierea FR (sau FP) cu efectul
(de imbolnavire sau protectia fata de boala)are sanse sa
fie de natura cauzala!

NNT:

NNT =number needed to treat

=numar necesar de pacienti de a fi tratati pt a preveni un efect
(boala, deces)
NNT=1/RAR
NNT depinde si de durata studiului
deci pt a compara NNT la diverse studii, vom inmulti NNT
specific al fiecaruia cu durata studiului respectiv (in nr. de ani) si
abia apoi le vom compara
INTERPRETARE: NNT mic= tratament foarte eficient!

Analiza studiilor observationale tip

caz-martor (=control).
Se porneste invers, de la efect (indivizii care
au boala) catre cautarea factorului de risc.
Se iau grupuri de pacienti cu boala
(outcome) si un grup martor/control (fara
boala)
Grupurile se vor compara retrospectiv
urmarind care este frecventa (%) de aparitie
a factorului de risc cercetat in cele doua
grupuri.
Sunt studii longitudinale si retrospective!

METODOLOGIA STUDIILOR CAZ- MARTOR:

Presupune:
selectare grupului caz (grup cu boala)
Potrivirea cazurilor cu subieci control/martor
compararea grupurilor in ceea ce priveste
frecvena expunerii in trecut la posibili factori de
risc
Calcularea Odds Ratio (raport de cote/ anse)
Odds Ratio = Raportul ntre probabilitatea
expunerii la cazuri si probabilitatea
expunerii la martori

Studii caz-martor (caz-control):

Studii caz martor, avantaje si

dezavantaje:

avantaje

uor de efectuat
durata scurt de timp (util n gsirea unor soluii urgente)
repetabile
economice
analiza mai multor factori de risc
merg in afeciuni rare (cancer)
pot examina expuneri la mai muli posibili factori de risc
utile n generarea unor ipoteze

dezavantaje

alegerea grupului caz / control = erori greu msurabile

riscul pierderii din urmrire a unor cazuri (ex. prin diagnostic
incert)
dificil de precizat relaia cauz efect i secvena temporal
factor de risc boala
nu pot msura: incidena, prevalena, riscul relativ
pot studia o singur variabil outcome

Odds ratio sau

raportul cotelor
(doar studii cazmartor!!!):

Cota (=Odd)este probabilitatea de a suferi/a

aparea un efect (=boala, end-point) raportata
la probabilitatea de a nu suferi/avea acel efect.

Calcul

Odds ratio:
OR=cota la expusi/cota neexpusilor.
OR este cu atat mai aproape de RR cu cat
incidenta efectului (bolii) este mai mica.
OR este similar si aproximeaza RR al
studiilor caz martor, dar totdeauna il va
supaestima!

Cand folosim OR?

OR

se utilizeaza cand nu putem calcula

RR, adica in urmatoarele situatii:
Numai in studiile caz -martor, deci nu in RCT!!!!
Dece? .pt ca in studiile caz martor, fiindca se
porneste de la subiecti avand efectul (=boala) nu
se poate calcula RR, deci suntem obligati a
folosi OR!
In sinteze sistematice de studii caz martor
Cand efectuam analize multivariabile

In

RCT si studiile de cohorta se poate

calcula RR, deci nu calculam OR!

Cum calculam OR :

Atentie: se utilizeaza/calculeaza doar in studiile

caz-martor:

Interpretare OR:
OR are aceeasi semnificatie ca si RR (si este de fapt o
aproximare a RR)
OR ne arata ca riscul (R) de a aparea efectul studiat
(=boala) la pacientii expusi FR studiat este de
valoarea OR mai mare/mica fata de R la pacientii
neexpusi.

INTERPRETARE CLINICA OR:

OR mai mare ca 1 factorul studiat este un FR!
OR = 1 inseamna ca factorul studiat nu are nici o influenta
asupra incidentei efectului (...a bolii)
OR mai mic decat 1 inseamna ca factorul studiat este factor
de protectie (adica tratamentele/procedurile au eficienta, in
RTC)

REMARCA:
OR

este egala si cu cota cazurilor cu

boala/ cota cazurilor la martor.
Deoarece diferenta dintre OR si RR
creste odata cu incidenta sau prevalenta
bolii, OR nu poate exprima corect riscul
relativ decat in cazul bolilor cu
incidente scazute de cel mult 10%!!!!
Daca vom analiza afectiuni cu
incidente mai mari, OR va fi nerelevant!

Consideratii finale:
n urma acestor studii, RTC si CAZ-MARTOR, daca variabilele studiate
(factorul de risc i efectul) sunt nominale, dihotomice, vor rezulta aspecte ale
forei asocierii dintre factorul de risc i efect, ilustrate prin RR (pentru
studiile de cohort, RTC) sau OR (pentru studiile caz-martor),
Dac insa variabilele a cror asociere vrem s o evideniem sunt numerice,
msura asocierii va fi redat prin mrimea coeficientului de corelaie . Fora
asocierii reprezint un argument cu privire la etiologie .
Studiile pot evalua/ msura i impactul expunerii la factorul respectiv redat
prin diferente gen RA (la studiile observaionale de cohort), sau RAR (la
studiile experimentale RTC ). Acest aspect apreciaza latura de sntate
public a asocierii respective.
Pentru fiecare dintre parametrii care cuantific asociaia avem si o
semnificaie statistic, exprimat ca p i/sau CI

6. Cat de precisa poate fi estimarea

efectului tratamentului intr-un RTC sau
caz-martor?

Raspuns: pt a estima precizia unui studiu vom afla

intervalul de incredere CI pentru parametrii calculati

CI ( ales pt 95%) obtinut, este intervalul de valori (cu

marginile respective) in care putem fi 95% siguri ca se
gaseste parametrul nostru RR, RRR (pt RTC),sau OR (pt
studii caz-martor) calculat din studiu, raportat statistic
la nivelul populatiei generale
Practic: vom vedea/cauta unde anume (locul pe grafic)
se situeaza (cade) in cadrul intervalului CI aceasta
valoare calculata a RRR,RR, OR , a studiului,
Aceasta valoare (RRR,RR,OR) se poate regasi teoretic
oriunde in acest interval CI, dar cu probabilitate/precizie
din ce in ce mai mica pe masura ce ne indreptam spre
marginile/capetele intervalului!

In concluzie, pentru PRECIZIE, ca rezultatele

comparatiei a 2 tratamente (comparate intr un studiu
RTC, cohorta sau caz-martor) sa fie cu adevarat
semnificative clinic (dpdv al asocierii/diferentei), in
afara de necesitatea existentei semnificatiei
statistice a unui p<0,05 , trebuie (este recomandabil),
sa intrunim cumulativ si urmatoarele 3 conditii:
-valorile intervalului CI pentru RR (sau OR) calculate sa nu cuprinda pe cifra 1
(unu)
- CI ale RRR si RAR (al diferentelor) sa nu-l cuprinda pe 0 (zero)
-NNT sa nu tinda catre infinit.

Trat. ajuta

Trat.dauneaza

REMARCA:
Dupa autorii englezi , RR si RRR nu sunt masuri
ale semnificatiei clinice deoarece sunt aceleasi
indiferent de riscul bazal.
Scoala engleza masoara semnificatia clinica
bazandu-se de regula doar pe calculul RAR si NNT
(cf. NICE =National Institute for Clinical Excelence ,
Marea Britanie)

7.

Puterea statistica a unui studiului si marimea

esantionului
Puterea statistica:
este probabilitatea ca atunci cand exista o diferenta reala
a rezultatelor
noi, sub forma

obtinute intr un studiu, sa o putem decela si

semnificatiei statistice .

Eroarea beta+puterea statistica a

studiului=100%

Eroarea de tip II sau beta, produce lipsa

semnificatiei statistice, datorata tot
variabilitatii intamplatoare (chiar daca in
acest caz, aparent, tratamentul a avut efect!)
Apare cand studiul nu a avut suficienta
putere statistica.
CONCLUZIE: Se observa ca eroarea beta este
complementara puterii statistice deci crescand
puterea statistica scadem posibilitatea de eroare beta!

Cand si cum se calculeaza /utilizeaza puterea statistica PS a

studiului?

.cand obtinem un rezultat nesemnificativ statistic si

dorim sa fim absolut siguri ca studiu este intradevar
negativ dpdv statistic!
PRACTIC:
situatii gen.tratamentul probabil ar fi avut efect, dar datorita PS
mici a acestui studiu, acesta nu a putut fi evidentiat, rezultatul obtinut
fiind nesemnificativ statistic
Il putem folosi si ca o verificare finala a rezultatului statistic obtinut,
cand bunul simt clinic ne sugereaza alt rezultat( avem dubii)
Cum ? Puterea PS se calculeaza de software specializat
(utilizand esantioanele, RR, RAR) . Calcului se face pt o valoare
minima a lui p=0,05
UTILITATEA PS : Calcularea PS ne raspunde la intrebarea:
care ar fi puterea minima a studiului nostru pt a se putea
obtine o semnificatie statistica minima, adica de cel putin
p=0.05
Cum putem mari PS? Marim esantionul studiat.

De cine depinde marimea esantionului sau cati subiecti sunt

necesari intr-un studiu?

cu cat efectul clinic estimat este mai mare, cu atat sunt

necesari mai putini subiecti
ATENTIE:
-Studiile de preventive primara (pt ca sunt facute pe
sanatosi) au nevoie de esantioane foarte mari!
-Pacientii cu afectiuni grave sau cu risc vital mare
de obicei abandoneaza studiile
-Feriti va de studii sub 30 de subiecti.studiile peste
30 pacientii sunt admise

cu cat variabilitatea asteptata a datelor este mai mare cu

atat esantionul (nr. de subiecti) trebuie sa fie mai mare (se
afla prin calculul dispersiei, sau, mai simplu, se pot utiliza
concluziile unor studii precedente ale altor autori)
Recomandare practica : Cu cat vrem sa obtinem un P
mai mic, cu atat vom avea nevoie de un esantion mai mare
(pentru a elimina eroarea alfa)