Pregatirea cercetarii in vederea lecturii critice

Sef lucr. dr. Irina M. Jaba

Validitatea interna Coerenta externa Pertinenta datelor clinice Cazul particular in cercetarea cu rezultate negative Grile de lectura critica si scorul de calitate Scale ale nivelului probelor in MBD

Pregatirea cercetarii
Prima etap a unei cercetari tiin ifice, de orice fel ar fi ea, o constituie alegerea temei, a subiectului care trebuie cercetat. Fiecare proiect de cercetare reprezinta o extensie a cercetarilor precedente, de aceea este necesar sa fie identificate cercetarile si teoriile relevante, prin examinarea sistematica si extensiva a resurselor din domeniu Dup ce s-a ales tema, urmeaz formularea exact a subiectului, n func ie de ce s-a scris pn la acea dat . Con inutul lucr rii trebuie s fie n concordan cu titlul ei. Tema de cercetare odat formulat , trebuie verificat dac r spunsul la aceasta nu exist deja.

Pregatirea cercetarii
y Examinarea critica a bibliografiei. Odat subiectul formulat, urmeaz depistarea i lectura critic a principalelor lucr ri din tema aleas , culegerea de material informativ ncepnd cu cercetarea principalelor lucr ri de sintez pentru orientarea n problem i pentru a g si puncte de plecare. y Dup adunarea bibliografiei urmeaz lectura critic a acestora i alc tuirea unui plan de lucru cuprinznd problemele mari. y Stabilirea contextului teoretic si ratiunea unui studiu (stadiul cunostintelor) y Intelegerea a ceea ce s-a scris despre problema respectiv , a metodelor utilizate, a ceea ce s-a rezolvat i aspectele care mai sunt nc nel murite (!!!evitarea repetarii). y Dac la sfr itul acestei etape r spunsul la ntrebare nu exist sau dac este incomplet, atunci realizarea unei cercetari pe tema respective este justificata.

Lectura critica
y Lectura critica a bibliografiei medicale este necesara in vederea aprecierii validitatii si aplicabilitatii surselor bibliografice y Trebuie analizate documentele i judecat calitatea con inutului lor. Aceasta este sarcina viitorului investigator care dore te s stabileasca o tema de cercetare clinic sau s g seasc o justificarea a unui protocol. y Parcurgerea literaturii necesit deci un proces de selec ie i evaluare. y Pentru aceasta s-a dezvoltat conceptul de lectur critic ". y Lectura critica const n a judeca valoarea publica iilor, atat din punctul de vedere al calitatii cercet rii ntreprinse , aderentei la standarde cat si de pertinen a rezultatelor publicate. y Este utilizata in medicina bazata pe dovezi (MBD) ca metoda ajutatoare in luarea deciziilor clinice.

Validitatea interna Coerenta externa

Criteriile de evaluare intr-o lectura critica: validitate interna si externa, fidelitate si obiectivitate

Validitatea
y Validitate = exactitate, corectitudine a rezultatelor, grad de adecvare a unei categorii de informatii, formulate teoretic, la fenomenul experimental sau clinic pe care il descriu. y Traditional, se face distinctia intre: Validitate interna (echilibrul diferentelor dintre subiecti): corespondenta intre datele culese prin cercetare; realitatea empirica cercetata. Validitate externa (asigura reprezentabilitatea grupurilor): presupune raportarea propriilor concluzii la teoriile/rezultatele altor cercetari ca si verificarea rezultatelor obtinute pe o alta populatie.

Validitatea interna a studiilor

Validitatea interna: un experiment dispune de validitate interna atunci cnd orice factor care ar putea influenta necontrolat rezultatele este ndepartat (cauza si efectul sunt bine delimitate); Un studiu are o validitate interna ridicata in studierea proceselor cauzale atunci cand rezultatul are drept cauza variabilele independente din ipoteza si mai putin alte variabile externe. Pentru a asigura validitatea interna trebuie sa avem n vedere doi factori: 1. Variabile nerelevante 2. Caracteristicile grupului experimental

Validitatea interna n cercetarile experimentale

1) Variabile nerelevante. Esantionarea este una din principalele modalitati de control a variabilelor nerelevante dar separarea lor nu este ntotdeauna certa. Exista variabile contopite care pot influenta rezultatele unei cercetari desi ramn mascate (variabile confundate). Manifestarile lor sunt sistematic legate de manifestarile altei variabile care face obiectul experimentului. 2) Caracteristicile grupului experimental. Pentru ca ntr-un experiment sa se obtina rezultate cu validitate interna este necesar ca grupul de subiecti sa ramna constant pe parcursul experimentului. Subiectii se pot pierde pe doua cai: (A) - aparitia unor factori care determina conditii de testare diferite. Aceste tipuri de pierderi se numesc PIERDERI MECANICE. Ele pot fi compensate fie prin nlocuirea subiectilor cu care se lucreaza n momentul respectiv cu urmatorii selectionati, fie prin repetarea experimentului. y (B) Pierderi selective de subiecti apar din micile neglijente ale experimentatorului (selectia grupului fara acordul subiectilor, abilitatile, capacitatile, caracteristicile subiectilor difera n grupul de experiment, necesitnd astfel o prestare).

Validitatea/coerenta externa
Validitatea externa a studiilor este reprezentata de posibilitatea de generalizare a rezultatelor obtinute la populatia generala . Conditiile de desfasurare a unui anumit studiu experimental atrag uneori limitarea la grupuri mici sau atipice, situatie in care concluziile nu pot fi generalizate. De exemplu,l un fenomen observat la pacientii institutionalizati (spital, case de batrani, case de copii) poate fi diferit sau nu se va manifesta de loc la pacienti aflati in mediul natural . Validitatea rezultatelor obtinute pe un esantion comparativ cu caracteristicile generale ale populatiei depind de corectitudinea aplicarii tehnicilor de esantionare

Validitatea externa n cercetarile experimentale

y Esantionarea multistadiala este specifica cercetarilor experimentale, dar utilizarea ei nu este suficienta pentru a asigura generalizarea rezultatelor obtinute ntr-un experiment asupra unei populatii. y Validitatea externa n cercetarile experimentale nu se stabileste printr-un experiment mic, dar ne putem permite sa consideram rezultatele acestui unic experiment generalizabile n masura n care grupurile de cercetare au fost corect selectate n virtutea a doua argumente: y 1) Presupozitia continuitatii comportamentului: n timp, comportamentele subiectilor sunt relativ constante si reprezentative pentru persoane similare cu cele care au fost testate. n mod obisnuit, generalizarile de la un singur experiment se pot face doar la grupurile ce apartin aceleiasi comunitati; y 2) Posibilitatea de reproducere a experimentului: presupune replicarea practica a experimentului si compararea rezultatelor. Daca, de exemplu, efectuam un experiment pe o populatie urbana si pe o populatie din comunitati izolate de munte, iar rezultatele sunt semnificativ comparabile atunci putem vorbi de validitatea externa a acestor rezultate.

Pertinenta datelor clinice

Principiile fundamentale ale medicinei bazate pe dovezi (MBD)

Cei 5 pasi ai practicarii MBD 1. 2. 3. 4. 5. Formularea unei intrebari specifice Cautarea celor mai valoroase dovezi stiintifice cu privire la aspectul in discutie Evaluarea critica a dovezilor stiintifice existente in acest moment Aplicarea in practica a informatiilor relevante, tinand cont de simtul clinic si de valorile si preferintele pacientului Evaluarea intregului proces de mai sus din punct de vedere al eficacitatii si al eficientei

( Sackett et al., 2000 )

Intrebari pentru clarificarea pertinentei datelor clinice

de ce este publicat acest articol ? care este principala intrebare la care vrea sa raspunda studiul ? ce tip de studiu a fost realizat ? este original studiul respectiv ? a fost aleasa metodologia adecvata ? care a fost populatia pe care s-a desfasurat studiul ? care sunt rezultatele studiului ? rezultatele sunt valide ? rezultatele au relevanta / importanta pentru practica ?

(Cristian Vladescu, Medicina bazata pe dovezi)

Citeste TITLUL

Articol original ? Sinteza critica ? Relevant pentru practica ?

NU

NU Relevanta practica directa Citeste alt articol

Metodologia de cercetare corecta

NU

Evaluare critica a intregului articol

(Cristian Vladescu, Medicina bazata pe dovezi; David Sackett et al., 1991 )

Pertinenta datelor clinice depinde de:

La ce tip de intrebare cautam raspuns ? Ce tip de informatie reprezinta dovezile cautate ? Ce tip de studiu va furniza informatiile cautate ? Ce tip de resurse informationale permit accesul la asemenea studii ? Cum putem utiliza ce este mai bun din aceste resurse ?

Cazul particular in cercetarea cu rezultate negative

Cercetarea cu rezultate negative

y Rezultatele, fie ele pozitive sau negative ale fiecarui studiu clinic ar trebui facute publice. y Din nefericire, pentru variate motive, rezultatele negative raman adesea necunoscute. y Ca urmare, studii clinice al caror este cunoscut dar nepublicat sunt in mod inutil repetate de alti cercetatori, conducand la irosirea de fonduri, infradtructura si componenta umana, alaturi de discomfortul la care sunt supusi pacientii implicati. y Studiile cu rezultate statistic semnificative au mai mari sanse sa fie publicate decat studiile unde nu exista diferente intre grupuri (studii cu rezultate negative ), ceea ce aduce un factor de eroare in documentare.

Cercetarea cu rezultate negative

y Acest fenomen de eroare de publicare influenteaza atat rezultatele metaanalizelor cat si interpretarile statistice asupra studiilor clinice pozitive. y Aceasta tendinta este mai frecventa in cazul studiilor observationale si de laborator comparativ cu studiile clinice randomizate y Aceste observatii sugereaza ca formularea de concluzii pe baza exclusiv o unei sinteze a datelor publicate trebuie facuta cu mare precautie, mai ales pentru studiile observationale. y Este necesara identificarea de strategii care sa identifice si rezultatele nepublicate de tip negativ , posibil urmand modelul Statelor Unite unde in 2007 a fost aprobata o lege care obliga Food and Drug Administration (FDA) sa inregistreze toate rezultatele studiilor clinice (de ex, pentru studii pe antidepresive, peste 30% din rezultatele raportate la FDA au fost negative) y http://www.clinicaltrials.gov/

Grile de lectura critica si scorul de calitate

Utilitatea informatiei medicale

y Shaugnessy si Slawson: formula utilitatii informatiei medicale: y UTILITATEA = RELEVANTA X VALIDITATE y EFFORT y VALIDITATE: masura in care informatia respectiva descrie adevarul(vezi surse de informare medicala) y RELEVANTA: masoara frecventa cu care ne intalnim in practica de zi cu zi cu dovada/ tipul de dovada respectiv y EFORTUL: cantitatea de timp, costul accesului, nevoia de deprinderi etc.
(Cristian Vladescu, Medicina bazata pe dovezi)

Resurse existente pentru lectura critica a dovezilor medicale

Pe website-ul CEBM (Centre for Evidence Based Medicine) se regasesc o serie de grile utile pentru lectura critica a dovezilor medicale: lectura critica a articolelor de terrapeutica, a studiilor de diagnostic, a articolelor de tip review sistematic, PICO (Patient Intervention Comparator Outcomes) http://www.cebm.net/index.aspx?o=1157

Critical Appraisal for Therapy Articles University of Oxford, 2005

Critical Appraisal for Therapy Articles University of Oxford, 2005

Scale ale nivelului dovezilor/probelor in MBD

Principiile fundamentale ale medicinei bazate pe dovezi (MBD)

y In practica de zi cu zi incercam sa ne bazam pe cele mai bune dovezi existente la momentul respectiv, INSA:  nu toate dovezile sunt la fel de bune (principiul piramidei dovezilor)  dovezile nu reprezinta intotdeauna unicul pilon pe care se bazeaza decizia clinica y Principiile MBD:  abordare empirica  bazata pe cercetarea stiintifica  bazata pe gandirea critica  utilizeaza literatura stiintifica de sinteza  implica evaluarea critica a dovezilor  utilizeaza informatii stiintifice de calitate
(Cristian Vladescu, Medicina bazata pe dovezi)

Scale ale nivelului dovezilor/probelor in MBD

MBD clasifica diferitele tipuri de studii clinice si le ierarhizeaza in functie de gradul lor de independenta fata de diferitele surse de eroare care afecteaza cercetarea medicala. Nivelul probelor stiintifice: caracterizeaza puterea studiului de a raspunde la problema pusa la inceputul cercetarii Diferite sisteme de evaluare au fost realizate pentru clasificarea dovezilor privind eficacitatea unor tratamente sau metode de screening.

Scale ale nivelului dovezilor/probelor in MBD

Clasificare nivelului probelor : nivel puternic :  protocolul este adaptat pentru a raspunde cel mai bine la problema cercetata  studiul este realizat fara erori sistematice (bias) importante  analiza statistica este adaptata obiectivelor ( puterea studiului crescuta) nivel intermediar : protocol adaptat dar: puterea studiului limitata si/sau deficiente minore in metodologia de studiu nivel redus protocol adaptat dar : puterea studiului redusa (statistica minima, de baza) bias-uri greu de controlat (Doina Azoicai, 2009)

Scala utilizata de U.S. Preventive Services Task Force si Canadian Task Force on the Public Health
y Nivelul I: probe/dovezi obtinute in urma a cel putin unui studiu clinic randomizat controlat (comparativ) y Nivelul II-1: probe/dovezi obtinute in urma unui trial clinic randomizat non-comparativ y Nivelul II-2: probe/dovezi obtinute prin studii de cohorta sau studii caz-martor de preferinta multicentric y Nivelul II-3: probe/dovezi obtinute prin serii de timp (cohorte istorice) y Nivelul III: opinia unor autoritati recunoscute din domeniu bazata pe experienta clinica, studii descriptive, rapoarte ale unor comisii de experti.

Cele 5 argumente pentru aprecierea puterii probelor stiintifice in MBD dupa calitatea protocolului de studiu ( adaptat dupa scorul utilizat de American College of Chest Physicians)
Tipul dovezii/puterea
I

Argumente
Probe puternice obtinute prin cel putin o revizuire sistematica a trialurilor controlate randomizate, multiple si corect alcatuite Probe puternice provenite de la cel putin un trial controlat si bine alcatuit, avand o marime corespunzatoare Probe oferite de trialurile bine alcatuite, fara randomizare, pe un singur grup evaluat pre si post test, sau prin studiile de cohorta sau caz-martor Probe stiintifice obtinute prin studii ne-experimentale bine alcatuite si efectuate in unul sau mai multe centre de cercetare Opinii ale unor autoritati in domeniu, bazate pe observatii clinice, studii descriptive, rapoarte ale unor comisii de experti (conferinte de consens)

II

III

IV

(Doina Azoicai, 2009)

Nivelul probelor stiintifice din literatura si forta recomandarilor in practica clinica (adaptat dupa scorul Sackett)
Nivelul probelor stiintifice din literatura
Nivel 1 - Trialuri clinice comparative randomizate puternice - Metaanaliza studiilor clinice randomizate Nivel 2 - Trialuri clinice randomizate Nivel 3 - Trialuri clinice fara randomizare - Studii de cohorta Nivel 4 - Studii comparative cu serii istorice Nivel 5 -Serii de caz

Forta recomandarilor

Grad A Grad B

Grad C

Notiunea de gradare a recomandarilor

Gradarea recomandarilor decizia diagnostica sau terapeutica precizata in functie de puterea probelor stiintifice furnizate de datele din literatura medicala si avizul profesionistilor Clasificarea recomandarilor (dupa U.S. Preventive Services Task Force) : grad A : bazate pe cunostinte stiintifice obtinute prin studii cu nivel puternic al probelor stiintifice grad B : bazate pe prezumtii stiintifice oferite de studii cu nivel intermediar al probelor stiintifice grad C : bazate pe studii cu nivel scazut al probelor stiintifice

(Doina Azoicai, 2009)

Nivelul probelor stiintifice furnizate de literatura

Nivel 1 - Studii randomizate comparative puternice - Meta analiza studiilor randomizate comparative - Studii de analiza deciziei Nivel 2 - Studii randomizate comparative putin puternice - Studii comparative non-randomizate bine efectuate non- Studii de cohorta Nivel 3 - Studii caz-martor Nivel 4 - Studii comparative cu erori sistematice importante - Studii retrospective - Studii descriptive (transversale, longitudinale)

Gradul recomandarilor (dupa L Agence Nationale d'Accrditation et d'Evaluation en2009) (Doina Azoicai, Sant, ANAES)
Gradul recomandarilor

A
Probe stiintifice certe

B
Prezumtii stiintifice

C
Nivel scazut al dovezilor

Bibliografie
y Gilles Landrivon, Francois Delahaye: Cercetarea clinic de la idee la publicare , Edit Dan, 2001 y Users guides to the medical literature A manual for evidence based clinical practice, JAMA Press, 2001 y Cristian Vladescu, Medicina bazata pe dovezi, www.justmed.eu/files/sanatate/EBMEDTm_lp.ppt y David L. Sackett, W. Scott Richardson, William osenberg si R. Brian Haynes , Evidence-based edicine (Medicina bazata pe dovezi: cum sa practici si cum sa predai MBD, versiunea in lb. romana sub coord. dr. Marius Marginean, Timisoara , Editura Eurobit, 1999 y Sackett DL, Rosenberg WM, Gray JA, Haynes RB, Richardson WS (January 1996). "Evidence based medicine: what it is and what it isn't". BMJ312 (7023): 71 2. y Cristian Vladescu, Reinhardt Busse, Victor Olsavszky si Luca Crivelli (coordonatori) Sanatate publica si management sanitar: sisteme de sanatate, Bucuresti : Centrul pentru Politici si Servicii de Sanatate, 2004 y Azoicai D., Ivan A. Modern epidemiology implications in occupational medicine.,Rev. Med. Chir. Soc. Med. Nat. Iasi 2009, 113, 3, 647-649. PMID: 20191809 y G. Landrivon, La recherche clinique. De lidee a la publication, Edit. Masson, Paris, 1995 y Alan Earl-Slater, The Handbook of Clinical Trials and Other Research. Radcliffe Publishing Ltd, 2002 y U.S. Preventive Services Task Force (August 1989). Guide to clinical preventive services: report of the U.S. Preventive Services Task Force. DIANE Publishing. pp. 24