Sunteți pe pagina 1din 102

Epidemiologia bolii i a sntaii.

Tipuri de anchete epidemiologice

Curs studenti - Medicin an V


Prof. univ. dr. Dana Minca
Octombrie 2016

Catedra de Sanatate Publica si Management, 1


UMF "Carol Davila" Bucureti
Epidemiologie

Hipocrate a aratat ca anumite boli sunt legate de anotimp,


de locul aparitiei sau de conditiile de mediu

Definitii
Clasica (MacMahon, 1960) - stiinta care studiaza distributia
determinantilor bolii in populatiile umane

Last, 1983 - stiinta care studiaza distributia si determinantii


starilor si evenimentelor din populatii diferite, precum si
aplicarea rezultatelor la controlul problemelor de sanatate
publica.

Catedra de Sanatate Publica si Management, 2


UMF "Carol Davila" Bucureti
Obiectul preocuparilor E
O populatie de referinta Individul ?
(dintr-un anumit
teritoriu)

un grup particular de
bolnavi ( +/ - martori)

Catedra de Sanatate Publica si Management, 3


UMF "Carol Davila" Bucureti
Obiectivele epidemiologiei
1. Descrierea distributiei bolilor/FR
2. Explicarea etiologiei bolilor sau a modului de
transmitere (evidentierea unei relatii intre factorii
explicativi ai bolii si rezultatele pe care le
genereaza)
3. Predictii in legatura cu nr. probabil al bolilor in pop si
cu caracterul distributiei lor
4. Fundamentarea programelor de prevenire si
combatere a bolilor dintr-o pop sau a interventiilor
in str. Sv de sanatate

Catedra de Sanatate Publica si Management, 4


UMF "Carol Davila" Bucureti
Nivelurile cercetarii E
N. cunoasterii (cercetare fundamentala -
explicatii)
N interventiei (cercetare aplicativa -
actiune)

Catedra de Sanatate Publica si Management, 5


UMF "Carol Davila" Bucureti
Domenii de aplicare
SP Medicina clinica
- taxonomia bolilor - ist nat a bolii
- descrierea istoriei naturale a - determinarea valorilor normale
bolilor in pop - completarea tabloului clinic si
- det frecv FR identificarea de sindroame noi
- descrierea si explicarea - studiul etiologiei
modelelor de M, Mb
- depistarea se supravegherea in - ameliorarea perspectivelor
masa a bolilor clinice (eval eficacitatii
- prevenirea si controlul comunitar procedeelor dg si terapeutice)
al B - evaluarea tehnologiilor medicale
- planificarea sanitara si vechi si noi
promovarea act pt sanatate - citirea critica a literaturii de
- eval act, proceduri si sv de specialitate
sanatate

Catedra de Sanatate Publica si Management, 6


UMF "Carol Davila" Bucureti
Metode /surse informatii utilizate

Sistemul informational curent


biostatistica
esantionaj
metode speciale de definire si determinare a loturilor
de studiu
tehnici de masurare a riscurilor
tehnici de masurare a supravietuirii
standardizarea

Catedra de Sanatate Publica si Management, 7


UMF "Carol Davila" Bucureti
Caracteristicile metodelor
folosite
empirice

numerice

probabilistice

comparative

Catedra de Sanatate Publica si Management, 8


UMF "Carol Davila" Bucureti
Notiuni de baza in epidemiologie
ASOCIAIA EPIDEMIOLOGIC: relaia dintre dou categorii diferite de
evenimente, n care o categorie este reprezentat de EXPUNERE (factor de
risc/de protectie), iar alta de REZULTAT (boala/ deces/ vindecare)
FACTOR DE RISC orice condiie care poate fi descris i dovedit c se
asociaz apariiei unei anumite stri morbide cu o frecven superioar celei
ateptate.
FACTOR DE PROTECIE condiia care prin existena ei menine starea de
sntate a unei populaii
FACTOR INDIFERENT factor despre care cel puin pn n prezent nu se
cunoate c s-ar asocia cu starea de sntate sau starea de boal a unei
populaii.
RISC exprimarea n cifre a probabilitatii de apariie a bolii/decesului n
prezena sau absena factorilor de risc.
POPULAIA LA RISC populaia purttoare a factorilor de risc, populaia
susceptibil de a dezvolta o anumit boal.
INFERENTA EPIDEMIOLOGICA -generalizarea rezultatelor obtinute din
studiul pe esantioane la populatia globala din care acestea au fost selectate

Catedra de Sanatate Publica si Management, 9


UMF "Carol Davila" Bucureti
Notiuni de baza in epidemiologie (2)
EPIDEMIE: Apariia unui numr de evenimente cu o frecven
superioar frecvenei ateptate ntr-un anumit interval de timp i un
anumit teritoriu
PANDEMIE: epidemie extins, care apare n regiuni mari, ri,
continente
ENDEMIE: prezenta unei boli specifice intr-o populatie particular
cu o frecvent constanta, dar mult mai ridicata decat frecventa din
populatiile invecinate

Catedra de Sanatate Publica si Management, 10


UMF "Carol Davila" Bucureti
Tipuri de clasificare in epidemiologia
clinica (A. Feinstein)
Abordari eclectice (fiecarei activitati ii
corespunde o intrebare)
Av: raspunsuri practice la intrebari concrete
Dezav: absenta unor standarde formale
Abordari axate pe scop (ex. Mecanisme
fiziologice, evaluari diagnostic, estimari
prognostice
Av: ofera cadrul general
Dezav: absenta unor metode pt alcatuirea grupurilor
de studiu
Catedra de Sanatate Publica si Management, 11
UMF "Carol Davila" Bucureti
Tipuri de clasificare in epidemiologia
clinica (A. Feinstein) - urmare
Abordari axate pe componenta pop de studiu (RCTs,
surveys of theraphy, cohorte, cross-sectional surveys,
case-control)
Av: cercetarea e structurata fct de metoda de alcatuire a grupului
de studiu
Dezav: nu se precizeaza scopul cercetarii
Abordari axate pe constructia studiului (grupurile si
obiectivele sunt unificate intr-o structura de cercetare)
Obiectivul studiului descriptive, cauza-efect, de proces
Modul de distributie a factorului: voluntar experiment; natural
observational
Directia temporala: transversal sau longitudinal

Catedra de Sanatate Publica si Management, 12


UMF "Carol Davila" Bucureti
Clasificarea anchetelor epidemiologice -
OMS
Dup obiectivul urmrit:
DESCRIPTIVE
- populationale (anchete de prevalenta, corelationale/ecologice)
- Individuale (raport de caz, serii de cazuri, cross-sectional surveys)

ANALITICE
- observationale (de cohorta; caz-control)
- de interventie (clinical trials)
Dupa rolul investigatorului
Anchete observationale
Anchete de interventie/experimentale

Dup directia temporala


Anchete transversale
de prevalen
ecologice
Anchete longitudinale
de cohort (prospective, prospectiv istorice-ambispective, cohorta
retrospectiva)
caz-control (retrospective)

Catedra de Sanatate Publica si Management, 13


UMF "Carol Davila" Bucureti
INFERENA CAUZAL
Asociaia observat:
Criterii de cauzalitate (Evans)
Poate fi datorat
seleciei sau unei erori
de msurare ?
Plauzibilitate - Caracter rational
NU Forta asocierii - RR, RA
Poate fi datorat
Consisten - locuri, momente diferite
confuziei ?
Specificitatea - doar inbolile
NU
monofactoriale
Poate fi rezultatul Relaia temporal - cauza precede efectul
ntmplrii
Relaia doz rspuns
Probabil NU
Coerenta -asemanare cu concluziile altor
Poate fi cauzal ? cercetatori
Proba experimentala adm FR si
urmarirea efectelor (deontologie?)
Se aplic recomandrile
i se trag concluzii logice Catedra de Sanatate Publica si Management, 14
UMF "Carol Davila" Bucureti
Piramida dovezilor

Conference "Diaspora in Scientific Research 15


and University Education in Romania -
Diaspora and friends 2016
Anchete descriptive
studiaz, descriu distribuia n populaie a factorilor de risc i/
sau de protecie i a bolilor i/sau a deceselor, n funcie de o
serie de caracteristici de persoan, spaiale (geografice) i de timp
(temporale)

OBIECTIVE
Descriu distribuia factorilor de risc / a bolilor in populatia si perioada

de interes
Descriu istoria natural a bolilor
Evalueaz tendinele din sntate i boal i permit comparaii ntre

ri i ntre subgrupuri din aceeai ar


Furnizeaz o baz pentru planificarea, predicia i evaluarea

serviciilor
Identific problemele care s fie studiate prin anchete analitice i

ipotezele care s fie testate

Catedra de Sanatate Publica si Management, 16


UMF "Carol Davila" Bucureti
Rspund la intrebarile:
Tipurile de boala pot fi descrise prin una din cele trei
caracteristici:
Personale: cine este afectat? (tanar / batran,
femeie / barbat, sarac / bogat etc.)

Spatiale: unde apare boala? ( rural / urban, national /


international etc.)

Temporale: cand apare boala? ( iarna / vara etc.)

Catedra de Sanatate Publica si Management, 17


UMF "Carol Davila" Bucureti
Caracteristici personale
Vrsta
Sexul
Caracteristici sociale personale
Locul naterii emigranii poart timp de o generaie
modelele de morbiditate din ara lor.
Modelele culturale, obiceiuri dictate de anumite credine.
Categoria social propriu-zis: ocupaia, nivelul de
instruire, starea civil
este o caracteristic important pentru c ncorporeaz:
nivelul de cultur, anumite comportamente, venit, locuin,
confort, etc.
Catedra de Sanatate Publica si Management, 18
UMF "Carol Davila" Bucureti
Caracteristici spatiale
frontierele naturale
delimiteaz zone cu anumite caracteristici ecologice
favorabile dezvoltrii unor boli sau, dimpotriv proteciei
(gua endemic)
izoleaz populaiile, grupurile umane, cu obiceiurile i
comportamentele lor caracteristice;
definesc zone cu o structur economic relativ omogen;
circumscriu regiuni cu anumite caracteristici din punct de
vedere al accesibilitii la asistena sanitar;
nu se au n vedere limite administrative.
frontierele administrative
creaz faciliti de investigare i raportare a datelor (de
exemplu: informaiile disponibile despre morbiditatea i
mortalitatea dintr-un jude).
Catedra de Sanatate Publica si Management, 19
UMF "Carol Davila" Bucureti
Cancer prevalence, in %

<= 5
<= 4
<= 3
<= 2
Last European Region <= 1
available 1.55 No data
Min = 0
Catedra de Sanatate Publica si Management, 20
UMF "Carol Davila" Bucureti
Caracteristici temporale
Trendul
reflect schimbri ale modelelor distribuiei bolilor (deceselor) n
evoluia lor secular
arat dac tendina frecvenei unor boli este n cretere sau
descretere sau, dac apar prbuiri sau vrfuri n evoluie care
prezint interes pentru explicaiile trendului
este utilizat i pentru a face predicii n legtur cu evoluia
viitoare a frecvenei unor boli sau decese.
Variaiile ciclice (evoluii sinusoidale) reprezint creteri sau
descreteri n evoluia frecvenei unor boli sau decese.
Identificarea lor prezint importan n organizarea asistenei
medicale i planificarea resurselor.
sunt ntlnite mai ales n cazul bolilor infecioase, dar i n cele
cronice.
Evoluii neateptate.
Catedra de Sanatate Publica si Management, 21
UMF "Carol Davila" Bucureti
Estimated incidence of tuberculosis per 100000
200

150

Romania
100 EU

50

0 Catedra de Sanatate Publica si Management, 22


UMF "Carol Davila" Bucureti
1990 1995 2000 2005 2010 2015
Cancer prevalence, in %
2

1.5

Romania
1 EU

0.5

0 Catedra de Sanatate Publica si Management, 23


UMF "Carol Davila" Bucureti
1980 1990 2000 2010 2020
Female breast cancer incidence per 100000
200

150

Belgium
Denmark
100 Netherlands
Romania
Eur-B+C

50

0 Catedra de Sanatate Publica si Management, 24


UMF "Carol Davila" Bucureti
1980 1990 2000 2010 2020
SDR, malignant neoplasm female
breast, all ages per 100000
50

40

Belgium
Denmark
30 Netherlands
Romania
Eur-B+C

20

Catedra de Sanatate Publica si Management, 25


10
UMF "Carol Davila" Bucureti
1970 1980 1990 2000 2010 2020
Cervix uteri cancer incidence per 100000
40

30

Belgium
Denmark
20 Netherlands
Romania
Eur-B+C

10

Catedra de Sanatate Publica si Management, 26


0
UMF "Carol Davila" Bucureti
1980 1990 2000 2010 2020
SDR, cancer of the cervix, all ages, per 100000
20

15

Belgium
Denmark
10 Netherlands
Romania
Eur-B+C

Catedra de Sanatate Publica si Management, 27


0
UMF "Carol Davila" Bucureti
1970 1980 1990 2000 2010 2020
Denmark 2008
Czech Republic 2007
Finland 2008
Norway 2008
Austria 2007
Slovenia 2007
Bulgaria 2009
Iceland 2008
Italy 2009
Estonia 2003
Latvia 2009
EU members since 2004 or 2007 2007
Belarus 2009
Ukraine 2009
Lithuania 2005
Portugal 2006
Romania2007
Russian Federation 2006
European Region 2006
CIS 2009
Ireland 1995
France 2000
EU 1995
Eur-B+C 2008
Israel 2007
Republic of Moldova 2009
Sweden 1988
Croatia 2008
Greece 1991
United Kingdom 1989
Armenia 2009
Netherlands 1995
Kazakhstan 2009
Georgia 2009
Malta 1992
Slovakia 2006
Bosnia and Herzegovina 1991
CARK 2009
Kyrgyzstan 2008
Uzbekistan 2009
Azerbaijan 2009
Hungary 1987
Turkmenistan 2009
Tajikistan 2009 Catedra de Sanatate Publica si Management, 28
Turkey 2000 UMF "Carol Davila" Bucureti

0 1 2 3 4 5
Anchete descriptive - tipuri
Anchete epidemiologice descriptive
Individuale
raport de caz,
serii de cazuri,
populationale
corelationale/ecologice
anchete de prevalenta (cross-sectional)

Catedra de Sanatate Publica si Management, 29


UMF "Carol Davila" Bucureti
Tipuri de studii descriptive in medicina clinica
Rapoarte de cazuri
Cel mai comun studiu descriptiv
descrierea detaliata a unei caracteristici clinice sau rezultat observat
pt 1- 5 pacienti,
Scop: raportarea observatiilor neasteptate sau neobisnuite

Ex: retinopatie proliferativa la pacient fara diabet clinic

Metodologie:
Colectarea retrospectiva a datelor - de la consemnarea
evenimentului neasteptat/neobisnuit - ex efect secundar
medicamente

Catedra de Sanatate Publica si Management, 30


UMF "Carol Davila" Bucureti
Rapoarte de cazuri
Avantaje Dezavantaje
Nu exista grup de Nr foarte redus de
control subiecti nu se pot
Poate constitui prima realiza grafice, tabele,
analize statistice
etapa de rec a unei
boli noi/FR
Depind de capacitatea de
observare, de experienta
Usor de realizat - 1/3
si de interesul
din articolele cercetatorului
medicale

Catedra de Sanatate Publica si Management, 31


UMF "Carol Davila" Bucureti
Tipuri de studii descriptive in medicina clinica
Serii de cazuri
raport obiectiv privind caracterstici clinice sau efecte consemnate la un
grup de indivizi cu acelai diagnostic
5-15 cazuri
Metodologie: colectare retrospectiva a datelor
Avantaje:
se pot aduna cazuri din diferite surse pentru a genera ipoteze i
a se descrie noi sindroame
ex: hepatita, SIDA, b. Hodgkin

Urmarirea efectelor trat specific (ex laser pt galucom) - la un an


de la interventie
Limite:
nu se poate testa pentru asociere statistic, deoarece nu exist un grup
de comparaie,
Depind de capacitatea de observare, de experienta si de interesul
cercetatorului
Catedra de Sanatate Publica si Management, 32
UMF "Carol Davila" Bucureti
Anchete de prevalenta (cross-sectional)

Studii transversale care msoar simultan rezultatul i


expunerea, ntr-o populaie bine definit
de tip descriptiv

Avantaje:
implic ntrega populaie, i nu numai pe cei care caut ngrijire
medical
indicate pentru identificarea prevalentei bolilor frecvente (artroz,
HTA,alergii etc.)
rezultatele- programe de sanatate
permit formularea de ipoteze epidemiologice ce urmeaza sa fie testate
in studii analitice/experimentale

Limite:
nu se poate determina dac expunerea a precedat rezultatul
determinandu-se prevalena i nu incidena, rezultatele vor fi influenate
de factorii de supravieuire
Catedra de Sanatate Publica si Management, 33
UMF "Carol Davila" Bucureti
Studii ecologice (de corelaie)

Folosesc date deja colectate, raportate prin sistemele


informationale de rutina si care reprezint masurari ale unor
caracteristici din populaia generala pentru a descrie tipul de
relatie cu unii factori de interes (vrsta, timpul, utilizarea
serviciilor, expuneri etc.)
AVANTAJE:
- pot genera ipoteze pentru studii analitice
- pot inti populaii la risc, anumite perioade de timp sau
regiuni geografice pentru studii viitoare

LIMITE:
- datele fiind pentru grupuri, nu pot fi legate rezultatul i
expunerea la indivizi
- nu se pot controla pentru factori de confuzie poteniali
- datele sunt expuneri medii i nu expuneri individuale - nu se
poate determina o relaie doz-rspuns
Catedra de Sanatate Publica si Management, 34
UMF "Carol Davila" Bucureti
Studiile de tendin (trend)

Alctuite din studii de prevalen repetate


n aceeai populaie
presupun c msurarea prevalenei se
efectueaz de cel puin trei ori (lunar,
anual, la 10 ani etc.)

Catedra de Sanatate Publica si Management, 35


UMF "Carol Davila" Bucureti
ANCHETELE DESCRIPTIVE
Avantaje Dezavantaje
Relativ ieftine i rapide fa de Nu permit masurarea /
anchetele analitice
estimarea fortei asociatiei
Permit formularea unor ipoteze
Descriu: epidemiologice
- cine se mbolnvete
- unde ratele sunt mai nalte
- caracteristici temporale
ale bolii
- sezonalitate
- tendine secular
influenate de -
modificri n tehnicile
diagnostic, in distribuia
vrstelor ntr-o populaie
Catedra de Sanatate Publica si Management, 36
UMF "Carol Davila" Bucureti
Piramida dovezilor

Conference "Diaspora in Scientific Research 37


and University Education in Romania -
Diaspora and friends 2016
Axele care definesc investigaia
epidemiologice

Relatia E-R:
transversala

longitudinala
de cohorta
caz control

Realizarea in timp: istorica, concomitenta,


mixta
Selectia subiectilor: in functie de expunere; in
fct de rezultat; alte selectii
Catedra de Sanatate Publica si Management, 38
UMF "Carol Davila" Bucureti
ANCHETE ANALITICE
De tip observational
investigheaza relatiile dintre EXP/REZ (FR/B)
permit evaluarea asociatiei epidemiologice
permit inferente de tip cauzal

tipuri:
1) de cohorta
2) caz-control

Catedra de Sanatate Publica si Management, 39


UMF "Carol Davila" Bucureti
Ancheta de cohorta - scop
dovedesc existena sau inexistena unei asociaii
epidemiologice
duc la generalizri de tip cauzal
verific validitatea unei ipoteze epidemiologice
formulate n urma studiilor descriptive
Alte denumiri:
studii de asteptare
studii de urmarire (follow-up)
studii etiologice
studii de incidenta

Catedra de Sanatate Publica si Management, 40


UMF "Carol Davila" Bucureti
Repere
Obiectul investigatiei
Populatia de studiu
Variabilele de cercetat (EXP/REZ)
expunerea - factor incriminat a fi responsabil de un anumit
rezultat (pasiva)
Naturala/ cu variabila intrinseca (TA, G)
comportamente
rezultat - orice efect considerat ca s-ar datora unei expuneri;
tb definit anterior inceperii anchetei
simptome/caracteristici ale bolii -soft end point
Hard end point-relaionate rezultatului bolii
Catedra de Sanatate Publica si Management, 41
UMF "Carol Davila" Bucureti
Etape in proiectarea anchetei
Definirea populatiei de studiu
Masurarea si analiza datelor

Interpretarea rezultatelor

Catedra de Sanatate Publica si Management, 42


UMF "Carol Davila" Bucureti
1. DEFINIREA POPULATIEI DE STUDIU

ANCHETELE DE COHORT criterii


La includere
de nceperea studiului,
in studiusubiecii
NU TREBUIE S AIB BOALA
naintea nceperii studiului, trebuie exclui cei
care NU POT FACE BOALA
- prin anamnez, ex.clinic, teste dg

Catedra de Sanatate Publica si Management, 43


UMF "Carol Davila" Bucureti
Selecionarea loturilor:
Alegerea lotului test
in functie de susceptibilitatea de a face boala (o asemenea selectionare este
posibila mai ales in cazul bolilor transmisibile, ea fiind mult mai greu de realizat
in cazul bolilor cronice);
in urma unui studiu de prevalenta (examen medical de masa);
utilizarea unei cohorte tip ca in cazul studiului de la Framingham, in care
populatia a reprezentat un model tipic pentru orasele mai mici din SUA;
populatii captive (scolari, militari);
grupuri profesionale expuse la un anumit risc profesional.

Alegerea lotului de comparare (lotul martor)


Lotul martor este alcatuit din persoane neexpuse la factorul de risc.
grup intern, grup care s-a autoformat din interiorul aceluiasi esantion (modelul
de tip 1);
grup extern, care nu provine din esantionul initial, ci din alta populatie (modelul
de tip 2);
grup mixt, mai multe loturi de comparare, util atunci cand dorim sa masuram cu
un rafinament mai mare relatia dintre factorul de risc si boala;
metoda perechilor, care nu se prea foloseste in ancheta prospectiva.

Catedra de Sanatate Publica si Management, 44


UMF "Carol Davila" Bucureti
Asamblarea unei cohorte

Modelul de ancheta difera n functie de


alegerea eantionului:

Eantion din populaia general (dac FR are


P mare -anchet de cohort tip I

2 Eantioane: grupuri speciale de expunere


(ex: fumtori, mineri uraniu, muncitori cu
azbest, locuitori Cernobl) + martori neexpusi -
anchet de cohort tip II - cand FR are
frecventa mica in populatie
Catedra de Sanatate Publica si Management, 45
UMF "Carol Davila" Bucureti
Tipuri de anchete de cohort
Propriu-zis prospective, - efectul e vazut ca rezultat
al expunerii pecedente

de cohorta retrospective - datele despre FR si B


sunt culese din trecut (doc medicale)

de tip prospectiv istoric (ambispective) - E si R au


aprut in trecut, dar se urmareste in timp ap altor
rezultate datorate aceleiasi expuneri (x. razboiul din
Golf, Cernobal)
Catedra de Sanatate Publica si Management, 46
UMF "Carol Davila" Bucureti
Ancheta de cohorta de tip I

Catedra de Sanatate Publica si Management, 47


UMF "Carol Davila" Bucureti
Ancheta de cohorta de tip II

Catedra de Sanatate Publica si Management, 48


UMF "Carol Davila" Bucureti
2. Masurarea i analiza datelor
Msurarea expunerii
Metode:
directe prin:
observare;
examen clinic, paraclinic;
interviu;
indirecte prin:
-culegerea de date individuale din diverse inscrisuri
(foaia de observatie, fisa de consultatie);
-culegere de date din inscrisuri colective care se refera
la expunerea colectiva la un anumit factor de risc
Informatii despre rezultat (boala sau deces)
Catedra de Sanatate Publica si Management, 49
UMF "Carol Davila" Bucureti
Msurarea efectului (bolii)

Se efectueaz identic la expui ca i la neexpui (procedurile de


identificare a bolii trebuie s fie aceleai la expui i neexpui)

se definesc detailat efectele de interes (criteriile diagnostice)

Surse rezultate
certificatele constatatoare de deces
folie de observatie, fisele de consultatie, concediile medicale
sau registre sopeciale (cancer, malformatii);
examinarea periodica a cohortelor urmarite, cu inregistrarea
rezultatelor, precum si cu consemnarea schimbarilor care
apar in expunerea la factorul de risc si in comportamente,
reprezinta eca mai frecventa modalitate de a obtine informatii
despre expunere si rezultate.

Catedra de Sanatate Publica si Management, 50


UMF "Carol Davila" Bucureti
Masurarea i analiza datelor
Pe baza datelor obtinute din ancheta se masoara:

frecventa bolii sau deceselor;

forta asocierii epidemiologice;

impactul actiunii factorului de risc in populatie.

Datele rezutlate din ancheta se introdu intr-un tabel de


contingenta de tipul 2x2:
Catedra de Sanatate Publica si Management, 51
UMF "Carol Davila" Bucureti
Factor de Boala Total
risc
+ -

+ a b a+b

- c d c+d

Total a+c b+d a+b+c+d

a = persoanele care fac boala din cei expui


b = persoanele care nu fac boala din cei expui
c = persoanele care fac boala din cei neexpui
d = persoanele care nu fac boala din cei neexpui
a+b = totalul expuilor
c+d = totalul neexpuilor
a+c = totalul bolnavilor
b+d = totalul nonbolnavilor
Catedra de Sanatate Publica si Management, 52
UMF "Carol Davila" Bucureti
Masurarea asociaiei
a
R1
a b - riscul bolii (decesului) la expui

c - riscul bolii (decesului) la cei neexpui


R0
cd
-RISCUL RELATIV
R1
RR - arat de cte ori este mai mare riscul bolii
R0 (decesului) la expui fa de neexpui;

-Masoara forta asocierii epidemiologice

Catedra de Sanatate Publica si Management, 53


UMF "Carol Davila" Bucureti
Masurarea asociaiei
Riscul atribuibil
arat cu ct este mai mare riscul la cei
RA R1 R0 expui fa de neexpui
msoar excesul riscului la expui adic
partea din risc care se datoreaz factorului
de risc

Fraciunea riscului atribuit la expui


R1 R0 arat ct la sut din riscul expuilor
RA% x100 se datoreaz factorului de risc
R1
se calculeaz n anchetele de tip 1

Catedra de Sanatate Publica si Management, 54


UMF "Carol Davila" Bucureti
Semnificaia riscului

Pentru ca asociaia epidemiologic dintre factorul de risc i boal s


fie dovedit riscul relativ trebuie s fie mai mare dect 1 i
semnificativ statistic
se aplic un test de semnificaie statistic n functie de natura
variabilelor 2-calitative, coef de corelatie-cantitative, anl de vraianta
var cant-var cal, sau se determin intervalul de ncredere al riscului).
Catedra de Sanatate Publica si Management, 55
UMF "Carol Davila" Bucureti
Interpretarea riscului relativ

RR: arat de cte ori este mai mare riscul bolii


(decesului) la expui fa de neexpui

Riscul relativ = 1,36

Riscul de a face boal coronarian este de 1,36 ori mai


mare la fumtori fa de nefumtori

Riscul de a face boal coronarian este cu 36% mai mare


la fumtori fa de nefumtori
(fraciunea de risc atribuibil fumatului = RR-1)
Catedra de Sanatate Publica si Management, 56
UMF "Carol Davila" Bucureti
Impactul aciunii factorului de risc n
populaie- se masoara prin
RISCUL ATRIBUIBIL N POPULATIE
R p R0
RAP Rp incidena bolii n populaie (sau Rp
Rp mortalitatea prin boala respectiv n populaie)

RR = riscul relativ
Pe = prevalena factorului de risc
Pe ( RR 1)
RAP n populaie
Pe ( RR 1) 1
Interes pentru organizatorul de sanatate n elaborarea
strategiilor de interventie pentru prevenirea i controlul bolilor
n populatie!!!

Catedra de Sanatate Publica si Management, 57


UMF "Carol Davila" Bucureti
Ancheta de cohort
Avantaje
calitate mare - in momentul proiectrii rezultatele nu
sunt cunoscute, apar dup act FR;
permit evaluarea direct a riscului relativ i atribuabil;
se pot msura toate efectele generate de un FR;

Limite:
logistice
administrative
perioada lunga de urmrire
nu se pot repeta pe aceleai loturi

Catedra de Sanatate Publica si Management, 58


UMF "Carol Davila" Bucureti
Studiul Framingham
Din 1948, eantioane din rezidenii localitii Framingham,
Massachusetts au fost investigate cu privire la asocierea
dintre presupui factori de risc i apariia bolii cardiace sau a
altei boli
Ipoteze:
persoanele cu HTA fac boal coronarian cu o frecven mai
mare dect cele cu TA nomal
hipercolesterolemia este asociat cu o inciden crescut a
bolii coronariene
fumatul i alcoolul sunt asociate cu o inciden crescut a bolii
coronariene
activitatea fizic crescut este asociat cu o scdere a
incidenei bolii coronariene
o greutate crescut predispune la boal coronarian

Catedra de Sanatate Publica si Management, 59


UMF "Carol Davila" Bucureti
Studiul Framingham

Populaia studiului: 5127 brbai i femei ntre 30 i 62 ani,


fr boal cardiovascular la includerea n studiu (1948-
1952)

Cohorta era examinat la fiecare 2 ani i se supraveghereau


zilnic internrile de la spitalul Framingham

Expunerile studiate:
fumatul
consumul de alcool
obezitatea
hipertensiunea arterial
nivelele crescute ale colesterolului seric
nivelele scute de activitate fizic, etc.

Catedra de Sanatate Publica si Management, 60


UMF "Carol Davila" Bucureti
Anchetele caz-control

Anchetele de cohort:
EXPUNERE EFECT

Anchetele caz-control:
EXPUNERE EFECT

Catedra de Sanatate Publica si Management, 61


UMF "Carol Davila" Bucureti
ANCHETELE CAZ-CONTROL

Anchete de tip analitic


anchete observaionale

unitatea de observaie: individul (nu


grupul, populaia)
alte denumiri: studii caz-martor,
retrospective, anamnestice

Catedra de Sanatate Publica si Management, 62


UMF "Carol Davila" Bucureti
ANCHETELE CAZ-CONTROL

Scopul:
dovedesc existena sau inexistena unei
asociaii epidemiologice
duc la inferene (generalizri) de tip cauzal

verific validitatea unei ipoteze


epidemiologice formulate n urma unor
tipuri de studii descriptive

Catedra de Sanatate Publica si Management, 63


UMF "Carol Davila" Bucureti
Anchetele caz-control

Sunt cele mai frecvente studii epidemiologice


analitice
sunt singura modalitate practic de a identifica
factorii de risc pentru bolile rare (prevalenta n
pop<10%)
se potrivesc cel mai bine bolilor care necesit
ngrijiri medicale (ex. cancer, fractur de old etc.)
Permit studiul asocierii dintre mai multi factori de
risc si boal-B cronice

Catedra de Sanatate Publica si Management, 64


UMF "Carol Davila" Bucureti
Selectionarea loturilor
Fiind anchete analitice sunt necesare 2 loturi:
lotul cazurilor (bolnavi cu o anumita afectiune)
care reprezinta lotul test;
lotul de comparare (non-bolnavi) care reprezinta
lotul martor.
In ambele loturi se cauta anamnestic factorul
de risc.

Catedra de Sanatate Publica si Management, 65


UMF "Carol Davila" Bucureti
Modelul anchetei caz-control

Catedra de Sanatate Publica si Management, 66


UMF "Carol Davila" Bucureti
Selectionarea loturilor
Etape:
formularea unor criterii de diagnostic - eliminate ambiguitatile legate de forma, de stadiul bolii
delimitarea in timp si spatiu (de unde se selectioneaza cazurile)
cazurile selectionate pentru studiu trebuie sa provina din eligibili: numai acele cazuri din perioada
de timp stabilita si cu diagnosticul stabilit dupa criteriile formulate de investigator
baza de selectie (eligibilii) trebuie sa fie mai numeroasa pentru a obtine numarul cazurilor
necesare
Nr de cazuri depinde de: prevalenta expunerii n gr de control, marimea RR estimat, eroarea de
speta I i II

Lotul test poate fi constituit din:


bolnavi spitalizati;
populatia tinta, ceea ce ar creste reprezentativitatea anchetei; nu ar mai exista factorul
de distorsiune reprezentat de atractia bolnavului fata de spital;
categorii special selectionate (anumite boli profesionale).

Este de dorit
sa fie selectionate cazurile noi de boala si nu cele vechi, deoarece pot apare factori de distorsiune
(de exemplu, la cazurile vechi de boala, frecventa factorului de risc sa fie mai mica, urmare a
modificarii comportamentului unor bolnavi)
in cazul cind boala este rara suntem constrinsi sa luam in studiu atit cazuri noi cit si cazuri
vechi de boala.
Selectia cazurilor sa se faca din populatia tinta- formele bolii intilnite in populatia generala fiind
diferite de cele care ajung in spital
Catedra de Sanatate Publica si Management, 67
UMF "Carol Davila" Bucureti
Selectarea martorilor

Partea critica a studiilor CC:


Martorii tb sa fie similari lotului de cazuri cu exceptia
bolii
Martorii trebuie s provin din aceeai populaie la
risc pentru boal dar alcatuit din persoane bolnave
cu boli care se asociaza altor factori de risc (grup
heterogen)
Martorii trebuie s fie reprezentativi pentru populaia
int
Efectivul grupului martor mai mare pentru a crete
putera statistic atunci cnd cazurile sunt greu de
obinut (3:1)
Catedra de Sanatate Publica si Management, 68
UMF "Carol Davila" Bucureti
Surse de cazuri i martori
CAZURI MARTORI
toate cazurile dg. n eantion din populaia
comunitate general
toate cazurile dg. ntr-un non-cazuri dintr-un
eantion din populaie eantion din populaie
toate cazurile dg. n eantion de pacieni din
toate spitalele toate spitalele, care nu
toate cazurile dg. ntr-un au boala
singur spital eantion de pacieni din
acelai spital, care nu au
boala

Catedra de Sanatate Publica si Management, 69


UMF "Carol Davila" Bucureti
Culegerea informatiilor
2 conditii:
folosirea acelorasi metode si pentru lotul cazurilor si pentru lotul control;
acuratetea informatiilor sa fie cit mai mare.

Informatiile pot fi culese:


din foile de observatie;
prin examinarea directa sau interviu.

Distorsiuni (deoarece informatiile se culeg dupa aparitia bolii) generate:


bolnavi (nu-si amintesc despre factorii de risc);
investigator (va cauta cu insistenta prezenta factorilor de risc la cei care
au boala).
evitabile daca persoana care culege informatiile nu cunoaste:
ipoteza epidemiologica care se doreste a fi verificata;
loturile luate in studiu.

Catedra de Sanatate Publica si Management, 70


UMF "Carol Davila" Bucureti
Masurarea asociatiei
Factori de Boala Total
risc
+ -
+ a b a+b
- c d c+d
Loturile Total
cu carea+c se pleac b+d sunt a+c i
a+b+c+d
b+d i se caut a i b, respectiv
frecvena expunerii la bolnavi i
a
respectiv
f1 martori
- frecvena factorului de risc n lotul cazurilor
ac
f0
b - frecvena factorului de risc n lotul
bd control
Catedra de Sanatate Publica si Management, 71
UMF "Carol Davila" Bucureti
Masurarea forei asociaiei
n ancheta cazuri-control, riscul
relativ nu se poate calcula Peveniment Pev.
direct pentru c nu se poate Oeveniment
msura riscul bolii la expui i la Pnoneveniment 1 Pev.
neexpui.
Pentru msurarea forei cota bolii la expui
asociaiei epidemiologice n OR
anchetele de tip caz-control se cota bolii la ne-expui
folosete odds ratio (raportul
cotelor, OR).
ad
OR
bc

Catedra de Sanatate Publica si Management, 72


UMF "Carol Davila" Bucureti
Interpretarea valorii raportului cotelor
Cota bolii la expui e de OR mai mare dect la ne-
expui

n cazul bolilor rare n populaie (exemplu: bolile


cronice ce au prevalena mai mic de 10%) OR
aproximeaz RR

Numai n acest caz se poate afirma c riscul bolii e de


OR mai mare sau mai mic la expui dect la ne-
expui.

Catedra de Sanatate Publica si Management, 73


UMF "Carol Davila" Bucureti
Masurarea asociatiei
n cazul bolilor rare RR=OR i se pot calcula:

OR 1
RA%
Riscul atribuibil OR

Po (OR 1)
RAP
Po (OR 1) 1
Impactul actiunii Po : prevalena expunerii n lotul martor
factorului de risc n pop P : prevalena expunerii n populaia
general.

Catedra de Sanatate Publica si Management, 74


UMF "Carol Davila" Bucureti
OR<1 OR=1 OR>1
Raportul Cota expunerii Cotele Cota expunerii
cotelor la cazuri mai expunerilor la cazuri mai
cazuri/martori mic dect egale la cazuri mare dect
cota expunerii i martori cota expunerii
la martori la martori

Expunerea ca Expunerea Expunerea Expunerea


factor de risc reduce riscul respectiv nu crete riscul de
de boal este un factor boal (factor
(factor de risc de risc)
protector)
Pentru dovedirea asocierii epidemiologice este necesar efectuarea unui test de
semnificaie statistic-anliza pe perechi, anal stratificata (fct. de confuzie)
regresie logistica (ef fiecarui FR n ef global)
Catedra de Sanatate Publica si Management, 75
UMF "Carol Davila" Bucureti
Interpretarea Odds Ratio
Cei cu boal coronarian au o
probabilitate de 1,62 de ori mai mare de a
fi fumtori dect cei fr boal coronarian
sau
Cei cu boal coronarian au o
probabilitate cu 62% mai mare de a fi
fumtori dect cei fr boal coronarian.

Catedra de Sanatate Publica si Management, 76


UMF "Carol Davila" Bucureti
Factorii de confuzie
Pot sa apara in studii epidemiologice care vizeaza
asociatia dintre o expunere si un rezultat, atunci cand o
alta expunere se asociaza direct atat cu boala, cat si cu
expunerea luata in considerare initial
Confuzia apare atunci cand efectele celor doua expuneri
nu sunt separate si se ajunge la concluzia incorecta ca
efectul este datorat factorului asociat si nu expunerii
reale
Creeaza aparenta unei asociatii cauza efect care, in
realitate nu exista
Eg: varsta, categoria sociala

Catedra de Sanatate Publica si Management, 77


UMF "Carol Davila" Bucureti
Ex

Expun Boala
ere
cardiaca
(consu
m de
cafea Factor de
confuzie
(fumat)
Catedra de Sanatate Publica si Management,
UMF "Carol Davila" Bucureti
78
Anchetele intervenionale
Definitie - Studii de cohorta (FR - B) in care cercetatorul
manipuleaza factorul studiat si observa efectul asupra
criteriului de rationament

Sunt singurele anchete in masura sa dovedeasca relatia cauzala


sau eficacitatea unor tratamente, interventii, decizii diagnostice si
organizatorice

Probeaz practic, o ipotez elaborat n cadrul anchetelor


descriptive i verificat analitic

Dovada experimentala- Ultimul dintre criteriile de plauzibilitate


Evans

Considerente etice

Catedra de Sanatate Publica si Management, 79


UMF "Carol Davila" Bucureti
Unitatea de analiz
Indivizi,

familii,

grupuri,

organizatii,

comunitati

Catedra de Sanatate Publica si Management, 80


UMF "Carol Davila" Bucureti
Domenii de aplicare
Evaluarea eficacitatii vaccinurilor noi
experimentarea medicamentelor noi
evaluarea unor noi conduite terapeutice
evaluarea unor forme de organizare a serviciilor de
sanatate
evaluarea unor programe de educatie
evaluarea unor modalitati noi de depistare a unor
factori de risc sau maladii

Catedra de Sanatate Publica si Management, 81


UMF "Carol Davila" Bucureti
Etapele unei anchete experimentale

I. Alegerea loturilor

II. Administrarea interventiei

III. Consemnarea rezultatelor

IV. Prelucrarea datelor si testarea statistica a


deosebirilor constatate

V. Inferenta epidemiologica
Catedra de Sanatate Publica si Management, 82
UMF "Carol Davila" Bucureti
Catedra de Sanatate Publica si Management, 83
UMF "Carol Davila" Bucureti
POPULAIA STUDIAT

EANTIONARE

PARTICIPANI
simplu Consimmnt
RANDOMIZARE

GRUP TERAPEUTIC COMPARARE GRUP MARTOR

PIERDERE DIN VEDERE


MIGRARE

dublu MSURARE
EFECT EFECT

ORBIRE

triplu ANALIZA
RR, ARR, RRR, NNT p, CI

Inferenta statistica
I. Alegerea loturilor
A. criterii de includere:
clinice si demografice (GV, sex) care definesc
populatia potentiala la care pot fi generalizate
rezultatele
geografice si temporale - definesc populatia

accesibila (disponibila pt studiu)


B. criterii de excludere
Caracteristici care risca sa altereze calitatea datelor
sau interpretarea rezultatelor (alcoolici, alta
afectiune)
aspecte etice (nu doresc sa participe la studiu)

Catedra de Sanatate Publica si Management, 85


UMF "Carol Davila" Bucureti
I. Alegerea loturilor (2)
Esantionarea
Probabilistica - fiecare individ are o anumita probabilitate de
selectie specificata (tragere la sorti simpla, stratificata, a
grupelor, pasul mecanic)
Neprobabilistica (calitativa)- nu specifica o probabilitate de
selectie; practica dar mai putin riguroasa
Pregatirea loturilor
Evaluarea subiectilor (inregistrare, masurarea diferitilor parametri
importanti pt studiu)
consimtamantul informat = drept al pacientului
dreptul de a se retrage in orice etapa

Repartizarea subiectilor in loturi - randomizarea (sanse egale de


a fi n unul din loturi)
repartizarea = ireversibila
alocarea randomizata esantionarea randomizata
Catedra de Sanatate Publica si Management, 86
UMF "Carol Davila" Bucureti
II. Administrarea interventiei
Mod deschis erori
orb (simplu orb)

dublu orb

triplu orb

Catedra de Sanatate Publica si Management, 87


UMF "Carol Davila" Bucureti
III. Consemnarea rezultatelor
Stabilireacat mai exacta a rezultatului
interesant pt studiu (criteriul de rationament)
Ex fibrinolitice-IMA-

Important: monitorizarea compliantei


subiectilor (masurare prin chestionare,
analiza metaboliti urinari)

Catedra de Sanatate Publica si Management, 88


UMF "Carol Davila" Bucureti
IV. Prelucrarea datelor
Tabel de contingenta 2x2
R1 = riscul aparitiei evenimentului la lotul test

R0 = riscul aparitiei evenimentului la lotul


martor
Forta asociatiei RR, RA (partea atribuibila
interventiei)

Catedra de Sanatate Publica si Management, 89


UMF "Carol Davila" Bucureti
c. Analiza riscurilor
Interventie Rezultat Total
+ -

+ a b a+b
- c d c+d
Total a+c b+d a+b+c+d
a = persoanele din lotul de interventie care ating rezultatul
b = persoanele din lotul de interventie care nu ating rezultatul
c = persoanele din lotul de control care ating rezultatul
d = persoanele lotul de control care nu ating rezultatul
a+b = totalul subiectilor care au primit interventia (lotul test)
c+d = totalul subiectilor care au primit alternativa la interventie (lot control)
a+c = totalul subiectilor care au atins rezultatul
b+d = totalul subiectilor care nu au atins rezultatul
Catedra de Sanatate Publica si Management, 90
UMF "Carol Davila" Bucureti
EFECT Total
Masurarea asociaiei INT
+ -
a
R1 - riscul efectului
a b in lotul test +
a b a+b
- c d c+d
c
R0 -riscul Total a+c b+d a+b+c+d
cd efectului in
lotul control
R1
RR -RISCUL RELATIV
R0 - arat de cte ori este mai mare riscul
efectului la lotul de interventie, fata de lotul
de control
-Masoara forta asocierii epidemiologice

Catedra de Sanatate Publica si Management, 91


UMF "Carol Davila" Bucureti
Masurarea asociatiei (2)
AR (Risc atribuibil)= R1 R0 (cu cat este mai mare
probabilitatea de aparitie a efectului in lotul de interventie
fata de lotul de control)
Daca R1-R0<0, AR = ARR

ARR (reducerea absoluta a riscului/absolute risk


reduction)
NNN (number needed to treat) = 1/ (R1-R0) (cati subiecti
este necesar sa fie tratati pt o obtine un rezultat pozitiv)
NNH (number needed to harm) = 1/(R1-R0), daca R1>R0
RRR (relative risk reduction) = (R1-R0)/R0

Catedra de Sanatate Publica si Management, 92


UMF "Carol Davila" Bucureti
Interpretarea semnificaiei riscului

Pentru ca asociaia epidemiologic dintre factorul de risc i boal s


fie dovedit riscul relativ trebuie s fie mai mare dect 1 i
semnificativ statistic

se aplic un test de semnificaie statistic n functie de natura


variabilelor 2-calitative, coef de corelatie-cantitative, anl de varianta
var cant-var cal, sau se determin intervalul de ncredere al riscului).

Catedra de Sanatate Publica si Management, 93


UMF "Carol Davila" Bucureti
Tipuri anchete experimentale si de
interventie

Studii clinice (clinical trials)


studii in teren

studii comunitare

Catedra de Sanatate Publica si Management, 94


UMF "Carol Davila" Bucureti
Studii clinice
Experimentale
eseniale pentru dezvoltarea de noi tratamente
proiectate in vederea evaluarii unui tratament pe
om, prin compararea rezultatelor obtinute pe un
grup test, care primeste tratamentul respectiv cu
rezultatele dintr-un grup martor, comparabil, care
primeste placebo
Ambele grupuri sunt incluse in studiu, tratate si
urmarite de-a lungul aceleiasi perioade de timp

Catedra de Sanatate Publica si Management, 95


UMF "Carol Davila" Bucureti
Studii clinice
Grupurile pot fi stabilite prin randomizare sau
alt metod de alocare.
Rezultatul msurat poate fi decesul, un
eveniment clinic nefatal sau un test de
laborator.
Perioada de observare poate fi scurt sau
lung, n funcie de rezultatul msurat

Catedra de Sanatate Publica si Management, 96


UMF "Carol Davila" Bucureti
Fazele studiului clinic pe om
Studiile de faza I se efectueaz pe un numr mic de
subieci i au drept scop precizarea siguranei i toleranei
(sunt serii de cazuri clinice-descriptive)
Studiile de faza II precizeaz eficacitatea optimal a
tratamentului (experimentale)
Studiile de faz III stabilesc eficacitatea tratamentului, cel
mai frecvent prin teste terapeutice comparative, ideal
randomizate (clinical trials; experimentale)
Studiile de faza IV, dup comercializarea produsului, au
drept scop precizarea eventualelor indicaii noi i a
efectelor nedorite, nedecelate n decursul etapelor
precedente (descriptive; analitice-cohorte)
Catedra de Sanatate Publica si Management, 97
UMF "Carol Davila" Bucureti
Studii clinice in teren
(trials in the field)
Scop: prevenirea aparitiei bolii
Evaluare logistica si financiara
Implica persoane care nu prezinta semne de boala, dar despre
care se presupune ca sunt expuse FR
Colectarea datelor in teren, de la pers din populatia generala

Exemple de studii n teren:


testarea vaccinului Salk pentru prevenirea poliomielitei (pe copii)
prevenirea bolii coronariene la brbaii de vrst mijlocie cu risc
crescut
testarea unor metode de protecie mpotriva efectului pesticidelor
evaluarea impactului eliminrii vopselelor pe baz de plumb din
mediul domestic asupra saturnismului la copii

Catedra de Sanatate Publica si Management, 98


UMF "Carol Davila" Bucureti
Studii comunitare
Grupurile la care se refera interventia- comunitati
Ideale pt bolile care au la origine factori sociali
Limite: nr mic de comunitati, nu se pot randomiza; sunt necesare
alte metode pt a dovedi ca diferentele nu sunt date de
particularitatile comunitatilor
Riscul subestimarii efectului

Exemple
studiul cariilor dentare n doua comunitati comunitatatea A a primit

florur de sodiu, administrat n apa de but / comunitatea din B


-Kingston a primit ap fr florur-a artat reduceri clinice
importante i semnificative statistic ale apariiei dinilor cariai,
frecvenei lipsei dinilor sau a dinilor plombai.

Catedra de Sanatate Publica si Management, 99


UMF "Carol Davila" Bucureti
Anchetele interventionale -
avantaje

Principalulmod de a dovedi asociatia


epidemiologica
Sunt de tip longitudinal

Acuratete - relativa

Catedra de Sanatate Publica si Management, 100


UMF "Carol Davila" Bucureti
Anchetele interventionale -
dezavantaje
greu de generalizat rezultatele
obiectivele fezabile pe grupuri mici, atipice concl
nu pot fi generalizate
disponibilitatea de participare la studiu
considerente etice
afectarea rezultatelor de asteptarile cercetatorului
complexe, costisitoare

Catedra de Sanatate Publica si Management, 101


UMF "Carol Davila" Bucureti
Concluzii
Probleme de fezabilitate, cost, etica
Mai dificil de proiectat si de condus
comparativ cu alte studii
AI pe subiecti suficient de numerosi,
proiectate si conduse dupa criterii stiintifice,
pot furniza dovada cea mai puternica si mai
directa a existentei rel Cauza-Efect

Catedra de Sanatate Publica si Management, 102


UMF "Carol Davila" Bucureti

S-ar putea să vă placă și