ȘCOALA POSTLICEALĂ FEG BRASOV

STATISTICĂ
TEMA 1
APLICAȚII MEDICALE ALE
STATISTICII

Profesor: LUNGU TATIANA

NUME : ZBARCEA PETRUȚA ALEXANDRA

SPECIALIZARE: AMG ,
AN :I, D(E)
 2
Statistica
Este știință care culege, sintetizează, descrie și interpretează date referitoare la fenomene
generale.
Statistică matematică este ramură a matematicii care elaborează noțiunile și metodele folosite în
statistic
Statistica este domeniu științific care pemite studiul fenomenelor a căror proprietate fundamentală este
variabilitatea
Sttistica este știința colectării datelor, a prezentării lor într-o formă sistematică, a analizei
acestora și a interpretării rezultatelor obținute
Statistica studiază fenomene și procese care se întâlnesc la un număr mare de unități, variaze de
la o unitate la alta și sunt definite în timp, spațiu și ca structură organizatorică.
Dicționar statistic
Unitatea statistică este elementul constitutiv al populației statistice
Variabila este caracteristică care poate prezenta variaţie de la un element la altul al unei
colectivităţi.
Datele statistice este valorile observate şi înregistrate ale unei variabile statistice .
Informaţiile statistice este rezultă din prelucrarea şi analiza datelor statistice.
Statistica descriptivă este ramura statisticii care se ocupa cu prezentarea unui set de date. Prin
prezentare se permite înțelegerea facilă a caracteristicilor evenimentelor studiate.
Statistica inferențială este ramura statisticii care se ocupă cu testarea/verificarea ipotezelor
statistice
Estimarea este procesul utilizat pentru determinarea valorii unui parametru statistic asociat unei
populaţii .
Estimatorul este funcţie statistică aplicată asupra eşantionului pentru a estima un parametru
necunoscut al populaţiei. Valoarea obţinută este o estimare a valorii populaţiei.
Terminologie statistic
Eșantionul este o colecţie (submulţime) de elemente din populaţie
Eşantionarea reprezintă ansamblul operaţiilor destinate formării unui eşantion dintr-o
populaţie univers dată.
Pentru ca informaţia rezultată în eşantion în raport cu o variabilă X (de exemplu, media sa,
valoarea mediană, modală, etc.) să fie cât mai apropiată de cea din populaţia univers este necesar ca
structura eşantionului în raport cu variabila X să fie cât mai apropiată de cea din populaţia univers.
Diferenţa dintre cele 2 structuri constituie o măsură a gradului de reprezentativitate a eşantionului.
În raport cu procedeul folosit, eşantionarea poate fi aleatoare sau dirijată, în ambele cazuri
urmărindu-se realizarea unor eşantioane reprezentative, care să reproducă cât mai fidel posibil
caracteristicile (parametri) din populaţia univers.
 3
Eşantionarea aleatoare este tipul de eşantionare prin care fiecărei unităţi din populaţia
univers i se acordă aceeaşi şansă de a face parte din eşantion. Procedeul cel mai practic în acest scop
este procedeul tabelelor cu numere întâmplătoare.
După n citiri rezultă astfel un eşantion de n numere, care după identificarea unităţilor
corespunzătoare din populaţia univers, conduce la eşantionul aleator al unităţilor.
Eşantionarea dirijată este tipul de eşantionare în care unităţile componente ale eşantionului
sunt prelevate în baza unor criterii prealabil stabilite.
În eşantionarea unei populaţii se poate aplica fie principiul cu schema bilei nerevenite fie cel al
bilei revenite. Deosebim deci, eşantionare fără revenire respectiv, eşantionare cu revenire.
Eșantioane perechi :
– două eșantioane în care elementele sunt clar perechi (determinarea TAS la aceiași pacienți la
includerea în studiu și respectiv la 6 luni de la inițierea tratamentului)
– Elementele unui eșantion sunt selectate pentru a se potrivi cu elementele celui de-al doilea
eșantion
Eșantioane independente este probabilitatea ca un element să fie inclus în eșantion nu depinde
de selecția unui alt element în cel de-al doilea eșantionul.
Avantajele şi limitele eşantionării
Dintre avantajele eşantionării le remarcăm pe următoarele:
- costul redus de obţinere a informaţiilor primare;
- rapiditatea în obţinerea de informaţii şi în elaborarea de concluzii şi strategii.;
- permit obţinerea de informaţii detaliate, care corespund şi răspund cu precizie problemei
studiate, ele fiind mai exacte;
- permit studierea unor fenomene care printr-o observare totală ar fi distruse;
- au un câmp de aplicabilitate foarte vast
Limitele eșantionării
În forma cea mai generală cercetarea prin sondaj are şi anumite limite, cum ar fi:
- sunt destinate studierii populaţiilor statistice de volum suficient de mare, bine delimitate în timp
şi spatiu;
- nu sunt suficient de rapide pentru rezolvarea problemelor pe termen scurt;
- sunt destul de costisitoare încât nu pot fi repetate într-un ritm rapid;
- existenţa erorilor de eşantionare şi de observare;
- dificultăţi în construirea eşantionului.
Eroarea de eşantionare
Eroarea de eşantionare denumită şi eroare de estimare reprezintă diferenţa dintre valoarea
numerică înregistrată de parametrii calculaţi pe baza valorilor observate la nivelul unui eşantion de
unităţi şi valoarea numerică a parametrilor de la nivelul populaţiei univers.
 4
Ca atare eroarea de eşantionare se datorează tocmai observării numai a unei parţi din
populaţie, în locul unei observări exhaustive.
Mărimea acesteieste dată de o multitudine de factori :
- eroarea de eşantionare se diminuează, în general în măsura în care mărimea eşantionului creşte ;
- erori gradul de variaţie al variabilelor de studiat ;
- de metoda de sondaj folosită;
- de tipul de estimator folosit ;
- de valorile înregistrate la nivelul unităţilor din eşantion (componenta esantionului) ;
- de respectarea principiilor de formare a eşantionului
- de utilizarea unei baze de sondaj de bună calitate.

Statistica Descriptiva
Statistica descriptivă:
- sintetizează grafic şi numeric informaţia culeasă [exhuastiv] dintr-o populaţie
statistică
- descrie, dar NU explică esenţialul ce rezultă din datele culese.
Statistica descriptivă are ca obiective urmatoarele:
- Culegerea de date;
- Prezentarea datelor;
- Calculul parametrilor.
Variabile calitative:
- Proporţii
- Rate
- Rapoarte
Descrierea" poate fi făcută grafic sau prin indicatori. Principalii indicatori statistici folosiți sunt:
medie, mediana, varianță (dispersie).
Principalele tipuri de grafice folosite sunt:
- histogramă;
- grafice liniare;
- grafice de distribuție.
Hitograma reprezintă o reprezentare grafică a unei variabile sub formă de bare, unde suprafața
fiecărei bare este proporțională cu frecvența din valorile reprezentate. Se servește pentru a obțineun
general „prima vedere“, sau o imagine, distribuția populației sau eșantionului, pentru o caracteristică
cantitativă și continuă (cum ar fi lungimea sau greutatea). Astfel, acesta oferă o perspectivă de grup care
permite de a observa o preferinta, sau tendinta de proba sau populația să fie situate la o anumită regiune
a valorilor în intervalul de valori posibile (fie infinit sau nu) care pot dobândi proprietăți.
 5

Grafic linear
 6

Grafic de distribuție

Parametrii statistici descriptivi

- Parametrii de centralitate;
- Parametrii de dispersie;
- Parametrii de localizare;
- Parametrii de “normalitate”;
- Parametrii de centralitate.

Proprietăţi ale mediei aritmetice

- Orice valoare a seriei este luată în calcul;—
- Valorile extreme pot influenţa media aritmetică distrugându-i reprezentativitatea;
- Media aritmetică se situează printre valorile seriei date;
- Suma diferenţelor dintre valorile individuale din serie şi medie este 0;
- Suma pătratelor abaterilor valorilor seriei de la media aritmetică este minimul
sumei pătratelor abaterilor valorilor seriei de la orice valoare reală .
Mediana este o valoare astfel încât jumătate din observaţii îi sunt inferioare sau egale şi cealaltă
jumătate îi sunt superioare sau egale.
Procedura de calcul ◦
- Se ordonează datele seriei în ordine crescătoare;
- Se localizează mediana şi se detrmină valoarea ei astfel:
-Daca volumul n al seriei este impar :
 7

-Daca volumul n al serie este par :

Modulul – dominanta este cea mai des întâlnită valoare din serie
—Serii
- Fără modul;
- Unimodale;
- Multimodale.
Valoare centrală

Măsuri de dispersie
Măsurile de dispersie oferă informaţii despre extinderea împrăştierii datelor, sau reciproc, a
gradului lor de aglomerare
Statistica descriptivă univariată prezintă grupat materialul în două maniere:
 tabele statistice
 reprezentări grafice
Paradigma centrală univariantă a statisticii (descriptive) este: „renunţarea la o parte din
informaţie pentru câştig în relevanţă”
Sinteza grafică univariantă, se face prin evidenţierea intuită şi aproximativă a aspectelor
esenţiale de variabilitate dintr-o serie statistică.
Se execută în doi paşi:
- tabele statistice, simple sau cu simplă intrare
- reprezentări grafice adecvate timpului de variabile, astfel:
 pentru variabile calitative şi ranguri:
 diagrame circulare;
 diagrame prin coloane şi prin benzi.
 pentru ranguri şi măsurători:
 poligoane de frecvenţe;
 interograme.

Recomandări pentru variabile

 calitative – diagrame circulare
 tip rang – diagrame de frecvenţă
 8

 tip măsurătoare – diagramele prin coloane sau prin benzi, poligoane de frecvenţă sau
(mai ales) histogramele.
Sinteza grafică în tabele statistice se poate face prin:
 grupare, fără pierdere de informaţie
- în tabele statistice simple cu frecvenţele variabilelor ori valorilor, construind
distribuţiile frecvenţelor variabilelor/valorilor denumite distribuţii de frecvenţă
negrupate.
 gruparea, cu pierdere de informaţie
- în tabele statistice simple cu frecvenţele claselor sau intervalelor de grupare,
construind distribuţiile frecvenţelor claselor sau intervalelor de grupare denumite
distribuţii de frecvenţe grupate.
Pierderea de informaţie provine din comasarea unor variante în clase ori gruparea unor valori
consecutive în clase, care în acest caz, se numesc şi intervale de grupare.

Şir invariant, tabel statistic simplu distribuţii de frecvenţe şi reprezentări grafice:

Distribuţii negrupate

a) Culoarea ochilor studenţilor = variabilă calitativă

S1 = {a, v, a, a, n, n, n, c, c, n, a, c}

albaştri verzi negri căprui

b) notele obţinute la biostatistică, de 12 studenţi = Var. tip rang

S2 = {6, 7, 8, 8, 7, 6, 9, 10, 7, 7, 8, 7}

c) 36 de studenţi au măsurat cu precizie ± 0,5 mm lungimea unei cărţi ≡ var. tip măsurătoare obţinând
următoarele valori, ordonate ascendent.
S3 = {188, 189 (8 ori), 190 (18), 191 (8), 192}
măsurători repetate ale aceleiaşi mărimi = măsurători replicate
 9

Distribuţiile de frecvenţă
Pentru S1

Variabile Frecvenţe Frecvenţe Frecvenţe (relative) Frecvenţe

distincte absolute relative procentuale procentuale
cumulate
xj Nj Fj = Nj/N Pj = 100 · Fj % PCj = P1+P2+…+Pj
a 4 4/12 100 · 4/12 ≈ 33% 34%
v 1 1/12 100 · 1/12  9% 42%
n 4 4/12 100 · 4/12  33% 75%
c 3 3/12 100 · 3/12  25% 100%
Totaluri N = 12

Pentru S2
Perechile;
Valori Frecvenţe (xj · Nj)j = 1 · p = distribuţii/repartiţii de frecvenţe absolute
distincte absolute
xj Nj (xj · Fj)j = 1 …p = distribuţii/repartiţii de frecvenţe relative
6 2
7 5 (xj · Pj)j = 1…p = distribuţii/repartiţii de frecvenţe procentuale
8 3
9 1
10 1 (xj · PCj)j = 1…p = distribuţii/reparaţii de frecvenţe absolute
Totaluri N = 12

Pentru S3

Valori distincte Frecvenţe absolute

xj Nj
188 1
189 8
190 18
191 8
192 1
Totaluri N = 36
 10

Reprezentări grafice univariante

Definiţiile care urmează sunt formulate pentru distribuţiile negrupate. În cazul distribuţiilor
grupate termenii „variante” sau „valoare” trebuie înlocuite cu termenul „clasă”.

Diagrama circulară
Cerc format din sectoare pentru fiecare variant/valoare, xj astfel încât unghiul, respectiv aria
fiecărui sector să fie proporţional(ă) cu frecvenţa respectivă.
Ex. seria S1

caprui
25% albi
34%

verzi
negri
8%
33%

Diagrama prin benzi sau bare

Reprezentare caracteristică plană în care pe axa verticală avem marcate variantele/valorile, în
fiecare fiind construită o bandă orizontală de lungime proporţională cu frecvenţa corespunzătoare.
Benzile sunt dreptunghiuri nelipite şi de aceeaşi lungime, de regulă mult mai mică decât lumgimile lor.

Ex. seria S2

nota 10 1

nota 9 1

nota 8 3

nota 7 5

nota 6 2

Diagrama prin coloane sau batoane

Reprezentare carteziană plană, în care pe axa orizontală avem marcate variantele / variabile în
fiecare fiind construită pe verticală o coloană de înălţime proporţională cu frecvenţe corespunzătoare.
Coloanele sunt dreptunghiuri nealipite şi de aceeaşi lăţime, de regulă mult mai mică decât înălţimea lor.
 11

Ex. seria 3

18

8 8

1 1

188 mm 189 mm 190 mm 191 mm 192 mm

Poligon de frecvenţe
Linia frântă formată din segmentele care unesc mijloacele laturilor din vârfurile coloanelor
consecutive figurate în diagramă prin coloane, fără a mai reprezenta şi coloanele.
Ex. seria 3.

Valori aberante
36 de studenţi au măsurat lungimea palmei unuia dintre ei cu o precizie de ± 0,5mm, obţinând
Ex. seria S4

18

8 8

1 1 1 1

179 180 188 189 190 191 192

mm mm mm mm mm mm mm

Valori aberante = valori care contrastează puternic cu marea majoritate a celorlalte valori ale şirului
Valorile aberante se elimină
S’4 = S4, fără valorile aberante si ramane diagrama din dreapta coform desenului de mai jos.
 12
18

8 8

1 1

188 mm 189 mm 190 mm 191 mm 192 mm

Distribuţii grupate pentru măsurători = histograma

Măsurându-se lungimea palmei drepte la 36 de studenţi s-a obţinut şirul S5, grupat fără pierdere
de informaţie, ca distribuţie de frecvenţe este figurat în tabelul statistic următor, reprezentat apoi ca
diagramă de batoane.
Datorită distribuţiei „rare” de-a lungul intervalului 160 – 190 se recomandă o distribuţie grupată,
care se poate tabela şi reprezenta după cum urmează:
Şirul 5

xj 160 165 166 167 168 169 170 173 174 175 178 179 184 190
Nj 3 1 2 7 3 1 3 3 2 1 3 1 3 3

3 3 3 3 3 3 3
2 2
1 1 1 1

160 165 166 167 168 169 170 173 174 175 178 179 184 190
mm mm mm mm mm mm mm mm mm mm mm mm mm mm

Datorita distributiei „rare’ dealungul intervalului 160 – 190 se recomanda o ditributie grupata
care se poate tabela si reprezenta dupa cum urmeaza.
Şirul 5’
Interval de [160,164] [165, 170] [171, 175] [176, 180] [181, 185] [186, 190]
clasa mm mm mm mm mm mm
Nj 3 14 8 5 3 3
 13
Şirul 5’

14

3 3 3

[160, 164] [165, 170] [171, 175] [176, 180] [181, 185] [186, 190]

O astfel de reprezentare se numeste histograma, ea contine dreptunghiuri alipite, deoarece

intervalele de grupare sunt intotdeauna alipite.
Histograma = reprezentare carteziana plana a unei distributii grupate, formata din dreptunghiuri alipite,
cu bazele plasate pe intervalele de grupare si cu ariile proportionale cu frecventa claselor.

Distribuţii grupate pe variante [variabile] calitative şi ranguri

Cazul variantelor
În cazul şirului S1 (culoarea ochilor), putem comasa verde şi albastru în clasa culorilor deschise
(cd) şi culorile căprui şi negru în clasa culorilor închise (ci).
Şirul S1 (S1 comasat)
Variante Variante Frecvenţe relative Frecvenţe (rel.) procentuale
distincte absolute
xj Nj Fj = Nj/N Pj = 100 · Fj %
(cd) 5 5/12 100 · 5/12  42%
(ci) 7 7/12 100 · 7/12  58%

Diagrama circulară (pie)

culori
deschise
42%
culori
inchise
58%
 14

Limbajul repartiților (modul de grupare a măsurătorilor)

O distribuţie se numeşte unimodală, când are o singură modă, respectiv bimodală atunci când
are două mode.
Rata fecundităţii specifică vârstei ( Microtus agrestis).

3,5
3
2,5
2
1,5
1
0,5
0
0 10 20 30 40 50 60 70 80

14
12
10
8
6
4
2
0
0 2 4 6 8 10 12 14 16 18

O modă este un punct de maxim local.

O distribuţie bimodală, respectiv o distribuţie multimodală pot fi considerate suma a două,
respectiv mai multor distribuţii unimodale.
O distribuţie unimodală şi simetrică se consideră a fi o distribuţie cvasinormală, deoarece
seamănă cu repartiţia normală (Clopotul lui Gauss, curba erorilor).

1400

1200

1000

800

600

400

200

0
0 2 4 6 8 10 12 14 16 18

Distribuţia de frecvenţe a înălţimii a 8500 de bărbaţi din Anglia (Distribuţia unimodală şi

simetrică).
 15

S-a lăsat intenţionat la sfârşit forma de distribuţie normală sau cvasinormală, pentru a atrage
atenţia că este o greşeală răspândită de a presupune această formă de distribuţie în spatele oricărui
fenomen de masă.
Pornind de la studiul formelor acestor distribuţii eempirice sau teoretice se poate construi tabelul
prezentat în continuare.
Sinteza numerică univariată
Se referă la aspecte de variabilitate şi reprezintă un instrument complementar sintezei grafice,
care oferă măsuri obiective şi exacte (conform tabel din pag. 2/3)
Cantitativ variabilitatea este concepută ca o împrăştiere, iar calitativ variabilitatea se poate
denumi diversitate.
Modul de gândire cantitativ se aplică variabilelor cantitative, calitative binare sau binarizate şi se
realizează în indicatori (valori tipice) de:
- localizare, poziţionare a tendinţei centrale, poziţionare a tendinţelor extreme, de poziţionare a
tendinţelor intermediare.
- împrăştiere (variabilitate, dispersie) de regulă în jurul tendinţei centrale.
Pentru variabile cantitative continue sau compatibile cu variabilele continue se calculează şi indicatori
de:
- formă (pentru compararea cu o distribuţie normală).
 16

Statistica descriptivă univariantă (tabel sintetic)

Variabila
cantitativa
tip masuratoare tip rang calitativa
Grupare in tabel statistic simplu
Reprezentari histograma diagrama cu batoane diagrama circulara
g grafice tip
S r 25
18

20 caprui
15 25% albi
i a 10
5
8 8
34%

0
n f 12
0
)
,
14
5)
,
17
0)
,
19
5)
,
22
0)
,
24
5)
,
27
0)
,
29
5) 1 1
verzi
5, 20 45 70 95 20 45 70
negri
8%
[9 [1 [1 [1 [1 [2 [2 [2 188 mm 189 mm 190 mm 191 mm 192 mm 33%

t i
e c
z a poligon de frecvente

a
10

d 6

a 0
1 2 3 4

t
e
In valori tipice de :
l
n Tendinta M (media) Me (mediana) Mo (moda) Pentru variabile
o
u centrala binarizate :
r
m proportiile p, q (= 1-p)
e Variabilitate S (abaterea standard) IQ (intercartila) Pentru variabile
r ca S2 (dispersia ) A (amplitudinea) binarizate :
i imprastiere CV% (coeficientul de variatie) S2 si S specifice
c S2 = p*q ; S = √ p*q
a Variabilitate p (numar de variante),
ca impreuna cu Hrel
diversitate (entropia relativa)
 17

Statistică inferențială
Există două tipuri principale de statistici inferenţiale:
1) Testarea ipotezei - testarea afirmațiilor ipotetice despre populație, folosind datele colectate
dintr-un eșantion. De exemplu, testarea ipotezei precum că un medicament nou reduce semnificativ
tensiunea arterială medie într-o populație de pacienți, folosind mediile de dinainte și după, calculate
pentru eșantion.
2) Estimarea - utilizarea statisticilor eșantionului pentru a estima parametrii populației: –
folosind o singură valoare (estimare punctuală). De exemplu, utilizarea vârstei medii a eșantionului ca o
estimare punctuală a vârstei medii a populației; – folosind o gamă de valori (intervalul de încredere).
Metode de inferență pentru date cantitative (medii):
- teste de tip t pentru un eșantion: comparația între media unui eșantion și media unei populații;
- teste de tip t pentru două eșantioane independente: comparația între mediile a două eșantioane
independente;
- teste de tip t pentru două eșantioane pereche: comparația între două măsurători repetate pentru
același grup.
Testul t (Student) este un instrument de evaluare a mediilor uneia sau a două populații folosind
testarea ipotezelor.
Testul t se utilizează pentru a evalua:
- dacă un singur grup diferă de o valoare cunoscută (testul t pentru un eșantion);
- dacă două grupuri diferă unul de celălalt (testul t pentru două eșantioane independente);
- dacă există o diferență semnificativă în măsurătorile pereche (testul t pentru două eșantioane
pereche sau dependente).
Condiții de utilizare:
- variabile continue;
- eșantionare aleatorie;
- omogenitatea variabilei;
- distribuție aproximativ normală pentru abele variabile.
Metode de inferență pentru date calitative:
- tabele de contingență;
- testul chi-pătrat;
- testul Fisher exact.
- Metode de interferență pentru date
 18
TABEL DE CONTIGENȚĂ
Reprezintă o clasificare a datelor în funcție de 2 criterii (factori), în cadrul cărora datele sunt în
continuare divizate în 2 sau mai multe categorii, discrete și mutual exclusive.
Un tabel de contingență cu 2 criterii și 2 categorii se numește tabel 2 x 2. Dacă tabelul are mai
multe criterii, atunci se numește tabel (rânduri x coloane, r x c).
Tabelul de contingență se utilizează pentru prezentarea datelor în cazul aplicării testului chi-
pătrat (χ²) și a altor teste neparametrice.
Numărul de grade de libertate se determină prin formula: GL = (r -1) * (c -1) unde, r - numărul
de rânduri c - numărul de coloane
TESTUL CHI PĂTRAT (χ²)
Testul chi-pătrat (χ²) este un test neparametric.
Există două tipuri de teste chi-pătrat:
- testul χ² de concordanță (goodness of fit test), se utilizează în cazul unei singure variabile
măsurate;
- testul χ² de independență sau de asociere dintre 2 variabile.
Testul χ² de asociere între două variabile compară o distribuție de frecvențe absolute (sau
proporții) observate cu o distribuție teoretică (așteptată) de frecvențe absolute (sau proporții) pe baza

„distribuției de probabilitate chi-pătrat” pentru a testa dacă ipoteza nulă este adevărată. ➢ Fiecare

categorie trebuie să aibă cel puțin 5 valori.

TESTUL EXACT AL LUI FIȘER
Testul exact al lui Fisher este un test neparametric de verificare a ipotezelor statistice utilizat în
situații cu două variabile nominale dihotomice și eșantioane mici, de regulă, atunci când cel puțin o
celulă are o valoare mai mică de 5.
Acest test neparametric se utilizează pentru a verifica dacă datele dihotomice ale a două
eșantioane rezumate într-un tabel de contingență 2x2 sunt compatibile cu ipoteza (H0 ), conform căreia
populațiile originale ale celor două eșantioane au aceeași subdiviziune dihotomică și că diferențele
observate în eșantion se datorează doar întâmplării.
 19

Bibliografie:
- Elemente de Statistica | PDF (scribd.com);
- Curs Statistica Medicala 2014 | PDF (scribd.com);
- Biostatistica2016 (1).pdf;
- Statistica Descriptiva | PDF (scribd.com);
- Cursul 1 Statistica Inferentiala | PDF (scribd.com);
- 4 Statistica Inferentiala Ro-70246 | PDF (scribd.com);
- 604383339-4-Statistica-Inferentiala-Ro-70246.pdf;
- https://ro.scribd.com/document/375451504/Suport-de-curs-Biostatistica-pdf.