Critical Appraisal of Quantitative Research

Penilaian Kritis Penelitian Kuantitatif

What is Critical Appraisal & Why is it Important
Health professionals are faced with an overwhelming quantity of information and from
this they must be able to sift the important and relevant findings in order to apply
these to their practice.

Critical appraisal is the process of systematically weighing up the quality and

relevance of research to see how useful it is in decision making.

Critical appraisal is the balanced assessment of benefits and strengths of

research against its flaws and weaknesses.

Critical appraisal skills can help you in making informed decisions, in

evidencing proposals and researching for reports.

Critical Appraisal is a skill and it needs to be practised by all health

professionals as part of their work

Apa Kritis Appraisal & Mengapa Penting

Profesional kesehatan dihadapkan dengan kuantitas besar informasi dan dari ini
mereka harus mampu menyaring temuan penting dan relevan untuk menerapkan ini
untuk praktek mereka.
Penilaian kritis adalah proses sistematis beratnya mencapai kualitas dan relevansi
penelitian untuk melihat bagaimana berguna itu dalam pengambilan keputusan.
Penilaian kritis adalah penilaian yang seimbang manfaat dan kekuatan dari penelitian
terhadap kekurangan dan kelemahan.
Keterampilan penilaian kritis dapat membantu Anda dalam membuat keputusan,
dalam membuktikan proposal dan meneliti laporan.
Penilaian kritis adalah keterampilan dan perlu dilakukan oleh semua profesional
kesehatan sebagai bagian dari pekerjaan mereka

Levels of Evidence
There are different types of evidence available to answer clinical queries. These can
be arranged as a hierarchy in a pyramid as shown in below:

Systematic Review
Randomised Control Trial
Cohort Study
Case Control Study
Case Series & Case Reports
Expert Opinion
Anecdotal
The pyramid is a list of studies which provide evidence with anecdotal evidence at
the bottom providing the least reliable evidence and a systematic review at the top
providing the strongest evidence. As you move up the pyramid the amount of
available literature decreases, but its relevance to the clinical setting increases. You
may not always find the best level of evidence (eg: a systematic review) to answer
your question. In the absence of the best evidence, you then need to consider
moving down the pyramid to other types of studies.
More detailed levels of evidence tables can be found at: www.cebm.net (under More
EBM tools)
Piramida adalah daftar studi yang memberikan bukti dengan bukti anekdot di bagian
bawah memberikan bukti paling handal dan peninjauan secara sistematis di atas
memberikan bukti kuat. Ketika Anda bergerak ke atas piramida jumlah penurunan
literatur yang tersedia, tetapi relevansinya dengan pengaturan klinis meningkat. Anda
mungkin tidak selalu menemukan tingkat terbaik bukti (misalnya: review sistematis)
untuk menjawab pertanyaan Anda. Dengan tidak adanya bukti terbaik, maka Anda
perlu mempertimbangkan bergerak turun piramida untuk jenis lain studi.
Tingkat yang lebih rinci dari tabel bukti dapat ditemukan di: www.cebm.net (di bawah
alat Lebih EBM)

7This is an experimental study in which eligible people are randomly allocated into
two groups: an intervention group and a control group. The intervention group
receives the intervention under consideration and control group receives an
alternative. The results are assessed by comparing outcomes in each group.
Adapted from: Cochrane Collaboration glossary (online) www.cochrane.org/glossary/ (accessed
12/4/12)

Ini adalah sebuah studi percobaan di mana

memenuhi syarat orang secara acak dialokasikan
ke dalam dua kelompok: intervensi kelompok

dan kelompok kontrol.Intervensi kelompok

menerima intervensi di bawah pertimbangan
dan di dalam group kontrol menerima
alternatif.Hasilnya dinilai dengan
membandingkan hasil di masing-masing grup
What is randomisation and why is it important?
Apa yang randomisasi dan kenapa itu penting?
Method analogous to tossing a coin to assign patients to treatment groups (the
experimental treatment is assigned if the coin lands heads and a conventional,
control or placebo treatment is given if the coin lands tails). This is usually done by
using a computer that generates a list of random numbers, which can then be used
to generate a treatment allocation list.
Metode analog untuk melemparkan sebuah koin untuk menetapkan pasien
untuk pengobatan kelompok ( percobaan pengobatan ditugaskan jika koin
tanah kepala dan keluarga konvensional, kontrol atau plasebo pengobatan
diberikan jika koin tanah ekor ).Ini biasanya dilakukan dengan
menggunakan komputer yang menghasilkan daftar angka acak, yang
kemudian dapat digunakan untuk menghasilkan pengobatan alokasi
daftar.
The reason for using randomisation is that it avoids any possibility of selection bias in
a trial. The test that randomisation has been successful is that different treatment
groups have the same characteristics at baseline. For instance, there should be the
same number of men and women, or older or younger people, or different degrees of
disease severity.
Bandolier glossary (online). http://www.medicine.ox.ac.uk/bandolier/booth/glossary/RCT.html
(accessed 12/04/12)

Alasan untuk menggunakan randomisation adalah dia menghindari setiap kemungkinan

seleksi bias dalam sidang.Tes yang randomisation telah sukses adalah yang berbeda
pengobatan kelompok memiliki karakteristik yang sama di baseline.Misalnya, harus ada
nomor yang sama pria dan wanita yang, atau lebih tua atau muda orang, atau derajat yang
berbeda dari penyakit keparahan.
Blinding
A process of masking, or hiding, which participant has been allocated to which arm of
the trial.
Proses masking, atau menyembunyikan, peserta yang telah dialokasikan untuk yang lengan
dari sidang.

Single blinding - the participant doesnt know which arm of the trial s/he has
been allocated to.

menyilaukan Tunggal - peserta tidak tahu mana lengan sidang s / ia telah dialokasikan
untuk.
Double blinding - neither the trial administrator nor the participant knows which
arm of the trial the participant has been allocated to.
Ganda membutakan - tidak sidang administrator atau peserta tahu yang lengan dari
sidang peserta telah dialokasikan untuk.
Triple blinding - neither the participant, trial administrator nor researcher knows
which arm of the trial the participant has been allocated to.
tiga - tidak peserta yang menyilaukan pengadilan administrator atau peneliti tahu yang
lengan dari sidang peserta telah dialokasikan untuk.

Cohort studies (prospective studies)

Mempelajari prospektif cohort mempelajari
These studies follow groups of people who are selected on the basis of their
exposure to a particular agent (eg: vaccine, drug) over a period of time, which can be
years. They are compared with another group who are not affected by the condition
or treatment. These studies are not as reliable as randomised controlled clinical trials
as the two groups may differ in a way other than the variable being studied.
One of the most famous cohort studies concerned the smoking habits of 40,000
British doctors in which 4 cohorts (non-smokers, light, moderate and heavy smokers)
were followed up for 40 years. The results constitute one of the first and strongest
pieces of evidence on the dangers of smoking. Clinical questions that should be
examined by a cohort include:
Penelitian ini mengikuti kelompok orang yang dipilih di dasar mereka paparan
tertentu agen ( misalnya: vaksin, obat ) selama periode waktu, yang dapat
tahun.Mereka dibandingkan dengan kelompok lain yang tidak terpengaruh oleh
kondisi atau pengobatan.Penelitian ini tidak seperti dapat diandalkan sebagai diacak
dikendalikan percobaan klinis seperti dua kelompok mungkin berbeda dengan cara
yang lain dari variabel yang mempelajari.Salah satu yang paling terkenal cohort
mempelajari yang bersangkutan merokok kebiasaan 40.000 inggris kelompok dokter
di mana 4 ( non-smokers, cahaya, sedang dan perokok berat ) itu ditindaklanjuti
selama 40 tahun.Hasil merupakan salah satu yang pertama dan paling kuat
potongan bukti bahaya merokok.Pertanyaan klinis yang harus diperiksa oleh sebuah
cohort termasuk:
o Does smoking cause lung cancer?
o Apakah rokok menyebabkan kanker paru-paru?
o What happens to infants who have been born very prematurely in terms
of subsequent physical development?
o o apa yang terjadi pada bayi yang sangat prematur dilahirkan dalam hal
perkembangan fisik?

Case control studies (retrospective studies)

Studi kontrol kasus (studi retrospektif)
These are studies in which patients who already have a specific condition are
compared with people who do not. These types of studies are often less reliable than
randomized controlled trials and cohort studies because showing a statistical

relationship does not mean than one factor necessarily caused the other. Clinical
questions that should be examined by a case-control study include:
Ini adalah studi di mana pasien yang sudah memiliki kondisi tertentu dibandingkan
dengan orang-orang yang tidak. Studi jenis ini sering kurang dapat diandalkan
daripada acak terkontrol dan Studi kohort karena menampilkan hubungan Statistik
tidak berarti daripada satu faktor selalu disebabkan yang lain. Pertanyaanpertanyaan klinis yang harus diperiksa oleh studi kasus-kontrol meliputi:
o Does whooping cough vaccine cause brain damage?
o lakukan overhead kabel listrik menyebabkan leukaemia?
o Do overhead power cables cause leukaemia?
o Ya apakah batuk rejan vaksin menyebabkan kerusakan otak?

Case series and case reports

Kasus laporan dan serangkaian kasus
These consist of collections of reports on the treatment of individual patients or a
report on a single patient. Because they are reports of cases and use no control
groups with which to compare outcomes, they have no statistical validity.
Terdiri dari ini koleksi laporan pada pengobatan pasien individu atau sebuah laporan
pada satu pasien.Karena mereka laporan dari kasus, dan tidak ada kontrol
menggunakan kelompok dengan hasil mana untuk membandingkan, mereka tidak
memiliki validitas statistik

Expert opinion
Pendapat ahli
This is a consensus of experience and opinions between professionals.
Ini adalah sebuah konsensus dari pengalaman dan pendapat antara profesional.

Anecdotal evidence
Bukti berupa anekdotal
This is something overheard somewhere.
Ini adalah sesuatu mendengar di suatu tempat.

Statistics
statistik
Power Calculation
Perhitungan daya
A sample size calculation designed to highlight the likelihood of detecting a true
difference between outcomes in the control and intervention groups. They allow
researchers to work out how large a sample they will need in order to have a
moderate, high or very high chance of detecting a true difference between the
groups. It is common for studies to stipulate a power of between 80% and 90%.
Greenhalgh, T. (2010). How to read a paper: the basics of evidence based medicine. 4th edn.
London: BMJ Books.

Perhitungan ukuran sampel dirancang untuk menyorot kemungkinan

mendeteksi benar perbedaan antara hasil dalam kelompok kontrol dan
intervensi. Mereka memungkinkan peneliti untuk mengetahui seberapa besar
sampel mereka akan perlu untuk memiliki kesempatan moderat, tinggi atau
sangat tinggi mendeteksi perbedaan sejati antara kelompok. Hal ini umum
untuk studi untuk menetapkan kekuatan antara 80%-90%.

Probability (p value)
Kemungkinan (p nilai)
The p value gives a measure of how likely it is that any differences between the
control and experimental groups are due to chance alone. P values can range from 0
(impossible for the event to happen by chance) to 1 (the event will certainly happen).
Nilai p memberikan ukuran berapa besar kemungkinan itu adalah bahwa ada
perbedaan antara kontrol dan kelompok-kelompok eksperimental yang kebetulan
saja. Nilai-nilai P dapat berkisar dari 0 (mustahil acara itu terjadi secara kebetulan) 1
(acara pasti akan terjadi).
If p=0.001 the likelihood of a result happening by chance is extremely low: 1 in 1000
If p=0.05 it is fairly unlikely that the result happened by chance: 1 in 20
If p=0.5
it is fairly likely that the result happened by chance: 1 in 2
If p=0.75 it is very likely that the result happened by chance: 3 in 4
Jika p = 0.001 kemungkinan hasil yang terjadi secara kebetulan sangat
rendah: 1 dalam 1000
jika p = 0.05 cukup tidak mungkin bahwa hasilnya terjadi secara
kebetulan: 1 dalam 20
jika p = 0.5 cukup kemungkinan bahwa hasilnya terjadi secara kebetulan:
1 dalam 2 jika p = 0.75 sangat mungkin bahwa hasilnya terjadi secara
kebetulan: 3 dalam 4
Results where p is less than 0.05 are often said to be significant. This is just an
arbitrary figure as in 1 in 20 cases, the results could be due to chance.
Hasil di mana p adalah kurang dari 0,05 yang sering dikatakan signifikan. ini
hanyalah sebuah sewenang-wenang tokoh seperti dalam 1 dalam 20 kasus, hasilnya
bisa menjadi karena kebetulan.

Confidence Intervals
Interval keyakinan
These are used in the same way as p values in assessing the effects of chance but
can give you more information. Any result obtained in a sample of patients can only
give an estimate of the result which would be obtained in the whole population. The
real value will not be known, but the confidence interval can show the size of the
likely variation from the true figure. A 95% confidence interval means that there is a
95% chance that the true result lies within the range specified. (This is equivalent t o
a p value of 0.05). The larger the trial the narrower the confidence interval, and

therefore the more likely the result is to be definitive. In an odds ratio diagram if the
confidence interval crosses the line of zero difference (no effect) it can mean either
that there is no significant difference between the treatments and/or that the sample
size was too small to allow us to be confident where the true result lies.
Ini digunakan dengan cara yang sama seperti p nilai-nilai dalam menilai efek
kesempatan tetapi dapat memberikan informasi lebih banyak.Setiap hasil yang
diperoleh dalam sampel pasien hanya bisa memberikan perkiraan hasil yang akan
diperoleh di seluruh penduduk.Nilai riil tidak akan diketahui, tapi keyakinan interval
dapat menunjukkan ukuran kemungkinan variasi dari benar gambar.95 % keyakinan
interval artinya ada 95 % kesempatan yang benar hasil iies dalam kisaran
ditentukan.( ini adalah setara tidak ya sebuah p nilai 0,05 ).Yang lebih besar sidang
yang sempit interval kepercayaannya, dan karena itu makin besar kemungkinan hasil
yang harus definitif.Dalam sebuah diagram peluang rasio jika keyakinan interval
melintasi garis nol perbedaan ( tidak ada efek ) itu bisa berarti bahwa tidak ada
perbedaan menonjol antara perawatan dan / atau bahwa sampel ukuran itu terlalu
kecil untuk memungkinkan kita untuk menjadi percaya diri di mana benar hasil
pernahberbohong.

Intention-to-treat analysis
Niat untuk mengobati analisis
An intention-to-treat analysis is one in which all the participants in a trial are analysed
according to the intervention to which they were allocated, whether they received it or
not (for whatever reason). Intention-to-treat analyses are favoured in assessments of
effectiveness as they reflect the non-compliance and treatment changes that are
likely to occur when the intervention is used in practice and because of the risk of
bias when participants are excluded from the analysis.
Adapted from: Cochrane Collaboration glossary (online) www.cochrane.org/glossary/ (accessed
12/4/12)

Sebuah analisis intention-to-treat adalah salah

satu di mana seluruh peserta dalam sidang yang
analysed menurut intervensi yang mereka
dialokasikan, apakah mereka menerimanya atau
tidak ( untuk alasan apa pun ).Analisis intentionto-treat yang favoured dalam kajian demi
efektivitas seperti mereka mencerminkan noncompliance dan pengobatan perubahan yang
mungkin terjadi ketika intervensi ini digunakan
dalam praktek dan karena resiko bias ketika
peserta tidak dilibatkan dalam analisis.
Bias

Anything which erroneously influences the conclusions about groups and distorts
comparisons. In RCTs sources of bias to look for are:
Apa pun yang keliru mempengaruhi kesimpulan tentang kelompok dan
mendistorsi perbandingan.Dalam rcts sumber bias untuk mencari adalah:
Selection bias: systematic differences in the groups being compared
caused by incomplete randomisation (allocation stage).
Performance bias: systematic differences in the care provided apart from
the intervention being evaluated (intervention stage).
Exclusion bias: systematic differences in withdrawals / exclusions of people
from the trial (follow up stage).
Detection bias: systematic differences in the ways outcomes are assessed
(outcomes stage).
Greenhalgh, T. (2010). How to read a paper: the basics of evidence based medicine. 4th edn.
London: BMJ Books.

Seleksi bias: sistematis perbedaan dalam kelompok yang dibandingkan disebabkan

oleh lengkap randomisation ( alokasi dana tahap ).
Kinerja bias: sistematis perbedaan dalam perawatan yang disediakan terpisah dari
intervensi yang dievaluasi ( intervensi tahap ).
pengecualian bias: sistematis perbedaan dalam penarikan / pengeluaran orang dari
sidang ( ditindak-lanjuti tahap ). Deteksi bias: sistematis perbedaan dalam cara
hasilnya dinilai ( hasil tahap ).

Risks and odds

Resiko dan peluang
When talking about the chance of something happening, e.g. death, hip fracture, we
can talk about:
Ketika berbicara tentang peluang sesuatu terjadi, misalnya kematian, patah tulang pinggul,
kita bisa bicara tentang:
risk and relative risk
Resiko dan relativ resiko
Or atau
odds and odds ratio.
Kemungkinan dan peluang resiko
Risks.
A proportion.
Numerator / Denominator.
Resiko.
Proporsi.
Pembilang / denominator.
Odds.
A ratio.
Numerator / (Denominator - Numerator).
Peluang.

Rasio.
Pembilang / ( denominator - pembilang ).
Outcome event

Total

Yes

No

Experimental
group

a+b

Control group

c+d

a+c

b+d

a+b+c+d

Total

Risk is: a proportion.

Risk of event in expt. group =

a = EER (Experimental Event Rate).

a+b
Risk of event in control group =
c = CER (Control Event Rate).
c+d
Relative risk (RR) is: a ratio of proportions.
RR = EER
CER.
A measure of the chance of the event occurring in the experimental group relative to
it occurring in the control group.
RR <1 if group represented in the numerator is at lower risk of the event.
Want this if the event is a bad outcome e.g. death.
RR >1 if group represented in numerator is at greater risk of the event.
Want this if the event is a good outcome e.g. smoking cessation.

Relative risk reduction

The difference in the risk of the event between the control and experimental groups,
relative to the control group.
RRR = (CER - EER)/CER.
Use this term if the event is bad e.g. death.
An alternative way of calculating the relative risk reduction is to use the relative risk:
RRR = (1 - RR).
Use this term if the event is bad e.g. death.
Absolute Risk Reduction
The absolute difference between the risk of the event in the control and experimental
groups.

ARR = CER - EER.

ARR can be used to calculate the number needed to treat (NNT).
Use this term if the event is bad e.g. death.
Relative benefit increase
The difference in the risk of the event between the control and experimental groups,
relative to the control group.
RBI = (CER - EER)/CER.
Use this term if the event is good e.g. smoking cessation.
An alternative way of calculating the relative benefit increase is to use the relative
risk:
RBI = (1 - RR).
Use this term if the event is good e.g. smoking cessation.
Absolute benefit increase
The absolute difference between the risk of the event in the control and experimental
groups.
ABI = CER - EER.
ABI can be used to calculate the number needed to treat (NNT).
Use this term if the event is good e.g. smoking cessation.
experimental groups.
Number needed to treat
The number of patients who needed to be treated to prevent the occurrence of one
adverse event (e.g. complication, death) or promote the occurrence of one beneficial
event (e.g. cessation of smoking).
NNT = 1/ARR.
Odds is: a ratio.
Odds of event in expt. group =

a
b.

Odds of event in control group =

c
d.
Odds ratio (OR) is: a ratio of ratios.
OR = ad
bc.
Dr Kate O'Donnell, General Practice & Primary Care, University of Glasgow.