1 Analisis Cohen Kappa Dalam Penyelidikan Bahasa: Satu Pengalaman oleh Zamri Mahamod Noriah Hj.

Mohd Ishak Fakulti Pendidikan, Universiti Kebangsaan Malaysia d-zam@pkrisc.cc.ukm.my ABSTRAK Kajinan terkini dalam penyelidikan pengajaran dan pembelajaran bahasa Melayu (BM) lebih banyak dijalankan dalam bentuk kajian kuantitatif (Zamri & Mohamed Amin 2000). Walau bagaimanapun, kajian kes dengan menggunakan kaedah kualitatif sepenuhnya kurang dijalankan terutamanya kajian yang mengkaji strategi pembelajaran bahasa (SPB) di kalangan pelajar. Analisis data yang digunakan pula adalah sama, iaitu menggunakan analisis data SPSS bagi mencari kekerapan, peratusan, min serta mencari hubungan yang signifikan antara satu pemboleh ubah dengan satu pemboleh ubah kajian yang lain. Justeru, kertas kerja ini membincangkan satu pengalaman menulis menganalisis dan mencari kebolehpercayaan data temu bual dengan menggunakan kaedah Indeks Cohen Kappa. Analisis Indeks Cohen Kappa ialah satu proses mencari kebolehpercayaan unit-unit analisis daripada data kualitatif berbentuk verbatim. Ia dilakukan dengan mencari nilai persetujuan antara pakar kualitatif tentang unit-unit analisis sesuatu tema yang dikaji/ diperoleh dalam temu bual. Analisis Indeks Cohen Kappa dapat menentukan sejauhmana unit analisis yang dipilih dapat menggambarkan tema-tema yang timbul daripada temubual dengan tepat dan menjurus kepada persoalan yang hendak dikaji. Tema SPB dipilih dengan menggunakan perisian NUD*IST, iaitu satu perisian analisis data kualitatif terkini. Melalui analisis Indeks Cohen Kappa ini, penulis dapat mengenal pasti apakah unit analisis bagi tema SPB yang kerap disebutkan oleh peserta kajian dengan tepat. Kesimpulan, walau pun analisis Indeks Cohen Kappa telah lama digunakan dalam menentukan kebolehpercayaan datadata kualitatif, namun ia merupakan suatu yang baru dalam penyelidikan bahasa.

PENDAHULUAN Kajian kualitatif dalam pendidikan BM kurang dijalankan (Zamri & Mohamed Amin 2000, 2001; Zamri 2003). Kebanyakan kajian berkaitan SPB dibuat dengan menggunakan kaedah kuantitatif. Justeru, penulis telah menjalankan satu kajian SPB di kalangan

2 pelajar cemerlang dan pelajar lemah ketika belajar BM semasa di dalam kelas (DDK), di luar kelas (DLK) dan ketika menghadapi peperiksaan (PEP). Selain itu, kebanyakan kajian berkaitan SPB menggunakan kaedah kuantitatif, iaitu soal selidik bagi memperoleh data. Sebaliknya, kajian SPB menggunakan kaedah kualitatif seperti temu bual, diari belajar, pemerhatian dan lain-lain kurang mendapat tempat. Jika kajian kualitatif dijalankan, data yang diperoleh dianalisis dalam bentuk deskriptif dan menggambarkan tema-tema yang diperoleh dalam protokol temubual. Justeru, penulis telah menjalankan kajian kualitaif menggunakan protokol temu bual bagai mendapat data. Tema-tema dalam temu bual tersebut telah diperolehi melalui proses reduksi dan koding dengan menggunakan analisis Cohen Kappa. ANALISIS COHEN KAPPA Analisis Indeks Cohen Kappa diperkenalkan oleh Jacob Cohen dalam artikel beliau A Coefficient of Agreement For Nominal Scales. Cohen (1960) telah memperkenalkan satu kaedah untuk menentukan kebolehpercayaan data kualitatif dalam bentuk temu bual. Menurut beliau The procedure which suggests itself is that of having two (or more) judges independently categorize a sample of units and determine the degree, significance, and sampling stability of their agreement (Cohen 1960, 37-38). Justeru, analisis Indeks Cohen Kappa bertujuan untuk mencari darjah persetujuan unit analisi dengan tema atau konstruk yang dikaji. Ini dibuat dengan memadankan unit daripada data temubual dengan tema-tema yang dominan dalam sesuatu data kualitatif seperti dalam temu bual. Terdapat beberapa pendapat tentang Indeks analisis Cohen Kappa dalam menentukan darjah persetujuan antara penilai (pakar) dalam kajian kualitatif. Steven (1958) menyatakan persetujuan antara penilai-penilai adalah penting untuk menentukan nilai kebolehpercayaan yang tinggi bagi setiap unit yang digunakan untuk menggambarkan sesuatu tema. Persoalannya ialah. apakah satu nilai yang dikatakan dapat menggambarkan persetujuan yang baik dan apakah nilai persetujuan yang lemah bagi sesuatu set unit yang dianalisis? Landis dan Kosh (1977) mencadangkan cara pengiraan persetujuan menggunakan skala Cohen Kappa. Cara pengiraan sedemikian telah dilakukan dalam kajian-kajian tempatan dimana, pengkaji-pengkaji tersebut telah dapat menunjukkan darjah persetujuan yang tinggi bagi unit yang dianalisis (Tam 1999; Noriah 1999; Zahrah 2002). Ini menunjukkan telah wujud kepekaan di kalangan pengkaji kualitatif tempatan untuk menilai kebolehpercayaan data kualitatif yang dikumpulkan.

3 JADUAL 1 : Skala persetujuan Cohen Kappa Nilai Kappa Bawah 0.00 0.00 0.20 0.21 0.40 0.41 0.60 0.61 0.80 0.81 1.00 Skala Persetujuan Sangat lemah Lemah Sederhana lemah Sederhana Baik Sangat baik

Keesahan dan Kebolehpercayaan Analisis Cohen Kappa Menurut Hammeersley (1990) dalam Miles dan Hubberman (1994), keesahan dalam penyelidikan kualitatif ditakrifkan sebagai sejauh mana tepatnya satu-satu gambaran yang diperihalkan yang mewakili fenomena yang dikaji. Kebolehpercayaan pula melibatkan aspek perincian yang dilaporkan mengikut konteks temu bual yang dilakukan. Bagi menentukan kebolehpercayaan data, pengkaji telah mendapatkan nilai pekali persetujuan Indeks Cohen Kappa (Cohen 1960; Fleiss 1971, 1981; Stemler 1998). Berdasarkan analisis Cohen Kappa ini, pengkaji telah meminta kerjasama tiga pakar kualitatif (penilai) yang mengetahui cara pengiraan Cohen Kappa untuk menilai tahap/pekali persetujuan tema-tema SPB daripada temu bual yang dijalankan dalam tiga SPB, iaitu DDK, DLK dan PEP daripada transkripsi. Tema yang dipilih secara rawak itu diambil daripada 12 tema SPB dalam ketiga SPB, iaitu DDK, DLK dan PEP (4 tema DDK, 4 tema DLK dan 4 tema PEP). Keseluruhannya, terdapat 48 tema (unit) pelajar cemerlang dan 48 tema pelajar lemah termasuk definisi operasi setiap tema kepada pakar untuk dibuat pengiraan pesertujuan. Menurut Cohen (1960, 1968), 40 unit sudah memadai bagi mencari nilai persetujuan setiap tema (unit). Kenyataan Cohen disokong oleh Fleiss (1971, 1981) yang menyatakan bahawa 40 unit yang digunakan untuk menilai persetujuan pengiraan Cohen Kappa sudah mencukupi. Terdapat juga kajian yang menggunakan 20 unit untuk mencari nilai persetujuan antara pakar seperti kajian yang dilakukan oleh Zahrah (2002) dan Tam (1999). Setelah ketiga-tiga pakar menilai, pengkaji mengira nilai persetujuan tersebut bersama dengan penyelia. Persetujuan setiap pakar bagi kod-unit dicatat. Bagi unit-unit yang tidak mendapat persetujuan, pengkaji meminta kerjasama ketiga penilai/pakar berbincang semula sehingga mendapat nilai persetujuan unit yang tidak diterima peringkat awalnya. Kemudian unit itu diberi kod yang sesuai mengikut definisi yang diubah suai. Nilai pekali persetujuan setiap pakar dicatat secara berasingan dan kemudian diagregat bagi mendapatkan satu nilai pekali persetujuan untuk seluruh proses tersebut Kemudian, pengkaji mengira menggunakan formula Cohen Kappa seperti berikut:

4 - K = fo - fi N fi - K = fa fc N fc Di mana: fa unit persetujuan fc 50 peratus jangkaan persetujuan N bilangan unit (tema) yang diuji nilai persetujuan

JADUAL 2 : Nilai Pekali Persetujuan Cohen Kappa Bil . Kod Definisi Operasi Contoh Unit Tahap Persetujuan Setuju Tidak setuju

1.

DTKG Dengar teliti kata guru seperti/supaya dapat: tahu cari isi penting - TCIP

Saya banyak mendengar guru memberi penerangan semasa belajar rumusan karangan. (PCL-1 /KD/ DDK: 3840)

2.

GABT

- DSR

Guna alat bantu tingkat pertuturan seperti/ supaya dapat: dengar siaran radio

- TST

tonton siaran televisyen

DLK pula saya akan cuba atau lebih mendengar siaran berita untuk memahirkan pertuturan saya. (PCL-2/KT/DLK : 4445) Saya juga banyak menonton rancangan berkaitan dengan perkembangan BM. (PCL-2/KT/DLK : 2021)

Jadual 1 menerangkan cara mencari nilai persetujuan antara pakar/penilai. Bagi unit 1 dan 2 secara dasarnya terdapat persetujuan antara pakar. Sebaliknya, unit GABTTST tidak mendapat persetujuan nilai antara pakar, maka pengkaji meminta kerjasama

5 ketiga-tiga pakar berbincang semula untuk mencari satu unit baru dan diberi kod baru serta definisinya sehingga ketiga-tiga pakar mendapat persetujuan. Pengiraan Nilai Persetujuan antara Pakar Penilai Kajian ini dijalankan terhadap dua kumpulan pelajar, iaitu pelajar cemerlang dan pelajar lemah dalam tiga konteks penggunaan SPB, iaitu DDK, DLK dan PEP. Bagi mengetahui SPB yang digunakan oleh pelajar dalam ketiga-tiga SPB tersebut, empat kemahiran bahasa, iaitu KD, KT, KB dan KTs dijadikan asas dalam temu bual yang dijalankan. Justeru, pengiraan nilai persetujuan menggunakan analisis Indeks Cohen Kappa ini melibatkan ketiga-tiga SPB dalam keempat-empat kemahiran bahasa tersebut. Bagi memudahkan pengiraan, pengkaji telah menyenaraikan senarai semak untuk pakar mencari nilai persetujuan berdasarkan definisi operasi dan contoh unit (lihat contoh Jadual 3). Sebanyak 135 unit daripada 48 tema dalam empat kemahiran bahasa daripada pelajar cemerlang dan 73 unit daripada 48 tema dalam empat kemahiran bahasa daripada pelajar lemah digunakan sebagai alat untuk dicari nilai persetujuan oleh pakar. Setelah ketiga-tiga pakar memberi nilai persetujuan, proses pengiraan dijalankan. Berikut ialah proses pengiraan berdasarkan formula Cohen Kappa yang dinyatakan di atas. JADUAL 3 : Nilai persetujuan antara pakar penilai Pelajar Kajian Pelajar cemerlang Pakar 1 Pakar 2 Pakar 3 Nilai Persetujuan Keseluruhan = 0.73 + 0.79 + 0.89 3 = 0.80

K = 117 68 135 68 K = 49 67 N = 0.73

K = 121 68 135 68 K = 53 67 N = 0.79

K = 128 68 135 68 K = 60 67 N = 0.89

Pelajar lemah

K = 65 37 73 37 K = 28 36 N = 0.77

K = 70 37 73 37 K = 33 36 N = 0.92

K = 71 37 73 37 K = 34 36 N = 0.94

= 0.77 + 0.92 + 0.94 3

= 0.88

Setelah dikira nilai persetujuan ketiga-tiga pakar, pengkaji telah memperoleh Indeks pekali Cohen Kappa pada tahap 0.80, iaitu pada tahap skala sangat baik bagi tema SPB untuk pelajar cemerlang dan 0.88, iaitu pada tahap skala sangat baik bagi tema SPB

6 untuk pelajar lemah. Menurut Judith dan McNary (1999), tiada satu nilai tertentu yang sesuai bagi menunjukkan tahap persetujuan antara pakar. Menurut Fleiss (1981) dan Gardner (1995), nilai yang melebihi 0.75 adalah terbaik di atas 50 peratus jangkaan persetujuan antara penilai. Sementara nilai koefisien antara 0.40 hingga 0.75 menunjukkan nilai sederhana di atas peratus jangkaan persetujuan. Nilai 0.40 dan ke bawah adalah lemah kerana berada di bawah 50 peratus jangkaan persetujuan (lihat Jadual 3). Kelemahan menggunakan pengiraan Cohen Kappa ini adalah apabila unit persetujuan adalah sama dengan peluang jangkaan persetujuan (fa fc = 0). Jika unit (tema) persetujuan (fa) lebih besar daripada peluang jangkaan persetujuan (fc), maka nilai koefisien (K) menjadi positif. Sebaliknya, jika unit fa lebih kecil daripada jangkaan fc, maka nilai k menjadi negatif. Nilai k paling maksima ialah +1.00 di mana semua penilai bersetuju dengan semua unit yang dikemukakan. Sementara nilai unit yang diuji nilai persetujuan diwakili oleh bilangan unit yang diiuji (N). Setelah selesai analisis Cohen Kappa, data temu bual dianalisis secara deskriptif mengikut tema-tema yang terhasil daripada SPB pelajar-peserta kajian tersebut. Contoh Data Temu Bual menggunakan Analisis Cohen Kappa Carta 1-3 (lihat lampiran) menunjukkan contoh bagaimana tema SPB dalam temu bual diperoleh dengan menggunakan analisis Cohen Kappa. Tema-tema SPB ini diperoleh melalui perisian NUD*IST. Data yang diperoleh dibuat dalam bentuk carta atau rajah pokok agar memudahkan pemahaman. Carta dapat membantu penulis menghuraikan dengan terperinci setiap tema SPB yang diperoleh dalam temu bual tersebut.

KESIMPULAN Berdasarkan perbincangan, analisis Indeks Cohen Kappa dapat membantu penulis mengenal pasti kebolehpercayaan data yang diperolehi daripada kajian serta dapat menentukan apakah tema SPB yang dominan dan kerap ditemui dalam temu bual. Ia juga memudahkan penulis menganalisis data temu bual dalam bentuk deskriptif dengan mudah. Dalam penyelidikan BM, analisis data menggunakan Indeks Cohen Kappa merupakan yang julung kali dibuat. Ini kerana kebanyakan kajian kualitatif dalam penyelidikan bahasa (BM atau BI) lebih bersifat deskriptif. Jika terdapat tema yang ingin diketengahkan sebagai pertemuan kajian, tema yang diperoleh tidak ditentukan kebolehpercayaannya menggunakan analisis Indeks Cohen Kappa. Justeru, analisis untuk mencari persetujuan yang digunakan oleh penulis merupakan suatu yang baru dalam penyelidikan BM.

7 RUJUKAN Cohen, J. 1960. A coeffisient for agreement for nominal scales. Educational dan Psychological Measurement, 37-46. Cohen, J. 1968. Weighted Kappa : A nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, 70 : 213-220. Fleiss, J. L. 1981. Statistical methods for rates and proportions (Edisi kedua). New York : John Wiley. Gardner, W. 1995. On the reliability of sequential data : Measurement, meaning and correction. Dlm. Goffman, J.M. (eds.). The analysis of change. Mahwah, New Jersey: Erlbaum. Hammersley, M. 1990. Classroom ethnography: Emperical and methodological essays. Milton Keynes : Open Universiti Press. Judith, S. & McNary, S. 1999. Structural equating modeling. LISTSERV. Email discussion group on August 19, 1999. Landis, J. & Kosh, G.G. 1977. Thr measurement of observer agreement for categorical data. Biometrics, 33 : 159-174. Miles, M.N. & Hubberman, A.M. 1984. Qualitative data analysis. Baverly Hills, CA: Sage Publication. Noriah M.I. 1999. Analysis of Attachment Theory Among Malaysian Students Studying at American Universities. Tesis Doktor Falsafah. Kalamazoo: Western Michigan University. Stemler, S. 1998. Investigating the practical applications of content analysis. http://www2.bc.edu/~stemler/contentanalysis.hmtl Steven, S.S. 1958. Problems and methode of psychophysics. Psychological Bulletin. LV, 177-196. Tam Yeow Kwai. 1999. Pengaruh persekitaran terhadap perkembangan guru ke arah kecemerlangan. Tesis Doktor Falsafah. Bangi : Fakulti Pendidikan, Universiti Kebangsaan Malaysia. Zahrah Mokhtar. 2002. Amalan pengurusan pentadbir akademik universiti : Satu kajian kes. Tesis Doktor Falsafah. Bangi : Fakulti Pendidikan, Universiti Kebangsaan Malaysia. Zamri Mahamod. 2003. Strategi pembelajaran bahasa Melayu di kalangan pelajar sekolah menengah. Seminar Pemantapan Ijazah Doktor Falsafah. Bangi : Fakulti Pendidikan, Universiti Kebangsaan Malaysia. (tidak diterbitkan) Zamri Mahamod & Mohamed Amin Embi. 2000. Pengenalpastian gaya dan strategi pembelajaran bahasa sebagai satu cara mengatasi masalah kepelbagaian pelajar dalam kelas bahasa. Prosiding Seminar Pendidikan Kebangsaan 2000. Bangi : Penerbitan Fakulti Pendidikan, Universiti Kebangsaan Malaysia. Zamri Mahamod & Mohamed Amin Embi. 2001a Gaya dan strategi pembelajaran bahasa : Metodologi, dapatan dan agenda masa depan. Proceedings Language Reporter 2001 Issue. Official Journal of the Language Centre, Pusat Bahasa, Universiti Teknologi Mara, Shah Alam.