Pengembangan dan Validasi Skala Literasi Ilmiah untuk Kesiapan Perguruan Tinggi

pada STEM dengan Mahasiswa Tingkat Pertama dari Berbagai Institusi

Meskipun tujuan utama dari pendidikan STEM adalah untuk mengembangkan literasi ilmiah,
upaya sebelumnya untuk mengukur literasi ilmiah belum berusaha menghubungkan literasi
ilmiah dengan keberhasilan di bidang STEM. Penelitian literasi ilmiah untuk kesiapan
perguruan tinggi dalam skala STEM (Scientific Literacy Survey for College Preparedness in
STEM (SLSCP-STEM)) saat ini secara khusus dikembangkan untuk memprediksi kesiapan
akademis mahasiswa yang baru memasuki jurusan STEM. SLSCP-STEM dikembangkan
dalam konteks literasi ilmiah pemanfaatan dan memungkinkan penilaian independen terhadap
tiga dimensi literasi ilmiah: (a) bidang sikap dan perilaku literasi ilmiah, (b) pengetahuan
konten konsep ilmiah, dan (c) kemampuan penalaran ilmiah. Artikel ini menyajikan kerangka
teoritis untuk pengembangan skala dengan data pendukung tentang validitas dan
reliabilitasnya. SLSCP-STEM menunjukkan reliabilitas termasuk tes konsistensi internal
[dimensi sikap/perilaku (α =0,86), dimensi pengetahuan konten (α = 0,73), dimensi penalaran
ilmiah (α = 0,72)] dan stabilitas instrumen dari waktu ke waktu [dimensi sikap/perilaku (r =
0,88, p <0,01), konten dimensi pengetahuan (r = 0,74, p <0,01), dimensi penalaran ilmiah (r =
0,80, p <0,01)]. Selanjutnya, validitas isi, diuji dengan anggota fakultas sains ahli,
menunjukkan bahwa bagian pengetahuan konten relevan untuk mahasiswa baru jurusan
STEM. Akhirnya, analisis item memverifikasi dengan tepat tingkat kesulitan soal dan
perbedaan soal.

Pengantar
Meskipun makna literasi ilmiah diterima dengan baik, belum ada kesepakatan mengenai
definisinya, bagaimana mengukurnya, atau kemampuan prediktifnya. Istilah ini pertama kali
diciptakan pada tahun 1958 oleh Hurd yang berfokus pada pembenahan pendidikan Amerika
untuk memperluas keterbukaan siswa terhadap sains dan mempersiapkan angkatan kerja dan
masyarakat Amerika pada umumnya untuk sebuah revolusi ilmiah dan teknologi yang sedang
berkembang. Beberapa dekade setelah pengenalan Hurd tentang istilah ini mengandung
banyak definisi dan karakteristik keaksaraan ilmiah (misalnya DeBoer, 2000; Miller, 1983;
National Science Teachers Association, 1991; Norris & Phillips, 2003).
Terlepas dari tantangan dalam mendefinisikan dan mengkarakterisasi literasi ilmiah,
menemukan kesepakatan sangat penting karena literasi ilmiah berfungsi sebagai tujuan dan
maksud dari pengajaran serta pendidikan sains baik di dalam negeri maupun di luar negeri
(misalnya DeBoer, 2000; Erdoğan & Köseoğlu, 2012; National Science Teachers Association,
2003 ; Norris & Phillips, 2003). Saat ini penelitian literasi ilmiah untuk kesiapan perguruan
tinggi dalam skala STEM (Scientific Literacy Survey for College Preparedness in STEM
(SLSCP-STEM)) dirancang untuk memprediksi kesiapan akademis jurusan Ilmu Pengetahuan
dan Teknologi Sains dan Matematika pada mahasiswa baru, dengan demikian, kesuksesan
mereka di jurusan STEM. Meskipun ada beberapa ukuran lain yang terkait dengan literasi
ilmiah dengan berbagai tujuan, konstruksi pengujian, dan kelompok sasaran, tidak satu pun
dari tindakan tersebut dirancang untuk mengukur kesiapan siswa di STEM pada transisi kritis
ke dalam perguruan tinggi. Uji Kemampuan Literasi Ilmiah/The Test of Scientific Literacy
Skills (TOSLS), yang telah mengkonfirmasi reliabilitas dan validitas statistik dengan sampel
mahasiswa, merupakan langkah penting dalam memeriksa beberapa aspek literasi ilmiah
pada mahasiswa tingkat pertama namun hanya mengukur dua kemampuan: mengenali dan
menganalisis metode penyelidikan yang digunakan untuk sampai pada pengetahuan ilmiah
dan menganalisis dan menafsirkan data kuantitatif dan informasi ilmiah (Gormally, Brickman,
& Lutz, 2012). SLSCP-STEM merupakan sesuatu yang khas karena berfokus pada
keaksaraan ilmiah pemanfaatan dari mahasiswa baru jurusan STEM, dan menilai literasi
ilmiah melalui lensa sikap ilmiah dan perilaku, pengetahuan konten, dan penalaran ilmiah.

Kerangka Teoritis untuk Pengembangan Instrumen

Dalam mengembangkan instrumen SLSCP-STEM saat ini untuk dapat mengukur kesiapan
akademis memasuk jurusan STEM, kami mengintegrasikan tiga definisi dan subtipe literasi
ilmiah termasuk definisi Dewan Riset Nasional (1996), literasi ilmiah kewarganegaraan
Miller (1998), dan pemanfaatan literasi ilmiah (Yuenyong & Narjaikaew, 2009).
Langkah penting dalam mencapai kesepakatan untuk mendefinisikan literasi ilmiah
adalah deskripsi Badan Penelitian Nasional untuk literasi ilmiah sebagai “pengetahuan dan
pemahaman tentang konsep dan proses ilmiah yang diperlukan untuk pengambilan keputusan
pribadi, partisipasi dalam urusan kewarganegaraan dan budaya, serta produktivitas ekonomi”
(1996). Definisi ini memperluas jangkauan literasi ilmiah dari bidang konten individual dan
pencapaian proses pengetahuan untuk penggunaan pengetahuan dalam pengambilan
keputusan dan pengaruhnya terhadap politik dan ekonomi.
Minat kita terhadap literasi ilmiah sejalan dengan pemanfaatan literasi ilmiah, memiliki
pengetahuan, keterampilan, dan sikap yang diperlukan untuk berkarir sebagai ilmuwan,
insinyur, atau teknisi (Yuenyong & Narjaikaew, 2009). Definisi literasi ilmiah ini mengambil
komponen literasi ilmiah untuk keseluruhan populasi dan mengukurnya dalam konteks
harapan bagi ilmuwan profesional. Satu titik transisi utama dalam karir ilmuwan potensial
adalah transisi mereka dari siswa sekolah menengah ke perguruan tinggi STEM. Namun,
tidak ada instrumen yang tersedia untuk menilai populasi pemanfaatan literasi ilmiah ini dan
oleh karena itu instrumen saat ini memiliki tujuan utama untuk menentukan dan mengukur
literasi ilmiah dengan fokus khusus pada mahasiswa senior jurusan STEM. Pertimbangan
pemanfaatan literasi ilmiah mengajukan pertanyaan, bagaimana seharusnya siswa sekolah
menengah atas, yang ingin mengkhususkan diri pada STEM dalam studi pasca sekolah
menengah mereka, tahu tentang sains? Apakah hanya mengetahui cukup untuk melatih
ilmuwan yang sukses? Sama seperti dampak ekonomi dari karir STEM dan kemampuan kerja
orang-orang yang berpendidikan atau terlatih dalam STEM dihitung secara rutin, adalah sama
pentingnya untuk mengukur pencapaian literasi ilmiah di sekolah menengah atas atau
perguruan tinggi untuk mengukur kesiapan akademis mahasiswa baru yang masuk jurusan
STEM dan dengan demikian memprediksi keberhasilan akademis mereka di perguruan tinggi.

Pengembangan Instrumen
Sementara Survei Literasi Ilmiah untuk Kesiapan Perguruan Tinggi dalam Ilmu Pengetahuan,
Teknologi, Teknik, dan Matematika (SLSCP-STEM) dirancang untuk mencakup ranah
literasi ilmiah yang penting untuk kesuksesan di bidang STEM, menggunakan beberapa
instrumen sebelumnya yang dapat mengukur semua komponen akan membuat skala terlalu
lama untuk diatur secara praktis. Oleh karena itu, sub skala dirancang, sebagai versi
modifikasi dan terpotong, sehingga tes dapat dilakukan sekitar 20 menit. Uji coba instrumen
menunjukkan bahwa peserta dapat menyelesaikan semua komponen dalam batasan waktu
tersebut dan bahwa banyak peserta menyelesaikan instrumen hanya dalam waktu 10 menit.
Serupa dengan usaha sebelumnya (misalnya Laugksch & Spargo, 1999; Miller, 1989),
SLSCP-STEM adalah instrumen tiga dimensi dengan penilaian independen terhadap tiga
dimensi literasi ilmiah: (a) 24 soal terdiri dari bidang sikap dan perilaku (misalnya "Saya
berkomitmen untuk menerapkan informasi ilmiah dalam pengambilan keputusan"), (b) 24
soal (yaitu benar-salah) digunakan untuk mengukur pengetahuan isi dari konsep ilmiah
(misalnya "sel induk hanya ditemukan pada manusia"), dan (c) 8 soal mengevaluasi
kemampuan penalaran ilmiah.
 Selain itu, definisi kita tentang literasi ilmiah didasarkan pada karya sebelumnya yang
mencakup tiga dimensi dan juga memperluas serta mengklarifikasi definisi literasi ilmiah
untuk populasi spesifik ini yang mencakup tujuh pilar literasi ilmiah: (1) memahami sifat dan
perkembangan penelitian ilmiah dan pengetahuan, (2) kemampuan untuk mengevaluasi bukti
dan penjelasan ilmiah, (3) kemampuan untuk berpartisipasi dalam wacana ilmiah, (4)
kemampuan untuk penalaran ilmiah dan pemikiran kritis, (5) pengetahuan tentang berbagai
bidang dan peluang karir di STEM, 6) memiliki pemahaman STEM dan sikap relevan lainnya
terhadap sains, dan (7) kemampuan untuk berpartisipasi dalam pembelajaran tim. Jadi,
SLSCP-STEM mencakup sejumlah subskala dan berhubungan dengan tujuh pilar yang
menjadi dasar definisi literasi ilmiah kita. Tujuh pilar tersebut secara konseptual dimasukkan
dalam tiga dimensi SLSCP-STEM, dan komponen SLSCP-STEM dipetakan ke pilar literasi
ilmiah pada Tabel 1. Komponen SLSCP-STEM dapat digunakan untuk melakukan triangulasi
beberapa tindakan secara teratur untuk mengeksplorasi definisi meluas dari literasi ilmiah
yang spesifik untuk mahasiswa jurusan STEM.

Bidang Sikap dan Perilaku. Bidang sikap dari literasi ilmiah sangat penting karena telah
terbukti bahwa sikap positif memprediksi keterlibatan dan kinerja akademis (misalnya Dewey,
1925; Weinburgh & Englehard, 1994). Selanjutnya, SLSCP-STEM menangkap bidang
perilaku yang relevan dengan keaksaraan ilmiah di samping bidang sikap karena kesuksesan
di bidang STEM terkait dengan keterampilan dan pengalaman ilmiah (misalnya Hathaway,
Nagda, & Gregerman, 2002; NRC, 2003). Dua dari subskala mengukur bidang sikap/perilaku
dari literasi ilmiah (pembelajaran tim dan partisipasi dalam wacana ilmiah) dikembangkan
untuk proyek ini dan telah divalidasi untuk pertama kalinya dalam laporan ini. Kebenaran
sebagai subskala ilmuwan dimodifikasi dari subskala survei literasi ilmiah Rose yang
komprehensif (2006) yang telah diadaptasi dari Champagne (1989). Penyerahan pada
subskala sains dimodifikasi dari Rose (2006) juga dari karya lain (Frantz, DeHaan,
Demetrikopoulos & Carruth, 2006; Goode, et al., 2012) yang telah diadaptasi dari Chemers,
Hu, dan Garcia (2001). Identitas sebagai subskala ilmuwan dimodifikasi dari karya lain
(Frantz, et al., 2006; Goode, et.al., 2012) yang telah diadaptasi dari Chemers dkk. (2001).
Pilihan tanggapan terhadap dimensi sikap dan perilaku berada pada skala Likert 5 poin, mulai
dari "sangat tidak setuju" hingga "sangat setuju."

Table 1 Measurable components of scientific literacy

Pillar of scientific literacy
Understanding the nature and
development of scientific research
and knowledge
Ability to evaluate scientific
evidence and explanations
Ability to participate in scientific
discourse
Aptitude for scientific reasoning
and critical thinking
Knowledge of the various fields
and career opportunities in STEM
Possessing STEM self-efficacy and
other relevant attitudes toward
science
Ability to participate in team
learning
Subscales measuring
attitudinal/behavioral domains of
scientific literacy
Confidence as a scientist
Confidence as a scientist
Participation in scientific
Discourse
Commitment to science
Confidence as a scientist
Identity as a scientist
Commitment to science
Team learning
Subscales measuring scientific
reasoning and content knowledge
of scientific literacy
Scientific reasoning
Content knowledge of scientific
concepts
Scientific reasoning
Content knowledge of scientific
Concepts
Scientific reasoning
Content knowledge of
scientific concepts
Pengetahuan Konten. Struktur dan susunan instrumen SLSCP-STEM saat ini, khususnya
rincian pengetahuan kontennya, merupakan model sebelum upaya yang digunakan oleh
mahasiswa baru di Afrika Selatan, melalui Uji Literasi Ilmiah Dasar (TBSL) (Laugksch &
Spargo, 1999) yang merupakan studi tiga- dimensi, dengan format respon "benar," "salah,"
dan "tidak yakin", yang konon sesuai dengan pengetahuan dasar konstruksi ilmiah,
memahami proses sains, dan memahami dampak sains pada subkomponen masyarakat dari
penilaian Miller (Laugksch & Spargo, 1999). Hal ini selanjutnya didasarkan pada Asosiasi
Amerika untuk Kemajuan Proyek Sains 2061 - Science for All Americans, yang memaparkan
konten sains yang harus diketahui siswa (DeBoer, 2000; Holbrook & Rannikmae, 2009;
Laugksch & Spargo, 1999).
Isi pengetahuan di empat wilayah konten dinilai: biologi, kimia, ilmu fisika, dan ilmu
pengetahuan alam. Pertanyaan yang digunakan untuk mengukur pengetahuan konten
dimodifikasi dari Rose (2006), yang telah disesuaikan dari survei sikap masyarakat terhadap
dan pengetahuan sains dan teknologi (National Science Foundation [NSF], 2001, serta
Carrier 2001) dengan pertanyaan tambahan yang dimodifikasi dari National Assessment of
Educational Progress (NAEP, 2010). Setiap pernyataan benar-salah memiliki tiga
kemungkinan tanggapan: benar, salah, dan tidak yakin. Agar bisa membedakan siswa yang
memiliki pengetahuan konten lebih tinggi, pertanyaan yang memiliki persentase rendah dari
siswa yang menjawab dengan benar dipilih dari kumpulan pertanyaan yang digunakan oleh
Rose (2006). Pertanyaan isi ini selanjutnya diperiksa oleh 85 anggota fakultas STEM seperti
yang dijelaskan di bagian "Validitas Konten" di bawah ini.

Penalaran Ilmiah. Penalaran ilmiah dimasukkan karena laporan keterampilan penalaran

mahasiswa yang menurun (Cracolice, Deming & Ehlert, 2008) dan dinilai oleh tiga
pertanyaan berbasis penelitian. Satu dimodifikasi dari Rose (2006) yang telah diadaptasi dari
Tes Ilmiah Penalaran Ilmiah, versi pilihan ganda (Lawson, Clark, Cramer-Meldrum, Falconer,
Sequist & Kwon, 2000), sedangkan pertanyaan yang tersisa adalah soal asli yang dibuat oleh
penulis. Melalui penggunaan angka dan grafik untuk pertanyaan yang diajukan, literasi
ilmiah dinilai, mencerminkan dua kategori keterampilan keaksaraan ilmiah di dalam TOSLS:
membaca dan menafsirkan representasi grafis data serta menganalisis dan menafsirkan data
kuantitatif (Gormally et al., 2012). Dimensi penalaran ilmiah memiliki enam opsi pilihan
ganda termasuk pilihan jawaban yang tidak pasti.

Reliabilitas Instrumen
Konsistensi Internal
Metode. Konsistensi internal, untuk tanggapan tes dikotomis (yaitu benar, salah, atau tidak
yakin dan banyak pilihan) terhadap SLSCP-STEM, dievaluasi menggunakan formula Kuder-
Richardson 20 (Gormally et al., 2012). Nilai alpha yang dihasilkan menunjukkan sejauh
mana pertanyaan uji konsisten satu sama lain berdasarkan tanggapan (Feyzioğlu, Demirdağ,
Akyildiz & Altun, 2012).

Peserta. Sampel (n=1349) terdiri dari mahasiswa sarjana di semester pertama yang
merupakan jurusan biologi, kimia, fisik, atau teknik yang masing-masing telah diidentifikasi
(Tabel 2).
Usia berkisar antara 16 sampai 21 tahun dan rata-rata 18,1 tahun (SD=0,49) dan
termasuk mahasiswa jurusan STEM dari berbagai latar belakang etnis (Tabel 2).

Setting. Peserta direkrut dari berbagai tipe kelembagaan (n=7), yang kesemuanya adalah
perguruan tinggi atau universitas (masa belajar 4 tahun) termasuk dua universitas riset
terdidik, universitas riset publik; satu perguruan tinggi riset pendidikan bersama; satu
universitas swasta co-educational; dua swasta, satu jenis kelamin (satu eksklusif laki-laki dan
satu perempuan secara eksklusif) perguruan tinggi seni; dan satu perguruan tinggi swasta
yang mendanai pendidikan secara bebas.

Tabel 2 Informasi Demografis

Nomor Gender Total % Sampel
Laki-laki Perempuan
Distribution of STEM majors
STEM major
Life sciences 483 35.8
Chemical sciences 154 11.4
Engineering sciences/physics 712 52.8
Total 1349 100.0
Distribution of race/ethnicity and gender
Race/ethnicity
African-American/Black 241 161 402 29.8
Hispanic/Latino 32 34 66 4.9
Multi-racial 12 4 16 1.1
Caucasian-American/White 556 309 865 64.1
Total 841 508 1349 100.0

Table 3 Internal consistency for attitudinal/behavioral domains of scientific literacy

Dimensi Skala Subskala Nilai Alfa Jumlah Sampel
Soal (n)
Sikap/perilaku Identity as a scientist 0,69 5 1340
Confidence as a scientist 0,77 6 1336
Commitment to science 0,75 7 1335
Participation in scientific discourse 0,62 2 1341
Team learning 0,78 4 1338
Composite attitudinal/behavioral 0,86 24 1324
domains
Content knowledge n/a 0,73 26 1312
Scientific reasoning n/a 0,72 8 1269
Content knowledge and scientific Total scientific knowledge 0,80 32 1222
reasoning

Prosedur. Koordinator lokasi di setiap kampus mengidentifikasi mahasiswa baru tingkat

pertama yang memenuhi syarat dan membagikan tautan Web secara elektronik yang
menampung SLSCP-STEM. Hanya siswa yang menyatakan status klasifikasi sebagai
mahasiswa baru dan jurusan ilmu alam, kimia, dan fisik/teknik yang dapat melengkapi
SLSCP-STEM.

Hasil. Konsistensi internal dimensi sikap/perilaku dan masing-masing dari lima

subdomainnya dianalisis. Masing-masing dari lima subskala menunjukkan keahlian yang
dapat diterima (Tabel 3).
Dimensi sikap/perilaku memiliki 24 soal secara total (gabungan bidang sikap/perilaku,
α=0,86). Meskipun skor kinerja di area konten individual bergantung pada pengetahuan dan
oleh karena itu hanya merupakan subskala psikometrik, dimensi pengetahuan konten
memiliki konsistensi internal yang memuaskan (α=0,73) (Tabel 3). Namun, ada konsistensi
internal yang lemah dari area konten individual yang mungkin karena kovarians antara soal
yang bergantung pada pengetahuan (dan varians dalam satu soal) bergantung pada tingkat
jawaban benar dari sampel. Dimensi penalaran ilmiah juga memiliki alfa Cronbach yang baik
pada α = 0,72. Total pengetahuan ilmiah didefinisikan sebagai kombinasi antara pengetahuan
konten dan penalaran ilmiah dan juga memiliki alfa Cronbach yang baik pada α = 0,80.

Stabilitas Instrumen Seiring Waktu

Metode. Metode uji coba ulang digunakan untuk menghitung reliabilitas dengan memeriksa
skala dan stabilitas subskala dari waktu ke waktu (Cohen, Manion & Morrison, 2011).
Korelasi antara skor pada sesi uji 1 dan sesi uji 2 adalah koefisien stabilitas (Cronbach, 1951).

Peserta. Sebanyak 91 mahasiswa mengikuti uji stabilitas instrumen dari waktu ke waktu.
Sampel tersebut mencakup program sarjana pada semester pertama, jurusan kimia, fisika, dan
teknik yang terdaftar di dua perguruan tinggi dengan gender tunggal (satu all-male, one all-
female), perguruan tinggi seni (n = 34) . Kami juga menguji sampel mahasiswa baru dalam
program pelatihan biomedis musim panas (n = 14) dan siswa junior sekolah menengah atas (n
= 17) dan senior (n = 26) dalam program pengayaan musim panas sains dan matematika. Usia
berkisar antara 15 sampai 20 tahun dan rata-rata 17,3 tahun (SD = 0,95).

Setting. Peserta studi dalam program musim panas mengambil penilaian mereka secara
bersamaan. Ada sesi pengujian yang berbeda untuk setiap subkelompok program musim
panas sehingga setiap sesi tes secara eksklusif berisi anggota program yang sama. Mahasiswa
baru jurusan STEM dinilai pada berbagai waktu dalam perpaduan individu dan kelompok.
Setiap sesi tes diujicobakan di laboratorium komputer atau di kelas.

Prosedur. Sesi tes ulang (sesi tes 2) diperoleh rata-rata 7,88 hari setelah sesi tes awal (sesi tes
1), dengan satu peserta kembali pada hari ke 10 setelah sesi 1. Kami menerapkan periode
latensi 7 hari antara sesi 1 dan sesi 2 untuk menghindari efek berkelanjutan (yaitu pada sesi 2,
menghafal pertanyaan dan tanggapan sebelumnya dari sesi 1).
Tingkat retensi sangat penting mengingat desain dalam mata pelajaran. Peserta SMP
dan SMA yang baru dikompensasikan dengan gaji $ 10 pada kedua sesi tes, peserta
mahasiswa baru tingkat sarjana mendapat kompensasi $ 15 untuk sesi tes 1 dan $ 10 untuk
sesi tes 2, dan peserta mahasiswa baru tingkat sarjana semester pertama diberi kompensasi
$ 10 untuk sesi tes 1 dan $ 20 untuk sesi uji coba 2. Sesi kompensasi sesi kedua ditambah
untuk peserta mahasiswa baru semester pertama untuk mendorong retensi belajar kelompok
ini karena mereka tidak berpartisipasi dalam program formal.

Hasil. Kelima bidang sikap/perilaku dari subskala literasi ilmiah berkorelasi positif satu sama
lain dari sesi 1 sampai sesi 2. Koefisien korelasi Pearson, dan besarannya yang terkait,
berkisar dari kuat (r = 0,66, p <0,01) sampai sangat kuat ( r = 0,85, p <0,01) (Tabel 4). Skala
sikap komposit menunjukkan korelasi terkuat (r = 0,88, p <0,01), yang berarti stabilitas yang
cukup untuk dimensi SLSCP-STEM ini (Cronbach, 1951) dari waktu ke waktu.
Analisis item menunjukkan bahwa setiap soal secara independen merupakan bagian
dari kepercayaan sebagai ilmuwan, komitmen terhadap sains, dan/atau tim yang mempelajari
subskala, dan hanya tiga soal individual yang tidak memiliki korelasi signifikan antara sesi
tes (Tabel 4). Meskipun demikian, korelasi tes-retest yang tinggi, menunjukkan bahwa
dimensi ini (yaitu domain sikap/perilaku literasi ilmiah) dari SLSCP-STEM membuat
pengukuran yang konsisten dari waktu ke waktu.
Pengetahuan isi (r = 0,74, p <0,01) dan area disiplin masing-masing memiliki korelasi
positif, moderat sampai kuat antara sesi tes (Tabel 5). Kami tidak mendeteksi adanya efek
berkelanjutan pada faktor area konten.
Dengan analisis reliabilitas seluruh item, masing-masing memiliki korelasi tes-retest
(tes ulang) positif yang signifikan, sedang sampai kuat (Tabel 5).
 Soal penalaran ilmiah, secara keseluruhan, memiliki korelasi tes ulang yang sangat kuat
(r = 0,80, p <0,01) (Tabel 6). Setiap soal dalam bagian ini memiliki korelasi yang signifikan
mulai dari kekuatan sedang hingga kuat (0,32 sampai 0,64).

Tabel 4 Test-retest reliability for attitudinal/behavioral domains of scientific literacy

Validitas instrumen
Validitas konten
Metode. Isi validitas bagian pengetahuan konten SLSCP-STEM diuji dengan survei terhadap
85 anggota fakultas sains ahli (dosen) untuk memastikan bahwa bagian tersebut merupakan
ukuran pengetahuan ilmiah yang tepat untuk mahasiswa jurusan STEM (Gormally, Brickman
& Lutz, 2012).

Peserta. Anggota fakultas, dengan keahlian dan pengalaman mengajar sarjana di bidang
biologi (54%), kimia (22%), dan ilmu fisika/teknik (24%), disurvei. Karena kriteria
kelayakan, keseluruhan sampel melaporkan bahwa mereka telah mengajarkan perkuliahan
STEM tingkat sarjana dalam 3 tahun terakhir dan setidaknya memiliki gelar master (21%)
atau doktor (79%) di bidangnya.
Table 5 Test-retest reliability of scientific literacy content knowledge

Survei Material Fakultas. Survei fakultas berbasis internet berisi tujuh bagian: bagian
demografis dengan 8 pertanyaan latar belakang demografis/pengajaran, lima bagian area
konten yang bersama-sama berisi 26 pengetahuan ilmiah asli dengan pernyataan benar/ salah,
dan satu bagian penalaran ilmiah yang berisi 8 pertanyaan penalaran ilmiah. Peserta fakultas
disajikan dengan 4 pertanyaan survei untuk masing-masing dari 26 pertanyaan pengetahuan
konten dan juga dengan 4 pertanyaan survei untuk masing-masing dari 8 pertanyaan
penalaran ilmiah: (a) jika pernyataan benar/salah ini dijawab dengan benar oleh seseorang, itu
akan menunjukkan pengetahuan konten mereka tentang "[bidang konten]"; (b) pernyataan
benar/salah [atau pertanyaan] ini ditulis dengan jelas dan tepat serta logis secara ilmiah; (c)
sebelum memulai kuliah, seorang mahasiswa pemula pertama yang memilih jurusan ilmu
biologi, kimia, atau fisik/teknik harus dapat menjawab pernyataan benar/salah ini dengan
benar; dan (d) sarjana baru, yang jurusan ilmu biologi, kimia, atau fisik/teknik dan telah
menyelesaikan tingkat perguruan tinggi, kursus STEM pengantar (misalnya biologi umum,
kimia umum, fisika umum) harus dapat menjawab dengan tepat pernyataan benar/salah ini.
Hal ini mengakibatkan survei fakultas memiliki total 144 soal yang mungkin termasuk 8 soal
demografi/pengajaran dan 136 soal pertanyaan evaluasi (pengetahuan konten dan penalaran
ilmiah). Dua dari 4 soal diadaptasi dari tiga soal permintaan ahli yang digunakan untuk
memvalidasi penilaian diagnostik untuk kursus pengantar biologi molekuler dan sel (Shi,
Wood, Martin, Guild, Vicens & Knight, 2010). Pilihan tanggapan ditempatkan pada skala
Likert 4 poin (dari sangat tidak setuju hingga sangat setuju).
Table 6 Test-retest reliability for scientific reasoning section and its individual items

Prosedur. Para peserta direkrut melalui tautan Web untuk survei fakultas dengan
menyertakan e-mail yang dikirim ke berbagai LISTSERV untuk para profesional STEM.
Bagian informasi latar belakang demografis/pengajaran 8-soal membantu menginformasikan
pernyataan dan pertanyaan tes yang akan dilihat dan dievaluasi peserta (misalnya "Harap
pilih bidang utama program sarjana yang Anda ajarkan"). Agar memenuhi syarat untuk
berpartisipasi, anggota fakultas harus menunjukkan bahwa mereka telah mengajar tingkat
sarjana, kursus pengantar STEM (misalnya biologi umum atau pengenalan teknik) dalam 3
tahun terakhir.
Peserta menyelesaikan survei fakultas yang bervariasi panjangnya tergantung pada
bidang keahlian ilmiah yang dinyatakan; tidak ada peserta yang dikenai semua 136 soal
pertanyaan evaluasi (pengetahuan konten dan penalaran ilmiah). Semua responden
dihadapkan pada pertanyaan tes di bidang sains, bagian penalaran ilmiah, dan dua pertanyaan
tes berikut: "Gas alam adalah sumber energi yang berkelanjutan" dan "Sel induk hanya
ditemukan pada manusia." Kedua pertanyaan ini kemudian dimasukkan ke dalam wilayah
konten mereka, karena mereka awalnya merupakan bagian dari peristiwa saat ini yang tidak
berfungsi di area sains yang dieliminasi setelah penyelidikan lebih lanjut melalui analisis item
dan survei fakultas. Responden juga diberi pertanyaan yang berkaitan dengan keahlian bidang
konten spesifik mereka (ilmu biologi, kimia, atau fisika/teknik).
Hasil. Pencantuman kriteria untuk item survei (yang mengacu pada pernyataan benar/salah
atau pertanyaan uji) ditetapkan pada ambang lebih dari 50% responden yang memilih “setuju”
atau “sangat setuju” dengan skala Likert 4 poin pada semua 4 pertanyaan penilaian untuk soal
itu. Subsample menunjukkan jumlah selisih bervariasi berdasarkan area konten atau bagian
yang dievaluasi. Karena hasil dari survei fakultas dan analisis item, dua pernyataan
pengetahuan konten ("Percobaan dapat membuktikan teori yang benar" dan "Secara umum,
kesepakatan nanoteknologi dengan struktur dalam ukuran 109 nanometer atau lebih kecil")
dieliminasi dari SLSCP- STEM dan tidak termasuk dalam bagian berikut di bawah ini.
Dengan demikian, versi final SLSCP-STEM berisi 24 pertanyaan pengetahuan konten dan 8
pertanyaan penalaran ilmiah. (Lihat Lampiran untuk instrumen SLSCP-STEM terakhir).

Area Konten Biologi. Tujuh soal dari "bagian biologi" diperiksa untuk validitas isi dengan
proporsi kesepakatan antara anggota fakultas biologi. Enam pernyataan uji memenuhi kriteria
pemasukan dengan kesepakatan mayoritas (> 80%) tentang mereka yang mewakili konten
biologi. Satu pernyataan, SLSCP 2, dikeluarkan dari bagian analisis ini karena, seperti
disebutkan di atas, pada awalnya merupakan bagian dari area konten lain sebelum
dipindahkan ke area konten biologi. Secara keseluruhan, pernyataan isi biologi dianggap jelas
tertulis dan logis secara ilmiah (>70% konsensus). Tiga pernyataan mencakup informasi
bahwa fakultas mengharapkan mahasiswa baru jurusan STEM untuk menguasai sebelum
memulai kuliah. Jawaban untuk semua pernyataan benar/salah biologi diharapkan (pada>70%
kesepakatan) untuk diketahui begitu mahasiswa baru jurusan STEM menyelesaikan kursus
sains pengantar di perguruan tinggi.

Area Konten Kimia. Area konten kimia berisi delapan pernyataan benar/salah. Ada
kesepakatan sebesar 80% untuk semua pernyataan yang mewakili pengetahuan konten kimia.
Semua pernyataan memenuhi kriteria pemasukan karena dianggap jelas ditulis dan logis
secara ilmiah. Mayoritas fakultas ilmu kimia sepakat bahwa seorang mahasiswa baru jurusan
STEM harus bisa menjawab tiga pernyataan kimia sebelum memasuki perkuliahan. Pada
kedelapan pernyataan tersebut, 70% atau lebih tinggi sepakat bahwa mahasiswa STEM baru
yang telah menyelesaikan kursus STEM perkuliahan tingkat perguruan tinggi harus dapat
menjawabnya dengan benar.

Bidang Ilmu Pengetahuan Alam. Bidang ilmu penetahuan alam mendapat umpan balik
yang baik. Setiap pernyataan menggambarkan pengetahuan tentang sifat sains dengan tidak
kurang dari 80% menyetujui kedua pernyataan tersebut. Semua pernyataan memenuhi kriteria
inklusi karena ditulis dengan jelas dan logis secara ilmiah (> 80% kesepakatan) dan memiliki
jawaban untuk staf pengajar mana yang mengharapkan STEM utama tetap dimiliki setelah
mengikuti satu kursus perkuliahan STEM (>80% persetujuan). Ada berbagai kesepakatan
pada satu pernyataan uji (yaitu SLSCP 24) dan kesepakatan mayoritas dengan yang lain
(SLSCP 26), berkenaan dengan keyakinan bahwa seorang mahasiswa baru jurusan STEM,
yang belum pernah mengikuti kursus sains perguruan tinggi, harus mengetahui jawabannya
atas pernyataan tersebut.

Area Konten Ilmu Fisik. Anggota fakultas dalam ilmu fisika/teknik percaya bahwa enam
pernyataan uji ini menunjukkan kandungan sains fisik dan item ini memenuhi kriteria inklusi
karena keduanya ditulis secara jelas dan ilmiah. Hanya satu pernyataan yang menyatakan
kesepakatan mayoritas dengan anggapan bahwa seorang mahasiswa yang masuk jurusan
STEM tanpa mendapatkan kursus kuliah harusnya diharapkan menjawabnya dengan benar.
Kedua pernyataan tersebut telah membagi kesepakatan mengenai harapan tersebut. Jawaban
yang benar atas enam pernyataan uji diharapkan (>60% kesepakatan) oleh mahasiswa baru
STEM yang telah menyelesaikan kursus sains pengantar tingkat sarjana.

Area Konten Penalaran Ilmiah. Memiliki jawaban yang benar untuk penalaran ilmiah
pertanyaan pilihan ganda secara kategoris dianggap demonstratif pada penalaran ilmiah dan
kemampuan analisis, dengan persetujuan ≥80%. Pertanyaan (dengan grafik dan grafik pujian)
dianggap jelas dan ilmiah sesuai dengan persetujuan ≥85%. Dengan pengecualian satu
pertanyaan, fakultas percaya (>62%) mahasiswa baru jurusan STEM, tanpa kursus kuliah,
harus bisa menjawab pertanyaan penalaran ilmiah dengan benar. Akhirnya, ≥88% fakultas
berpikir bahwa setelah menyelesaikan kursus pengantar STEM tingkat perguruan tinggi,
jurusan STEM harus dapat menjawab kedua pertanyaan dengan benar.

Analisis Item
Analisis item dilakukan untuk memastikan setiap soal berfungsi sebagaimana mestinya,
untuk memastikan bahwa tingkat kesulitannya sesuai, dan untuk menentukan sejauh mana
setiap item membedakan antara kemampuan keseluruhan siswa (Cohen et al., 2011).

Kesulitan Soal. Proporsi (nilai p) responden yang menjawab suatu soal dengan benar
menandakan kesulitan soalnya. Nilai p di bawah 0,20 cenderung terlalu sulit, nilai di atas
0,90 dianggap terlalu mudah, dan nilai p sebesar 0,50 terlihat optimal untuk perbedaan
maksimum soal (Boopathiraj & Chellamani, 2013). Idealitas kesulitan soal yang layak
diperkirakan bisa memaksimalkan kemungkinan perbedaan soal yang memadai; Namun,
kesulitan soal yang layak tidak memerlukan perbedaan yang cukup. Kesulitan soal dalam
pengetahuan konten dan penalaran ilmiah berkisar antara 13 sampai 92% tingkat keberhasilan.

Perbedaan Soal. Perbedaan soal mengacu pada sejauh mana keberhasilan atau kegagalan
dalam menjawab soal tes menunjukkan kepemilikan kemampuan yang diukur (Boopathiraj &
Chellamani, 2013). Misalnya, soal dengan perbedaan tinggi menunjukkan bahwa peserta
dengan nilai tes keseluruhan tinggi menjawab soal tersebut dengan benar. Perbedaan soal
dihitung dengan menggunakan korelasi bi-serial yang dikoreksi (Gormally et al., 2012).
Untuk semua 34 pernyataan benar/salah dan pertanyaan pilihan ganda, kesulitan soal (rpb)
berkisar antara 0,09 sampai 0,48 (Gambar 1).

Pembahasan
Sementara itu penilaian Miller digunakan untuk sebuah studi internasional mengenai literasi
ilmiah kewarganegaraan dari populasi orang dewasa umum, bukan perguruan tinggi jurusan
STEM, dan TBSL telah menginformasikan harapan pencapaian dan parameter penilaian
Survei Literasi Ilmiah untuk Kesiapan Perguruan Tinggi di STEM (SLSCP-STEM ). Studi
Miller menemukan bahwa hanya 5,6% orang Amerika yang memiliki kecakapan literasi
ilmiah, dengan menggunakan nilai gabungan dari tiga elemen fundamental (1989). Di antara
orang Amerika, 12% memahami proses ilmiah, 28% memahami istilah dan konsep ilmiah,
dan 50% memahami dampak sains pada masyarakat. Skor 70% atau lebih berkualitas satu
memiliki tingkat pemahaman dan pengertian istilah ilmiah yang memadai, suatu sifat ilmiah
dari literasi ilmiah (Hobson, 2008; Miller, 1989). Miller menginterpretasikan kinerja pada
dimensi ini karena dapat memahami sains dan teknologi di media dan keterlibatannya dengan
kebijakan publik serta dapat mengikuti diskusi publik mengenai hasil ilmiah (Hobson, 2008;
Miller, 1989). Ketika mahasiswa paruh waktu pertama di bidang ilmu pengetahuan manusia,
alam, dan teknik dinilai, melalui TBSL, mereka menunjukkan tingkat literasi ilmiah masing-
masing 25, 45, dan 51% (Laugksch & Spargo, 1999). Dalam studi Laugksch dan Spargo
(1999), ambang akurasi yang harus diklasifikasikan sebagai literasi ilmiah adalah skor
gabungan 61,3%, yang membutuhkan tingkat keberhasilan 59% pada dasar sains dan 62,5%
pada pengetahuan dan dampak konten sains dan teknologi di bidang masyarakat. Namun,
karena SLSCP-STEM dirancang untuk prediksi dan sebagai sarana untuk mengembangkan
intervensi, namun tidak dirancang untuk dilihat sebagai cara untuk mengkategorikan siswa
secara literasi ilmiah atau tidak, tetapi untuk menentukan di mana mereka berada pada
kesatuan literasi ilmiah dan bagaimana mereka tampil di berbagai subdomain perkembangan
penting ini.

Skala SLSCP-STEM saat ini dikembangkan dalam kerangka teoretis yang menekankan
pilar literasi ilmiah yang melacak tiga dimensi keaksaraan ilmiah: (a) domain sikap dan
perilaku dari literasi ilmiah, (b) pengetahuan isi konsep ilmiah, dan (c) kemampuan penalaran
ilmiah. Sementara pendidik STEM ditugaskan untuk mengembangkan literasi ilmiah siswa
mereka, sedikit kemajuan telah dicapai dalam menghubungkan langkah-langkah literasi
ilmiah dengan sukses di bidang STEM sejak gagasan tersebut pertama kali diciptakan oleh
Hurd pada tahun 1950an (1958). SLSCP-STEM dirancang untuk memprediksi kesiapan
akademis mahasiswa baru jurusan STEM untuk membantu pengembangan intervensi yang
disesuaikan untuk meringankan kekurangan dalam kesiapan siswa. Untuk menetapkan
validitas prediktif, sejauh mana ukuran atau prosedur berkorelasi dengan perilaku masa depan
(Heiman, 1998), SLSCP-STEM akan diposisikan sebagai variabel prediktor untuk nilai
matematika kelas sarjana dan sains rata-rata kelas. Analisis kemampuan prediktif sedang
berlangsung, dan diantisipasi bahwa kemampuan prediksi skala SLSCP-STEM akan
membantu pengembangan intervensi yang akan memfasilitasi peningkatan keberhasilan dan
retensi di bidang STEM dengan menargetkan area kelemahan tertentu.
Meskipun SLSCP-STEM tidak secara langsung mengukur "pengetahuan tentang sifat
interdisipliner dari STEM," konstruksi ini juga penting untuk penerapan praktis dari literasi
ilmiah dan termasuk dalam upaya penulis lainnya dalam bidang ini termasuk intervensi untuk
mengatasi kekurangan literasi ilmiah .
Agar instrumen memiliki penerapan yang luas, para peserta direkrut dari beragam jenis
institusi termasuk: institusi swasta dan publik; co-education, institusi yang terdiri dari semua
mahasiswa laki-laki, semua mahasiswa wanita; penelitian dan lembaga seni; universitas dan
perguruan tinggi yang melayani sarjana; dan secara historis merupakan institusi kulit hitam
dan didominasi kulit putih. Dengan demikian, data dikumpulkan pada populasi siswa yang
beragam baik dalam hal keragaman ras/etnis mereka dan dalam hal keragaman yang
mencerminkan siswa yang memilih untuk mengikuti berbagai jenis institusi. Sementara
SLSCP-STEM dirancang agar sesuai secara budaya dan dapat diterapkan secara luas, analisis
terus dilakukan untuk mengeksplorasi dampak ras, etnis, dan gender pada pengukuran
berbagai komponen keaksaraan ilmiah.

Kesimpulan
SLSCP-STEM dikembangkan untuk menilai secara independen tiga dimensi keaksaraan
ilmiah: (a) bidang sikap dan perilaku literasi ilmiah, (b) pengetahuan isi konsep ilmiah, dan (c)
kemampuan penalaran ilmiah. Berbagai sampel menunjukkan reliabilitas instrumen SLSCP-
STEM dapat digunakan berkenaan dengan konsistensi dan stabilitas internal dari waktu ke
waktu untuk setiap bagian. Selanjutnya, SLSCP-STEM telah terbukti valid melalui
penggunaan ahli konten.
Ucapan Terima Kasih Pendanaan diberikan oleh penghargaan National Science Foundation (AS) (nomor NSF:
1043330) diberikan kepada Lycurgus L. Muldrow, Ph.D. Penelitian ini disetujui oleh protokol Morehouse
College Institutional Review Board (nomor 1101006 dan 1300500).tem