Artikel #2 6 Nov 2023
Artikel #2 6 Nov 2023
Artikel #2 6 Nov 2023
Abstract
In educational evaluation, questions created by instructors often lack the use of items
that have been tested, experimented with, analyzed, and revised before being presented to
learners, making it uncertain whether the quality of the questions is good or not. JLPT offers
question formats that can be adapted by instructors when creating Japanese language
questions. Therefore, the researcher is interested in analyzing JLPT N4 items to assess their
quality in terms of discriminative power, difficulty level, and distractor patterns using
statistical formulas. This analysis can then serve as a model for instructors when creating
Japanese language questions. This quantitative research employed an experimental method
and was conducted with 21 participants, utilizing data collection through documentation. The
research findings reveal that, in terms of difficulty level, 57% of the questions were
categorized as easy, 34% as moderate, and the remaining 9% as difficult. Regarding
discriminative power, 51% were classified as weak, 26% as fair, 17% as good, and 6% as
very good. In terms of distractor patterns, 69% of the distractors were found to be acceptable
or retained, while 31% were rejected or considered better replaced with other distractors due
to being excessively misleading or lacking appeal.
Salah
Keterangan
Skor
tingkat kesulitan. Tujuannya adalah N
No soal Salah
untuk menentukan sejauh mana butir
soal memerlukan pemahaman yang 1 33 2 33 27,32
baik dari peserta. 2 32 3 32 26,32.34
e. Mencari DP dengan rumusan statistik 3 31 4 31 26,30,31,35
4 31 4 31 26,29,32,34
D = (ΣBA / nA) – (ΣBB / nB)
5 29 6 29 26,28,30,31,32,34
Pada tahap ini, masing-masing butir 6 29 6 29 26,27,28,31,34,35
soal dievaluasi untuk mengukur sejauh 7 28 7 28 25,26,28,30,31,32,33
mana butir tersebut mampu 8 27 8 27 3,25,27,29,31,32,33,3
membedakan antara peserta yang 5
memiliki kemampuan berbeda. Ini 9 27 8 27 16,26,27,31,32,33,34,
35
dilakukan dengan membandingkan
10 26 9 26 25,26,28,29,30,31,32,
jumlah peserta yang menjawab benar 33,34
dengan yang menjawab salah. 11 26 9 26 10,12,13,14,15,23,26,
f. Mencari PD mengacu kepada kaidah 32,34
yang berlaku yang dipaparkan pada 12 25 10 25 8,17,20,22,26,30,32,3
teori diatas. Pola distraksi merupakan 3,34,35
fokus analisis terhadap opsi jawaban 13 24 11 24 17,21,24,25,26,27,28,
29,31,33,34
yang sering dipilih oleh peserta selain 14 24 11 24 16,22,26,28,29,30,31,
jawaban yang benar. Identifikasi pola 32,33,34,35
ini membantu untuk memahami 15 23 12 23 10,21,25,26,27,28,29,
kesalahan umum yang mungkin terjadi. 30,31,32,33,35
Pola distraksi dapat membantu dalam 16 23 12 23 9,13,14,23,24,25,26,3
0,31,32,33,34
perbaikan butir soal agar lebih efektif
17 23 12 23 5,12,16,17,18,20,23,2
dalam mengukur pemahaman peserta. 4,26,29,30,31
g. Menyimpulkan hasil temuan dan 18 22 13 22 7,15,19,22,24,26,27,2
memberikan saran untuk penelitian 9,30,31,32,34,35
selanjutnya. 19 21 14 21 10,12,13,15,17,23,24,
25,26,27,32,33,34,35
20 18 17 18 7,8,11,17,18,20,21,23
,25,26,27,28,29,30,31 17 23 12 23 19,0
,32,34 18 22 13 22 17,7
21 18 17 18 10,14,16,17,18,20,23, 19 21 14 21 16,3
24,25,26,27,29,30,31, 20 18 17 18 12,3
32,34,35 21 18 17 18 12,3
Pada tabel 1 diatas setelah diberikan Pada tabel 3 diatas didapat bahwa
nilai untuk masing-masing peserta yang skor bersih tertinggi ada pada angka 32,3
mengikuti ujian tersebut, dimana nilai dan skor bersih terendah ada pada angka
tersebut dinamakan dengan skor mentah, 12,3. Contoh perhitungan pada skor bersih
kemudian hasil nilainya digunakan sebagai tertinggi adalah sebagai berikut.
bahan untuk menganalisis tingkat kesulitan, Sk = ∑B - (∑S) / (O-1) = 33 – (2 / (4 - 1))
daya pembeda dan pola distraksi. Pada tabel = 32,3
skor mentah diatas ditemukan bahwa skor sedangkan contoh perhitungan pada skor
mentah tertinggi adalah 33/35 dan skor bersih terendah adalah sebagai berikut.
mentah terendah adalah 18/35. Hasil skor Sk= ∑B - (∑S) / (O-1) = 18 – (17 / (4 - 1))
mentah yang telah diurutkan kemudian = 12,3
dirubah menjadi skor bersih agar dapat Setelah nilai skor bersih diketahui
merubah menjadi nilai akhir berskala 100. selanjutnya adalah merubah skor menjadi
Skor bersih masing-masing peserta diambil nilai yang telah dikonversikan berdasarkan
dari soal pilihan ganda yang telah proporsi jawaban benar, dengan rumusan
dikerjakan dirubah menjadi 1 untuk sebagai berikut:
jawaban benar dan 0 untuk jawaban salah, Nilai = (Sk.Aktual) / (Sk.Ideal) x 100
kemudian dihitung dengan rumus sebagai Sk. Aktual: Skor yang diperoleh siswa
berikut: Sk. Ideal: Skor jika jawaban benar semua.
Sk= ∑B- (∑S)/(O-1) Nilai inilah yang kemudian akan digunakan
Sk: Skor bersih untuk mengklasifikasikan peserta didik
ΣB: Jumlah jawaban yang benar mana yang memasuki kelas atas, kelas
ΣS: Jumlah jawaban yang salah; menengah dan kelas bawah. Berikut adalah
O: banyaknya option. Misal (a, b, c, d) = 4 tabel nilai yang telah dikonversi dari skor
Hasil perhitungan skor bersih dapat dilihat bersih.
pada tabel berikut. Tabel 3. Nilai Akhir
Skor
Skor
Salah
Skor Bersih
Skor
N 1 33 32,3 92,4
2 32 31,0 88,6
1 33 2 33 32,3 3 31 29,7 84,8
2 32 3 32 31,0 4 31 29,7 84,8
3 31 4 31 29,7 5 29 27,0 77,1
4 31 4 31 29,7 6 29 27,0 77,1
5 29 6 29 27,0 7 28 25,7 73,3
6 29 6 29 27,0 8 27 24,3 69,5
7 28 7 28 25,7 9 27 24,3 69,5
8 27 8 27 24,3 10 26 23,0 65,7
9 27 8 27 24,3 11 26 23,0 65,7
10 26 9 26 23,0 12 25 21,7 61,9
11 26 9 26 23,0 13 24 20,3 58,1
12 25 10 25 21,7 14 24 20,3 58,1
13 24 11 24 20,3 15 23 19,0 54,3
14 24 11 24 20,3 16 23 19,0 54,3
15 23 12 23 19,0 17 23 19,0 54,3
16 23 12 23 19,0 18 22 17,7 50.5
19 21 16,3 46,7 indeks nilainya berada pada 0,00 - 0,25
20 18 12,3 35,2 maka soal dikategorikan sukar, 2) jika hasil
21 18 12,3 35,2 indeks nilainya berada pada 0,26 - 0,75
maka soal dikategorikan sedang, dan 3) jika
Pada tabel 4 diatas didapat bahwa hasil indeks nilainya berada pada 0,76 -
nilai akhir tertinggi ada pada angka 92,4 1,00 maka termasuk kategori mudah.
dan nilai akhir terendah ada pada angka Berikut adalah hasil analisis tingkat
35,2. Contoh perhitungan pada nilai akhir kesulitan (TK) yang dipaparkan dalam
tertinggi adalah sebagai berikut. bentuk tabel.
Nilai = (Sk.Aktual) / (Sk.Ideal) x 100 =
33/35 x 100 = 92,4
kemudian contoh perhitungan untuk peserta
didik dengan nilai terendah adalah sebagai
berikut. Tabel 4. Tingkat Kesulitan
Nilai = (Sk.Aktual) / (Sk.Ideal) x 100 =
Tafsiran
Tafsiran
No Soal
No Soal
12.3/35 x 100 = 35,2.
Indeks
Indeks
Setelah diketahui nilai akhir dari
hasil ujian JLPT N4 ini maka selanjutnya
bisa dilakukan pengukuran tingkat kesulitan
1 1.0 Mudah 19 0.92 Mudah
soal. Untuk mengukur tingkat kesulitan
2 1.0 Mudah 20 0.75 Sedang
soal, pertama-tama peserta didik dipilah
3 1.0 Mudah 21 0.92 Mudah
kedalam tiga kelompok dengan mengacu
kepada daftar nilai yang telah diurutkan 4 1.0 Mudah 22 0.92 Mudah
sebelumnya. Persentase pembagiannya 5 0.92 Mudah 23 0.58 Sedang
adalah 27% dari peserta didik dengan nilai 6 1.0 Mudah 24 0.58 Sedang
tertinggi menjadi kelompok atas, 27% 7 0.83 Mudah 25 0.67 Sedang
menjadi kelompok bawah dan sisanya 46% 8 0.92 Mudah 26 0.08 Sukar
menjadi kelompok menengah. Karena 9 0.92 Mudah 27 0.50 Sedang
jumlah peserta didik yang mengikuti 10 0.83 Mudah 28 0.75 Sedang
simulasi adalah 21 orang maka 6 orang 11 0.92 Mudah 29 0.58 Sedang
teratas menjadi kelompok atas, 6 orang 12 0.83 Mudah 30 0.42 Sedang
terbawah menjadi kelompok bawah dan 9 13 0.83 Mudah 31 0.33 Sedang
orang yang berada di antara itu menjadi 14 0.83 Mudah 32 0.25 Sukar
kelompok menengah. 15 0.83 Mudah 33 0.83 mudah
Tingkat kesulitan (TK) dicari 16 0.83 Mudah 34 0.25 Sukar
dengan mengacu kepada jumlah jawaban 17 0.67 Sedang 35 0.58 Sedang
benar dan jawaban salah dari kelompok atas 18 0.75 Sedang - - -
dan kelompok bawah dengan rumus sebagai
berikut. Pada tabel perhitungan diatas dapat
TK = (ΣBA + ΣBB) / (nA + nB) diketahui bahwa tingkat kesulitan (TK) soal
Keterangan: JLPT N4 berada pada rentan 0,08 sampai
TK: Indeks tingkat kesulitan soal yang 1,00, artinya terdapat soal yang dianggap
dicari sangat gampang, terbukti tidak ada peserta
ΣΒΑ: Jumlah siswa yang menjawab benar didik yang salah menjawab di pertanyaan
dari kelompok atas itu, namun ada juga soal yang dianggap
ΣΒΒ: Jumlah siswa yang menjawab benar sangat sulit, terbukti dengan peserta didik
dari kelompok bawah kelompok atas pun salah dalam menjawab
nΑ: Banyaknya siswa kelompok atas pertanyaan tersebut. Berikut adalah contoh
nB: Banyaknya siswa kelompok bawah perhitungan untuk TK mudah dan TK sukar
Penafsiran dari hasil perhitungan
dengan rumusan diatas adalah 1) jika hasil
menggunakan rumus yang dipaparkan 3
sebelumnya. 0.3
TK mudah = ( (6 + 6) / (6 + 6) ) = 1,00 3 0 Jelek 15 Cukup
3
TK sukar = ( (1 + 0) / (6+6) ) = 0,08 0.3
Berdasarkan data pada tabel diatas 4 0 Jelek 16 Cukup
3
bisa dilihat bahwa terdapat 20 soal atau 0.1 0.6
57% soal berstatus mudah, 12 soal atau 5 Jelek 17 Bagus
7 7
34% soal berstatus sedang, dan sisanya 2 0.5
soal atau 9% berstatus sukar. Soal-soal yang 6 0 Jelek 18 Bagus
0
baik adalah yang memiliki status sedang, 0.3 19 0.1 Jelek
yaitu yang tidak mudah namun tidak sukar 7 Cukup
3 7
(Sutedi, 2019). Karena itu angka 34% untuk 0.1 20 0.5 Bagus
soal yang berstatus sedang menurut penulis 8 Jelek
7 0
cukup mewakili sebagai soal yang dianggap 0.1 21 0.1 Jelek
baik. 9 Jelek
7 7
Selanjutnya Daya Pembeda (DP) 0.3 22 0.1 Jelek
dicari dengan mengacu kepada selisih 10 Cukup
3 7
jawaban benar kelompok atas dan kelompok 0.1 23 0.8 Sangat
bawah melalui rumus berikut. 11 Jelek
7 3 bagus
DP = (ΣBA / nA) – (ΣBB / nB) 0.3 24 0.8 Sangat
Keterangan: 12 Cukup
3 3 bagus
DP= Indeks Daya Pembeda yang dicari
BA= Jumlah jawaban benar kelompok atas
BB= Jumlah benar kelompok bawah Tabel 6. Daya Pembeda (DP) (2-2)
nA= jumlah kelompok atas (6 orang)
nB= Jumlah kelompok bawah (6 orang)
Tafsiran
No Soal
No Soal
Tafsiran
Indeks
Indeks
Penafsiran dari hasil perhitungan
dengan rumusan diatas adalah 1) jika hasil
indeks nilainya berada pada 0,00 - 0,20
maka soal dikategorikan tidak bagus (tidak 25 0.6 Bagus 0.3
31 Cukup
dipakai), 2) jika hasil indeks nilainya berada 7 3
pada 0,21 - 0,40 maka soal dikategorikan 26 0.1 Jelek 0.1
32 Jelek
cukup (bisa digunakan secara hati-hati), 3) 7 7
jika hasil indeks nilainya berada pada 0,41 – 27 0.3 Cukup 0.3
33 Cukup
0,70 maka soal dikategorikan bagus 3 3
(rekomendasi untuk dipakai), dan 4) jika 28 0.1 Jelek 0.1
34 Jelek
hasil indeks nilainya berada pada 0,76 - 7 7
1,00 maka termasuk kategori sangat bagus 29 0.5 Bagus 0.1
35 Jelek
(sangat rekomendasi untuk dipakai). Berikut 0 7
adalah hasil analisis Daya Pembeda (DP) 0.5
30 Bagus - - -
yang dipaparkan dalam bentuk tabel. 0
No Soal
Tafsiran
Indeks