Rasch Model_Indonesia untuk assesmen pendidikan

asessmen pembelajaran

1. Pengenalan pada Pengukuran Pemodelan Rasch Bambang Sumintono Institute of Educational Leadership - Universiti Malaya email: [email protected] dan [email protected] blog: http://deceng2.wordpress.com http://deceng3.wordpress.com

2. Rancangan pelatihan Pengantar Pengukuran Pembentukan Skala Praktek penggunaan software rasch model & interpretasi hasil Rasch model analisis : dikotomi , politomi , multi-rating, multi rater Diskusi

3. Setiap pengukuran menggunakan instrumen

4. Properti Instrumen : validitas konsep & reliabel 1 . titik tolak 2 . interval yang sama 3 . unit/ satuan 4 . linier ( garis lurus )

5. Pengukuran dalam Fisika Pengukuran dalam fisika menggunakan sistem metrik , contohnya : panjang 1. Definisi : panjang satu meter adalah jarak yang ditempuh oleh cahaya dalam waktu 1/299 792 428 detik 2 . Unit: centimeter/ inci /meter/km 3. Instrumen : Penggaris kayu / plastik /metal, pita pengukur dll

6. Pengukuran dalam Psikometri Bagaimana mengukur kecantikan ?

7. 7 Pemahaman tentang jenis data

8. 8 Pemahaman tentang jenis data

9. Contoh : Instrumen nasionalisme 9

10. 10:04 AM 10

11. Skala Peringkat : UNSTABLE INTERVAL

12. Skala Peringkat : UNSTABLE INTERVAL 1 STS 2 TS 3 N 4 S 5 SS 1 5 3 9 2

13. Pendekatan teori test klasik Rata-rata: [ pilihan X skor ] / total = [(1x1)+(5 x2)+(3x3)+(9x4)+(2x5)]/20 = [1+10+9+36+10]/20 = 66/20 = 3,3 penjelasan yang sangat terbatas ; tingkat ketelitian bisa bertambah ( dua angka penting ) 13

14. Stevens (1946) menyatakan bahwa : pengukuran adalah menempatkan angka ( nomor ) kepada objek atau kejadian sesuai dengan aturan yang ditetapkan Kritik : atribut yang diukur harus lah bersifat kuantitatif (scientific); secara instrumental prosedur penentuan untuk estimasi angka menunjukkan besarannya ( Michell , 1997) [ measurement is the numerical estimation and expression of the magnitude of one quantity relative to another] Pengukuran dalam Psikologi

15. Lima Hal esensial dalam Pengukuran 1. Sample / Item dependency 2. Penggunaan skor mentah (raw scores atau observed counts) untuk mendapatkan interval pengukuran 3. Validitas Respon 4. Validitas Aitem 5. Validitas Konstruk

16. 1. Sample/Item Dependency Contoh : apakah dokter di Puskesmas menggunakan berbagai jenis termometer yang digunakan khusus untuk pasien tertentu ? [ berlainan jender , etnis , usia dll ] Aitem / butir ; adalah agen pengukuran yang harus bersifat independen terhadap yang diukur (person); Objek sampel digunakan dalam kalibrasi ( penyetaraan ). b. Pengukuran Objek harus lah independen dari berbagai alat yang digunakan dalam mendapatkan hasilnya . Pengujian Instrumen

17. 2a. Interval Pengukuran Linearitas adalah persyaratan bagi aitem untuk dapat diukur untuk kemudian skor mentah di-transformasi menjadi skala yang interval. a. Skor mentah ( raw scores ) adalah hasil observasi dan bukan suatu pengukuran b. Persentase (%) hanyalah ringkasan data berupa angka tetapi tidak memberikan suatu pengukuran Pengujian Instrumen

18. Keterbatasan Skor Mentah a. Merupakan data nominal pada aitem yang dijawab . b. Pilihan jawaban terhadap pertanyaan yang diperlakukan sebagai data ordinal . d. Skor mentah tidak menunjukkan kemampuan seseorang dalam tugas tertentu ; juga tingkat kesulitan soal-nya . e. Data Skor mentah ataupun persentase jawaban betul tidak bersifat linear . c. Makna kuantitatif dari skor mentah didapat berbeda tergantung banyaknya soa l ; sedangkan persentase jawaban betul tergantung tingkat kesulitan soal . 2b. Interval Pengukuran Pengujian Instrumen

19. 2c. Linearitas Pengukuran Supaya dapat membandingkan kemampuan seseorang ( persons ability ) pada satu kelompok tertentu , pengukuran yang digunakan haruslah mempunyai interval yang sama dalam skala yang linier untuk menjadikan sah dalam analisis statistik [ prinsip pengukuran uni -dimensional]. Pengujian Instrumen

20. Numerical series log 10 log e 1 0.000 0.000 2 0.301 0.694 5 0.699 1.609 10 1.000 2.303 20 1.302 2.997 50 1.699 3.912 100 2.000 4.606 Angka yang didapatkan menghasilkan jarak pemisahan yang tidak sama , terkadang eksponensial , fungsi logaritma membuatnya mempunyai interval yang sama : 2d. Linearitas Pengukuran Pengujian Instrumen

21. Isu-Isu Validitas Apakah kerangka teori yang mendasari ? 1. Sampling Frame: Sampling Unit 2. Item representativeness: Accuracy 3. Focus: Content Validity 4. Item-dependent: Construct Validity 5. Person-dependent: Predictive Validity Pengujian Instrumen

22. Pengujian Instrumen dengan Rasch Model melalui software Winsteps Pengujian dalam setiap penelitian : Instrumen ( relibilitas ) Aitem (fit statistics) Responden ( person ) 10:04 AM 23

23. 24 Winsteps : ringkasan statistik

24. 25 Winsteps : analisis aitem / butir

25. 26 Winsteps : analisis person/ responden

26. 27 Winsteps : peta aitem-responden

27. 28 Winsteps : unidimensionalitas

28. 29 Winsteps : pengujian skala peringkat

29. 30 Winsteps : deteksi bias aitem

30. Analisis dengan Rasch Model Data Dikotomi Data Politomi ( rating scale ) Partial credit model (PCM): data multi-rating ( skala peringkat majemuk ) Multi Facet Rasch Measurement (MFRM), multi rater ( penilai majemuk ) 31

31. Tradisional vs Rasch Model Model Data

32. Pengukuran yang valid dalam konstruk psikologi HARUS memenuhi lima syarat 1. Skala yang Linier : AMOUNT 2. Nilai angka yang masuk akal : ACCURACY 3. Koherensi Empiris : Respon , Aitem and Konstruk VALIDITY 4. Memasukan parameter separasi : REPLICABLE 5. Menangani data yang hilang : PREDICTIVE (Wright & Mok , 2004)

33. Terima kasih banyak atas perhatiannya …. Pertanyaan , komentar , kritik ……..? 34