1 / 61

Bab 12

Bab 12. Reliabilitas Penilai dan Pengamat. ------------------------------------------------------------------------------ Reliabilitas Penilai dan Pengamat ------------------------------------------------------------------------------. Bab 12 Reliabilitas Penilai dan Pengamat A. Dasar

merrill-evans
Download Presentation

Bab 12

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Bab 12 Reliabilitas Penilai dan Pengamat

  2. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Bab 12 Reliabilitas Penilai dan Pengamat A. Dasar 1. Penilai dan Pengamat • Ada kalanya sekor tidak langsung diperoleh dari responden • Kita menggunakan penilai dan pengamat untuk menentukan sekor • Dalam pemberian sekor, penilai dan pengamat mengikuti kriteria tertentu

  3. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 2. Reliabilitas Penilaian dan Pengamatan • Penilaian dan pengamatan menggunakan lebih dari satu penilai dan lebih dari satu pengamat • Karena mengikuti kriteria penilaian dan pengamatan, perlu ada kecocokan di antara mereka • Kecocokan ini merupakan reliabilitas yang sejenis dengan reliabilitas ukur-ukur setara • Mula-mula, kecocokan dilakukan pada saat uji coba penilai dan pengamat sehingga dapat dilakukan koreksi yang diperlukan • Pada saat penilaian dan pengamatan, digunakan penilai dan pengamat yang sudah diketahui kecocokannya

  4. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Kecocokan Intra-penilai/pengamat • Penilai atau pengamat melakukan penilaian atau pengamatan lebih dari sekali • Kecocokan di antara penilaian atau pengamatan ttu • Setara dengan ukur-ukur ulang Kecocokan Inter-penilai/pengamat • Penilaian atau pengamatan dilakukan oleh lebih dari satu penilai atau satu pengamat • Kecocokan di antara penilaian atau pengamatan itu • Setara dengan ukur-ukur setara Perhitungn untuk mereka adalah sama

  5. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 3. Jenis Kecocokan Kecocokan hasil penilaian dan pengamatgan dapat berupa • Kecocokan peringkat • Kecocokan kategori Kecocokan Peringkat • Sekor dapat saja berbeda tetapi kedudukan relatif di antara sekor atribut yang dinilai atau diamati adalah sama atau bersamaan Kecocokan Kategori • Hasil penilaian dan pengamatan berupa kategori dan hasil penilaian dan pengamatan menunjuk ke kategori yang sama atau bersamaan

  6. ------------------------------------------------------------------------------Reliabilitas Peniliai dan Pengamat------------------------------------------------------------------------------ 3. Kecocokan Peringkat Dua penilai X dan Y memberi sekor kepada sejumlah atribut Yang dinilai 1 2 3 4 5 Peni- X 80 70 60 50 40 lai Y 60 50 45 40 35 Kecocokan dapat dinyatakan melalui • Koefisien korelasi Pearson (parametrik) atau rho Spearman (nonparametrik) • Koefisien kecocokantau Kendall

  7. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Dari contoh di atas, kecocokan peringkat melalui koefisien korelasi adalah Koefisien Korelasi Pearson  = 0,900 Koefisien Korelasi rho Spearman  = 0,900 Koefisien tau Kendall  = 0,800 Koefisien ini dijadikan ukuran kecocokan peringkat penilaian di antara pengamat X dan Y

  8. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 4. Kecocokan Kategori • Pengamat X dan Y mengamati hal yang sama serta menentukan kategori dari amatan mereka • Misalnya keadaan kelas mereka amati serta mencatatnya setiap 5 detik. Keadaan kelas (guru berbicara, murid bertanya, …) dibagi menjadi lima kategori K1, K2, K3, K4, dan K5 • Hasil amatan menunjukkan Kelas X Y 1 K1 K1 2 K1 K1 3 K1 K2 4 K1 K2 . . . . . . . . .

  9. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Dari contoh di atas tampak bahwa hasil amatan X dan Y itu • Ada yang cocok seperti dua-duanya K1 • Ada yang tidak cocok, satu K1 lainnya K2 Hasil amatan ini dapat disusun ke dalam matriks hasil amatan Pengamat X K1 K2 K3 K4 K5 K1 2 Peng- K2 2 amat K3 Y K4 K5

  10. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ • Pengamat X dan Y mengamati hal yang sama serta menentukan kategori dari amatan mereka • Misalnya keadaan keadaan pasien yang diamati untuk menentukan sakit A, B, atau C. Hasil amatan menujukkan pasien yang sakit • Hasil amatan menunjukkan Pasien X Y 1 A A 2 A A 3 A B 4 B C . . . . . . . . .

  11. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Dari contoh di atas tampak bahwa hasil amatan X dan Y itu • Ada yang cocok seperti dua-duanya A • Ada yang tidak cocok, satu A lainnya B Hasil amatan ini dapat disusun ke dalam matriks hasil amatan Pengamat X A B C A 2 Peng- amat B 2 Y C

  12. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ B. Kecocokan Menurut Kategori 1. Kecocokan Kategori • Kita membicarakan kecocokan penilai dan pengamat menurut kategori yang mereka berikan • Hasil penilaian dan pengamatan disusun ke dalam matriks penilaian dan pengamatan • Ukuran matriks bergantung kepada banyaknya kategori yang dihasilkan dari penilaian dan pengamatan • Hasil penilaian dan pengamatan menunjukkan adanya kecocokan dan adanya ketidakcocokan • Mereka dapat dinyatakan ke dalam frekuensi dan juga ke dalam proporsi

  13. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 2. Matriks Penilai dan Pengamat Matriks dapat disusun ke dalam frekuensi atau ke dalam proporsi Contoh 1 (dalam frekuensi) Penilai P1 dan P2 menilai karangan dalam sekor A, B, dan C

  14. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 2 (dalam proporsi) Contoh 1 diubah menjadi proporsi n = jumlah seluruhnya p = proporsi seluruhnya nii = jumlah yang cocok pii = proporsi yang cocok ni0 = P1 untuk semua P2 pi0 = P1 untuk semua P2 n0i = P2 untuk semua P1 p0i = P2 untuk semua P1

  15. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 3 (frekuensi) Penilaian keadaan kelas dari pengamat P1 dan P2 untuk kategori amatan K1, K2, K2, K4, K5

  16. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 4 (proporsisi) Contoh 3 dalam bentuk proporsi

  17. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 3. Matriks Per Kategori • Matriks penilaian dan pengamatan dapat direduksi menjadi matriks untuk setiap kategori • Sebagai contoh, dari Contoh 1 dan 2, kita dapat menyusun matriks hanya untuk A. Kita dapat menyusun matriks hanya untuk B, serta hanya untuk C. • Pada matriks per kategori, hanya frekuensi atau proporsi matriks itu yang diperhatikan, sedangkan kategori lainnya digabung dan diberi label ‘lainnya.’ • Ada tiga penggabungan: penggabungan pada baris kategori (kecuali kategori), pada lajur kategori (kecuali kategori), dan pada sisanya

  18. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 5 Dari contoh 1, matriks untuk kategori A P2 ni0 A B C A 75 1 4 80 P1 B 5 4 1 10 C 0 0 10 10 n0i 80 5 15 100 P2 ni0 A Lain-nya A 75 5 80 P1 Lain-nya 5 15 20 n0i 80 20 100

  19. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 6 Dari contoh 2, matriks untuk kategori A P2 pi0 A B C A 0,75 0,01 0,04 0,80 P1 B 0,05 0,04 0,01 0,10 C 0,00 0,00 0,10 0,10 p0i 0,80 0,05 0,15 1,00 P2 pi0 A Lain-nya A 0,75 0,05 0,80 P1 Lain-nya 0,05 0,15 0,20 p0i 0,80 0,20 1,00

  20. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 7 Dari contoh 1, matriks untuk kategori B P2 ni0 A B C A 75 1 4 80 P1 B 5 4 1 10 C 0 0 10 10 n0i 80 5 15 100 P2 ni0 B Lain-nya B 4 6 10 P1 Lain-nya 1 89 90 n0i 5 95 100

  21. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 8 Dari contoh 2, matriks untuk kategori B P2 pi0 A B C A 0,75 0,01 0,04 0,80 P1 B 0,05 0,04 0,01 0,10 C 0,00 0,00 0,10 0,10 p0i 0,80 0,05 0,15 1,00 P2 pi0 B Lain-nya B 0,04 0,06 0,10 P1 Lain-nya 0,01 0,89 0,90 p0i 0,05 0,95 1,00

  22. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 9 Dari contoh 1 dan 2, susun matriks untukC dalam bentuk frekuensi dan proprosi

  23. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 10 Dari contoh 3 dan 4, susun matriks untuk K1

  24. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 11 Dari contoh 3 dan 4, susun matriks untuk K2

  25. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 12 Dari contoh 3 dan 4, susun matriks untuk K3

  26. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 13 Dari contoh 3 dan 4, susun matriks untuk K4

  27. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 14 Dari contoh 3 dan 4, susun matriks untuk K5

  28. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ C. Indeks Kecocokan Per Kategori 1. Dasar indeks kecocokan • Indeks kecocokan di antara penilai dan pengamat adalah ukuran kecocokan penilaian dan pengamatan di antara mereka • Indeks kecocokan didasarkan pada besarnya kategori yang cocok nii atau pii di dalam matriks penilaian dan pengamatan • Di dalam sejumlah indeks kecocokan, besarnya kategori yang cocok ini masih perlu dikurangi dengan besarnya kategori kebetulan cocok • Dengan dasar ini serta sejumlah variasi ditemukan berbagai jenis indeks kecocokan

  29. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Berbagai jenis indeks kecocokan Ada sejumlah indeks kecocokan penilai dan pengamat per kategori. Indeks kecocokan per kategori yang dibicarakan di sini meliputi • Indeks kecocokan (Holley dan Guilford) • Indeks kecocokan (Maxwell) • Indeks kecocokan kappa (Cohen) • Indeks kecocokan (Goodman dan Kruskal) • Indeks kecocokan (Rogot dan Goldberg) Indeks kecocokan (Holley dan Guilford) adalah kecocokan nominal yang hanya terdiri atas kategori yang cocok Indeks kecocokan kappa (Cohen) mengurangi kategori kecocokan dengan kebetulan cocok. Indeks kecocokan kappa ini banyak digunakan orang

  30. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 2. Matriks Umum Kecocokan Per Kategori Kita buat matriks umum dengan proporsi sebagai berikut Kecocokan terletak pada a dan d a + b + c + d = 1 p1 + q1 = 1 p2 + q2 = 1

  31. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 3. Indeks Kecocokan (Holley dan Guilford) Indeks kecocokan diperoleh dari a dan d P0 = a + d Contoh 15 Dari contoh 5, 6, 7, 8, dan 9 p0 (A) = 0,75 + 0,15 = 0,90 p0 (B) = p0(C) = Contoh 16 Daro contoh 10, 11,12, 13, dan 14 p0 (K1) = p0 (K2) = p0(K3) = p0(K4) = p0(K5) = p1 a b c d q1 p2 q2

  32. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 4. Indeks Kecocokan (Maxwell) Indeks kecocokan ini adalah p’0= 2 p0– 1 dengan p0 dari indeks kecocokan (Holley dan Guilford) Contoh 17 Dari contoh 15, p’0 (A) = (2)(0,90) – 1 = 0,80 p’0 (B) = p’0 (C) = Contoh 18 Dari contoh 16, p’0 (K1) = p’0 (K2) = p’0 (K3) = p’0 (K4) = p’0 (K5) =

  33. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 5. Indeks Kecocokan Kappa dari Cohen Pada dasarnya, indeks kecocokan kappa dari Cohen ini menggunakan kategori cocok I0 dikurangi dengan kategori kebetulan cocok Ie Kategori kebetulan cocok diperoleh dari hubungan independensi pada probabilitas Ie = P(A∩B) = P(A) . P(B) Dengan demikian indeks kecocokan kappa dari Cohen menjadi p1 a b c d q1 p2 q2

  34. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 19 Dari contoh 6, indeks kecocokan kappa Cohen dari A adalah P2 pi0 A Lain-nya A 0,75 0,05 0,80 P1 Lain-nya 0,05 0,15 0,20 p0i 0,80 0,20 1,00

  35. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Dari contoh 8, indeks kecocokan kappa Cohen dari B adalah P2 pi0 B Lain-nya B 0,04 0,06 0,10 P1 Lain-nya 0,01 0,89 0,90 p0i 0,05 0,95 1,00 Contoh 20 Dari contoh 8, indeks kecocokan kappa dari C adalah (C) =

  36. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 21 Dari contoh 9 sampai 13, indeks kecocokan kappa adalah (K1) = (K2) = (K3) = (K4) = (K5) = • Catatan: Indeks kecocokan kappa ini yang paling umum digunakan orang

  37. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 6. Indeks Kecocokan Spesifik Ada dua macam indeks kecocokan berupa ps dan p’s masing-masing menggunakan kategori cocok dan kategori tidak cocok, dengan rumus Contoh 22 Dari contoh 6, 7, dan 8, indeks kecocokan spesifik adalah ps(A) = 0,9375 p’s(A) = 0,7500 ps(B) = p’s(B) = ps(C) = p’s(C) = a b c d

  38. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 23 Dari contoh 9 sampai 13, indeks kecocokan spesifik adalah ps(K1) = p’s(K1) = ps(K2) = p’s(K2) = ps(K3) = p’s(K3) = ps(K4) = p’s(K4) = ps(K5) = p’s(K5) =

  39. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 7. Indeks Kecocokan (Goodman dan Kruskal) Indeks kecocokan ini adalah Contoh 24 Dari contoh 6 sampai 13, r(A) = 0,875 r(B) = r(C) = r(K1) = r(K2) = r(K3) = r(K4) = r(K5) = a b c d

  40. ------------------------------------------------------------------------------Reliabilitas Penilia dan Pengamat------------------------------------------------------------------------------ 8. Indeks kecocokan (Rogot dan Goldberg) Indeks kecocokan ini menggunakan rumus Contoh 25 Dari contoh 6 sampai 13, indeks kecocokan adalah A(A) = 0,84375 A(B) = A(C) = A(K1) = A(K2) = A(K3) = A(K4) = A(K5) = p1 a b q1 c d p2 q2

  41. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ D. Koefisien Kecocokan Semua Kategori 1. Dasar Perhitungan Kecocokan per kategori dinamakan indeks kecocokan. Kecocokan sekaligus untuk semua kategori dinamakan koefisien kecocokan Perhitungan koefisien kecocokan dilakukan melalui matriks kecocokan lengkap (yang belum direduksi) Perhitungan dapat dilakukan melalui frekuensi atau pun melalui proporsi Pada perhitungan melalui frekuensi, nii = frekuensi kategori cocok ni0 = frekuensi pada P1 untuk semua P2 n0i = frekuensi pada P2 untuk semua P1 n = frekuensi semua kategori

  42. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 2. Jenis Koefisien Kecocokan Seperti pada indeks kecocokan per kategori, pada koefisien kecocokan semua kategori, terdapat sejumlah koefisien kecocokan. Di sini dibicarakan koefisien kecocokan • Koefisien kecocokan nominal • Koefisien kecocokan marginal • Koefisien kecocokan kappa dari Cohen • Keofisien kecocokan pi dari Scott • Koefisien kecocokan kappa perluasan Light • Koefisien kecocokan pi modifikasi Flander • Koefisien kecocokan pi modifikasi Garrett Koefisien kecocokan nominal hanya menghitung kategori cocok Koefisien kecocokan kappa dari Cohen mengurangi kategori cocok dengan kategori kebetulan cocok. Koefisien kecocokan kappa dari Cohen ini banyak digunakan orang.

  43. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 3. Matriks Kecocokan Semua Kategori Matriks kecocokan semua kategori mencatat frekuensi atau proporsi kategori yang cocok maupun yang tidak cocok di antara dua pengamat Contoh 26 (dalam frekuensi) Penilai P1 dan P2 menilai karangan dalam sekor A, B, dan C

  44. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 27 (dalam frekuensi) Penilai P1 dan P2 menghasilkan penilaian sebagai berikut

  45. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 28 (dalam frekuensi) Pengamatan keadaan kelas dari pengamat P1 dan P2 untuk kategori amatan K1, K2, K2, K4, K5

  46. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 29 (dalam frekuensi) Pengamatan dari pengamat P1 dan P2 menghasilkan matriks sebagai berikut

  47. ------------------------------------------------------------------------------Reliabilitas penilai dan pengamat------------------------------------------------------------------------------ 4. Koefisien Kecocokan Nominal Koefisien ini hanya memperhatikan kategori cocok yakni jumlah dari nii untuk dibagi dengan frekuensi total n. Contoh 30 Dari contoh 26 sampai 29 Contoh 26: P0 = 89/100 = 0,89 Contoh 27: P0 = Contoh 28: P0 = Contoh 29: P0 = n11 n22 n33 n

  48. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 5. Koefisien Kecocokan Marginal Koefisien ini memperhatikan margin yakni ni0 dan n0i Untuk setiap kategori pada margin, Koefisien kecocokan marginal adalah n10 n20 n30 n01 n02 n03 n

  49. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ Contoh 31 Dari contoh 26, koefisien kecocokan marginal __ i P0i 1 80/80 = 1,00 __ 1 2 5/10 = 0,50 P0 = ----- 2,17 = 0,72 3 10/15 = 0,67 3 2,17 Contoh 32 Dari contoh 27 sampai 29, koefisien kecocokan __ __ Contoh 27: P0 = Contoh 28: P0 = __ Contoh 29: P0 =

  50. ------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat------------------------------------------------------------------------------ 6. Koefisien Kecocokan Kappa Cohen Koefisien ini mengurangi kategori cocok dengan kebetulan cocok Kebetulan cocok menggunakan hubungan independensi pada probabilitas P(A∩B)=P(A).P(B) Komponen cocok Komponen kebetulan cocok Koefisien kecocokan kappa Cohen n11 n10 n22 n20 n33 n30 n01 n02 n03 n

More Related