Biarkan Data Bercakap? Tidak, Tidak Selalu
Frank L. Schmidt, seorang profesor dan penyelidik yang dihormati di University of Iowa, memberi ceramah di konvensyen Association for Psychological Science ke-20 pada hari Sabtu mengenai bagaimana data saintifik boleh berbohong. Ya, betul, data empirik - bahkan yang diterbitkan dalam jurnal yang dihormati dan disemak oleh rakan sebaya - secara berkala tidak memberitahu yang sebenarnya.
Ceramah Schmidt dihadiri dengan baik di salah satu bilik tarian terbesar di Sheraton Hotel and Towers di Chicago tempat konvensyen diadakan. Walaupun persembahan tidak rata, perkara utama Schmidt terserlah.
Salah satunya ialah tafsiran naif dari banyak kumpulan data sering kali paling tepat - pisau cukur Occam ("penyelesaian paling mudah biasanya adalah jawapan terbaik"). Schmidt mendakwa bahawa penyelidikan yang baik mendapati struktur sederhana yang mendasari data kompleks.
Dia meringkaskan ada dua alasan utama mengapa data dapat "berbohong" dalam penyelidikan - kesalahan pengambilan sampel dan kesalahan pengukuran.
Kritikan terbesar Schmidt ditujukan pada fetish sains psikologi dengan ujian kepentingan - mis., Kepentingan statistik. Dia berharap bahawa psikologi akan menjauhkan diri dari ketergantungan dan daya tariknya dengan kepentingan statistik, kerana ini adalah ukuran yang lemah dan berat sebelah yang pada dasarnya tidak banyak mengatakan tentang data atau hipotesis yang mendasarinya.
Schmidt menerangkan enam mitos mengenai ujian kepentingan di sekitarnya. Satu mitos adalah bahawa nilai p yang baik adalah indikator kepentingan, sedangkan itu benar-benar hanya petunjuk tahap kekuatan kajian. Yang lain adalah bahawa jika tidak ada makna yang dijumpai yang berarti tidak ada hubungan yang dijumpai antara pemboleh ubah (sebenarnya, ini mungkin bermaksud bahawa kajian itu tidak memiliki kekuatan yang cukup).
Penyelesaian Schmidt adalah sederhana - ukuran kesan laporan (anggaran titik) dan selang keyakinan sebagai gantinya, dan jangan menekankan ujian kepentingan sama sekali.
Dia akhirnya menekankan penekanan yang baru ditemukan pada meta-analisis dalam penyelidikan psikologi, khususnya memanggil jurnal Buletin Psikologi. Dalam kajian yang belum diterbitkan, dia dan penyelidik lain meneliti semua meta-analisis yang diterbitkan di Buletin Psikologi dari tahun 1978-2006 - 199 kajian keseluruhan.
Para penyelidik mendapati bahawa 65% kajian yang diperiksa menggunakan model "kesan tetap" untuk meta-analisis mereka. Schmidt mendakwa bahawa dalam model kesan tetap hubungan data diremehkan (sebanyak 50%) dan penyelidik terlalu mengira sejauh mana tepatnya (berapa sedikit kesalahan yang terdapat dalam anggaran itu). Sebagai gantinya, Schmidt lebih suka model "kesan rawak" yang lebih sesuai dengan variasi ini.
Dia juga menyatakan bahawa dalam 90% kajian yang diperiksa, tidak ada pembetulan yang dibuat untuk kesalahan pengukuran - salah satu sebab utama dia menyebut bahawa data boleh "berbohong" dalam penyelidikan psikologi.
Dengan adanya analisis ini, Schmidt menunjukkan bahawa banyak meta-analisis yang diterbitkan dalam jurnal yang dikaji oleh rakan sebaya mencapai kesimpulan yang salah atau salah.
Malangnya, keadaan ini tidak mungkin akan berubah dalam masa terdekat. Walaupun banyak jurnal psikologi telah menggunakan standard yang lebih ketat untuk penerbitan penyelidikan yang lebih sesuai dengan cadangan Schmidt, banyak yang masih tidak dan nampaknya tidak berniat untuk berubah.
Apa artinya ini bagi rata-rata orang adalah bahawa Anda tidak dapat mempercayai setiap kajian yang diterbitkan hanya kerana ia muncul dalam jurnal yang ditinjau oleh rakan sebaya, yang kemudian dipublikasikan di seluruh media sebagai "fakta" melalui siaran pers. Fakta seperti itu mudah ditembus, berubah, dan salah. Hanya melalui pembacaan dan analisis kajian yang teliti, kita dapat memahami nilai data yang mereka sampaikan.
