Apa Makna Kekurangan Reproduktiviti dalam Penyelidikan Psikologi?

Minggu lalu, hasil usaha terbesar dunia untuk menghasilkan semula hasil yang terdapat dalam penyelidikan psikologi masuk. Projek Reproduktiviti Brian Nosek melihat 100 hasil eksperimen psikologi yang diterbitkan pada tahun 2008 dari hanya tiga jurnal psikologi utama. Ia berusaha menghasilkan semula kajian untuk melihat apa jenis hasil yang akan mereka perolehi.

Dalam dunia yang ideal, seseorang mungkin berfikir bahawa sesuatu berdasarkan 75 atau bahkan 80 peratus kajian seharusnya menghasilkan hasil yang sama, bukan? Kerana kajian baru di mana hanya dilakukan semula pada populasi yang berbeza oleh penyelidik yang berhati-hati mengikuti kaedah penyelidik asal. Dalam kebanyakan kes, penyelidik juga mempunyai hubungan dan kerjasama langsung dari penyelidik asal.

Tetapi dalam penemuan berpuluh-puluh cara berbeza sejak diterbitkan pada minggu lalu Sains jurnal, Projek tidak mencapai hampir 75 peratus. Hanya 36 peratus ulangan yang menghasilkan keputusan yang signifikan - berbanding 97 peratus daripada 100 kajian semula.

Apa maksudnya untuk psikologi?

Walaupun ada yang berusaha menjumpai penemuan ini sebagai tidak terduga atau "tidak seburuk yang mungkin," ini tidak menjadi pertanda baik bagi sains psikologi. Setiap bulan, beratus-ratus kajian psikologi baru diterbitkan. Ringkasnya, makna penemuan ini adalah bahawa sebahagian besar penemuan kajian ini tidak boleh dipercayai. Sebenarnya, ini adalah palsu.

Dari Atlantik liputan:

"Tahap kejayaan lebih rendah daripada yang saya sangka," kata John Ioannidis dari Stanford University, yang kertas teori klasiknya Mengapa Penemuan Penyelidikan Terbanyak adalah Palsu telah menjadi kilat untuk pergerakan kebolehulangan.

"Saya merasa tidak enak melihat bahawa beberapa ramalan saya telah disahkan. Saya harap mereka terbukti salah. "

Satu lagi penemuan buruk dari penyelidikan baru adalah bahawa ukuran kesan yang diukur biasanya 50 peratus lebih kecil daripada yang dijumpai oleh penyelidik asal. Itu bererti bahawa walaupun hasilnya diterbitkan oleh penyelidik baru, kesan pemboleh ubah yang dikaji tidak sepenting yang disangka awalnya.

Sebab-sebab Reproduktiviti yang lemah dalam Penyelidikan Psikologi

Terdapat selusin alasan yang berbeza untuk ini menunjukkan bahawa oleh penyelidikan psikologi. Tetapi sebelum kita mengkaji beberapa daripadanya, ini adalah percikan air realiti yang sejuk dalam mengambil hasil dari satu kajian dan membuat generalisasi dari mereka. Atau lebih teruk lagi, mempercayai sesuatu itu benar apabila ia masih belum ditunjukkan oleh lebih daripada satu kajian.

Sekiranya kajian tidak dibutakan - kerana kebanyakan kajian ini tidak - bias penyelidik sendiri dapat mempengaruhi bagaimana data dikumpulkan atau dianalisis secara halus. Sekiranya seorang penyelidik hanya menghabiskan 8 atau 18 bulan untuk mengumpulkan data hanya untuk mendapatkan hasil yang tidak signifikan, mereka mungkin melakukan ekspedisi memancing data untuk mencari beberapa hubungan data lain yang dapat mereka terbitkan.1 Penyelidik kemudian mengubah hipotesis asalnya agar sesuai dengan data yang sebenarnya dijumpai (kerana kebanyakan penyelidik masih belum membuat pra-pendaftaran penyelidikan mereka dengan perkhidmatan penjejakan - walaupun perlahan-lahan berubah).

Yang lain menyatakan bahawa mungkin "mengejutkan" adalah penjelasan lain - bahawa jurnal pada masa ini memberi tumpuan untuk menerbitkan penemuan yang mengejutkan, kerana ia lebih popular dan menarik bagi pembaca. Apabila anda menambahkan kemungkinan kemunduran pada nilai - pemboleh ubah mungkin paling ekstrem ketika diukur pertama kali, tetapi kurang ekstrem ketika diukur kali kedua atau ketiga - cadangannya adalah bahawa kedua-dua faktor ini bergabung untuk mendorong penerbitan kajian yang secara intrinsik sukar untuk menghasilkan semula.

Apakah Makna Sains Psikologi?

Sifat manusia sangat kompleks. Ilmu psikologi cuba menguraikan tingkah laku dan emosi manusia menjadi kepingan kecil untuk lebih memahami keseluruhannya. Walau bagaimanapun, jika penyelidikan tidak dapat menghasilkan semula sains di sebalik kajian, ini menunjukkan bahawa banyak yang diterbitkan oleh bidang ini setiap tahun juga tidak boleh dipercayai.

Walau bagaimanapun, kami juga tidak mengetahui statistik kebolehulangan kebanyakan sains, kerana tidak seperti Projek Reproduksibiliti yang pernah dicuba sebelumnya dalam bidang lain. Mungkin ini adalah cacat yang dialami oleh kebanyakan ilmu pengetahuan, atau mungkin cacat yang mempengaruhi sains sosial lebih banyak daripada sains lain.

Tetapi dalam jangka masa pendek, ini menekankan sesuatu yang selalu saya katakan - penemuan sains psikologi bukanlah sesuatu yang boleh anda pakai sehingga diterbitkan semula oleh penyelidik lain. Penemuan yang boleh dibuat semula dikatakan "kuat," dan oleh itu dipercayai.

Cari maklumat seperti ini semasa menilai atau membaca artikel berita berdasarkan kajian baru. Walaupun tidak seksi yang baru, penemuan "mengejutkan", penyelidikan yang mengesahkan atau mempertanyakan apa yang sudah kita rasa kita tahu sama pentingnya.

Untuk maklumat lanjut…

The Atlantic: Sejauh mana boleh dipercayai kajian psikologi?

The Guardian: Kajian memberikan keputusan yang suram mengenai kesahan hasil eksperimen psikologi

Mindhacks: Jangan sebut sebagai kemunculan semula

Rujukan

Kerjasama Ilmu Terbuka. (2015). Menganggarkan kebolehulangan sains psikologi. Sains, 28.

Projek Reproduktiviti: Psikologi - data mentah

Nota kaki:

1. Jika tidak, sepanjang masa itu, wang dan usaha sia-sia, kerana hanya sedikit penyelidik yang dapat atau ingin menerbitkan hasil nol. [↩]
2. Dan ini benar-benar mempertanyakan generalisasi luas penulis yang dibuat mengenai kesesuaian penemuan mereka, yang terdapat di hampir setiap bahagian Perbincangan kajian psikologi baru-baru ini. [↩]