Adakah Sains Mati? Dalam Perkataan: Tidak

Beberapa minggu yang lalu, Jonah Lehrer menulis artikel yang agak bodoh dan sensasional untuk The New Yorker berjudul, The Truth Wear Off: Adakah sesuatu yang salah dengan kaedah saintifik? Di dalamnya, Lehrer memetik bukti anekdot (dan sedikit data) untuk menyokong dugaan bahawa mungkin kaedah saintifik - bagaimana kita secara saintifik mengesahkan hipotesis kita dengan data dan statistik - telah menjadi sangat serba salah.

Tetapi apa yang gagal diperhatikan oleh Lehrer adalah bahawa kebanyakan penyelidik sudah mengetahui tentang kekurangan yang dijelaskannya, dan dengan tekun berusaha untuk meminimumkan kesan masalah tersebut.

Kaedah saintifik tidak rosak. Apa yang digambarkan oleh Lehrer hanyalah sains di tempat kerja - dan bekerja.

Sambutan terbaik untuk karangan ini datang dari penulis ScienceBlogs PZ Myers, Sains tidak mati. Dalam bantahan ini, Myers menunjukkan masalah utama dengan sains apabila tidak dapat meniru penemuan sebelumnya:

1. Regresi menjadi min: Apabila jumlah titik data meningkat, kami menjangkakan nilai rata-rata akan menurun ke rata-rata yang sebenarnya ... dan kerana seringkali pekerjaan awal dilakukan berdasarkan hasil awal yang menjanjikan, kami mengharapkan lebih banyak data dapat dikeluarkan secara kebetulan hasil awal yang ketara.
2. Kesan laci fail: Hasil yang tidak signifikan sukar diterbitkan, dan akhirnya disimpan di kabinet. Namun, sebagai hasilnya menjadi mantap, hasil yang bertentangan menjadi lebih menarik dan dapat diterbitkan.
3. Bias penyiasat: Sukar untuk mengekalkan kecelaruan saintifik. Kita semua ingin melihat hipotesis kita disahkan, jadi kita cenderung memilih secara sedar atau tidak sedar hasil yang sesuai dengan pandangan kita.
4. Bias komersial: Syarikat ubat mahu menjana wang. Mereka dapat menjana wang dari plasebo jika ada beberapa sokongan statistik untuknya; sudah tentu ada kecenderungan untuk mengeksploitasi penyusun statistik untuk mendapatkan keuntungan.
5. Varians populasi: Kejayaan dalam subset populasi yang ditentukan dengan baik boleh menyebabkan sedikit kegelapan: jika ubat membantu kumpulan ini dengan gejala yang jelas, mungkin kita harus mencubanya pada kumpulan lain yang mempunyai gejala marginal. Dan tidak… tetapi angka tersebut masih akan digunakan untuk mengira keberkesanan keseluruhannya.
6. Peluang sederhana: Ini sukar untuk disampaikan kepada orang lain. Tetapi jika ada sesuatu yang signifikan pada tahap p = 0,05, itu masih bermakna bahawa 1 dari 20 eksperimen dengan ubat yang tidak berguna sepenuhnya akan tetap menunjukkan kesan yang signifikan.
7. Perikanan statistik: Saya benci yang ini, dan saya melihatnya sepanjang masa. Eksperimen yang dirancang tidak menunjukkan hasil yang signifikan, sehingga data tersebut diselesaikan dan setiap korelasi yang signifikan disita dan diterbitkan seolah-olah ia dimaksudkan. Lihat penjelasan sebelumnya. Sekiranya set data cukup rumit, anda akan selalu menemui korelasi di suatu tempat, semata-mata secara kebetulan.

Nombor 1 menjelaskan banyak masalah yang kita dapati dalam sains hari ini, terutamanya sains psikologi. Anda tahu kebanyakan percubaan yang anda baca Sains Psikologi, penerbitan utama Persatuan Sains Psikologi? Mereka omong kosong. Mereka adalah N = 20 eksperimen yang dilakukan pada sampel kecil dan homogen kebanyakan pelajar kolej Kaukasia di universiti barat laut. Sebilangan besar dari mereka tidak pernah ditiru, dan lebih sedikit lagi yang direplikasi pada ukuran sampel yang mungkin menunjukkan bahawa hasil aslinya tidak lebih dari kebetulan statistik.

Penyelidik sudah mengetahui hal ini, tetapi hidup dengan buku peraturan yang sangat berbeza daripada anda atau saya. Mata pencarian mereka bergantung pada kelanjutan mereka melakukan penyelidikan yang baik dan dapat diterbitkan. Sekiranya mereka berhenti melakukan penyelidikan ini (atau tidak dapat diterbitkan dalam jurnal yang dikaji oleh rakan sebaya), mereka berisiko lebih besar kehilangan pekerjaan. Ia dikenali sebagai "terbitkan atau binasa" di akademik, dan merupakan motivasi yang sangat nyata untuk menerbitkan penyelidikan apa pun, walaupun anda tahu hasilnya kemungkinan tidak dapat ditiru. Lihat Nombor 3 di atas.

Akhirnya, saya melihat begitu banyak Nombor 7 dalam kajian penyelidikan yang saya kaji, ia sangat memalukan. Kaedah saintifik hanya berfungsi dengan baik dan boleh dipercayai semasa anda membuat hipotesis terlebih dahulu, jalankan subjek anda untuk mengumpulkan data anda, dan kemudian menganalisis data tersebut mengikut hipotesis yang anda mulakan. Sekiranya anda memutuskan untuk mula mengubah hipotesis agar sesuai dengan data, atau menjalankan ujian statistik yang belum anda harapkan, anda akan memperolehi penemuan anda. Anda memulakan ekspedisi memancing yang telah dilakukan oleh setiap penyelidik. Tetapi kerana semua orang melakukannya, itu adalah tingkah laku yang baik atau beretika untuk terlibat.

Masalahnya ialah penyelidikan memakan masa dan sering mahal. Sekiranya anda hanya menjalankan 100 subjek melalui percubaan dan tidak menemui apa-apa yang penting (mengikut hipotesis anda), bukan sahaja anda tidak akan dapat menerbitkan kajian itu, tetapi anda hanya membuang masa (atau bahkan bertahun-tahun) kehidupan profesional anda dan $ X dari anggaran penyelidikan anda yang selalu terhad.

Sekiranya anda tidak dapat melihat bagaimana ini dapat menghasilkan hasil penyelidikan yang kurang optimum, anda mungkin sedikit buta terhadap psikologi dan motivasi asas manusia. Kerana penyelidik bukan orang super - mereka mempunyai kesalahan, berat sebelah, dan motivasi yang sama seperti orang lain. Kaedah saintifik - jika dipatuhi dengan teliti - seharusnya menjelaskan hal itu. Masalahnya ialah, tidak ada yang benar-benar mengawasi penyelidik untuk memastikan mereka mengikutinya, dan tidak ada insentif yang melekat untuk melakukannya.

Saya akan berakhir dengan pemerhatian ini, sekali lagi dari PZ Myers,

Itu sahaja keributan ini benar-benar mengatakan [- kadang-kadang hipotesis terbukti salah, dan kadang-kadang jika sokongan untuk hipotesis dibina berdasarkan bukti yang lemah atau penafsiran yang sangat berasal dari satu set data yang kompleks, mungkin memerlukan masa yang lama untuk jawapan yang betul untuk muncul. Jadi? Ini bukan kegagalan sains, kecuali jika anda mengharapkan kepuasan segera terhadap segala sesuatu, atau pengesahan setiap idea yang dihargai.

Amin.

Pendapat Lain mengenai Lehrer's Essay

Sains tidak mati - PZ Myers

Untuk memuji kesalahan saintifik - George Musser

Adakah manusia bermasalah dengan kaedah saintifik? - Charlie Petit

Kebenaran yang kita akan ragu: Apakah "kesan penurunan" bermaksud semua sains "benar"? - John Horgan

Kesan Penurunan Misteri - Jonah Lehrer