Penyelidikan Apa yang Boleh Anda Percayai?
Sesiapa yang membaca Dunia Psikologi selalu mengetahui tentang masalah dalam banyak kajian yang dibiayai oleh industri. Tetapi artikel ini menunjukkan bahawa masalah dengan kajian yang ditinjau oleh rakan sebaya jauh lebih mendalam daripada bias keuntungan sederhana. Para saintis bersikap berat sebelah dalam banyak hal (bukan hanya untuk keuntungan wang). Dan bias ini pasti muncul dalam karya yang mereka lakukan - penyelidikan saintifik.
Ini bukan gendang baru untuk saya - Saya telah membincangkan mengenai penyelewengan penyelidik pada tahun 2007 dan bagaimana penyelidik merancang kajian untuk mendapatkan hasil yang spesifik (contoh ini melibatkan penyelidik yang menemui laman web kaedah bunuh diri ketika mencari - tunggu - "kaedah bunuh diri" ”Di Google). Kami telah memperhatikan bagaimana hampir setiap kajian dalam jurnal seperti Sains Psikologi bergantung sepenuhnya kepada pelajar kolej yang dikumpulkan dari kampus tunggal sebagai subjek - batasan ketara yang jarang disebut dalam kajian itu sendiri.
Namun, inilah aspek yang benar-benar merisaukan - jenis kajian berat sebelah ini muncul dalam pelbagai jenis jurnal. JAMA, NEJM dan BMJ tidak kebal daripada menerbitkan kajian buruk dalam bidang perubatan dan psikologi. Kami menganggap "kehormatan" jurnal sebagai semacam tanda peranan penjaga pintu - bahawa kajian yang muncul di jurnal paling berprestij mesti asasnya baik.
Tetapi itu tidak benar. Maharaja tidak hanya telanjang - rakyatnya menyembunyikan pakaiannya untuk memajukan karier mereka sendiri.
Isu kajian berat sebelah yang diterbitkan pertama kali menjadi perhatian pada tahun 2004, ketika GlaxoSmithKline disaman oleh jeneral peguam negara kerana menyembunyikan data penyelidikan mengenai Paxil. Sejak masa itu, puluhan kajian telah terungkap dan kajian lain sejak itu diterbitkan yang menunjukkan bagaimana syarikat farmasi nampaknya selalu menyembunyikan data penyelidikan yang relevan. Data ini biasanya menunjukkan bahawa ubat yang dikaji tidak efektif, jika dibandingkan dengan pil gula, dalam mengobati gangguan apa pun yang dimaksudkan. (Blog seperti Psikologi Klinikal dan Psikiatri: Pandangan Lebih Dekat dan Blog Carlat Psychiatry mempunyai lebih banyak perincian mengenai kajian ini.)
Tetapi bagaimana dengan jenis berat sebelah yang lain? Adakah kita hanya berminat untuk membuat kajian di mana biasnya begitu jelas, atau tidakkah kita perlu mengambil berat tentang jenis bias yang boleh mempengaruhi kebolehpercayaan hasilnya?
Jawapannya, tentu saja, kita harus berminat dengan semua bentuk berat sebelah. Apa-apa yang boleh mempengaruhi hasil akhir kajian bermaksud kesimpulan kajian mungkin dipersoalkan.
John Ioannidis, seorang profesor di Universiti Ioannina, menjadi tertarik dengan persoalan ini dalam penyelidikan perubatan. Oleh itu, dia mengumpulkan satu pasukan pakar penyelidik dan ahli statistik untuk menggali lebih mendalam dan melihat seberapa buruk masalahnya. Apa yang dijumpainya tidak mengejutkan penyelidik, tetapi akan mengejutkan kebanyakan orang awam -
Bingung, dia mula mencari cara-cara tertentu di mana kajian menjadi salah. Dan tidak lama kemudian, dia mendapati bahawa ralat kesalahan yang dilakukan sangat mengejutkan: dari pertanyaan apa yang ditanyakan oleh para penyelidik, hingga bagaimana mereka membuat kajian, ke mana pasien yang mereka rekrut untuk studi tersebut, ke mana ukuran yang mereka ambil, hingga bagaimana mereka menganalisis data , bagaimana mereka membentangkan hasilnya, bagaimana kajian tertentu dapat diterbitkan dalam jurnal perubatan. […]
"Kajian itu berat sebelah," katanya. “Kadang-kadang mereka bersikap berat sebelah. Kadang-kadang sukar untuk melihat bias, tetapi ada di sana. " Para penyelidik meneruskan kajian mereka menginginkan hasil tertentu - dan, lihatlah, mereka memperolehnya. Kami menganggap proses saintifik sebagai objektif, ketat, dan bahkan kejam dalam memisahkan apa yang benar dari apa yang kita mahukan menjadi kenyataan, tetapi sebenarnya mudah untuk memanipulasi hasilnya, walaupun secara tidak sengaja atau tidak sedar.
"Pada setiap langkah dalam proses, ada ruang untuk memutarbalikkan hasil, cara untuk membuat tuntutan yang lebih kuat atau untuk memilih apa yang akan disimpulkan," kata Ioannidis. "Terdapat konflik kepentingan intelektual yang menekan para penyelidik untuk mencari apa saja yang paling mungkin membuat mereka dibiayai."
Ioannadis mengumpulkan model matematik yang rumit yang akan meramalkan seberapa banyak penyelidikan yang mungkin cacat, berdasarkan semua pemboleh ubah ini. Modelnya meramalkan bahawa "80 peratus kajian bukan secara rawak (sejauh ini jenis yang paling umum [- terutama dalam penyelidikan psikologi]) [akan] menjadi salah, begitu juga dengan 25 peratus percubaan rawak standard emas, dan sebagai sebanyak 10 peratus daripada ujian rawak besar standard platinum. "
Kemudian dia menguji model itu pada 49 kajian yang membuat penemuan penyelidikan yang paling terkenal dalam penyelidikan perubatan dalam 13 tahun terakhir. Ini adalah dalam jurnal perubatan yang paling banyak dikutip, dan merupakan artikel yang paling banyak dikutip.
Dari 49 artikel, 45 mengaku telah menemui intervensi yang berkesan. Tiga puluh empat tuntutan ini telah diuji ulang, dan 14 daripadanya, atau 41 persen, terbukti secara meyakinkan sebagai salah atau dibesar-besarkan secara signifikan. Sekiranya antara sepertiga setengah dari penyelidikan yang paling terkenal dalam bidang perubatan terbukti tidak dapat dipercaya, ruang lingkup dan kesan masalahnya tidak dapat disangkal. […]
Daripada 45 kajian yang dikutip oleh Ioannidis, 11 tidak pernah diuji semula. Mungkin lebih buruk lagi, Ioannidis mendapati bahawa walaupun kesalahan penyelidikan diatasi, ia tetap berlanjutan selama bertahun-tahun atau bahkan beberapa dekad. Dia melihat tiga kajian kesihatan yang terkenal dari tahun 1980-an dan 1990-an yang masing-masing kemudian dibantah, dan mendapati bahawa para penyelidik terus menyebut hasil asalnya lebih tepat daripada yang salah — dalam satu kes sekurang-kurangnya 12 tahun setelah hasilnya didiskreditkan .
Sebilangan besar saintis menguji semula hasil yang diterbitkan oleh orang lain - satu-satunya kaedah pasti untuk memerangi bias. Bagaimana hampir 25 peratus kajian perubatan yang paling banyak disebut dalam 13 tahun terakhir tidak pernah diuji semula? Mengejutkan.
Hasilnya bagi kebanyakan kita adalah bahawa hampir mustahil bagi siapa pun untuk mengetahui apakah kajian yang diberikan benar-benar menunjukkan hasil yang positif, baru dan kukuh. Tanpa membuat analisis terperinci kajian - dan semua pendahulu kajian - meletakkan penyelidikan baru ke dalam konteks adalah tugas yang panjang dan sukar. Tambahan pula, model Ioannidis menunjukkan bahawa sebahagian besar penyelidikan psikologi - mungkin sebanyak 80 peratus - mungkin salah. Tidak ada lapisan perak di sini.
Kecuali mungkin pasukan penyelidik seperti Ioannidis sedang bekerja, berusaha untuk menunjukkan bagaimana bias dapat menyusup bahkan penyelidikan "standard emas".
Perubahan di sini banyak bergantung kepada penyelidik individu yang belajar mengenai bias ini dan bekerja lebih keras untuk memastikan kajian mereka tidak ada. Tetapi tanpa penjaga gerbang benar-benar memeriksa reka bentuk atau kaedah statistik kajian, ada sedikit insentif untuk berubah. Insentif kewangan dan kerjaya bagi penyelidik untuk terus menerbitkan seperti yang mereka miliki secara tradisional untuk mengekalkan kedudukan akademik dan profesional mereka tetap kukuh.
Artikel penuh sepadan dengan masa anda: Pembohongan, Pembohongan Terkutuk, dan Sains Perubatan
Walaupun tidak ideal, berikut adalah buku asas kami dari beberapa tahun yang lalu mengenai cara mencari penyelidikan yang boleh dipersoalkan - Adakah Penyelidikan itu Bagus?
