Hubungan Antara Pengesahan Ganja & Kerosakan Kereta? Tidak masuk akal

Pada bulan Oktober, Highway Loss Data Institute dan Insurance Institute for Highway Safety mengeluarkan laporan yang diterbitkan sendiri yang menunjukkan bahawa terdapat hubungan korelasi yang kuat antara kadar kemalangan kenderaan dan pengesahan ganja di negeri-negeri. Ini akan menjadi berita yang mengerikan jika penemuan itu berdasarkan bukti saintifik yang kuat.

Malangnya bagi institusi ini, data penyelidikannya adalah tidak jelas. Oleh kerana organisasi ini menerbitkan laporan itu sendiri, daripada melalui proses tinjauan rakan sebaya secara saintifik, sukar untuk memandang serius penemuan mereka.

Sebelum kita mulai melihat data, pembaca harus memahami bahawa walaupun Highway Loss Data Institute (HLDI) dan Insurance Institute for Highway Safety (IIHS) adalah dua perbezaan sah organisasi, mereka mempunyai kepimpinan kanan yang sama, alamat fizikal yang sama, dan mungkin banyak lagi. Kedengarannya seperti ini adalah dua organisasi bebas dan tidak berkaitan yang menemui hasil yang sama ketika mereka mengumpulkan pemikiran kolektif mereka, tetapi itu tidak berlaku.

Saya juga harus memulakan artikel ini dengan peringatan ilmiah yang biasa - korelasi tidak sama dengan sebab. Sekiranya saya membuat kajian mengenai kesan orang membuka payung mereka di kawasan pusat bandar, saya akan menemui korelasi positif yang sangat kuat antara tindakan itu dan kehadiran hujan. Tetapi kita tahu bahawa membuka payung tidak menyebabkan hujan turun. Namun sains akan dengan mudah menunjukkan hubungan yang kuat antara keduanya - memimpin beberapa penyelidik yang sedih dan tidak sabar untuk menunjukkan bahawa pasti ada hubungan penyebab.

Mari Pilih Keadaan Kawalan Kami

Dalam kajian baru itu, seorang penyelidik melihat data kemalangan jalan raya untuk tiga negeri sasaran di mana ganja telah disahkan di luar penggunaan ubat (Monfort, 2018). Kemudian dia membandingkan kadar kemalangan negeri-negeri ini dengan lima keadaan kawalan (negeri yang umumnya bersempadan dengan negara-negara ganja yang disahkan). Sebagai contoh, Colorado dipadankan dengan tiga negeri: Nebraska, Utah, dan Wyoming.

Anda sudah melihat masalahnya, bukan? Colorado berkongsi sempadan dengan enam negeri, bukan hanya tiga: Arizona, New Mexico, dan Kansas juga. Kami melihat masalah yang serupa dengan keadaan kawalan lain yang dipilih juga. Negeri kawalan Oregon adalah Idaho (sebuah negara perbandingan yang tepat) dan Montana - sebuah negeri yang dikurung di darat yang tidak banyak persamaannya, dan tanpa sempadan.

Penyelidik membenarkan pilihan ini kerana organisasi saudara IIHS mengeluarkan laporan sebelumnya yang memilih negeri-negeri tersebut. Para penyelidik yang tidak disebutkan namanya memilih keadaan berdasarkan korelasi - kadang-kadang bukan yang sangat kuat - persamaan antara kadar data kemalangan mereka. Bukan demografi, geografi (jalan gunung berkelok-kelok berbanding medan rata), atau alasan lain.1 Boleh dibahaskan sama ada "corak kemalangan musiman sebelum 2014" adalah pemboleh ubah perbandingan ilmiah yang sah untuk memilih keadaan kawalan, ketika pemboleh ubah lain nampaknya jauh lebih sesuai.

Dalam e-mel susulan dengan jurucakap IIHS, dia mengatakan bahawa penyelidik ingin "menggunakan dua set data yang berbeza dan melihat apakah hasilnya serupa. Menggunakan keadaan kawalan yang berbeza tidak akan masuk akal. "

Seperti yang diketahui oleh pembaca lama, penyelidik dapat memanipulasi data, analisis, atau hipotesis mereka untuk menunjukkan hasil yang ingin mereka temui. Ini adalah salah satu sebab kebanyakan orang ragu-ragu terhadap penyelidikan. Terdapat begitu banyak kaedah yang dapat dilakukan oleh penyelidik untuk memanipulasi data - seringkali dengan alasan yang sangat sah dan baik - sehingga sukar untuk mengesan bias yang diperkenalkan.

Namun demikian, tidak demikian dengan kajian ini. Saya rasa biasnya, menurut pendapat saya, cukup jelas.

11 Analisis, Tetapi Hanya 3 Penting

Tanda kedua laporan penyelidikan ini adalah sangat tidak masuk akal adalah bahawa walaupun setumpuk kad ditumpuk dengan cara yang dipilih sendiri oleh penyelidik, dia masih tidak dapat memperoleh banyak makna dalam data untuk sebahagian besar analisis statistik yang dia jalankan. Lihatlah sendiri:

Lihat ketiga bintang itu? Itulah satu-satunya tiga analisis yang signifikan secara statistik. Perhatikan bagaimana hanya satu dari tanda bintang yang muncul dalam perbandingan keadaan ke negeri yang sebenarnya - antara Colorado dan Utah. Semua analisis negara-ke-negara lain menunjukkan tidak ada perbezaan yang signifikan antara keadaan kawalan dan keadaan undang-undang ganja.

Dalam tujuh analisis dari satu negeri ke negara lain, hanya satu yang menunjukkan yang signifikan. Itu adalah penemuan yang cukup ketara yang dikemukakan dalam laporan (dan tidak disebut sama sekali oleh IIHS). Dalam kalangan penyelidikan saya, kami menyebutnya "lemah".

Mari Kumpulkan Data!

Hanya ketika penyelidik mengumpulkan banyak keadaan kawalan bersama-sama dia mendapati dua korelasi yang lebih signifikan.

Pada amnya, saya faham bahawa penyelidik menahan diri dari mengumpulkan data dari sumber yang berbeza kecuali mereka dapat membenarkan keputusan untuk melakukannya, dan memastikan bahawa pemboleh ubah yang mendasari adalah homogen (atau serupa).

Anda tidak hanya perlu memastikan ini untuk sekumpulan negara, seperti dalam penyelidikan semasa. Tetapi penyelidik juga mengumpulkan data selama beberapa tahun.

Tidak jelas justifikasi apa yang digunakan penyelidik untuk memilih tahun-tahun yang dilakukannya (2012-2016), selain mengatakan bahawa itulah tahun-tahun data tersebut tersedia di semua negeri tersebut. Walau bagaimanapun, dalam carian sepintas lalu di setiap laman web kerajaan negeri ini, saya secara amnya mendapati data keretakan tersedia dengan pasti sejak tahun 2005.

Kami tahu bahawa data kemalangan tahunan tidak homogen - ia boleh berbeza-beza dari tahun ke tahun. Sebagai contoh, di semua negeri, kadar peratusan kemalangan meningkat pada tahun 2014, 2015, dan 2016 - tidak kira di negeri ini. Oleh itu, apa yang cuba dilakukan oleh penyelidik untuk mengukur sama ada kenaikan 7.84 peratus Idaho pada tahun 2015 berbeza daripada kenaikan 7.09 peratus Oregon yang mesra marjiuana. Atau sama ada kadar Colorado 2015 yang mesra ganja meningkat 4.37 peratus dari tahun 2014 dalam jumlah kemalangan jauh berbeza daripada kenaikan 9.96 peratus di Utah atau kenaikan 10.19 peratus di New Mexico.

Selanjutnya, negeri yang berlainan mendapat ukuran kolam yang berlainan untuk bulan-bulan yang diperiksa, bergantung pada kapan penjualan runcit ganja mereka berkuatkuasa. Itu bermakna untuk Oregon, penyelidik mengumpul 2012, 2013, 2014 dan hampir 2015 bersama-sama sebagai satu kumpulan data, dan 2016 + 2 bulan pada tahun 2015 sebagai kumpulan data kedua (46 bulan vs 14 bulan). Tetapi Colorado menghalalkan ganja pada Januari 2014, jadi hanya dua tahun data pra-pengesahan, dan tiga tahun data pasca pengesahan.

Dalam perbandingan saintifik yang adil dan tepat, semua set data harus mempunyai ukuran yang serupa dari segi jangka masa yang diperiksa sebelum dan selepas pemboleh ubah yang anda cuba ukur dalam analisis anda. Terutama apabila data tersebut, kita tahu, tidak homogen.

Jadi Apa yang ditunjukkan oleh data?

Penyelidik tidak memberikan butiran biasa yang perlu ditiru oleh karyanya. Oleh itu, kita harus meneliti data mentah dan melihat masalah yang lebih jelas.

Melihat Colorado, kita dapat membandingkan kadar kemalangannya dari masa ke masa dengan dua negeri lain. Sebelum tahun 2013, Colorado menikmati penurunan kadar kemalangan dari tahun ke tahun (semua data dari laman web masing-masing negeri). Kemudian pada tahun 2013, negara mengalami lonjakan 6.29 persen dalam kemalangan, yang berlanjutan pada tahun 2014 (6.79 persen) dan 2015 (4.37 persen). Pada tahun 2016, negeri ini hanya menyaksikan kenaikan 0.35 peratus.

Bandingkan nombor ini dengan salah satu keadaan kawalan, Utah, yang disertakan oleh penyelidik. Utah juga menyaksikan peningkatan kemalangan pada tahun 2013 (9.05 peratus), yang menurun pada tahun 2014 (-2.96 peratus). Kadar kemerosotan negeri itu meningkat lagi pada tahun 2015 dan 2016 (masing-masing 9.96 peratus dan 3.94 peratus).

Sekarang mari kita bandingkan nombor tersebut dengan salah satu keadaan kawalan yang tidak dipilih oleh penyelidik, New Mexico. Ia menyaksikan penurunan kadar kemalangan pada tahun 2013 (-4,78 peratus), tetapi kemudian kenaikan dua tahun pada tahun 2014 dan 2015 (masing-masing 3,64 persen dan 10,19 persen). Pada tahun 2016, New Mexico menyaksikan penurunan -0.53 peratus.

Saya percaya alasan Utah dipilih berbanding New Mexico adalah mudah. Kadar kemalangannya pada tahun 2014-2016 (tahun-tahun penting untuk perbandingan ganja di Colorado) menjadikan kadar nahasnya meningkat secara kumulatif hanya 10,94 persen. Sekiranya institusi menggunakan New Mexico sebagai gantinya, kadar kemalangannya untuk jangka masa yang sama adalah 13.3 peratus. Jika dibandingkan dengan kumulatif Colorado 11.51 peratus, anda dapat melihat Utah lebih rendah - tetapi New Mexico (juga negara jiran Colorado) adalah hampir 2 mata peratusan lebih tinggi.

Lemparkan semuanya ke dalam analisis yang menjelaskan "ciri negara" (yang merangkumi hanya kadar pengangguran dan cuaca), dan voila! Data yang nampaknya menunjukkan penjualan ganja mempengaruhi kadar kemalangan.

Apa Makna Ini Untuk Ganja?

Data, walaupun dari penyelidikan semasa, pada dasarnya tidak menunjukkan kepentingan statistik antara penjualan runcit ganja dan jumlah kemalangan kereta di sebuah negeri. Sekiranya ada korelasi sama sekali, ia sangat lemah, dan hanya dapat dijumpai apabila penyelidik menggunakan, pada pendapat saya, analisis yang dipersoalkan dalam kajian ini. Beberapa negeri yang berdekatan dengan Colorado - misalnya, New Mexico - tidak termasuk dalam analisis dan menunjukkan peningkatan kenaikan kadar kemalangan mereka dalam jangka masa yang sama daripada yang dilakukan Colorado.

Saya percaya laporan seperti ini tidak dapat dilihat baik pada IIHS dan HLDI. Organisasi-organisasi ini, yang didanai terutamanya oleh syarikat insurans, pada pendapat saya, menerbitkan penemuan menakutkan untuk memajukan objektif politik dan perniagaan. Mereka menganggap penemuan ini sebagai "penyelidikan," walaupun pada kenyataannya kadangkala hanya diterbitkan di laman web organisasi sendiri dan nampaknya tidak ditinjau oleh rakan sebaya, seperti yang dilakukan dalam penyelidikan saintifik tradisional. (“Penelitian terbaru kami mengenai legalisasi ganja rekreasi dan kemalangan yang dilaporkan oleh polis telah diserahkan untuk diterbitkan ke jurnal Analisis dan Pencegahan Kemalangan, "Kata jurucakap IIHS.)

Apa yang kita ada di sini adalah apa yang saya sebut sebagai "penyelidikan palsu" - penyelidikan yang menunjukkan untuk menunjukkan hubungan yang signifikan di mana dengan jelas hanya terdapat tanda tanya besar. Walaupun terdapat hubungan yang signifikan, penyelidikan ini tidak menyokong hubungan kausal. Kami menghubungi organisasi untuk memberi komen, dan pada dasarnya mereka hanya merujuk kami ke kajian untuk mendapatkan jawapan. Sebagai contoh, jurucakap IIHS menyatakan, “Data kerusakan dari negara ganja dalam studi IIHS tidak digabungkan, tetapi hasil individu dari setiap negara digabungkan dalam meta-analisis, yang merupakan metode penelitian yang diterima. Keputusan individu untuk Colorado dan Washington dalam analisis HLDI adalah signifikan secara statistik. "

Ketika saya menunjukkan bahawa kajian semasa hanya menunjukkan kepentingan untuk satu negeri - Colorado (dan kemudian hanya dibandingkan dengan satu negeri lain, Utah) - jurucakap itu menunjukkan saya kepada kajian sebelumnya. Rupanya tidak menyedari bahawa jika lebih baru penyelidikan bertentangan dengan penyelidikan terdahulu, anda tidak boleh terus menunjukkan bahawa penyelidikan terdahulu masih sah. Apa yang ditunjukkan oleh kajian baru dari IIHS adalah bahawa tidak ada lagi hubungan yang signifikan antara ganja dan nahas di Washington - kebalikan dari apa yang dituntut oleh jurucakap.

IIHS adalah organisasi yang berusaha mendidik dan memberi maklumat kepada pembuat dasar mengenai keselamatan pengendara kenderaan. Malangnya, kebanyakan ahli politik dan warganegara tidak akan memahami atau menyedari bahawa mereka telah tertipu, dan sebaliknya percaya bahawa kajian semacam ini sebenarnya ilmiah.

Ringkasnya, tidak ada data kuat yang mengaitkan penjualan runcit ganja dengan peningkatan kemalangan kenderaan. Data yang kami miliki hanya menunjukkan korelasi yang sangat terhad dan lemah - bukan sebab - melalui penipuan statistik.

Mulai sekarang, saya akan lebih ragu-ragu dengan apa sahaja yang dihebahkan oleh IIHS atau HLDI.

Nota kaki:

1. Secara khusus, "Keadaan kawalan dipilih berdasarkan jarak dengan keadaan kajian dan juga kesamaan corak kemalangan musiman sebelum 2014. Kesamaan ini didasarkan pada korelasi antara frekuensi bulanan dalam keadaan kajian dan setiap keadaan kawalan yang berpotensi selama 24 bulan 2012–13. Pekali korelasi Pearson untuk Colorado dan Nebraska adalah 0.85; untuk Wyoming, 0.79; dan untuk Utah, 0.60. Untuk Washington, negeri Montana (0,67) dan Idaho (0,63) dipilih sebagai kawalan. Untuk Oregon, negara-negara Idaho (0,67) dan Montana (0,83) digunakan. " [↩]