Ilmu Buruk: Penyelidikan iPad MyType

Saya tidak suka memberi akhbar kepada "firma penyelidikan" yang tidak mengetahui perkara pertama mengenai pelaporan statistik atau metodologi asas dalam laporan "penyelidikan" mereka sendiri. Saya rasa itulah yang berlaku apabila anda mengumpulkan sekumpulan orang yang kebanyakannya adalah ahli teknologi, bukan ahli statistik atau saintis sosial.

Minggu lalu, MyType, aplikasi keperibadian Facebook yang mengambil data anda dan kemudian menjual laporan agregat berdasarkan jawapan anda terhadap kuis mereka, mengeluarkan laporan mengenai iPad. Mereka mencadangkan bahawa pemilik iPad dan mereka yang ingin membelinya adalah "elit egois" sementara mereka yang pengkritik iPad disifatkan sebagai "geeks bebas."

Anda sudah dapat mengetahui bahawa ini sebenarnya tidak akan menjadi analisis saintifik, bukan?

Yang pertama adalah MyType melaporkan hasilnya. Apa yang tidak termasuk dalam laporan sebenarnya adalah ujian statistik sebenar yang digunakan, kepentingan statistik (nilai p), dan bilangan subjek dalam setiap kumpulan yang dikaji. Anda tahu, jenis data asas yang dicari oleh penyelidik lain untuk menilai hasil yang dikemukakan. Tanpa maklumat asas itu, "penyelidikan" semacam ini tidak lebih baik daripada kertas sarjana untuk kelas Psikologi 101 mereka.

Seseorang dengan nama John Hall memanggil mereka di bahagian komen mereka, pada ketika itu mereka mula memberikan pernyataan yang luas mengenai nilai p (tetapi sekali lagi, tidak ada spesifik, memecahkan setiap analisis, itulah yang anda harapkan di pasaran atau saintifik penyelidikan). Dr. F cuba mendidik orang-orang MyType mengenai teori statistik asas, kerana mereka nampaknya tidak tahu banyak tentang bagaimana merancang kajian penyelidikan yang baik.

Yang jelas dari bahagian komen ialah seseorang mengedit komen untuk membuang perkara yang kemudian mereka sesali. John Hall memetik kata Tim Koelkebeck yang mengatakan bahawa kerana dia memiliki ijazah sains komputer (rupanya sarjana muda), yang entah bagaimana memenuhi syaratnya dalam reka bentuk dan metodologi penyelidikan serta statistik. Aneh.

Tetapi pemberian terbesar bahawa ini bukan kajian penyelidikan yang serius adalah kata sifat yang dipilih untuk menggambarkan dua kumpulan orang tersebut. Mereka mengambil beberapa sifat keperibadian sewenang-wenang untuk menggambarkan setiap kumpulan. Mereka dapat dengan mudah mengatakan bahawa pemilik bukan iPad adalah neurotik, tidak aman, sombong dan ceroboh. Adakah itu ciri sah pemilik bukan iPad? Tentu tidak, hanya itu yang ditunjukkan oleh kumpulan data kecil dan berat sebelah mereka. Memandangkan itu tidak lulus ujian bau, itu akan membuat kebanyakan penyelidik berhenti untuk bertanya-tanya apakah mereka berada di jalan yang salah.

Dengan menggunakan data mereka sendiri, mereka mungkin menggambarkan pengkritik iPad sebagai tidak toleran, tidak menyukai amal dan persahabatan, remaja yang agresif dan sinis. Wow, tidak ada kejutan di sana - anda harus mengusik sama ada jantina atau usia tidak menentu hasil ini (dan menawarkan penjelasan alternatif untuk sifat yang diperhatikan). “Penyelidik” juga boleh menggambarkan pemilik iPad sebagai orang dewasa yang berorientasikan keluarga, pintar, berprestasi tinggi yang berkhayal dan canggih.

Tetapi mereka tidak. Mereka cuba meringkaskan sejumlah sifat yang berbeza menjadi frasa pemasaran yang menarik untuk dijadikan tajuk berita - frasa yang tidak begitu tepat, atau tidak sah secara ilmiah. Itu tidak menghentikan berpuluh-puluh kedai berita arus perdana yang sah seperti CNET, ZDNet, dan bahkan Wired daripada melaporkan hasilnya tanpa menimbulkan pandangan mengenai kekurangan atau kaedah saintifik.