Turk mekanikal ke Penyelamatan Penyelidikan Psikologi?

Salah satu masalah yang dihadapi dengan penyelidikan psikologi - sebenarnya, dengan semua penyelidikan perubatan - adalah mencari subjek yang cukup sesuai untuk dikaji. Subjek mesti diperoleh dengan cara yang mewakili populasi secara keseluruhan agar hasil penyelidikan dapat digeneralisasikan.

Yang merupakan masalah sebenarnya, kerana seperti yang saya nyatakan pada bulan Ogos 2010, ada ribuan kajian psikologi berdasarkan tidak lebih dari sekumpulan pelajar kolej dari satu kampus di sebuah universiti di AS. Sementara orang dewasa muda yang mengikuti kuliah mungkin memang membantu kami memahami beberapa aspek tingkah laku manusia, anda tidak boleh menganggap bahawa tingkah laku yang anda perhatikan dalam kajian tersebut juga berlaku untuk wanita dan lelaki berusia 60 tahun.

Masukkan perkhidmatan Turk Mekanikal Amazon.com untuk menyelamatkan. Bolehkah teknologi membantu menyelesaikan masalah mencari cukup banyak orang yang lebih mewakili populasi, dan melakukannya dengan cara yang menjimatkan?

Untuk memulakan, mungkin membantu memahami apa itu Mechanical Turk. Ini adalah pasaran dalam talian yang membolehkan penjual membeli tenaga kerja manusia dengan kos yang sangat murah untuk beberapa jenis tugas dalam talian. "Laman web ini mempunyai tenaga kerja yang besar dan beragam yang terdiri daripada lebih 100,000 pengguna dari lebih dari 100 negara yang menyelesaikan puluhan ribu tugas setiap hari," kata para penyelidik. Pekerja ini dibayar sedikit demi sedikit untuk setiap tugas, kadang-kadang serendah 1 sen. Tugasnya berbeza-beza dan dapat melakukan apa saja dari melayari laman web mencari kesalahan, hingga mengisi tinjauan.

Ah ya, mengisi tinjauan. Banyak penyelidikan psikologi berdasarkan kepada orang-orang mengisi tinjauan. Bukankah lebih baik sekiranya kita dapat membuat orang - orang yang bukan pelajar kolej - melakukan ini dengan harga kurang dari $ 10 setiap tinjauan ... Katakanlah, 10 sen?

Buhrmester et al. (2011) berusaha untuk mengetahui apakah orang-orang Turk Mekanik seperti itu akan mengisi tinjauan dengan cara yang sesuai dengan orang yang mungkin anda minta untuk melakukan sesuatu yang serupa secara langsung.

Pertama, para penyelidik meninjau demografi 3.006 peserta Mechanical Turk, dan membandingkannya dengan sampel Internet yang besar yang tidak diperoleh dari Mechanical Turk. Mereka mendapati peserta Mechanical Turk (MTurk) lebih berbeza daripada sampel Internet dan sampel populasi pelajar kolej standard.

Kemudian mereka memeriksa titik harga yang berbeza (2, 10 dan 50 sen) untuk mengisi satu set tinjauan yang memerlukan masa yang berbeza-beza (5, 10 dan 30 minit). Apa yang mereka dapati tidak boleh mengejutkan sesiapa sahaja yang menggunakan MTurk:

Analisis ini menunjukkan bahawa peserta dapat direkrut dengan cepat dan murah. Kadar penyertaan sensitif terhadap jumlah pampasan dan komitmen masa, tetapi penemuan kami menunjukkan bahawa adalah mungkin untuk mengumpulkan sampel berukuran layak melalui MTurk dengan harga dolar. Walaupun hanya menawarkan 2 sen untuk tugas 30 minit, kami mengumpulkan 25 peserta (dalam masa pengeposan sekitar 5 jam). Lebih-lebih lagi, dengan meningkatkan pampasan sedikit (mis., Menjadi 50 sen), kami dapat memperoleh jumlah peserta yang sama dalam waktu kurang dari 2 jam waktu pengeposan.

Apa kebaikan tenaga kerja murah, bagaimanapun, jika ia tidak berkualiti dan tidak memenuhi standard psikometrik yang diperlukan oleh penyelidik psikologi?

Para penyelidik mendapati bahawa walaupun pada tahap pampasan terendah 2 sen, tahap pembayaran nampaknya tidak mempengaruhi kualiti data. Penyelidik boleh membayar wang untuk tinjauan yang akan diselesaikan, dan data kualiti yang baik dapat dikembalikan.

Para penyelidik mengira skor kebolehpercayaan alpha rata-rata di semua peringkat pampasan untuk enam soal selidik keperibadian yang mereka tadbir dalam talian. Mereka mendapati bahawa skor MTurk alpha berada dalam jarak dua ratus dari titik alpha sampel tradisional. Mereka juga menguji skor kebolehpercayaan ujian-ujian semula, dan mendapati nilai r = 0.88 dengan kadar penyelesaian ujian semula 60 peratus. Ini semua adalah nombor yang sangat baik dan dibandingkan dengan kaedah tradisional.

Hasil kajian ini menunjukkan bahawa Mechanical Turk adalah alternatif yang boleh dipercayai untuk menggunakan populasi kolej untuk mendapatkan data tinjauan - dan mungkin juga merupakan alternatif yang lebih baik daripada tinjauan Internet tradisional. Hanya untuk wang, orang akan melengkapkan soal selidik yang panjang walaupun dalam usaha membantu orang lain dengan projek dan penyelidikan mereka. Walaupun lebih banyak kajian perlu dilakukan untuk mengesahkan penemuan ini, MTurk nampaknya menjadi pasar yang lebih banyak dipertimbangkan oleh para penyelidik psikologi ketika mereka menyiapkan kajian mereka yang seterusnya.

Rujukan

Buhrmester, M., Kwang, T., & Gosling, S.D. (2011). Turk Mekanikal Amazon: Sumber Data Murah, Berkualiti Tinggi, Baru? Perspektif Sains Psikologi, 6 (1), 3-5.

Artikel ini memaparkan pautan afiliasi ke Amazon.com, di mana komisen kecil dibayar kepada Psych Central jika buku dibeli. Terima kasih atas sokongan anda dari Psych Central!