Penularan Emosi di Facebook? Lebih Banyak Seperti Kaedah Penyelidikan Buruk

Satu kajian (Kramer et al., 2014) baru-baru ini diterbitkan yang menunjukkan sesuatu menghairankan - orang mengubah emosi dan mood mereka berdasarkan kehadiran atau ketiadaan mood positif (dan negatif) orang lain, seperti yang dinyatakan dalam kemas kini status Facebook. Para penyelidik menyebut kesan ini sebagai "penularan emosi," kerana mereka menyatakan bahawa kata-kata rakan kita di suapan berita Facebook kita secara langsung mempengaruhi mood kita sendiri.

Jangan lupa bahawa para penyelidik tidak pernah benar-benar mengukur mood seseorang.

Dan jangan ingat bahawa kajian ini mempunyai kelemahan yang fatal. Satu kajian yang juga diabaikan - menjadikan semua penemuan penyelidik ini agak curiga.

Mengetepikan bahasa yang tidak masuk akal yang digunakan dalam kajian semacam ini (sungguh, emosi menyebar seperti "penularan"?), Jenis kajian ini sering sampai pada penemuan mereka dengan melakukan analisis bahasa pada teks kecil. Di Twitter, mereka sangat kecil - kurang daripada 140 watak. Kemas kini status Facebook jarang lebih daripada beberapa ayat. Penyelidik sebenarnya tidak mengukur mood seseorang.

Oleh itu, bagaimana anda melakukan analisis bahasa seperti itu, terutama pada 689,003 kemas kini status? Banyak penyelidik menggunakan alat automatik untuk ini, sesuatu yang disebut aplikasi Linguistic Inquiry dan Word Count (LIWC 2007). Aplikasi perisian ini digambarkan oleh pengarangnya sebagai:

Aplikasi LIWC pertama dikembangkan sebagai sebahagian daripada kajian eksplorasi bahasa dan pendedahan (Francis, 1993; Pennebaker, 1993). Seperti yang dijelaskan di bawah, versi kedua, LIWC2007, adalah semakan terkini dari aplikasi asal.

Perhatikan tarikh-tarikh tersebut. Jauh sebelum jaringan sosial ditubuhkan, LIWC dibuat untuk menganalisis sejumlah besar teks - seperti buku, artikel, makalah ilmiah, esei yang ditulis dalam keadaan eksperimen, entri blog, atau transkrip sesi terapi. Perhatikan satu perkara yang sama - semuanya panjang lebar, sekurang-kurangnya 400 patah perkataan.

Mengapa penyelidik menggunakan alat yang tidak dirancang untuk potongan teks pendek, juga ... menganalisis coretan teks pendek? Sayangnya, ini kerana salah satu daripada beberapa alat yang tersedia yang dapat memproses sejumlah besar teks dengan cepat.

Siapa yang Mengira Berapa Lama Teks Diukur?

Anda mungkin duduk di sana menggaru-garu kepala, bertanya-tanya mengapa pentingnya berapa lama teks yang anda cuba analisis dengan alat ini. Satu ayat, 140 aksara, 140 halaman ... Mengapa panjangnya penting?

Panjangnya penting kerana alat ini sebenarnya tidak begitu bagus dalam menganalisis teks dengan cara yang ditugaskan oleh penyelidik Twitter dan Facebook. Apabila anda memintanya untuk menganalisis sentimen positif atau negatif teks, ia hanya menghitung kata-kata negatif dan positif dalam teks yang dikaji. Untuk artikel, karangan atau entri blog, ini baik-baik saja - ini akan memberi anda analisis ringkasan keseluruhan artikel yang cukup tepat kerana kebanyakan artikel panjangnya melebihi 400 atau 500 patah perkataan.

Untuk tweet atau kemas kini status, ini adalah alat analisis yang mengerikan untuk digunakan. Itu kerana ia tidak dirancang untuk membezakan - dan sebenarnya, tidak boleh membezakan - kata penolakan dalam ayat.1

Mari kita lihat dua contoh hipotesis mengapa ini penting. Berikut adalah dua contoh tweet (atau kemas kini status) yang tidak biasa:

"Saya tidak gembira."

"Saya tidak mengalami hari yang hebat."

Penilai atau hakim bebas akan menilai kedua-dua tweet ini sebagai negatif - mereka dengan jelas menyatakan emosi negatif. Itu akan menjadi +2 pada skala negatif, dan 0 pada skala positif.

Tetapi alat LIWC 2007 tidak melihatnya seperti itu. Sebaliknya, ia menilai dua tweet ini sebagai skor +2 untuk positif (kerana kata-kata "hebat" dan "gembira") dan +2 untuk negatif (kerana kata "tidak" dalam kedua teks).

Itu adalah perbezaan besar jika anda berminat untuk pengumpulan dan analisis data yang tidak berat sebelah dan tepat.

Dan kerana banyak komunikasi manusia merangkumi kehalusan seperti ini - bahkan tanpa memikirkan sarkasme, singkatan tangan pendek yang bertindak sebagai kata penolakan, frasa yang menolak kalimat sebelumnya, emoji, dll. - anda bahkan tidak dapat mengetahui seberapa tepat atau tidak tepat. analisis yang dihasilkan oleh penyelidik ini adalah. Oleh kerana LIWC 2007 mengabaikan kenyataan halus komunikasi manusia tidak formal ini, begitu juga para penyelidik.2

Mungkin kerana para penyelidik tidak tahu seberapa teruk masalahnya. Kerana mereka hanya mengirim semua "data besar" ini ke dalam mesin analisis bahasa, tanpa benar-benar memahami bagaimana mesin analisis itu cacat. Adakah 10 peratus daripada semua tweet yang menyertakan kata penolakan? Atau 50 peratus? Penyelidik tidak dapat memberitahu anda.3

Walaupun Benar, Penyelidikan Menunjukkan Kesan Dunia Nyata yang Kecil

Itulah sebabnya saya harus mengatakan bahawa walaupun anda percaya bahawa penyelidikan ini bernilai nominal walaupun terdapat masalah metodologi yang besar ini, anda masih tinggal dengan penyelidikan yang menunjukkan korelasi kecil yang tidak mempunyai makna bagi pengguna biasa.

Contohnya, Kramer et al. (2014) menemui 0.07% - itu bukan 7 peratus, itu 1/15 dari satu peratus !! - penurunan kata-kata negatif dalam kemas kini status orang apabila jumlah catatan negatif pada suapan berita Facebook mereka menurun. Adakah anda tahu berapa banyak perkataan yang perlu anda baca atau tulis sebelum anda menulis satu perkataan yang kurang negatif kerana kesan ini? Mungkin beribu-ribu.

Ini bukan "kesan" begitu juga dengan statistik yang tidak mempunyai makna dunia nyata. Para penyelidik sendiri mengakui sebanyak itu, dengan memperhatikan bahawa ukuran kesannya “kecil (sekecil d = 0.001). " Mereka terus menunjukkan bahawa perkara itu tetap penting kerana "kesan kecil boleh membawa akibat yang besar" memetik kajian Facebook mengenai motivasi pengundian politik oleh salah seorang penyelidik yang sama, dan argumen berusia 22 tahun dari jurnal psikologi.

Tetapi mereka bertentangan dalam kalimat sebelumnya, menunjukkan bahawa emosi "sukar dipengaruhi memandangkan berbagai pengalaman harian yang mempengaruhi mood." Yang mana satu? Adakah kemas kini status Facebook sangat mempengaruhi emosi individu, atau adakah emosi tidak begitu mudah dipengaruhi dengan hanya membaca kemas kini status orang lain ??

Walaupun semua masalah dan batasan ini, tidak ada yang menghentikan para penyelidik pada akhirnya untuk menyatakan, "Hasil ini menunjukkan bahawa emosi yang dinyatakan oleh orang lain di Facebook mempengaruhi emosi kita sendiri, yang merupakan bukti eksperimen untuk penularan skala besar melalui rangkaian sosial." 5 Sekali lagi, tidak peduli bahawa mereka sebenarnya tidak mengukur emosi atau keadaan mood seseorang, tetapi sebaliknya bergantung pada ukuran penilaian yang salah untuk melakukannya.

Apa yang jelas ditunjukkan oleh penyelidik Facebook, pada pendapat saya, adalah bahawa mereka terlalu percaya pada alat yang mereka gunakan tanpa memahami - dan membincangkan - batasan ketara alat tersebut.6

Rujukan

Kramer, ADI, Guillory, JE, Hancock, JT. (2014). Bukti eksperimen penularan emosi berskala besar melalui rangkaian sosial. PNAS. www.pnas.org/cgi/doi/10.1073/pnas.1320040111

Nota kaki:

1. Ini menurut pertanyaan kepada pengembang LIWC yang menjawab, "LIWC saat ini tidak melihat apakah ada istilah negasi di dekat kata istilah emosi positif atau negatif dalam pemarkahannya dan akan sukar untuk menghasilkan algoritma yang berkesan untuk ini pula. " [↩]
2. Saya tidak dapat melihat batasan penggunaan LIWC sebagai alat analisis bahasa untuk tujuan yang tidak pernah dirancang atau dimaksudkan dalam kajian ini, atau kajian lain yang telah saya kaji. [↩]
3. Mereka boleh memberitahu anda jika mereka benar-benar meluangkan masa untuk mengesahkan kaedah mereka dengan kajian rintis untuk membandingkan dengan mengukur mood sebenar orang. Tetapi penyelidik ini gagal melakukan ini. [↩]
4. Terdapat beberapa masalah serius dengan kajian pemungutan suara Facebook, yang paling sedikit adalah mengaitkan perubahan tingkah laku mengundi kepada satu pemboleh ubah korelasi, dengan senarai andaian panjang yang dibuat oleh penyelidik (dan yang anda mesti setuju). [↩]
5. Permintaan untuk penjelasan dan komen oleh pengarang tidak dikembalikan. [↩]
6. Ini bukan penggalian di LIWC 2007, yang boleh menjadi alat penyelidikan yang sangat baik - apabila digunakan untuk tujuan yang tepat dan di tangan kanan. [↩]