Mengetengahkan Sains: TweetPsych

Perkhidmatan baru yang dilancarkan minggu ini oleh pembangun web bernama Dan Zarrella yang dipanggil TweetPsych. Zarrella juga merupakan pengurus pemasaran untuk HubSpot, sebuah firma pemasaran dalam talian. Zarrella menggelarkan dirinya sebagai "saintis", kerana saya rasa kedengarannya lebih seksi daripada "pembangun web" atau "pengurus pemasaran", tetapi dia tidak menyenaraikan sebarang bukti akademik. (Saya tidak akan menyebut bahagian saintis atau tauliah kecuali Zarrella membuat tuntutan saintifik khusus mengenai perkhidmatan barunya.)

Perkhidmatan baru yang menarik dipasarkan sebagai menawarkan "profil psikologi" berdasarkan apa yang anda hantar ke Twitter. Tetapi ia sebenarnya hanya perkhidmatan analisis kandungan, menggunakan dua kamus psikologi dan 1,000 tweet anda yang lalu. Zarrella mendakwa analisis ini "membina profil psikologi seseorang." Profil psikologi sebenarnya adalah sains, dan biasanya dilakukan dengan lebih dari sekadar satu bahagian kehidupan seseorang (seperti apa yang mereka tulis di perkhidmatan blog mikro). TweetPsych kemudian membuat tuntutan bertentangan bahawa ia adalah untuk "tujuan hiburan sahaja". Yang mana satu?

Terdapat masalah dengan salah satu kamus yang digunakan Zarrella dalam analisis juga. Satu kamus - LIWC - adalah pangkalan data linguistik psikologi yang sah. Tetapi yang lain, English Regressive Imagery Dictionary (RID), jauh lebih kurang. RID terdiri daripada kira-kira 3,200 kata dan akar yang ditugaskan untuk 43 kategori pemikiran dan mood. Masalah utama RID adalah pada dasarnya tidak mempunyai sokongan penyelidikan (walaupun Zarrella memetik laman web yang membuatnya seolah-olah seperti itu). Ia dikembangkan oleh seorang profesional, yang kemudian menulis banyak buku mengenainya dan proses psikoanalitik lain. Sebuah buku tidak sama dengan artikel jurnal penyelidikan yang dikaji oleh rakan sebaya (seperti yang diketahui oleh penyelidik), dan RID sama sekali tidak mempunyai sokongan empirik. Ini menunjukkan bahawa separuh analisis tidak sah bahkan sebelum kita memulakannya.

Kamus kedua, Linguistic Inquiry and Word Count (LIWC), didasarkan terutamanya pada perkataan bertulis - tulisan orang - atau kata yang diucapkan - seperti sesi terapi atau perbualan antara dua orang. Itu tidak dikembangkan untuk menganalisis entri 140 watak pendek secara artifisial, seperti yang terdapat di Twitter. Orang-orang menyingkat kata-kata ketika tweet, kerana had watak, dan tidak jelas bahawa batang sederhana akan menganalisis secara tepat semua perkataan yang ditulis dengan singkatan tidak standard yang sedang terbang. Bagaimana pula dengan tweet semula? Seseorang yang meng-retweet sesuatu tidak semestinya "bercakap", melainkan bertindak sebagai buah mulut untuk kata-kata orang lain. Adakah perkhidmatan membezakan? Tanpa mengetahui sejauh mana masalahnya, anda tidak akan tahu sama ada analisis anda berat sebelah secara artifisial (melainkan jika anda terlebih dahulu mengkaji masalah seperti ini terlebih dahulu). Masalah ini dapat diatasi, tetapi belum ditangani dalam perkhidmatan ini.

Keupayaan Zarrella untuk menganalisis 1,000 tweet dengan cepat dan membandingkan semua teks yang terdapat di dalamnya dengan kedua kamus ini dalam beberapa saat adalah prestasi pemrograman linguistik yang luar biasa. Tantangan yang dihadapi adalah, "Bagaimana saya menyampaikan hasil analisis dengan cara yang bijaksana, intuitif dan dapat ditindaklanjuti?" Ini adalah bahagian di mana TweetPsych hanya gagal menyampaikannya.

Oleh kerana Zarrella nampaknya tidak mempunyai latar belakang psikologi, hasil psikologi agak tidak memuaskan. Anda menerima senarai "ciri" (keperibadian anda? Tweet anda?) Yang merangkumi perkara seperti "Pekerjaan dan Pekerjaan." Di sebelahnya terdapat keterangan berguna, "Anda banyak bercakap mengenai pekerjaan dan pekerjaan anda" dan skor.

Wah, terima kasih atas pandangan yang luar biasa.

Anda tidak tahu apa maksud skor itu, kerana tidak ada konteks untuknya. Adakah 47.87 untuk kerja baik atau buruk? Berapa purata? Ciri-ciri lain termasuk "Present Tense", "Upward Motion", "Positive Emotions", "Negative Emotions" dan tiga lusin kategori lain.

Bahagian analisis ini, berdasarkan LIWC, juga sama baiknya dengan kamus asas LIWC. Walaupun kategori seperti kerja, pencapaian dan masa lapang semuanya adalah "keprihatinan semasa" yang dapat dikenal pasti oleh LIWC, kategori tersebut tidak mempunyai kategori seperti "masalah hubungan." Tetapi anda tidak akan mengetahuinya melainkan anda mengetahui LIWC. Mungkin sesuatu yang anda sebutkan kepada orang yang mengambil analisis. Kandungan topikal popular lain yang di tweet secara berkala - seperti politik, teknologi dan selebriti - juga bukan sebahagian daripada LIWC. Oleh itu, mereka tidak akan pernah muncul dalam analisis, walaupun hanya itu yang anda bicarakan. Jadi maklumat yang dapat diberikan oleh LIWC - dan secara meluas, TweetPsych - adalah terhad. (Penggunaan kamus yang disesuaikan menyelesaikan beberapa masalah ini, tetapi bukan kamus yang ditawarkan oleh TweetPsych.)

"Kandungan Primordial, Konseptual dan Emosi" dari RID hadir sama sekali tanpa penerangan, dan sekali lagi, tidak ada yang dapat meletakkan skor anda ke dalam jenis konteks atau pemahaman apa pun. Tetapi kerana ini bukan kamus ilmiah, anda boleh mengabaikan skornya. Mereka boleh dikembangkan secara rawak dan memberikan banyak maklumat berguna.

Bahagian terakhir dari analisis semasa adalah "Orang lain seperti anda", komponen biasa dalam mana-mana perkhidmatan rangkaian sosial. Anehnya, komponen ini hilang dari versi pertama alat ini. Berdasarkan hanya pada apa yang anda tweet, ia menyatakan "Beberapa orang yang berfikir seperti anda" dan kemudian memberikan anda senarai orang lain yang telah pergi ke TweetPsych dan memasukkan nama pengguna mereka untuk dianalisis.

Sudah tentu tidak orang yang berfikir seperti anda - orang yang tweet menyukai anda. Ini adalah perbezaan penting. Perkhidmatan yang menganalisis sebahagian kecil dari apa yang anda tulis setiap hari, dan berdasarkan analisis yang mungkin cacat oleh penggunaan singkatan yang meluas oleh penggunanya, pastinya tidak boleh mengaku menganalisis apa yang anda berfikir.

Sejauh mana dipercayai TweetPsych? Nah, hari ini semasa saya menulis artikel ini, saya perhatikan bahawa semua skor Dan Zarrella sendiri berubah kerana satu tweet (dia hanya tweet sekali hari ini). Skor "pekerjaan dan pekerjaannya" turun 20%, dan skor "ketegangan sekarang" meningkat 16%. Skor pemikiran abstraknya turun 16%. Bagaimana semua ini boleh berlaku hanya dengan satu tweet? Satu tweet - berbanding 999 tweetnya yang lain - tidak boleh mempengaruhi skor seseorang. Melainkan perkara lain sedang berlaku.(Bandingkan tangkapan skrin di bawah, diambil pada 2:55 pm ET, dengan gambar di atas, diambil pada jam 9:00 pagi ET hari ini.)

Hasil saya sendiri dalam menganalisis 1,000 tweet Zarrella yang lalu dalam program LIWC2007 menunjukkan sesuatu yang sangat berbeza. Saya tidak tahu metodologi Zarrella (sejak dia tidak membagikannya), tetapi saya mengambil teks dari 1,000 tweetnya yang lalu dan memprosesnya dalam dua bentuk melalui LIWC - berpunca dan "apa adanya." Tidak ada yang menghasilkan skor hampir dengan apa yang muncul di TweetPsych. Ini mungkin disebabkan oleh penggunaan kamus versi yang lebih lama, atau semacam pemboleh ubah transformasi yang dia tambahkan ke TweetPsych yang tidak didedahkannya. Anda boleh melihat hasil analisis LIWC2007 ini di sini. (Saya telah menyerlahkan perkara kuning yang telah diserlahkan oleh TweetPsych, dan di kawasan hijau yang lain tidak lagi diserlahkan oleh TweetPsych; perhatikan perbezaan markah yang ketara.) Ini membuat anda tertanya-tanya, apa sebenarnya yang berlaku dengan perkhidmatan ini. Sekiranya kebolehpercayaan dan kesahan psikometriknya dipersoalkan, bagaimana berguna?

TweetPsych mendapat banyak berita positif, dengan hanya sedikit keraguan yang dilontarkan. Joset Lowensohn CNet menulis mengenai perkhidmatan itu dan hanya menyatakan secara bertulis, "Ini menjadikannya kurang mengenai psikologi dan lebih banyak lagi mengenai leksikon peribadi anda, tetapi hasilnya masih cukup menyeronokkan. " Yay, seronok! Ben Patterson di Yahoo! Tech berkata, "Sayangnya, profil psikologi yang dilancarkan oleh TweetPsych bukanlah kepelbagaian naratif yang koheren yang mungkin anda dengar dari psikiatri penduduk mengenai" Undang-Undang & Perintah: Niat Jenayah. " daripada beberapa kategori karangan? Tidak ada wartawan, atau artikel asal mengenai Mashable (di mana, kejutan !, Zarrella adalah penyumbang), perhatikan kekurangan latar belakang psikologi yang dibawa oleh Zarrella. Tidak ada yang menghubungkan titik mengapa hasilnya sangat tidak memuaskan dalam tafsirannya. Nampaknya wartawan teknologi hebat mengedarkan semula siaran akhbar positif mereka sendiri, tetapi tidak begitu hebat menjadi wartawan sebenar yang menggali sains yang dituntut mengenai perkhidmatan tersebut.

Sudah tentu, Zarrella sendiri mengakui bahawa dia tidak terlalu memikirkannya, seperti yang dia katakan NY Post, "" Orang suka membandingkan diri mereka dengan orang lain dan cuba 'masuk' ke kepala orang lain, "kata Zarrella. "Rasanya seperti terbang di dinding pada sesi terapi." "Sesi terapi? Adakah benar-benar berwawasan untuk mencari seseorang yang bercakap mengenai "gerakan ke atas?" Dalam tergesa-gesa untuk meletakkan perkhidmatan dalam talian, Zarrella nampaknya tidak pernah mengajukan pertanyaan, "Adakah maklumat ini benar-benar berguna?" Perkhidmatan ini, seperti yang ada hari ini, adalah pemikiran yang belum selesai yang tidak akan dikunjungi oleh beberapa orang.

TweetPsych, walaupun ada batasan, telah membuka pintu untuk perkhidmatan masa depan yang benar-benar memberikan maklumat yang berguna, berguna dan dapat ditindaklanjuti yang kemungkinan besar memiliki kesahihan yang lebih besar. Bayangkan tidak hanya mengambil tweet seseorang, tetapi maklumat yang terdapat di dalam profil Facebook mereka, blog, dan lain-lain, dan memasukkannya ke dalam satu mesin analisis besar ... Mesin seperti itu mungkin mempunyai kemampuan untuk memberikan gambaran psikologi yang benar mengenai individu berdasarkan atas apa yang mereka katakan dalam talian.

Sehingga masa itu, kami mempunyai usaha baru seperti TweetPsych, yang semestinya disebut "TweetFun!" Kerana walaupun seronok bermain, ia memberikan sedikit gambaran psikologi - kecuali jenis yang paling cetek - kepada sesiapa sahaja.

(Anda boleh membaca kebimbangan tambahan mengenai TweetPsych oleh Tyler Hayes di sini.)