Dalam Pembangunan: Telefon Pintar Yang Boleh Menilai Mood
Program ini tidak menganalisis apa yang dikatakan oleh seseorang, tetapi bagaimana.
"Kami benar-benar menggunakan rakaman pelakon yang membacakan tarikh bulan itu - sebenarnya tidak menjadi masalah dengan apa yang mereka katakan, tetapi bagaimana mereka mengatakan bahawa kami berminat," kata Wendi Heinzelman, Ph.D., profesor kejuruteraan elektrik dan komputer.
Program ini menganalisis 12 ciri ucapan, seperti nada dan kelantangan, untuk mengenal pasti satu daripada enam emosi dari rakaman suara. Para penyelidik mengatakan bahawa ia mencapai ketepatan 81 peratus, peningkatan yang signifikan pada kajian sebelumnya yang hanya mencapai ketepatan sekitar 55 persen.
Penyelidikan ini telah digunakan untuk mengembangkan prototaip aplikasi yang memaparkan wajah gembira atau sedih setelah merakam dan menganalisis suara pengguna. Ia dibina oleh salah seorang siswazah Heinzelman, Na Yang, semasa magang musim panas di Microsoft Research.
"Penyelidikannya masih di awal," kata Heinzelman, "tetapi mudah untuk membayangkan aplikasi yang lebih kompleks yang dapat menggunakan teknologi ini untuk segala hal, mulai dari menyesuaikan warna yang ditampilkan di telefon bimbit (telefon) hingga memainkan musik yang sesuai dengan bagaimana Anda Saya berasa setelah merakam suara anda. "
Heinzelman dan pasukannya bekerjasama dengan ahli psikologi Rochester Drs. Melissa Sturge-Apple dan Patrick Davies, yang kini sedang mengkaji interaksi antara remaja dan ibu bapa mereka. "Kaedah yang boleh dipercayai untuk mengkategorikan emosi sangat berguna dalam penyelidikan kami," kata Sturge-Apple. "Ini bermaksud bahawa seorang penyelidik tidak perlu mendengar perbualan dan memasukkan emosi orang yang berbeza secara manual pada tahap yang berbeza."
Mengajar komputer untuk memahami emosi bermula dengan mengenali bagaimana manusia melakukannya, menurut para penyelidik.
"Anda mungkin mendengar seseorang berbicara dan berfikir 'oh, dia terdengar marah.' Tetapi apa yang membuat anda berfikir begitu?" kata Sturge-Apple.
Dia menjelaskan bahawa emosi mempengaruhi cara orang bercakap dengan mengubah kelantangan, nada dan juga harmoni pertuturan mereka. "Kami tidak memperhatikan ciri-ciri ini secara individu, kami baru saja mengetahui bagaimana suara marah - terutama bagi orang yang kami kenal," tambahnya.
Tetapi untuk komputer untuk mengkategorikan emosi, ia perlu berfungsi dengan kuantiti yang dapat diukur. Oleh itu, para penyelidik menetapkan 12 ciri khas dalam pertuturan yang diukur dalam setiap rakaman pada selang waktu yang pendek. Para penyelidik kemudian mengkategorikan setiap rakaman dan menggunakannya untuk mengajar program komputer seperti apa yang "sedih", "gembira," "takut," "jijik", atau "netral".
Sistem ini kemudian menganalisis rakaman baru dan cuba menentukan apakah suara dalam rakaman menggambarkan emosi yang diketahui. Sekiranya program komputer tidak dapat memutuskan antara dua atau lebih emosi, ia hanya membiarkan rakaman itu tidak diklasifikasikan.
"Kami ingin yakin bahawa ketika komputer menganggap ucapan yang dirakam mencerminkan emosi tertentu, kemungkinan besar ia menggambarkan emosi ini," kata Heinzelman.
Penyelidikan sebelumnya menunjukkan bahawa sistem klasifikasi emosi sangat bergantung pada penutur, yang bermaksud ia berfungsi lebih baik sekiranya sistem dilatih dengan suara yang sama yang akan dianalisis. "Ini tidak sesuai untuk situasi di mana anda ingin dapat menjalankan eksperimen sekumpulan orang yang bercakap dan berinteraksi, seperti ibu bapa dan remaja yang kami bekerjasama," kata Sturge-Apple.
Hasil baru mengesahkan penemuan ini. Sekiranya klasifikasi emosi berasaskan pertuturan digunakan pada suara yang berbeza dari yang melatih sistem, ketepatannya turun dari 81 peratus menjadi sekitar 30 peratus. Para penyelidik kini mencari cara untuk meminimumkan kesan ini dengan melatih sistem dengan suara dalam kumpulan umur yang sama dan jantina yang sama.
"Masih ada tantangan yang harus diselesaikan jika kita ingin menggunakan sistem ini dalam lingkungan yang menyerupai situasi kehidupan nyata, tetapi kita tahu bahawa algoritma yang kita kembangkan lebih efektif daripada percubaan sebelumnya," kata Heinzelman.
Sumber: Universiti Rochester
