Data Besar Boleh Membantu Emosi ID Komputer Terikat dengan Imej

Laman web popular seperti Twitter dan Facebook dan saluran lain kini dipenuhi dengan gambar yang membantu seseorang meluahkan fikiran dan perasaan dengan lebih baik. Penyelidikan baru menunjukkan "data besar" - pengumpulan set data yang begitu besar atau kompleks sehingga sukar diproses menggunakan aplikasi pemprosesan data tradisional - dapat digunakan untuk mengajar komputer untuk menafsirkan isi dan perasaan yang berkaitan dengan gambar.

Dr. Jiebo Luo, profesor sains komputer di University of Rochester, bekerjasama dengan penyelidik di Adobe Research baru-baru ini membentangkan makalah pada persidangan American Association for Artificial Intelligence (AAAI), yang menggambarkan latihan saraf rangkaian konvolusional latihan progresif .

Komputer terlatih kemudiannya dapat digunakan untuk menentukan sentimen gambar yang mungkin timbul. Luo mengatakan bahawa maklumat ini dapat berguna untuk berbagai hal seperti mengukur petunjuk ekonomi atau meramalkan pilihan raya.

Walau bagaimanapun, tugasnya rumit. Analisis sentimen teks oleh komputer sendiri merupakan tugas yang mencabar. Dan di media sosial, analisis sentimen lebih rumit kerana banyak orang mengekspresikan diri menggunakan gambar dan video, yang lebih sukar difahami oleh komputer.

Contohnya, semasa kempen politik pengundi sering berkongsi pandangan melalui gambar.

Dua gambar yang berbeza mungkin menunjukkan calon yang sama, tetapi mereka mungkin membuat kenyataan politik yang sangat berbeza. Manusia boleh mengenali seseorang sebagai potret positif calon (mis. Calon tersenyum dan mengangkat tangannya) dan yang lain bersikap negatif (mis. Gambar calon kelihatan kalah).

Tetapi tidak ada manusia yang dapat melihat setiap gambar yang dikongsi di media sosial - itu benar-benar "data besar". Untuk dapat membuat tekaan yang tepat mengenai populariti calon, komputer perlu dilatih untuk mencerna data ini, itulah yang dapat dilakukan oleh Luo dan rakannya dengan lebih tepat daripada yang mungkin dilakukan hingga sekarang.

Para penyelidik menganggap tugas mengekstrak sentimen dari gambar sebagai masalah pengelasan gambar. Ini bermaksud bahawa entah bagaimana setiap gambar perlu dianalisis dan label dikenakan padanya.

Untuk memulakan proses latihan, Luo dan kolaboratornya menggunakan sejumlah besar gambar Flickr yang dilabel secara longgar oleh algoritma mesin dengan sentimen tertentu, dalam pangkalan data yang ada yang dikenali sebagai SentiBank (dikembangkan oleh kumpulan Dr. Shih-Fu Chang di Columbia Universiti).

Ini memberi komputer permulaan untuk mula memahami apa yang dapat disampaikan oleh beberapa gambar.

Tetapi label yang dihasilkan mesin juga merangkumi kemungkinan label itu benar, iaitu, seberapa yakin komputer yang label itu betul?

Langkah utama proses latihan akan datang, ketika mereka membuang sebarang gambar yang mana sentimen atau sentimen yang dengannya mereka dilabelkan mungkin tidak benar. Oleh itu, mereka hanya menggunakan gambar berlabel "lebih baik" untuk latihan lanjutan dengan cara yang semakin bertambah baik dalam rangka rangkaian saraf konvolusional yang kuat.

Resaercher mendapati bahawa langkah tambahan ini meningkatkan ketepatan sentimen dengan ketara setiap gambar dilabel.

Mereka juga menyesuaikan mesin analisis sentimen ini dengan beberapa gambar yang diekstrak dari Twitter. Dalam kes ini, mereka menggunakan "intelijen orang ramai", dengan banyak orang membantu mengkategorikan gambar melalui platform Amazon Mechanical Turk.

Mereka hanya menggunakan sebilangan kecil gambar untuk menyempurnakan komputer namun, dengan menerapkan proses penyesuaian domain ini, mereka menunjukkan bahawa mereka dapat meningkatkan kaedah terkini untuk analisis sentimen gambar Twitter.

Satu penemuan yang mengejutkan adalah bahawa ketepatan klasifikasi sentimen gambar melebihi klasifikasi sentimen teks pada mesej Twitter yang sama.

Sumber: Universiti Rochester