Peringkat Parti-Sekolah adalah Ramalan yang Memihak dan Memenuhi Diri?

Kajian Princeton menerbitkan senarai perguruan tahunan "Terbaik dari ..." berdasarkan tinjauan pelajar dalam talian yang kini dalam talian. Mereka menggambarkan proses tinjauan sebagai:

Tinjauan Princeton Review menanyakan kepada pelajar 80 soalan mengenai akademik / pentadbiran sekolah mereka, kehidupan kampus, badan pelajar, dan diri mereka sendiri. Tingkatan untuk peringkat edisi ini berdasarkan tinjauan 120,000 pelajar (kira-kira 325 setiap kampus) di 366 sekolah dalam buku ini (tidak di semua sekolah di negara ini) pada tahun 2006-07 dan / atau dua tahun persekolahan sebelumnya.

Yang mana semuanya terdengar baik dan baik, sehingga anda membaca cetakan yang baik:

Tinjauan kami adalah kualitatif dan anekdot daripada kuantitatif. Untuk mengelakkan daripada menghasilkan penulisan yang tidak sesuai untuk mana-mana kolej tertentu, kami menghantar kontak pentadbiran kami di setiap sekolah salinan profil yang ingin kami terbitkan dengan banyak peluang untuk bertindak balas dengan pembetulan, komen, dan / atau langsung bantahan. Dalam setiap kes di mana kami menerima permintaan untuk perubahan, kami mengambil langkah-langkah yang berhati-hati untuk meninjau cadangan sekolah terhadap data tinjauan pelajar yang kami kumpulkan dan membuat perubahan yang sesuai apabila diperlukan.

Apa yang paling menarik bagi kami tentang bagaimana perwakilan penemuan tinjauan kami adalah seperti ini: Kami meminta pelajar yang mengikuti tinjauan ini - setelah mereka menyelesaikannya - untuk mengkaji semula maklumat yang kami terbitkan mengenai sekolah mereka pada tahun sebelumnya dan menilai kami mengenai ketepatan dan kesahan. Tahun demi tahun kami mendapat markah tinggi: Pada tahun ini, 81 peratus pelajar mengatakan bahawa kami benar.

Oleh itu, pada dasarnya mereka mengakui data tinjauan mereka bertujuan untuk memberikan gambaran naratif subyektif mengenai perguruan tinggi - bukan perkara yang boleh anda gunakan untuk membuat generalisasi yang luas. Namun, itulah sebenarnya Kajian Princeton hasilnya berkaitan dengan data mereka - buat generalisasi yang luas dari tinjauan mereka dan peringkat kolej secara kuantitatif. Kolej sendiri boleh memberikan pengaruh tambahan yang tidak diketahui mengenai sama ada sekolah mereka muncul dalam senarai tertentu.Sekiranya proses pemeringkatan nampaknya kurang telus dan tersembunyi secara misteri, itu memang sengaja.

Bagaimana penyelidik dapat mengubah data anekdot menjadi data kuantitatif? Nah, secara ilmiah, anda tidak boleh (mis., Tidak ada prosedur berdasarkan penyelidikan untuk melakukannya kerana secara harfiah ini adalah perbandingan epal atau jeruk). Apabila organisasi seperti ini melakukan perkara seperti ini, anda boleh membuat hujah bahawa kedudukan seperti itu hanyalah pendapat orang-orang yang menyusun senarai itu, berdasarkan pendapat orang lain mengenai mereka yang benar-benar pernah bersekolah.

Semua akan baik-baik saja, kecuali bahawa Kaji semula memasukkan semua perkara ini ke dalam senarai yang menunjukkan bahawa mereka mempunyai makna umum jika tidak. Senarai "20 Sekolah Pesta Teratas" tidak lebih dari pendapat beberapa orang berdasarkan "gabungan pertanyaan tinjauan mengenai penggunaan alkohol dan dadah, jam belajar setiap hari, dan popularitas sistem Yunani." Mereka dapat dengan mudah memilih sekumpulan tanggapan yang berbeda untuk melihat itu akan mengubah kedudukan sekolah secara berbeza.

Sekolah yang lebih besar dengan badan pelajar yang lebih besar tidak mungkin berbeza secara signifikan dari segi ukuran sistem Yunani mereka (besar), dan pelbagai peluang sosial dan bukan akademik lain yang mereka tawarkan kepada pelajar mereka (mengakibatkan kurang jam belajar setiap hari) . Adakah itu menjadikan sekolah seperti itu lebih cenderung menjadi "pesta sekolah" apabila digabungkan dengan melihat apa yang pelajar katakan berapa banyak yang mereka minum? Sudah tentu tidak. Ini mungkin bermaksud sekolah adalah tempat yang bagus untuk belajar dan bersosial.

Sebuah poster yang disajikan di APS pada hujung minggu lalu, yang berjudul "Ramalan yang memuaskan diri dan Princeton Review: keterangan atau preskripsi untuk minum di kuliah?" masukkan cadangan ke dalam kepala saya yang berukuran seperti Kajian Princeton mempunyai beberapa kesahan yang dipersoalkan. Para penyelidik melihat data penggunaan alkohol sebenar selama satu dekad untuk sebuah universiti bersaiz sederhana yang terletak di barat New York dan membandingkannya dengan pelbagai peringkat yang berkaitan di Kajian Princeton. Mereka mendapat kedudukan di Kajian Princeton tidak mempunyai hubungan sistematik dengan data penggunaan alkohol yang mereka kaji. Apa yang mereka dapati adalah bahawa data penggunaan alkohol berkorelasi dengan peringkat yang diterbitkan setelah mereka diterbitkan - menunjukkan ramalan yang memuaskan.

Para penyelidik menyatakan bahawa kerana kajian mereka dilakukan hanya di satu universiti, maka penyelidikan itu perlu ditiru di kolej dan universiti lain sebelum seseorang dapat membuat generalisasi dari penemuan tersebut. Tetapi penemuan ini menarik untuk diperhatikan.

Rujukan:

Clark, C.D. et. al. (2008). Ramalan dan Princeton yang memuaskan diri: penerangan atau preskripsi untuk minum di kolej? Poster yang dibentangkan pada konvensyen tahunan ke-20 Persatuan Sains Psikologi, Chicago IL, 24 Mei.