Semua ini dari Devin Pope, sebagai tanggapan terhadap Lyman Stone (dan saya sendiri). Inilah postingan asli saya di koran, mengenai tingkat kehadiran umat beragama. Saya tidak akan menggandakan indentasi, tapi ini hanya Devin dan Devin saja:
“Saya sangat berterima kasih atas kesediaan Lyman untuk terlibat dalam penelitian terbaru saya tentang mengukur kehadiran ibadah keagamaan menggunakan data ponsel. Lyman dan saya sudah bisa bolak-balik sedikit di Twitter/X, tapi saya pikir mungkin berguna untuk mengirimkan ulasan ini kepada Anda, Tyler.
Sebagai permulaan, saya menghargai Lyman dan saya menyetujui banyak hal tentang makalah ini. Dia sangat berbaik hati dengan mengatakan bahwa dia setuju bahwa banyak bagian dari makalah saya yang menarik dan “karya yang sangat keren”. Yang menjadi perbedaan pendapat kami adalah apakah data ponsel dapat memberikan perkiraan yang berguna untuk memperkirakan kehadiran ibadah secara keseluruhan. Secara khusus, kekhawatiran Lyman adalah karena orang-orang meninggalkan ponselnya di rumah ketika pergi ke gereja dan karena jangkauan telepon seluler yang mungkin ada di dalam gedung gereja, hasilnya bisa sangat bias. Ia merangkum kritiknya dengan baik sebagai berikut: “Seberapa besar dampaknya masih belum bisa ditebak. Namun menurut saya Anda harus mempertimbangkan untuk mengatakan, `Ini bukanlah cara yang valid untuk memperkirakan perilaku keagamaan secara agregat. Tapi ini cara yang bagus untuk melihat beberapa pola perilaku unik di kalangan umat beragama!’ Jangan membuat klaim yang berani dengan banyak peringatan, buat saja klaim yang datanya benar-benar bagus!” Ini kritik yang sangat masuk akal dan saya bersyukur dia melakukannya.
Tanggapan pertama saya terhadap kekhawatiran Lyman adalah: kami setuju! Saya mencoba untuk sangat berhati-hati dalam menulis makalah ini untuk membahas kekhawatiran yang diangkat oleh Lyman. Bahkan baris terakhir abstraknya menunjukkan, “Meskipun data ponsel memiliki keterbatasan, makalah ini memberikan cara unik untuk memahami kehadiran ibadah dan korelasinya.”
Namun di sinilah letak perbedaannya… Sepengetahuan saya, hanya ada 2 pendekatan yang digunakan untuk memperkirakan jumlah orang Amerika yang pergi ke ibadah setiap minggunya (katakanlah, 75% dari keseluruhan waktu): Survei yang menanyakan masyarakat “apakah Anda pergi ke tempat ibadah?” layanan mingguan?” dan makalah saya menggunakan data ponsel. Ini adalah pertanyaan yang sangat sulit untuk dijawab. Survei penggunaan waktu, penghitungan mobil di tempat parkir, dan metode lainnya tidak memungkinkan untuk memperkirakan jumlah orang yang sering menghadiri ibadah karena desain cross-sectional yang berulang.
Pastinya ada batasan pada data ponsel (ada sekitar 100 orang yang memberi tahu saya bahwa saya tidak melakukan pekerjaan yang baik dalam melacak orang Yahudi Ortodoks!). Saya tahu bahwa masalah ini memang ada. Namun data survei mempunyai permasalahan tersendiri. Bias keinginan sosial dan masalah lainnya dapat menyebabkan perkiraan yang salah mengenai jumlah orang yang sering menghadiri kebaktian (dan survei juga akan kesulitan mengambil sampel orang Yahudi Ortodoks!). Mengingat sulitnya mengukur beberapa pertanyaan di atas, saya pikir metode baru – meski dengan keterbatasan – akan berguna.
Pada akhirnya, kita harus berpikir keras tentang tingkat bias dari berbagai metode dan memikirkan seberapa besar bobot yang harus diberikan pada masing-masing metode. Tingkat biasnya juga membuat saya dan Lyman tidak setuju. Dalam makalah saya, saya mendokumentasikan bahwa data ponsel tidak berfungsi dengan baik dalam memprediksi jumlah orang yang menonton pertandingan bola basket NBA dan jumlah orang yang menonton teater AMC. Saya sama-sama meremehkan jumlah kehadiran secara keseluruhan dan sama sekali tidak memprediksi perbedaan di seluruh stadion NBA dengan baik.
Alasan mengapa Lyman bisa mengeluh dengan keras tentang hasil tersebut adalah karena saya mencoba untuk sangat jujur dan memasukkan hasil tersebut ke dalam makalah! Dan saya tidak berusaha menyembunyikannya. Di halaman 2 makalah saya mencatat: “Tidak semua pemeriksaan data sempurna. Misalnya, saya menghitung terlalu kecil jumlah orang yang pergi ke teater AMC atau menghadiri pertandingan bola basket NBA dan memberikan diskusi tentang kesalahan prediksi ini.”
Masih banyak pemeriksaan data lain yang kelihatannya cukup bagus. Misalnya, berikut Tabel dari makalah yang membandingkan kunjungan ponsel sesuai prediksi data ponsel dengan kunjungan sebenarnya menggunakan data dari berbagai perusahaan:
Prediksi ponsel pada tabel di atas cenderung cukup berhasil dalam memprediksi banyak perkiraan kehadiran seluruh populasi di berbagai lokasi. Satu-satunya kesalahan besar adalah teater AMC yang jumlah kehadirannya kurang dari 30%. Sekarang sekitar setengah dari jumlah yang kurang tersebut disebabkan oleh hilangnya sebagian data dari bioskop AMC (ini bukan karena masalah ping ponsel, namun karena masalah konstruksi data). Namun bahkan jika ada yang melakukan koreksi tersebut, kami menghitung jumlah kehadiran teater kurang dari 15%.
Lyman berargumen bahwa kita harus sangat khawatir mengenai jumlah kehadiran ibadah yang terlalu rendah karena orang-orang meninggalkan ponselnya di rumah. Saya setuju bahwa ini adalah masalah besar yang khusus terjadi pada ibadah keagamaan dan tidak berlaku sama untuk perjalanan ke Walmart. Saya menjalankan dan melaporkan hasil Survei Prolific (N=5k) yang menemukan bahwa 87% orang yang menghadiri ibadah secara rutin menunjukkan bahwa mereka “selalu” atau “hampir selalu” membawa ponsel ke tempat ibadah. Memang ada sebagian orang yang meninggalkan ponselnya di rumah, namun survei ini dapat membantu memandu pemikiran kita tentang seberapa besar bias tersebut. Apakah peserta Prolific mewakili Amerika Serikat secara keseluruhan? Tentu tidak. Ada bias tambahan yang harus dipikirkan dalam hal ini.
Secara keseluruhan, menurut pandangan saya, memperkirakan jumlah orang yang menghadiri ibadah mingguan secara keseluruhan sangatlah sulit dan data ponsel memiliki keterbatasan. Menurut pendapat saya, metode lain (survei) juga mempunyai keterbatasan yang besar. Saya rasa keterbatasan data ponsel tidak sebesar yang dipikirkan Lyman dan berpegang pada baris terakhir abstrak yang sekali lagi menyatakan, “Meskipun data ponsel memiliki keterbatasan, makalah ini memberikan cara unik untuk memahami kehadiran ibadah dan korelasinya. .”
Semua itu adalah Devin Pope!
