Kajian Bot Twitter Vaping adalah Propaganda yang Mengdehumanisasi

Pada 4 Oktober, saya menerima emel dari seorang wartawan Wall Street Journal yang ingin mendapatkan pandangan saya mengenai kajian tentang “pemantauan pemasaran e-rokok oleh bot” untuk sebuah cerita yang sedang dirancangnya.

Saya menganggap ini berkaitan dengan laporan terbaru dari syarikat British Astroscreen, yang memberitahu Wired UK bahawa mereka telah menemui “kempen media sosial yang tidak tulen dan terkoordinasi yang secara eksplisit menyasarkan penggubal dasar utama di AS dalam usaha untuk memaksa mereka menarik balik rancangan untuk undang-undang anti-vaping.” Ironisnya, Astroscreen telah membina bot untuk melakukan kerja mereka, dan kerana bot itu adalah “teknologi pembelajaran mesin hak milik” (terjemahan: tiada siapa selain penulis dapat melihat bagaimana atau mengapa mereka sampai kepada kesimpulan mereka), sebenarnya tiada cara untuk menilai kesahihan kesimpulan mereka.

Saya bersedia untuk membincangkan ini dengan wartawan yang menghubungi saya. Tetapi dia tidak menghubungi saya mengenai kajian bot Astroscreen.

Wartawan WSJ itu mahu mendapatkan komen mengenai laporan lain, oleh penyelidik tanpa nama di Public Good Projects (PGP) dan dibiayai oleh sesuatu yang dipanggil Nicholson Foundation. Apabila saya menyatakan bahawa saya tidak selesa memberikan komen mengenai kajian yang belum saya lihat atau baca, wartawan itu menawarkan untuk menghantar laporan kepada saya dengan syarat saya tidak berkongsi atau mengulas mengenainya sehingga cerita itu diterbitkan. Saya bersetuju dengan syarat tersebut.

Biarlah saya menunjukkan betapa anehnya bahawa dua organisasi swasta yang berbeza memutuskan untuk “mengungkapkan” aktiviti “bot” yang nampaknya berleluasa dalam ruang advokasi vaping dengan membocorkan “kajian” yang tidak disemak kepada media utama, nampaknya tanpa sebarang rencana untuk mendapatkan kajian tersebut dinilai oleh rakan sebaya, dan sebelum sebarang pelepasan awam.

Apabila saya membaca laporan PGP, saya perhatikan persamaan lain. Seperti Astroscreen, PGP tidak dapat dipertahankan tentang metodologi mereka. Menurut PGP, analisis mereka menawarkan “maklumat yang belum pernah dilihat sebelum ini mengenai peranan bot dalam perbualan dalam talian mengenai e-rokok dan produk tembakau.” Secara khusus, mereka membuat kesimpulan bahawa “lebih daripada separuh semua mesej yang dihantar melalui sumber media awam di Amerika Syarikat berkaitan dengan e-rokok dan produk tembakau mungkin diposkan oleh akaun automatik, atau bot.”

Namun mereka tidak memberikan sebarang maklumat berguna tentang bagaimana mereka sampai kepada kesimpulan sedemikian. Pembaca sepatutnya hanya mempercayai bahawa penemuan itu sah. Tetapi saya perhatikan sesuatu dalam laporan itu yang memberikan saya alasan yang baik untuk tidak mempercayainya. Dan, memandangkan artikel yang akhirnya diterbitkan oleh Wall Street Journal tidak termasuk sebarang komen saya kepada wartawan, saya akan menjelaskan di sini.

Namun, sebelum saya sampai ke situ, mari kita lihat beberapa masalah lebih luas dengan laporan PGP.

Apa maksud mereka dengan “bot” sebenarnya?

Pertama sekali, PGP tidak dapat dipertahankan samar tentang apa yang sebenarnya mereka lakukan, bagaimana mereka melakukannya, dan apa yang sebenarnya mereka temui. Dan ini menyukarkan untuk mentafsir kenyataan yang kelihatan langsung dalam laporan, seperti ini: "daripada sampel keseluruhan 2,536,659 mesej Twitter yang berkaitan dengan e-rokok atau tembakau, 22.6% mesej diposkan oleh manusia, 20.8% diposkan oleh bot yang disyaki, dan 56.6% disahkan telah dijana oleh bot."

Sangat mustahil untuk mentafsir statistik di atas dengan bermakna kerana kita tidak tahu apa yang dimaksudkan PGP dengan bot. Atau lebih tepatnya, kita tidak tahu apa yang mereka kira sebagai bot apabila mereka melakukan analisis. Kita tahu, dari cara laporan itu dibingkai, bahawa PGP mahu kita memikirkan bot dalam vaping sebagai akaun automatik, direka untuk kelihatan seperti manusia, yang beroperasi untuk menyebarkan maklumat palsu tentang nikotin dan e-rokok, dan/atau mengiklankan mereka kepada sesiapa sahaja, terutama kanak-kanak.

Tetapi apa yang PGP mahu kita fikirkan apabila kita mendengar “bot” tidak sama dengan apa yang sebenarnya mereka kira sebagai bot dalam kajian ini. Jadi bagaimana PGP sebenarnya mengenal pasti bot, dan apa yang mereka anggap sebagai bot? Inilah yang mereka katakan dalam laporan:

“PGP dapat mengenal pasti pos mana yang mempunyai kemungkinan tinggi berasal dari bot dan yang mempunyai kemungkinan tinggi berasal dari manusia…. Penyelidik PGP memeriksa pelbagai ciri akaun untuk menentukan kemungkinan pos berasal dari bot, termasuk (tetapi tidak terhad kepada) frekuensi dan waktu pos, bilangan pos, bilangan pengikut, dan penglibatan dengan akaun lain. Bot, terutama yang dibuat dengan niat jahat, sangat halus dan sering direka untuk kelihatan tepat seperti manusia. Oleh itu, pemeriksaan sederhana mengenai ciri akaun dan profil asas tidak mencukupi untuk menilai kemungkinan automasi.”

Ini tidak berguna. Saya tidak benar-benar peduli betapa tepatnya PGP berpendapat bahawa kaedah mereka; saya ingin melakukan penilaian itu sendiri, dan saya tidak boleh berdasarkan maklumat yang mereka berikan. Tetapi semua yang mereka mahu berikan kepada saya adalah alasan yang merendahkan dan terlalu samar untuk tidak memberitahu saya apa yang sebenarnya mereka lihat, supaya saya boleh menilai sendiri jika kajian mereka adalah sah. Mereka memperlakukan kaedah mereka sebagai sihir dan membingkankannya sebagai terlalu rumit untuk pembaca mereka fahami, yang pada dasarnya adalah bendera merah yang besar.

PGP berkongsi beberapa penjelasan selepas fakta di Twitter semalam tentang proses klasifikasi dan metodologi mereka yang lebih samar dan tidak bermakna daripada apa yang mereka katakan dalam laporan sebenar. Sebagai contoh: “Kami mendefinisikan “automasi” sebagai skor dari 1-100. Robot 100% akan melakukan perkara seperti auto-RT, tidak memposting sebarang kandungan asal.”

Peter Sterne, seorang wartawan bebas yang menulis tentang industri media, secara ringkas menyatakan masalah dengan definisi bot PGP dalam pesan peribadi kepada saya: “PGP nampaknya telah mengadopsi definisi bot yang luar biasa luas (sesiapa yang menggunakan sebarang aplikasi auto-posting) yang menyapu banyak orang sebenar, sambil memberi isyarat bahawa semua “bot” adalah sebahagian daripada operasi media sosial yang canggih dan tweet mereka tidak boleh diambil secara literal.”

Dalam apa jua keadaan, PGP jelas berminat untuk mengkaji bot, bagaimana mereka telah mendefinisikannya. Proportion bot yang aktif dalam ruang vaping, dan peranan yang mungkin mereka mainkan dalam advokasi adalah teka-teki penyelidikan yang sah, dan saya fikir banyak peminat vaping akan mendapati kajian yang boleh menjawab soalan-soalan ini cukup menarik. Tetapi perkara itu adalah, PGP tidak merancang kajian yang boleh menjawab soalan yang mendorong laporan mereka.

Jika PGP ingin memahami ciri-ciri akaun dalam populasi tertentu pengguna Twitter (iaitu, vapers) mereka perlu mencari cara untuk mendapatkan sampel yang mewakili akaun dari populasi tersebut. Ini hampir mustahil, tetapi itu tidak penting kerana PGP bahkan tidak nampaknya memahami bahawa mereka perlu melakukan sesuatu seperti ini sama sekali. PGP tidak mengambil sampel akaun, mereka mengambil sampel tweet. Tweet ini dihantar oleh akaun (jelas) jadi mereka berakhir dengan koleksi akaun, tetapi adalah sangat tidak sesuai untuk penyelidik membuat inferens tentang populasi akaun yang tweet mengenai vaping berdasarkan beberapa akaun yang tweetnya kebetulan berakhir dalam sampel mereka.

Masalah besar lain dengan laporan ini adalah ia sebenarnya tidak menyatakan berapa banyak akaun unik yang mereka bincangkan di sini. Mereka melaporkan angka tweet (kemungkinan kerana angka tersebut lebih besar, dan PGP ingin mengesankan kami), tetapi kami tidak tahu berapa banyak akaun yang menghantarnya. Dan ini sebenarnya sangat penting jika terdapat sebarang bot sebenar dalam sampel (dan mungkin ada beberapa) kerana bot spam yang tidak dikenali dengan tiada pengikut yang diprogram untuk tweet ratusan kali sehari mengenai vaping mungkin telah menghasilkan jumlah tweet yang tidak seimbang dalam keseluruhan sampel, walaupun bot tersebut mempunyai sedikit atau tiada kesan di luar gelembungnya yang kecil dan terasing.

Bot-bot ini bukan bot langsung

Kekurangan ketelusan, definisi yang hilang, dan ketidakkompetenan metodologi yang jelas adalah alasan yang mencukupi untuk mencurigai kesimpulan kajian ini. Tetapi petunjuk konkrit bahawa penemuan PGP tidak sah adalah suatu bahagian laporan yang telah dipadam sebelum pelepasan awamnya. (Anda boleh melihat versi awam di laman web PGP.)

Kembali kepada Wall Street Journal. Apabila mereka meminta saya untuk memberikan ulasan tentang laporan PGP, mereka menghantar salinan kepada saya. Ia terdiri daripada 32 halaman. Bahagian keputusan adalah 15 halaman panjang. Dan satu subbahagian dalam keputusan, bertajuk “Rangkaian Bot,” mengambil kira-kira 40 peratus daripada keputusan ini. Ia terdiri daripada lima analisis “micro-level” mengenai apa yang dipanggil “akaun bot” dan “rangkaian bot” mereka yang dikenal pasti sepanjang proses analisis [PGP]. Mereka menggunakan graf untuk mewakili setiap rangkaian. (Ini adalah versi yang saya terima daripada wartawan.)

Setiap graf PGP dibina sekitar node fokus, yang mewakili “bot” dalam analisis PGP. Node itu dihubungkan kepada node lain yang mewakili akaun yang me-retweet tweet yang kononnya milik bot tersebut. Penganalisis rangkaian sosial merujuk kepada representasi grafik ini sebagai “rangkaian ego,” kerana ia menggambarkan hubungan antara node pusat (“ego”) dan node yang disambungkan (“alters”). PGP menggunakan kod warna untuk node alter berdasarkan sama ada mereka memenuhi kriteria yang tidak didedahkan untuk menjadi bot, dengan node putih mewakili akaun yang ditentukan sebagai manusia. Node putih adalah golongan minoriti dalam semua rangkaian PGP.

PGP mahu kita percaya bahawa sebahagian besar aktiviti Twitter mengenai vaping mungkin tidak dihasilkan oleh manusia sebenar. Mereka menyembunyikan nama “ego” bot di pusat setiap rangkaian bot. Kenapa? Dalam laporan mereka mendakwa ini adalah untuk melindungi privasi akaun-akaun tersebut, tetapi jika akaun-akaun itu adalah bot, mengapa ini penting?

Secara jujurnya, walaupun PGP sebenarnya berminat untuk menjaga identiti akaun bot yang menyamar sebagai orang sebenar yang mengganggu perbincangan vaping dalam talian dengan kemungkinan akibat yang serius untuk kesihatan awam (atau begitu mereka kata), hakikatnya adalah mereka melakukan kerja yang sangat teruk.

Saya dapat dengan mudah mengenal pasti akaun spesifik yang diwakili sebagai node pusat dalam setiap lima rangkaian bot yang didakwa PGP sertakan dalam laporan asal mereka. Saya dapat melakukan ini kerana PGP menyertakan tangkapan layar tweet daripada akaun-akaun yang sesiapa sahaja boleh taip ke dalam bar carian dalam antaramuka pengguna Twitter dan mengambilnya. Saya melakukan itu untuk tweet setiap akaun, memeriksa bilangan pengikut dan kiriman mereka dengan apa yang dilaporkan PGP, dan mengesahkan siapa mereka semua. Seluruh proses itu mengambil masa kurang dari setengah jam. Dan tebak apa? Tiada satu pun daripada akaun ini adalah “bot yang menyamar sebagai manusia sebenar.”

Daripada lima akaun yang dipilih PGP untuk perbincangan rangkaian bot contoh mereka, hanya satu yang saya tidak kenali. Ia adalah akaun komersial yang berpangkalan di U.K., menggunakan Twitter untuk mengiklankan senarai eBaynya bagi pelbagai produk, termasuk e-liquid dan CBD. Adakah akaun tersebut kelihatan menggunakan automasi untuk menghantar tweet? Yup. Adakah terdapat sebarang petunjuk bahawa orang tidak berada di belakang tweet tersebut? Tidak. Adakah sesiapa yang berakal akan menganggap ini sebagai apa-apa selain daripada akaun komersial syarikat perdagangan dalam talian? Tidak. Adakah terdapat sebarang petunjuk bahawa akaun tersebut mempromosikan di luar rangkaian pengikutnya sendiri? Tidak.

Bagi empat akaun yang saya kenali, tiga adalah akaun persendirian oleh individu yang merupakan penyokong vaping lama, dan jelas sekali adalah orang sebenar. Yang lain adalah akaun Twitter untuk penerbitan ini. Editor berita Vaping360 Jim McDonald mengurus dan tweet dari akaun ini, dan Jim bukan bot.

Jadi daripada lima bot yang didakwa: satu adalah akaun untuk penerbitan vaping yang diuruskan oleh salah satu wartawan yang menggunakannya untuk menghantar artikel, dan berinteraksi dengan pengguna lain (jadi dia menghantar kandungan asli). Tiga adalah individu persendirian yang menyokong vaping. Dan yang lain adalah retailer British. Sangat sukar bagi saya untuk percaya bahawa sesiapa yang biasa dengan mana-mana akaun ini akan menyimpulkan bahawa mereka adalah bot yang menyamar sebagai manusia. Atau perniagaan yang menyamar sebagai individu manusia. Atau perniagaan yang menggunakan bot untuk menyamar sebagai individu manusia. Atau sesiapa yang terlibat dalam sebarang aktiviti jahat, untuk perkara itu.

Dan ini menjadikan keputusan PGP untuk merahsiakan nama-nama lima akaun ini sedikit mencurigakan. Pertama sekali, pasti mereka tahu bahawa adalah mungkin bagi seseorang yang ingin tahu siapa akaun-akaun itu untuk mengetahuinya dengan maklumat yang mereka sediakan. Jadi mereka tidak melindungi privasi sesiapa, mereka hanya membuatnya sedikit lebih sukar bagi sesiapa yang ingin tahu identiti akaun-akaun itu untuk mendapatkan maklumat tersebut.

Tangkapan layar yang saya dapat gunakan untuk mencari tweet daripada akaun-akaun ini termasuk retweet dan balasan kepada akaun-akaun daripada “alters” yang juga bukan bot—dan tiada langkah diambil untuk melindungi identiti akaun-akaun ini. Tangkapan layar PGP mendedahkan nama dan pegangan akaun lain dalam apa yang dipanggil “botnets,” hanya bukan bot pusat (yang bukan bot).

Semua ini menyukarkan saya untuk percaya bahawa melindungi privasi “bot” adalah sebab utama PGP menyembunyikan ID akaun. Ia tidak masuk akal kerana perlindungan itu sangat mudah untuk sesiapa sahaja untuk menyalahi, kerana perlindungan tersebut tidak diperluas kepada akaun-akaun yang muncul dalam tangkapan layar, dan kerana pada akhirnya, PGP mempunyai insentif yang jauh lebih besar untuk menyembunyikan maklumat ini untuk perlindungan mereka sendiri dan untuk melindungi kredibiliti laporan mereka yang cacat daripada apa-apa yang lain.

Melindungi privasi atau menyelamatkan muka?

Saya ingin tahu mengapa PGP menerbitkan versi laporan yang berbeza daripada yang mereka kongsikan dengan Wall Street Journal. Rupanya begitu juga Gregory Conley, yang meminta mereka untuk menjelaskan pilihan ini di Twitter. Jawapan PGP kepada beliau adalah:

“WSJ mempunyai eksklusif mengenai penyelidikan dan kami berkongsi maklumat semasa ketekunan wajar. Pada satu ketika kami berkongsi 5 akaun yang mempunyai skor automasi yang tinggi, daripada 1 juta+ mesej yang dianalisis. Kami tidak mahu akaun-akaun itu menjadi sasaran. Jadi sama ada artikel atau laporan tidak menyebutnya.”

PGP nampaknya implicating di sini bahawa botnets telah disediakan kepada Wall Street Journal sebagai konteks tambahan kepada kajian akhir. Jika analisis yang saya tunjukkan sebagai sangat cacat sebenarnya tidak pernah dimaksudkan untuk penggunaan awam, dan sekadar sebahagian bahan tambahan yang dihantar ke Journal bersama dengan laporan rasmi, itu tidak mengubah hakikat bahawa ia merosakkan kesahan keseluruhan kajian.

Tetapi agak sukar untuk percaya mereka tidak berniat untuk memasukkan ini dalam versi akhir. Seksyen itu telah disenaraikan dalam jadual kandungan versi laporan yang telah dihantar kepada saya. Ini adalah bahagian teras dalam seksyen hasil mereka, dengan “botnets” digambarkan sebagai ilustrasi fenomena abstrak yang mereka dakwa laporan mereka menerangi. Tiada petunjuk bahawa kandungan ini tidak berniat untuk menjadi bahagian utama laporan akhir.

Saya diberi tanggapan bahawa apa yang saya terima adalah laporan akhir, dan apabila saya menandakan analisis ini sebagai sangat cacat (dan tidak etika) saya tidak pernah diberitahu bahawa ia adalah bahagian ringkas kajian atau khas untuk Wall Street Journal. Walaupun saya tidak dapat memastikan, wartawan yang menghantarnya kepada saya kelihatan berada dalam tanggapan bahawa ini adalah versi akhir juga. Dan sebenarnya, siapa yang akan menghantar draf kerja laporan yang memecahkan tanah kepada sebuah akhbar yang anda menawarkan eksklusif? Itu sebenarnya tidak masuk akal. Dokumen yang termasuk analisis botnet yang kini dipadam telah dipoles, bahagian yang dipadam adalah sebahagian daripada jadual kandungan, tiada apa yang menunjukkan bahawa ini bukan ditujukan untuk menjadi produk akhir.

Jika PGP menemui betapa teruknya mereka telah mengendalikan analisis ini, ia seharusnya menyebabkan mereka mempertanyakan kesahan keseluruhan kajian mereka. Tindakan yang bertanggungjawab, intelektual jujur, dan telus di sini adalah untuk meminta akhbar untuk menahan atau membatalkan cerita mereka supaya laporan dapat diperbaiki, atau mungkin jika kesilapan itu sangat serius, ditinggalkan. Sekurang-kurangnya, beberapa nota seharusnya telah dibuat yang menunjukkan bahawa versi yang dihantar ke Journal adalah berbeza daripada versi akhir yang diterbitkan di laman web.

Saya rasa PGP telah menghapuskan halaman-halaman tersebut setelah mereka memahami jelas kesalahan besar yang mereka lakukan. Mereka telah merosakkan proses saintifik yang normal dalam semua aspek lain kerja ini. Mengapa saya—mengapa sesiapa pun—harus percaya bahawa mereka peduli tentang apa-apa selain daripada menjaga maruah? Jika PGP mempunyai sebarang bukti konkrit yang sebenarnya untuk menyokong dakwaan mereka bahawa keputusan untuk memotong bahagian ini tidak berkaitan dengan fakta bahawa botnet mereka bukanlah botnet sebenarnya, mereka harus tampil dengan itu.

Mendehumanisasi penunjuk perasaan yang sah

Laporan PGP menggambarkan jaringan canggih bot yang direka untuk menipu orang agar percaya bahawa mereka adalah manusia individu untuk memanipulasi wacana mengenai vaping. Hakikat bahawa tiada satu pun daripada contoh terbaik mereka mempunyai sebarang ciri jenis akaun ini (dan empat daripada mereka adalah manusia yang sebenarnya saya kenal) menimbulkan persoalan serius mengenai kebolehpercayaan seluruh perusahaan.

Ruang advokasi vaping di Twitter adalah komuniti yang secara longgar terhubung antara individu-individu yang menggunakan akaun media sosial peribadi mereka dalam konteks tertentu. Orang-orang ini tidak berada di Twitter untuk faedah penyelidik “pemantauan dan komunikasi kesihatan awam” yang oportunistik, yang mempunyai sesuatu untuk diambil dengan mengumpulkan kandungan yang dihasilkan oleh pengguna mereka dan menyajikannya di luar konteks untuk menggambarkan teori yang sangat tidak masuk akal dan tidak jujur secara intelektual bahawa penggiat vape yang berpengaruh tidak lebih daripada rangkaian canggih bot jahat, yang dengan curangnya berpura-pura sebagai manusia untuk menyebarkan maklumat salah demi kepentingan kuasa korporat yang tanpa nama dan tanpa wajah.

Saya tidak pasti sama ada ketidakjujuran yang jelas yang membanjiri laporan PGP mewakili percubaan organisasi untuk memperdayakan orang ramai, atau lebih mencerminkan fakta bahawa mereka telah memperdayakan diri mereka sendiri.

Tetapi ia tidak penting. Dengan atau tanpa bahagian “botnets” yang dipadam, laporan PGP adalah sepenuhnya tidak etika. Laporan ini bukan tentang menyumbang kepada pengetahuan mengenai advokasi vaping, ia adalah tentang mencipta kegilaan media di sekeliling penemuan mengejutkan yang sebenarnya tidak nyata. Ia dijalankan oleh sekumpulan penyelidik pasaran swasta yang tidak dinamakan yang sama ada tidak memahami atau tidak peduli tentang norma kerja saintifik yang telus, sah dan boleh dipercayai. Mereka juga mengabaikan ketidakseimbangan kuasa yang sangat nyata antara orang yang melakukan penyelidikan mengenai pengguna vaping di Twitter, dan orang sebenar yang menggunakan Twitter untuk menyokong vaping.

Laporan PGP adalah propaganda yang bertujuan untuk menghilangkan kemanusiaan penunjuk perasaan yang sah, mendiskreditkan perjuangan mereka, dan menyensor ucapan mereka di platform media sosial. Laporan itu dibentangkan dengan lapisan sains, tetapi ia sepenuhnya bertujuan untuk memenuhi kepentingan politik.

Cadangan bacaan lanjut: