Studiul despre boturile de pe Twitter ce promovează vaping-ul este o propagandă dezinumanizantă.

Pe 4 octombrie am primit un email de la un reporter de la Wall Street Journal care dorea să îmi împărtășească gândurile despre un studiu despre “marketingul boturilor de electronice” pentru o poveste pe care o planificase.

Am presupus că este vorba despre un raport recent de la compania britanică Astroscreen, care a spus Wired UK că au descoperit o “campanie de social media coordonată și inautentică care a vizat în mod explicit factorii de decizie cheie din SUA într-o încercare de a-i forța să retragă planurile pentru legislația anti-vaping.” Ironia este că Astroscreen a construit un bot pentru a face treaba pentru ei, iar deoarece botul este “tehnologie de învățare automată proprietară” (traducere: nimeni altcineva în afară de autori nu poate vedea cum sau de ce au ajuns la concluziile lor), nu există cu adevărat nicio modalitate de a judeca validitatea concluziilor lor.

Eram pregătit să discut despre acest lucru cu reporterul care m-a contactat. Dar nu mă contacta în legătură cu studiul botului de la Astroscreen.

Reporterul WSJ dorea comentarii despre un raport diferit, realizat de cercetători neidentificați de la Public Good Projects (PGP) și finanțat de ceva numit Fondul Nicholson. Când am spus că mă simt inconfortabil să comentez despre un studiu pe care nu l-am văzut sau citit, reporterul a oferit să-mi trimită raportul cu condiția să nu-l împărtășesc sau să comentez despre el până după ce povestea a fost publicată. Am acceptat aceste condiții.

Permiteți-mi să subliniez cât de ciudat este că două organizații private distincte au decis să “expună” aparent activitatea “bot” rampantă în domeniul advocacy-ului vaping prin scurgerea “studiilor” nevalidate către mass-media importante, aparent fără nicio planificare pentru a face acele studii revizuite de colegi și înainte de orice lansare publică.

Când am citit raportul PGP, am observat alte similitudini. La fel ca Astroscreen, PGP a fost inexcusabil opac cu privire la metodele lor. Conform PGP, analiza lor oferă “informații nemaivăzute despre rolul pe care boturile îl joacă în prezent în conversațiile online despre electronice și produse din tutun.” În mod specific, ei concluzionează că “peste jumătate din toate mesajele transmise prin surse media publice în Statele Unite referitoare la electronice și produse din tutun pot fi postate de conturi automate, sau boți.”

Totuși, ei nu oferă nicio informație utilă despre cum au ajuns la o astfel de concluzie. Cititorii sunt pur și simplu sfătuiți să aibă încredere că constatarea este validă. Dar am observat ceva în raport care mi-a dat motive întemeiate să nu am încredere în el. Și, deoarece articolul publicat de Wall Street Journal ulterior nu a inclus niciunul dintre comentariile mele către reporter, le voi explica aici.

Cu toate acestea, înainte de a ajunge la asta, să ne uităm la câteva dintre problemele mai largi cu raportul PGP.

Ce înseamnă, de fapt, „bot”?

În primul rând, PGP este inexcusabil vag în legătură cu ceea ce au făcut de fapt, cum au făcut-o și ce au găsit de fapt. Și acest lucru face foarte greu de interpretat afirmațiile care par directe în raport, cum ar fi aceasta: "dintr-un eșantion total de 2.536.659 de mesaje Twitter legate de electronice sau tutun, 22,6% din mesaje au fost postate de oameni, 20,8% postate de boți suspectați, iar 56,6% sunt confirmate că au fost generate de boți."

Este imposibil să interpretăm semnificativ statistica de mai sus deoarece nu știm ce înseamnă PGP prin boți. Sau mai degrabă, nu știm ce au numărat ca fiind un bot când au efectuat analiza. Știm, din modul în care este înglobează raportul, că PGP vrea să ne gândim la boții din domeniul vaping ca fiind conturi automate, proiectate să apară ca fiind umane, care operează pentru a răspândi dezinformarea despre nicotină și electronice, și/sau pentru a le face publicitate oricui și oricând, în special copiilor.

Dar ceea ce PGP vrea să credem când auzim „bot” nu este același lucru cu ceea ce au numărat ei ca fiind un bot în acest studiu. Așa că cum a identificat PGP de fapt boții, și ce au considerat ei a fi un bot? Iată ce spun în raport:

“PGP este capabil să identifice care postări au o probabilitate mare de a proveni de la boți și care au o probabilitate mare de a proveni de la oameni…. Cercetătorii PGP examinează multiple caracteristici ale conturilor pentru a determina probabilitatea ca o postare să fie de la un bot, inclusiv (dar fără a se limita la) frecvența și ora postărilor, numărul de postări, numărul de urmăritori și interacțiunea cu alte conturi. Boții, în special cei creați cu intenție malefică, sunt incredibil de nuanțați și sunt adesea proiectați să apară exact ca un om. Prin urmare, o examinare simplă a caracteristicilor de bază ale contului și profilului este insuficientă pentru a evalua probabilitatea de automatizare.”

Acest lucru este inutil. Nu-mi pasă cât de precise consideră PGP că sunt metodele lor; vreau să fac eu această evaluare și nu pot pe baza informațiilor pe care le oferă. Dar tot ce vor să-mi ofere este această scuză pătrunzătoare și exagerat de vagă pentru a nu-mi spune ce au examinată într-adevăr, astfel încât să pot să judec eu însumi dacă studiul lor este valid. Tratează metodele lor ca pe o magie și le încadrează ca fiind prea sofisticate pentru cititorii lor să înțeleagă, ceea ce este practic un semnal de alarmă uriaș.

PGP a împărtășit unele clarificări post-hoc pe Twitter ieri despre procesul lor de clasificare și metodologie care au fost și mai vagi și lipsite de sens decât ceea ce au spus în raportul actual. De exemplu: “Definim „automație” ca un scor de la 1-100. Un robot de 100% va face lucruri precum auto-RT, postând fără conținut original.”

Peter Sterne, un jurnalist freelancer care scrie despre industria media, a articulat succint problema cu definiția botului PGP într-un mesaj privat pentru mine: “PGP a adoptat aparent o definiție absurd de largă a botului (oricine care folosește orice aplicație de postare automată) care adună mulți oameni reali, în timp ce sugerează puternic că toți „boții” fac parte dintr-o operațiune sofisticată de social media și tweet-urile lor nu pot fi luate de față.”

În orice caz, PGP a fost evident interesată să studieze boții, indiferent de modul în care i-au definit. Proporția boților activi în domeniul vapingului și rolul pe care îi pot juca în advocacy este o problemă de cercetare legitimă, iar cred că mulți vaperi ar găsi un studiu care ar putea răspunde acestor întrebări destul de interesant. Dar problema este că PGP nu a proiectat un studiu care să poată răspunde la întrebările care motivează raportul lor.

Dacă PGP ar fi vrut să înțeleagă caracteristicile conturilor dintr-o populație particulară de tweeteri (adică, vaperi) ar fi trebuit să găsească o modalitate de a obține un eșantion reprezentativ de conturi din acea populație. Acest lucru este practic imposibil, dar asta este de partea punctului deoarece PGP nu pare nici măcar să înțeleagă că ar trebui să facă ceva de genul acesta. PGP nu a eșantionat conturi, ci a eșantionat tweet-uri. Aceste tweet-uri au fost trimise de conturi (evident) astfel că au ajuns cu o colecție de conturi, dar a fost complet inadecvat pentru cercetători să continue să facă inferențe despre populația conturilor care tweet-ează despre vaping pe baza unor conturi a căror tweet-uri s-au întâmplat să ajungă în eșantionul lor.

Cealaltă mare problemă cu raportul este că nu spune de fapt câte conturi unice discută aici. Ei raportează numere de tweet-uri (probabil pentru că acele numere sunt mai mari și PGP vrea să ne impresioneze), dar nu știm câte conturi le trimit. Și aceasta contează foarte mult dacă există vreo boturi reale în eșantion (și probabil că sunt unele) pentru că un bot de spam obscur cu zero urmăritori, programat să tweet-eze de sute de ori pe zi despre vaping, ar fi putut genera un număr disproporționat de tweet-uri în întregul eșantion, chiar dacă botul are puțin sau niciun efect în afara micii sale bule izolate.

Aceste boturi nu sunt boturi deloc

Lipsa de transparență, absența definițiilor și incompetenta metodologică clară sunt motive suficiente pentru a suspecta concluziile acestui studiu. Dar indicatorul concret că descoperirile PGP nu sunt valide este o secțiune a raportului care a fost ștearsă înainte de publicarea sa. (Puteți vedea versiunea publică pe site-ul PGP.)

Înapoi la Wall Street Journal. Când m-au întrebat să comentez despre raportul PGP, mi-au trimis o copie. Era lung de 32 de pagini. Secțiunea de rezultate era lungă de 15 pagini. Și o subsecțiune din rezultate, intitulată “Rețele de boturi,” ocupa aproximativ 40% din aceste rezultate. Se compunea din cinci analize de “micro-nivel” ale așa-numitelor “conturi de boturi” și ale “rețelelor de boturi identificate pe parcursul [procesului de analiză PGP].” Ei folosesc grafice pentru a reprezenta fiecare rețea. (Iată versiunea pe care am primit-o de la reporter.)

Fiecare dintre graficele PGP a fost construit în jurul unui nod focal, reprezentând un “bot” în analiza PGP. Acest nod era legat de alte noduri reprezentând conturi care au retweetat tweet-ul așa-zisului bot. Analiștii de rețele sociale se referă la aceste reprezentări grafice ca “rețele ego,” pentru că ele ilustrează relația dintre un nod central (“ego”) și nodurile conectate (“alters”). PGP a colorat nodurile alter în funcție de dacă îndeplineau criteriile lor nespecificate pentru a fi un bot, nodurile albe reprezentând conturi stabilite ca fiind umane. Nodurile albe erau minoritatea nodurilor din toate rețelele PGP.

PGP vrea să ne facă să credem că majoritatea activității Twitter despre vaping nu este probabil generată de adevărați oameni. Au redactat numele botului “ego” de la centrul fiecărei botnet. De ce? În raport ei susțin că aceasta a fost pentru a proteja intimitatea conturilor, dar dacă conturile sunt boturi de ce contează asta?

Sincer, chiar dacă PGP ar fi fost interesat să protejeze identitățile conturilor de boturi disguise ca fiind oameni reali care se amestecă în discuțiile online despre vaping cu posibile consecințe grave pentru sănătatea publică (sau așa spun ei), realitatea este că au făcut o treabă teribilă.

Am putut să identific cu ușurință conturile specifice reprezentate ca nod central în fiecare dintre cele cinci rețele de boturi presupuse incluse de PGP în raportul lor original. Am putut face asta pentru că PGP a inclus capturi de ecran ale tweet-urilor de la conturi pe care oricine le-ar putea tasta în bara de căutare a interfeței utilizator Twitter și le-ar putea recupera. Am făcut asta pentru tweet-urile fiecărui cont, am verificat numărul lor de urmăritori și postări cu ceea ce a raportat PGP și am verificat cine au fost toți. Întregul proces mi-a luat mai puțin de o jumătate de oră. Și guess what? Niciunul dintre aceste conturi nu sunt “boturi care se dă drept oameni reali.”

Dintre cele cinci conturi pe care PGP le-a ales pentru discuția exemplară despre rețelele lor de boturi, a fost doar unul pe care nu l-am recunoscut. Era un cont comercial cu sediul în Marea Britanie, folosind Twitter pentru a-și promova anunțurile eBay pentru diferite produse, inclusiv e-lichid și CBD. Apărea contul că folosește automatizare pentru a posta tweet-uri? Yupp. Există vreo indicație că oamenii nu erau în spatele acelor tweet-uri? Nu. Ar confunda vreo persoană rezonabilă acesta cu altceva decât un cont comercial al unei companii de comerț online? Nu. Există vreo indicație că contul promova dincolo de propria rețea de urmăritori? Nu.

În ceea ce privește cele patru conturi cu care eram familiarizat, trei erau conturi private ale indivizilor care sunt susținători de lungă durată ai vapingului și sunt, destul de evident, oameni reali. Celălalt era contul Twitter pentru această publicație. Editorul de știri al Vaping360, Jim McDonald, gestionează și tweet-ează de pe acest cont, iar Jim nu este un bot.

Așadar, din cele cinci boturi presupuse: unul este contul pentru o publicație de vaping care este condusă de unul dintre jurnaliști care îl folosește pentru a posta articole și a interacționa cu alți utilizatori (deci el postează conținut original). Trei sunt indivizi privați care susțin vaping-ul. Iar celălalt este un comerciant britanic. Mi se pare extrem de greu de crezut că cineva familiarizat cu oricare dintre aceste conturi ar concluziona că acestea sunt boturi care se dau drept oameni. Sau afaceri care se dau drept indivizi reali. Sau afaceri care folosesc boturi pentru a se da drept indivizi reali. Sau oricine implicat în vreo activitate nefavorabilă, de altfel.

Și asta face decizia PGP de a redacta numele acestor cinci conturi un pic suspectă. În primul rând, cu siguranță știau că ar fi fost posibil ca cineva care a vrut să știe cine sunt conturile să descopere asta cu informațiile pe care le-au făcut disponibile. Așadar, nu au protejat intimitatea nimănui, doar au făcut-o puțin mai laborioasă pentru cineva care voia să afle identitatea conturilor să găsească acea informație.

Capturile de ecran pe care am putut să le folosesc pentru a căuta tweet-uri de la aceste conturi includeau retweet-uri și răspunsuri la conturile de la “alters” care, de asemenea, nu sunt boturi—și nu s-au luat măsuri pentru a proteja identitățile acestor conturi. Capturile de ecran ale PGP au dezvăluit numele și handle-urile altor conturi în așa-zisele “botnets,” doar că nu boturile centrale (care nu sunt boturi).

Toate acestea îmi fac greu de crezut că protejarea intimității “boturilor” a fost principalul motiv pentru care PGP a ascuns ID-urile conturilor. Nu are sens pentru că protecțiile erau extrem de ușor de subvertit pentru oricine, pentru că protecțiile nu s-au extins la conturile care apar în capturi de ecran, și pentru că, la urma urmei, PGP avea un stimulent mult mai mare de a ascunde această informație pentru propria protecție și pentru a proteja credibilitatea raportului lor defectuos decât orice altceva.

Protejarea intimității sau salvarea feței?

Mi-ar plăcea să știu de ce PGP a publicat o versiune diferită a raportului față de cea pe care au împărtășit-o cu Wall Street Journal. Se pare că și Gregory Conley a vrut să știe asta, care le-a cerut să explice această alegere pe Twitter. Răspunsul PGP pentru el a fost acesta:

“WSJ a avut o exclusivitate pe cercetare și am împărtășit informații în timpul diligenței. La un moment dat, am împărtășit 5 conturi care aveau scoruri mari de automatizare, din cele 1 milion+ de mesaje analizate. Nu voiam ca aceste conturi să fie vizate. Așadar, nici articolul, nici raportul nu le menționează.”

PGP pare să subînțeleagă aici că rețelele de boturi au fost furnizate Wall Street Journal ca un context suplimentar pentru studiul final. Dacă analiza pe care am semnalat-o ca fiind fatal defectuoasă nu a fost de fapt destinată consumului public și a fost pur și simplu un material suplimentar trimis Jurnalului împreună cu raportul oficial, acest lucru nu schimbă faptul că subminează validitatea întregului studiu.

Dar este destul de greu de crezut că nu au intenționat să aibă asta în versiunea finală. Secțiunea a fost listată în tabelul de conținut al versiunii raportului care mi-a fost trimis. Aceasta era o parte esențială a secțiunii lor de rezultate, cu „botneturile” cadrează ca ilustrative pentru fenomenul abstract pe care au pretins că raportul lor l-a ilustrat. Nu a existat nicio indicație că acest conținut nu era destinat să fie o parte majoră a raportului final.

Am avut impresia că ceea ce mi-a fost dat era raportul final, și când am semnalat această analiză ca fiind grav eronată (și neetică) nu mi s-a spus niciodată că era o parte superficială a studiului sau specială pentru Wall Street Journal. Deși nu pot afirma cu certitudine, reporterul care mi-a trimis-o părea să aibă impresia că aceasta era și versiunea finală. Și, într-adevăr, cine ar trimite o schiță de lucru a unui raport revoluționar la un ziar căruia îi oferiți o exclusivitate? Asta nu are sens. Documentul care includea analiza botnetului acum ștearsă era rafinat, secțiunea ștearsă făcea parte din tabelul de conținut, nimic nu indică că aceasta nu era destinată să fie produsul final.

Dacă PGP a aflat cât de rău au dat cu această analiză, ar fi trebuit să-i facă să conteste validitatea întregului lor studiu. Ceea ce ar fi fost responsabil, intelectual onest și transparent ar fi fost să ceară ziarului să țină sau să anuleze povestea lor pentru a putea fi corectat raportul, sau poate dacă erorile erau atât de serioase, abandonat. Cel puțin, ar fi trebuit să se facă o notă care să indice că versiunea trimisă Journal-ului era diferită de versiunea finală publicată pe site.

Cred că PGP a eliminat acele pagini odată ce au înțeles evidența erorilor grave pe care le-au comis. Au subminat procesele științifice normale în toate celelalte privințe ale acestui lucru. De ce ar trebui să—de ce ar trebui cineva—să creadă că le păsa de ceva altceva decât de salvarea feței? Dacă PGP are vreo dovadă concretă reală pentru a susține afirmația lor că decizia de a tăia această secțiune nu era legată de faptul că botneturile lor nu erau de fapt botneturi, ar trebui să vină cu acea dovadă.

Dezumanizarea protestatarilor legitimi

Raportul PGP descrie o imagine a unei rețele sofisticate de boți concepuți pentru a-i păcăli pe oameni să creadă că sunt indivizi umani pentru a manipula discursul despre vaping. Faptul că niciunul dintre cele mai bune exemple ale lor nu avea caracteristicile acestui tip de cont (și patru dintre ele erau oameni pe care chiar îi cunoșteam) ridică întrebări serioase despre fiabilitatea întregii întreprinderi.

Sfera de advocacy a vapingului pe Twitter este o comunitate vag conectată de cetățeni individuali care își folosesc conturile de social media în mare parte private într-un context specific. Acești oameni nu sunt pe Twitter pentru beneficiul cercetătorilor oportuniști de „monitorizare și comunicare a sănătății publice”, care au ceva de câștigat prin colectarea conținutului generat de utilizatori și prezentarea acestuia dintr-un context pentru a ilustra o teorie extrem de plauzibilă și intelectual necinstită că avocații influenți ai vapingului nu sunt nimic mai mult decât o rețea sofisticată de boți malițioși, care se prezintă duplicitar ca oameni pentru a răspândi dezinformare în interesul unei puteri corporative fără nume și fără față.

Nu sunt sigur dacă aparentele necinste care saturează raportul PGP reprezintă încercarea organizației de a păcăli publicul, sau mai degrabă reflectă faptul că s-au păcălit singuri.

Dar nu contează. Cu sau fără secțiunea ștearsă „botneturi”, raportul PGP este total neetic. Acest raport nu a fost despre contribuția la cunoștințe în domeniul advocacy-ului vapingului, ci a fost despre crearea unei frenezii media în jurul unei descoperiri șocante care nu este de fapt reală. A fost realizat de un grup privat, anonim de cercetători de piață care ori nu înțeleg, ori nu le pasă de normele muncii științifice transparente, valide și fiabile. De asemenea, au ignorat dezechilibrul foarte real al puterii între persoanele care fac cercetări pe tweet-urile legate de vaping și persoanele reale care folosesc Twitter pentru a pleda pentru vaping.

Raportul PGP este propagandă menită să dezumanizeze protestatarii legitimi, să discrediteze cauza lor și să cenzureze discursul lor pe platformele de social media. Raportul a fost prezentat cu aparența științei, dar este destinat în întregime să servească scopuri politice.

Lecturi suplimentare sugerate: