Studija o Vaping Twitter Botovima je dehumanizirajuća propaganda

4. listopada primio sam e-mail od novinara Wall Street Journala koji je želio čuti moje mišljenje o studiji o "bot-marketingu e-cigareta" za priču koju planira.

Pretpostavio sam da se radi o nedavnom izvješću britanske tvrtke Astroscreen, koja je rekao Wired UK da su otkrili da "koordinirana, neautentična kampanja na društvenim mrežama eksplicitno cilja ključne američke donosiče odluka u pokušaju da ih prisili da povuku planove za zakonodavstvo protiv vapinga." Ironično, Astroscreen je izgradila bota koji je radio za njih, i budući da je bot "vlasnička tehnologija strojnog učenja" (prijevod: nitko osim autora ne može vidjeti kako ili zašto su došli do svojih zaključaka), stvarno ne postoji način da se ocijeni valjanost njihovih zaključaka.

Bio sam spreman raspraviti o tome s novinarom koji me kontaktirao. No, nije me kontaktirao u vezi sa studijom o Astroscreen botu.

Novinar WSJ-a je tražio komentare na drugo izvješće, od neimenovanih istraživača iz Public Good Projects (PGP) i financirano od nečega što se zove Nicholson Foundation. Kada sam rekao da se ne osjećam ugodno komentirajući studiju koju još nisam vidio ili o kojoj još nisam pročitao, novinar je ponudio da mi pošalje izvješće pod uvjetom da ga ne dijelim niti komentiram dok priča ne bude objavljena. Pristao sam na te uvjete.

Dopustite mi da istaknem koliko je čudno da su dvije različite privatne organizacije odlučile "izložiti" očigledno raširenu aktivnost "bota" u prostoru zagovaranja vapinga propuštajući neprovjerene "studije" velikim medijskim kućama, očito bez ikakvih planova da te studije podvrgnu recenziji kolega, i prije bilo kojeg javnog objavljivanja.

Kada sam pročitao PGP-ovo izvješće, primijetio sam druge sličnosti. Kao i Astroscreen, PGP je neopravdano nejasan o svojim metodologijama. Prema PGP-u, njihova analiza nudi "nikad prije viđene informacije o ulozi koju botovi trenutno igraju u online raspravi oko e-cigareta i duhana." Konkretno, zaključuju da "više od polovice svih poruka koje se prenose kroz javne medijske izvore u Sjedinjenim Državama o e-cigaretama i duhanskim proizvodima može postaviti automatizirane račune, ili botove."

Ipak, ne pružaju nikakve korisne informacije o tome kako su došli do takvog zaključka. Čitatelji bi jednostavno trebali vjerovati da je otkriće valjano. No, primijetio sam nešto u izvješću što mi je dalo dobar razlog da mu ne vjerujem. I, s obzirom na članak koji je Wall Street Journal na kraju objavio uključivao nijednu od mojih komentara novinaru, objasnit ću ih ovdje.

Međutim, prije nego što dođem do toga, pogledajmo neke od šireg problema s PGP-ovim izvješćem.

Što oni zapravo misle pod "bot"?

Prvo i osnovno, PGP je neopravdano nejasan o tome što su zapravo radili, kako su to radili i što su zapravo pronašli. I to čini vrlo teškim interpretirati izjave koje se čine jednostavnim u izvješću, poput ove: "od ukupnog uzorka od 2.536.659 Twitter poruka povezanih s e-cigaretama ili duhanom, 22,6% poruka su objavili ljudi, 20,8% objavili sumnjivi botovi i 56,6% je potvrđeno da su generirani od botova."

Nemoguće je značajno interpretirati gornju statistiku jer ne znamo što PGP misli pod botovima. Ili bolje rečeno, ne znamo što su smatrali botom kada su radili analizu. Znamo, iz načina na koji je izvješće strukturirano, da PGP želi da razmišljamo o botovima u vapingu kao o automatiziranim računima, osmišljenim da izgledaju ljudski, koji djeluju kako bi širili dezinformacije o nikotinu i e-cigaretama, i/ili ih oglašavali svima, posebno djeci.

No, ono što PGP želi da mislimo kada čujemo "bot" nije isto što su oni zapravo smatrali botom u ovoj studiji. Pa kako je PGP zapravo identificirao botove, i što su smatrali botom? Evo što kažu u izvješću:

"PGP može identificirati koje objave imaju visoku vjerojatnost da potječu od botova i koje imaju visoku vjerojatnost da potječu od ljudi…. PGP istraživači ispituju više karakteristika računa kako bi odredili vjerojatnost da objava dolazi od bota, uključujući (ali ne ograničavajući se na) učestalost i vrijeme objava, broj objava, broj sljedbenika i angažman s drugim računima. Botovi, posebno oni stvoreni s lošim namjerama, su nevjerojatno nijansirani i često su dizajnirani da izgledaju upravo kao ljudi. Stoga, jednostavan pregled osnovnih karakteristika računa i profila nije dostatan za procjenu vjerojatnosti automatizacije."

To je beskorisno. Nije mi baš stalo koliko točno PGP misli da su njihove metode; želim procijeniti to sam, a ne mogu to učiniti na temelju informacija koje pružaju. No sve što žele dati su ovo patetično i pretjerano nejasno objašnjenje zašto mi zapravo ne govore na što su konkretno gledali, tako da mogu procijeniti jesu li njihova studija valjana. Tretiraju svoje metode kao magiju i okvire ih kao previše sofisticirane za svoje čitatelje da bi ih razumjeli, što je u osnovi ogroman crveni znak.

PGP je jučer podijelio neka naknadna pojašnjenja na Twitteru o svom procesu klasifikacije i metodologiji koja su bila čak još nejasnija i besmislenija od onoga što su rekli u stvarnom izvješću. Na primjer: "Definiramo 'automaciju' kao rezultat od 1-100. 100% robot će raditi stvari poput auto-RT, ne objavljujući originalni sadržaj."

Peter Sterne, slobodni novinar koji piše o medijskoj industriji, sažeto je artikulirao problem s PGP-ovom definicijom bota u privatnoj poruci meni: "PGP je očito usvojio apsurdno široku definiciju bota (bilo tko tko koristi bilo koju aplikaciju za automatsko objavljivanje) koja obuhvaća mnoštvo pravih ljudi, dok snažno implicira da su svi 'botovi' dio sofisticirane operacije na društvenim mrežama i da se njihovi tweetovi ne mogu uzeti zdravo za gotovo."

U svakom slučaju, PGP je očito bio zainteresiran za proučavanje botova, bez obzira na to kako su ih definirali. Proporcija botova aktivnih u prostoru vapinga i uloga koju mogu igrati u zagovaranju je legitimna istraživačka zagonetka, i mislim da bi mnogi vaperi našli studiju koja bi mogla odgovoriti na ova pitanja prilično zanimljivom. No stvar je u tome da PGP nije osmislio studiju koja bi mogla odgovoriti na pitanja koja motiviraju njihovo izvješće.

Ako je PGP želio razumjeti karakteristike računa u određenoj populaciji tviteraša (tj. vaperi), trebali bi smisliti način da dobiju reprezentativan uzorak računa iz te populacije. To je praktično nemoguće, ali to nije poanta jer se čini da PGP uopće ne shvaća da bi trebali učiniti nešto poput toga. PGP nije uzorkovao račune, uzorkovali su tweetove. Ovi tweetovi su poslani od računa (očigledno) pa su završili s prikupljanjem računa, ali bilo je potpuno neprimjereno da istraživači nastave izvoditi zaključke o populaciji računa koji tvitaju o vapingu na temelju nekih računa čiji su tweetovi slučajno završili u njihovom uzorku.

Drugi veliki problem s izvještajem je u tome što zapravo ne navodi koliko jedinstvenih računa ovdje spominju. Navode brojeve tweetova (vjerojatno zato što su ti brojevi veći, a PGP želi impresionirati nas), ali ne znamo koliko računa ih šalje. I to zapravo jako važno ako postoji stvarnih botova u uzorku (a vjerojatno ih ima), jer mračni spam-bot s nula pratitelja programiran za tvitanje stotina puta dnevno o vapingu mogao bi generirati nesrazmjatan broj tweetova u cijelom uzorku, čak i ako bot nema nikakvog utjecaja izvan svoje male izolirane mjehurića.

Ovi botovi nisu botovi uopće

Nedostatak transparentnosti, izostanak definicija i jasna metodološka nesposobnost su dovoljno dobri razlozi za sumnju u zaključke ove studije. No konkretni indikator da PGP-ovi nalazi nisu valjani je odjeljak izvješća koji je izbrisan prije nego što je objavljen. (Možete vidjeti javnu verziju na PGP-ovoj web stranici.)

Povratak na Wall Street Journal. Kada su me zamolili da komentiram PGP izvještaj, poslali su mi kopiju. Imala je 32 stranice. Odjeljak rezultata imao je 15 stranica. A pododjeljak unutar rezultata, pod nazivom "Bot mreže", zauzimao je oko 40 posto tih rezultata. Sastojala se od pet "mikro-nivo" analiza takozvanih "bot računa" i njihovih "bot mreža identificiranih tijekom [PGP-ovog] analitičkog procesa." Koriste grafove kako bi prikazali svaku mrežu. (Evo verzije koju mi je dao novinar.)

Svaki od PGP-ovih grafova bio je izgrađen oko fokusnog čvora, koji predstavlja "bota" u PGP analizi. Taj čvor bio je povezan s drugim čvorovima koji su predstavljali račune koji su retweetali takozvani tweet bota. Analitičari društvenih mreža nazivaju te grafičke prikaze "ego mrežama", jer prikazuju odnos između središnjeg čvora ("ego") i povezanih čvorova ("alteri"). PGP je obojio alter čvorove prema tome jesu li ispunjavali svoje neotkrivene kriterije za bota, pri čemu su bijeli čvorovi predstavljali račune određene kao ljude. Bijeli čvorovi bili su manjina čvorova u svim PGP-ovim mrežama.

PGP želi da vjerujemo da velika većina Twitter aktivnosti o vapingu vjerojatno nije generirana od stvarnih ljudskih bića. Izbrisali su ime "ego" bota u središtu svake bot mreže. Zašto? U izvještaju tvrde da je to učinjeno da bi se zaštitila privatnost računa, ali ako su računi botovi, zašto to ima značaj?

Iskreno, čak i ako bi PGP zapravo bio zainteresiran za čuvanje identiteta bot računa prikrivenih kao stvarne osobe koje se miješaju u online diskurs o vapingu s potencijalno teškim posljedicama za javno zdravlje (ili tako kažu), činjenica je da su loše obavili taj posao.

Mogao sam lako identificirati specifične račune predstavljene kao središnji čvor u svakoj od pet navodnih bot mreža koje je PGP uključio u svoj izvorni izvještaj. To sam mogao učiniti jer je PGP uključio snimke zaslona tweetova iz računa koje je svatko mogao upisati u pretraživač u korisničkom sučelju Twittera i dohvatiti. Učinio sam to za tweetove svakog računa, provjerio njihov broj pratitelja i postova s onim što je PGP izvijestio i potvrdio tko su svi oni. Cjeli proces trajao je manje od pola sata. A pogodite što? Nijedan od tih računa nije "bot koji se pretvara da je stvarna osoba."

Od pet računa koje je PGP odabrao za svoju diskusiju o primjerima bot mreža, samo jedan nisam prepoznao. Bio je to komercijalni račun sa sjedištem u U.K., koji koristi Twitter za oglašavanje svojih eBay ponuda za razne proizvode, uključujući e-tekućinu i CBD. Je li se činilo da je račun koristio automatizaciju za objavljivanje tweetova? Da. Je li bilo ikakvih naznaka da iza tih tweetova nisu ljudi? Ne. Bi li bilo koja razumna osoba zamijenila ovo za nešto drugo osim komercijalnog računa tvrtke koja se bavi online trgovinom? Ne. Je li bilo ikakvih naznaka da je račun promovirao izvan vlastite mreže pratitelja? Ne.

Što se tiče četiri računa koja su mi bila poznata, tri su bila privatni računi pojedinaca koji su dugogodišnji zagovornici vapinga i očigledno pravi ljudi. Drugi je bio Twitter račun za ovu publikaciju. Urednik za vijesti Vaping360 Jim McDonald upravlja i tweetuje s ovog računa, a Jim nije bot.

Dakle, od pet navodnih botova: jedan je račun za publikaciju o vapingu koju vodi jedan od novinara koji ga koristi za objavljivanje članaka i komunikaciju s drugim korisnicima (dakle, objavljuje originalni sadržaj). Tri su privatne osobe koje se zalažu za vaping. A drugi je neki britanski trgovac. Izuzetno mi je teško povjerovati da bi itko tko zna za bilo koji od ovih računa mogao zaključiti da su to botovi koji se pretvaraju da su ljudi. Ili poslovanja koja se pretvaraju da su individualni ljudi. Ili poslovanja koja koriste botove da se pretvaraju da su individualni ljudi. Ili da je itko uključen u bilo kakvu zlu aktivnost, kada je o tome riječ.

I to čini PGP-ovu odluku da izbrisu imena tih pet računa pomalo sumnjivom. Prvo, zasigurno su znali da će biti moguće za nekoga tko želi znati tko su ti računi da to otkrije s informacijama koje su stavili na raspolaganje. Dakle, nisu zaštitili privatnost nikoga, samo su učinili malo teže nekome tko želi znati identitet računa da pronađe te informacije.

Snimke zaslona koje sam mogao koristiti za pretraživanje tweetova iz tih računa uključivale su retweetove i odgovore računa od "altera" koji također nisu botovi—i nisu poduzete nikakve mjere za zaštitu identiteta tih računa. PGP-ove snimke zaslona otkrile su imena i nadimke drugih računa u takozvanim "bot mrežama", samo ne središnjih botova (koji nisu botovi).

Sve ovo otežava mi vjerovati da je zaštita privatnosti "botova" bila glavni razlog zbog kojeg je PGP sakrio ID-ove računa. To nema smisla jer su zaštite bile izuzetno jednostavne za bilo koga da obmanu, jer zaštite nisu proširene na račune koji se pojavljuju na snimkama zaslona, i jer je na kraju dana, PGP imao daleko veći poticaj da sakrije te informacije za vlastitu zaštitu i zaštitu vjerodostojnosti svog pogrešnog izvještaja nego išta drugo.

Zaštita privatnosti ili spašavanje ugleda?

Volio bih znati zašto je PGP objavio drugačiju verziju izvještaja od one koju su podijelili s Wall Street Journalom. Očigledno je to pitala i Gregory Conley, koji je od njih tražio objašnjenje ovog izbora na Twitteru. PGP-ov odgovor njemu bio je ovo:

“WSJ je imao ekskluzivu na istraživanje i podijelili smo informacije tijekom dužne pristojnosti. U jednom trenutku smo podijelili 5 računa koji su imali visoke rezultate automatizacije, od više od 1 milijun poruka analiziranih. Nismo željeli da ti računi budu ciljani. Tako niti članak niti izvještaj ne spominju njih.”

PGP izgleda implicira da su bot mreže objavljene Wall Street Journalu kao dodatni kontekst konačnoj studiji. Ako analiza koju sam označio kao fatalno pogrešnu zapravo nikada nije bila namijenjena javnoj potrošnji, a jednostavno je dodatni materijal poslan Novinama zajedno s službenim izvješćem, to ne mijenja činjenicu da to podriva valjanost cijele studije.

Ali prilično je teško povjerovati da nisu imali namjeru imati ovo u konačnoj verziji. Odljak je bio naveden u sadržaju verzije izvještaja koja mi je poslana. Ovo je bio središnji dio njihovog dijela o rezultatima, s „botovima“ okvirno prikazanim kao ilustracija apstraktnog fenomena za koji su tvrdili da njihov izvještaj osvjetljava. Nije bilo naznaka da ovaj sadržaj nije trebao biti glavni dio konačnog izvještaja.

Stekao sam dojam da je ono što sam dobio konačni izvještaj, i kada sam označio ovu analizu kao грубо погрешну (i neetičku) nikada mi nisu rekli da je to bilo površinski dio studije ili posebno za Wall Street Journal. Iako ne mogu reći sa sigurnošću, novinar koji mi je to poslao činilo se da je imao dojam da je ovo konačna verzija također. I stvarno, tko bi poslao radnu verziju revolucionarnog izvještaja novinama kojima nudite ekskluzivu? To jednostavno nema smisla. Dokument koji je uključivao sada izbrisanu analizu botova bio je dorađen, izbrisani odjeljak bio je dio sadržaja, ništa ne ukazuje da ovo nije trebala biti konačna verzija.

Ako je PGP saznao koliko su loše prokockali ovu analizu, to bi ih trebalo natjerati da preispitaju valjanost cijele njihove studije. Odgovorna, intelektualno poštena i transparentna stvar koju bi ovdje trebalo učiniti bila bi zamoliti novine da zadrže ili otkažu svoju priču kako bi se izvještaj mogao popraviti, ili možda ako su nedostaci bili tako ozbiljni, napustiti. U najmanju ruku, trebalo je napraviti bilješku koja bi ukazivala na to da je verzija poslana Journalu bila drugačija od konačne verzije objavljene na webu.

Mislim da je PGP uklonio te stranice kada su shvatili očitost teških grešaka koje su napravili. Poništili su normalne znanstvene procese u svim ostalim aspektima ovog rada. Zašto bih ja—zašto bi bilo tko—vjerovao da im je stalo do nečega osim do spašavanja ugleda? Ako PGP ima bilo kakve konkretne dokaze koji podržavaju njihovu tvrdnju da odluka o uklanjanju ovog odjeljka nije bila povezana s činjenicom da njihovi botovi zapravo nisu botovi, trebali bi ih iznijeti.

Dehumaniziranje legitimnih prosvjednika

PGP-ov izvještaj prikazuje sliku sofisticirane mreže botova dizajniranih da prevare ljude da vjeruju da su pojedinačni ljudi kako bi manipulirali diskursom o vaping-u. Činjenica da nijedan od njihovih najboljih primjera nije imao bilo kakve karakteristike ovog tipa računa (a četvorica od njih bila su ljudi koje sam zapravo poznavao) postavlja ozbiljna pitanja o pouzdanosti cijelog poduhvata.

Sfera zagovaranja vaping-a na Twitter-u je labavo povezana zajednica pojedinačnih građana koji koriste svoje većinom privatne račune na društvenim mrežama u specifičnom kontekstu. Ovi ljudi nisu na Twitter-u za dobrobit oportunističkih istraživača „javnog zdravstva i komunikacija“, koji imaju nešto za dobiti prikupljanjem njihovog sadržaja generiranog korisnicima i predstavljanjem izvan konteksta kako bi ilustrirali nevjerojatnu i intelektualno nepoštenu teoriju da utjecajni zagovornici vaping-a nisu ništa drugo nego sofisticirana mreža zlonamjernih botova, dvolično se predstavljajući kao ljudi kako bi širili dezinformacije u interesu nekakve bezimene, bezlične, korporativne moći.

Nisam siguran predstavlja li očita nepoštenja koja saturiraju PGP izvještaj pokušaj organizacije da prevari javnost, ili je više odraz činjenice da su prevarili sami sebe.

Ali nije važno. S ili bez izbrisanog odjeljka „botovi“, PGP-ov izvještaj je potpuno neetičan. Ovaj izvještaj nije bio o doprinosu znanju o zagovaranju vaping-a, bio je o stvaranju medijske frene oko šokantnog otkrića koje zapravo nije stvarno. Provela ga je privatna, neimenovana grupa istraživača tržišta koji ili ne razumiju ili ih nije briga za norme transparentnog, valjanog i pouzdano znanstvenog rada. Također su ignorirali vrlo stvarnu moćnu nerazmjernost između ljudi koji istražuju vaping tweeter-a i stvarnih ljudi koji koriste Twitter za zagovaranje vaping-a.

PGP-ov izvještaj je propaganda usmjerena na dehumaniziranje legitimnih prosvjednika, diskreditiranje njihovog uzroka i cenzuriranje njihovog govora na platformama društvenih medija. Izvještaj je predstavljen s izgledom znanosti, ali je u potpunosti namijenjen služenju političkim ciljevima.

Preporučena daljnja literatura: