Vaping Twitter Bot Studija je Dehumanizing Propaganda

Četvrtog oktobra sam primio email od novinara Wall Street Journala koji je želeo da čuje moje mišljenje o studiji o "bot-marketingu e-cigareta" za priču koju je planirao.

Pomislio sam da se radi o nedavnom izveštaju britanske kompanije Astroscreen, koja je rekao Wired UK da su otkrili da "koordinirana, neautentična kampanja na društvenim mrežama otvoreno cilja ključne američke donosioće odluka u pokušaju da ih prisili da odustanu od planova za zakonodavstvo protiv vaping-a." Ironično, Astroscreen je izgradio bota da obavi njihov posao umesto njih, i pošto je bot "proprietarnaja mašinska tehnologia" (prevođenje: niko osim autora ne može da vidi kako ili zašto su došli do svojih zaključaka), zapravo nema načina da se proceni validnost njihovih zaključaka.

Bio sam spreman da razgovaram o tome s novinarom koji me kontaktirao. Ali nije me kontaktirao zbog studije o botu Astroscreena.

Reporter WSJ-a je želeo komentare o drugom izveštaju, od neimenovanih istraživača iz Public Good Projects (PGP) i finansiranog od nečega što se zove Nicholson Foundation. Kada sam rekao da se ne osećam prijatno komentarišući studiju koju još nisam video ili pročitao, reporter se ponudio da mi pošalje izveštaj pod uslovom da ga ne podelim ili komentarišem dok priča ne bude objavljena. Slažio sam se s tim uslovima.

Dopusti mi da istaknem koliko je čudno da su dve različite privatne organizacije odlučile da "otkriju" očigledno rasprostranjenu aktivnost "bota" u prostoru zagovaranja vapinga curenjem neproverenih "studija" velikim medijima, očigledno bez ikakvih planova da te studije budu recenzirane od strane stručnjaka, i pre ikakvog javnog objavljivanja.

Kada sam pročitao PGP izveštaj, primetio sam druge sličnosti. Poput Astroscreena, PGP je neopravdano neprozirna o svojim metodologijama. Prema PGP-u, njihova analiza nudi "nikada pre viđene informacije o ulozi koju botovi trenutno igraju u online razgovoru o e-cigareta i duvanskim proizvodima." Konkretno, zaključuju da "više od polovine svih poruka koje se prenose putem javnih medijskih izvora u Sjedinjenim Američkim Državama u vezi s e-cigareta i duvanskim proizvodima može biti objavljeno od strane automatizovanih naloga, ili botova."

Ipak, oni ne pružaju nikakve korisne informacije o tome kako su došli do takvog zaključka. Čitaoci trebalo bi jednostavno da veruju da je nalaz validan. Ali primetio sam nešto u izveštaju što mi je dalo dobar razlog da mu ne verujem. A pošto članak koji je Wall Street Journal na kraju objavio nije uključivao nijedan moj komentar novinaru, objasniću ih ovde.

Međutim, pre nego što dođem do toga, pogledajmo neke šire probleme sa PGP izveštajem.

Šta oni uopšte misle pod "bot"?

Pre svega, PGP je neopravdano nejasan o tome šta su zapravo radili, kako su to uradili i šta su zapravo pronašli. I to čini veoma teškim da se tumače izjave koje izgledaju jednostavno u izveštaju, poput ove: "od ukupnog uzorka od 2.536.659 Twitter poruka vezanih za e-cigarete ili duvan, 22,6% poruka je postavljeno od strane ljudi, 20,8% postavljeno od sumnjivih botova, a 56,6% je potvrđeno da je generisano od strane botova."

Nemoguće je smisleno interpretirati gornju statistiku jer ne znamo šta PGP misli pod botovima. Odnosno, ne znamo šta su smatrali botom kada su radili analizu. Znamo, iz načina na koji je izveštaj oblikovan, da PGP želi da razmišljamo o botovima u vezi s vapingom kao o automatizovanim nalozima, dizajniranim da izgledaju kao ljudi, koji deluju da šire dezinformacije o nikotinu i e-cigarama, i/ili ih reklamiraju svima, posebno deci.

Ali ono što PGP želi da mislimo kada čujemo "bot" nije isto što su oni stvarno računali kao bot u ovoj studiji. Pa kako su PGP zapravo identifikovali botove i šta su smatrali botom? Evo šta kažu u izveštaju:

“PGP može identifikovati koje objave imaju visoku verovatnoću da potiču od botova i koje imaju visoku verovatnoću da potiču od ljudi…. PGP istraživači ispituju više karakteristika naloga kako bi utvrdili verovatnoću da objava dolazi od bota, uključujući (ali ne ograničavajući se na) učestalost i vreme objava, broj objava, broj pratilaca i angažovanje s drugim nalozima. Botovi, posebno oni stvoreni s malicioznom namerom, su izuzetno nijansirani i često su dizajnirani da izgledaju tačno kao ljudi. Stoga, jednostavno ispitivanje osnovnih karakteristika naloga i profila nije dovoljno za procenu verovatnoće automatizacije.”

To je beskorisno. Ne zanima me koliko PGP misli da su njihovi metodi tačni; želim da to procenim sam, i ne mogu to na osnovu informacija koje pružaju. Ali sve što žele da mi daju je ova patronizirajuća i previše nejasna izgovora za to što mi ne govore šta su zapravo gledali, tako da mogu da prosudim da li je njihova studija validna. Oni tretiraju svoje metode kao magiju i okvirno ih predstavljaju kao previše sofisticirane da ih njihovi čitaoci razumeju, što je zapravo veliki crveni znak.

PGP je juče podelio neka pojašnjenja na Twitteru o svom procesu klasifikacije i metodologiji koja su bila još nejasnija i besmislena od onoga što su rekli u stvarnom izveštaju. Na primer: “Definišemo "automatizaciju" kao ocenu od 1-100. 100% robot će raditi stvari kao što su auto-RT, postavljanje bez originalnog sadržaja.”

Peter Sterne, slobodni novinar koji piše o industriji medija, sažeto je izrazio problem s definicijom bota PGP-a u privatnoj poruci: “PGP je očigledno usvojio apsurdno široku definiciju bota (svako ko koristi bilo koju aplikaciju za automatsko objavljivanje) koja obuhvata mnoge stvarne ljude, dok snažno implicira da su svi "botovi" deo sofisticirane operacije na društvenim mrežama i da se njihovi tweetovi ne mogu shvatiti doslovno.”

U svakom slučaju, PGP je očigledno bio zainteresovan za proučavanje botova, bez obzira na to kako su ih definisali. Proporcija botova aktivnih u prostoru vapinga, i uloga koju mogu igrati u zagovaranju je legitimna istraživačka zagonetka, i mislim da bi mnogi vaperi smatrali da je studija koja bi mogla odgovoriti na ova pitanja prilično zanimljiva. Ali stvar je u tome što PGP nije dizajnirao studiju koja bi mogla odgovoriti na pitanja koja motivišu njihov izveštaj.

Ako je PGP želeo da razume karakteristike naloga u određenoj populaciji tviteraša (tj. vaperi), morali bi da pronađu način da dobiju reprezentativni uzorak naloga iz te populacije. To je gotovo nemoguće, ali to nije poenta jer PGP čak ne izgleda kao da razume da bi trebali da urade nešto poput toga. PGP nije uzorkovao naloge, već su uzorkovali tweetove. Ovi tweetovi su poslati od naloga (očigledno) pa su na kraju došli do kolekcije naloga, ali je potpuno neprimereno da istraživači nastave da donose zaključke o populaciji naloga koji tvituju o vapingu na osnovu nekih naloga čiji su tweetovi slučajno završili u njihovom uzorku.

Drugi veliki problem sa izveštajem je to što zapravo ne kaže koliko jedinstvenih naloga ovde pominju. Izveštavaju o broju tvitova (verovatno zato što su ti brojevi veći i PGP želi da nas impresionira), ali ne znamo koliko naloga ih šalje. A to zapravo mnogo znači ako postoje bilo kakvi pravi botovi u uzorku (a verovatno ih ima) jer obskurni spam-bot bez pratilaca programiran da tvituje stotine puta dnevno o vaping-u mogao je generisati nesrazmerno veliki broj tvitova u celokupnom uzorku, čak i ako bot ima malo ili nimalo uticaja van svoje male izolovane mehuriće.

Ovi botovi nisu botovi uopšte

Nedostatak transparentnosti, odsustvo definicija i jasna metodološka nesposobnost su dovoljno dobar razlog da sumnjate u zaključke ove studije. Ali konkretan pokazatelj da su PGP-ovi nalazi nevalidni je deo izveštaja koji je obrisan pre njegovog javnog objavljivanja. (Možete videti javno izdanje na PGP-ovoj web stranici.)

Povratak na Wall Street Journal. Kada su me pitali da komentarišem PGP izveštaj, poslali su mi kopiju. Imala je 32 stranice. Deo sa rezultatima je bio dug 15 stranica. A pododdeljak unutar rezultata, pod nazivom “Bot mreže,” zauzimao je oko 40 procenata ovih rezultata. Sastojala se od pet “mikro-nivo” analiza tzv. “bot naloga” i njihovih “bot mreža identifikovanih tokom [PGP-ovog] procesa analize.” Koriste grafikone da prikažu svaku mrežu. (Evo verzije koju mi je dao novinar.)

Svaki od PGP-ovih графикona je bio izgrađen oko fokusnog čvora, koji predstavlja “bota” u PGP analizi. Taj čvor je bio povezan s drugim čvorovima koji predstavljaju naloge koji su retvitovali tvit tzv. bota. Analitičari društvenih mreža nazivaju ove grafičke reprezentacije “ego mrežama,” jer prikazuju odnos između centralnog čvora ( “ego”) i povezanih čvorova (“alteri”). PGP je obeležio alter čvorove bojama prema tome da li su ispunjavali njihove neobjavljene kriterijume da budu bot, pri čemu su beli čvorovi predstavljali naloge za koje je utvrđeno da su ljudi. Beli čvorovi su bili manjina čvorova u svim PGP-ovim mrežama.

PGP želi da verujemo da velika većina aktivnosti na Twitter-u o vaping-u verovatno nije generisana od strane pravih ljudskih bića. Izbrisali su ime “ego” bota u centru svake bot mreže. Zašto? U izveštaju tvrde da je to bilo da zaštite privatnost naloga, ali ako su nalozi botovi, zašto to ima značaj?

Iskreno, čak i ako bi PGP zapravo bio zainteresovan za čuvanje identiteta bot naloga prikrivenih kao stvarnih osoba koje se mešaju u onlajn vaping diskurs sa potencijalno teškim posledicama po javno zdravlje (ili tako tvrde), činjenica je da su uradili strašan posao.

Mogao sam lako identifikovati specifične naloge predstavljene kao centralni čvor u svakoj od pet navodnih bot mreža koje je PGP uključio u svoj izvorni izveštaj. Mogao sam to učiniti jer je PGP uključio snimke ekrana tvitova sa naloga koje svako može otkucati u pretraživač u Twitter interfejsu i preuzeti. Uradio sam to za tvitove svakog naloga, proverio njihov broj pratilaca i postove sa onim što je PGP izvestio, i potvrdio ko su svi oni. Ceo proces mi je oduzeo manje od pola sata. I pogodite šta? Nijedan od ovih naloga nisu “botovi koji se predstavljaju kao pravi ljudi.”

Od pet naloga koje je PGP izabrao za svoju diskusiju o primerima bot mreža, samo jedan nisam prepoznao. To je bio komercijalni nalog sa sedištem u Velikoj Britaniji, koji koristi Twitter kako bi oglašavao svoje eBay liste za razne proizvode, uključujući e-tečnost i CBD. Da li se nalog činio kao da koristi automatizaciju da objavljuje tvitove? Da. Da li je postojala neka indikacija da ljudi nisu stojali iza tih tvitova? Ne. Da li bi bilo koja razumna osoba pobrkala ovo sa nečim drugim osim komercijalnim nalogom online trgovine? Ne. Da li je postojala neka indikacija da je nalog promovisao izvan svoje mreže pratilaca? Ne.

Što se tiče četiri naloga sa kojima sam bio upoznat, tri su bila privatni nalozi pojedinaca koji su, dugogodišnji zagovornici vaping-a i očigledno pravi ljudi. Drugi je bio Twitter nalog za ovu publikaciju. Urednik za vesti Vaping360, Jim McDonald, upravlja i tvituje sa ovog naloga, a Jim nije bot.

Dakle, od pet navodnih botova: jedan je nalog za vaping publikaciju koja je vođena od strane jednog od novinara koji koristi taj nalog za postavljanje članaka i angažovanje sa drugim tviterašima (tako da postavlja originalni sadržaj). Tri su privatne osobe koje se zalažu za vaping. A drugi je neki britanski trgovac. Ekstremno je teško poverovati da bi bilo ko ko je upoznat sa bilo kojim od ovih naloga zaključio da su botovi koji se predstavljaju kao ljudi. Ili biznisi koji se predstavljaju kao pojedinačni ljudi. Ili biznisi koji koriste botove da se predstave kao pojedinačni ljudi. Ili bilo ko ko je uključen u bilo koju nečasnu aktivnost, uostalom.

I to čini PGP-ovu odluku da sakrije imena ovih pet naloga pomalo sumnjivom. Prvo, sigurno su znali da će biti moguće da neko ko želi da zna ko su nalozi to otkrije sa informacijama koje su uključili. Tako da nisu zaštitili ničiju privatnost, samo su učinili malo napornijim za nekoga ko želi da zna identitet naloga da pronađe te informacije.

Snimci ekrana koje sam mogao koristiti za pretragu tvitova sa ovih naloga su uključivali retvitove i odgovore na naloge od “alteri” koji takođe nisu botovi—i nisu su preduzete mere da zaštite identitete ovih naloga. PGP-ovi snimci ekrana su otkrili imena i korisnička imena drugih naloga u takozvanim “bot mrežama,” samo ne centralnim botovima (koji nisu botovi).

Sve ovo otežava da verujem da je zaštita privatnosti “botova” glavni razlog zašto je PGP sakrio identifikacione brojeve naloga. To nema smisla jer su zaštite bile izuzetno lake za bilo koga da prevaziđe, jer zaštite nisu bile proširene na naloge koji se pojavljuju na snimcima ekrana, i jer na kraju dana, PGP je imao daleko veći podsticaj da sakrije ove informacije radi vlastite zaštite i da zaštiti kredibilitet svog flawed izveštaja nego išta drugo.

Zaštita privatnosti ili spašavanje ugleda?

Želeo bih da znam zašto je PGP objavio drugačiju verziju izveštaja od one koju su podelili sa Wall Street Journal. Očigledno je takođe to pitao Gregory Conley, koji ih je zamolio da objasne ovaj izbor na Twitter-u. PGP-ov odgovor njemu je bio ovaj:

“WSJ je imao ekskluzivitet na istraživanju i podelili smo informacije tokom provere. U jednom trenutku smo podelili 5 naloga koji su imali visoke ocene automatizacije, od više od 1 miliona poruka analiziranih. Nismo želeli da ti nalozi budu meta. Dakle, niti članak niti izveštaj ih pominju.”

PGP se ovde insinuira da su bot mreže dostavljene Wall Street Journal-u kao dodatni kontekst finalnoj studiji. Ako je analiza koju sam označio kao fatalno pogrešnu zapravo nikada nije bila namenjena javnoj potrošnji, i jednostavno neka dodatna materija poslata Journal-u zajedno sa zvaničnim izveštajem, to ne menja činjenicu da undermines valjanost cele studije.

Ali je prilično teško poverovati da nisu nameravali da imaju ovo u konačnoj verziji. Odeljak je bio naveden u sadržaju verzije izveštaja koja je poslana meni. Ovo je bio ključni deo njihove sekcije rezultata, sa “botnetima” prikazanim kao ilustracija apstraktnog fenomena koji su tvrdili da njihov izveštaj osvetljava. Nije bilo naznaka da ovaj sadržaj nije bio zamišljen kao važan deo konačnog izveštaja.

Stvorena mi je predstava da je ono što sam dobio konačni izveštaj, i kada sam označio ovu analizu kao grubo neispravnu (i neetičku) nikada mi nije rečeno da je to površni deo studije ili specijalno za Wall Street Journal. Iako ne mogu to sa sigurnošću reći, reporter koji mi je to poslao činilo se da je pod utisak da je ovo konačna verzija. I zaista, ko bi poslao radnu verziju revolucionarnog izveštaja novinama kojima nudite ekskluzivu? To zaista nema smisla. Dokument koji je uključivao sada obrisanu analizu botnetova bio je dotjeran, obrisani deo je bio deo sadržaja, ništa ne ukazuje da ovo nije bilo zamišljeno kao konačni proizvod.

Ako je PGP saznao koliko su loše pogrešili u ovoj analizi, to bi trebalo da ih navede da preispitaju validnost cele svoje studije. Odgovorno, intelektualno pošteno i transparentno ponašanje ovde bi bilo da zatraže od novina da zadrže ili otkažu svoju priču kako bi izveštaj mogao biti ispravljen, ili možda ako su greške bile toliko ozbiljne, napušten. U najmanju ruku, trebalo je da se napravi neka beleška koja ukazuje da je verzija poslata Journal-u bila različita od konačne verzije objavljene na vebu.

Mislim da je PGP obrisao te stranice kada su shvatili očiglednost teških grešaka koje su napravili. Subverzivno su delovali u svim drugim aspektima ovog rada. Zašto bih trebao—zašto bi iko—verovati da im je stalo do bilo čega osim do očuvanja svog lica? Ako PGP ima bilo kakve stvarne konkretne dokaze koji podržavaju njihovu tvrdnju da odluka o brisanju ovog odeljka nije bila povezana sa činjenicom da njihovi botnetovi zapravo nisu botnetovi, trebali bi da ih iznesu.

Dehumanizovanje legitimnih demonstranata

Izveštaj PGP-a slika sliku sofisticirane mreže botova osmišljenih da prevare ljude da veruju da su pojedinačni ljudi kako bi manipulirali diskursom o vaping-u. Činjenica da nijedan od njihovih najboljih primera nije imao nijednu od karakteristika ovog tipa računa (a četvorica od njih su bili ljudi koje sam zapravo znao) postavlja ozbiljna pitanja o pouzdanosti cele kompanije.

Sfera zagovaranja vaping-a na Twitter-u je labavo povezana zajednica pojedinačnih građana koji koriste svoje pretežno privatne naloge na društvenim mrežama u specifičnom kontekstu. Ovi ljudi nisu na Twitter-u zbog koristi oportunističkih istraživača “javnog zdravstvenog nadzora i komunikacije”, koji imaju nešto da dobiju prikupljanjem njihovog sadržaja generisanog od strane korisnika i predstavljanjem van konteksta kako bi ilustrovali nerealnu i intelektualno nepoštenu teoriju da uticajni zagovarači vapinga nisu ništa drugo do sofisticirana mreža zlonamernih botova, dvostruko se prikazujući kao ljudi kako bi širili dezinformacije u interesu nekih bezimeni, bezličnih, korporativnih moći.

Nisam siguran da li očigledna nepoštenost koja prožima PGP izveštaj predstavlja pokušaj organizacije da prevari javnost, ili više odražava činjenicu da su prevarili sami sebe.

Ali nije važno. Sa ili bez obrisanog odeljka o “botnetima”, izveštaj PGP-a je potpuno neetičan. Ovaj izveštaj nije imao za cilj doprinosit znanju o zagovaranju vapinga, već je imao za cilj stvoriti medijsku histeriju oko šokantnog otkrića koje zapravo nije stvarno. Sproveo ga je privatna, neimenovana grupa istraživača tržišta koja ili ne razume ili nije briga o normama transparentnog, validnog i pouzdanog naučnog rada. Takođe su ignorisali stvarnu moćnu neravnotežu između ljudi koji istražuju korisnike vapinga na Twitter-u i stvarnih ljudi koji koriste Twitter da se zalažu za vaping.

Izveštaj PGP-a je propaganda usmerena na dehumanizovanje legitimnih demonstranata, diskreditovanje njihove borbe i cenzuru njihovog govora na platformama društvenih medija. Izveštaj je predstavljen pod okriljem nauke, ali je potpuno namenjen služenju političkim ciljevima.

Preporučena dodatna literatura: