Štúdia o Twitter botech na vapovanie je dehumanizujúca propaganda.

4. októbra som dostal e-mail od novinára Wall Street Journal, ktorý chcel moje názory na štúdiu o „marketingu e-cigarety pomocou botov“ pre príbeh, ktorý plánoval.

Predpokladal som, že ide o nedávnu správu britskej spoločnosti Astroscreen, ktorá povedala Wired UK, že objavili „koordinovanú, neautentickú kampaň na sociálnych médiách, ktorá cielila na kľúčových amerických zákonodarcov s cieľom prinútiť ich stiahnuť plány na legislatívu proti vapingu.“ Ironicky, Astroscreen si vytvoril bota, aby za nich vykonával prácu, a pretože bot je „proprietárna technológia strojového učenia“ (preklad: nikto okrem autorov nevidí, ako a prečo dospeli k svojim záverom), naozaj neexistuje spôsob, ako posúdiť platnosť ich záverov.

Bol som pripravený diskutovať o tom s novinárom, ktorý ma kontaktoval. Ale nekontaktoval ma ohľadom štúdie bota Astroscreen.

Novinár WSJ chcel komentáre k inej správe, od neznámych výskumníkov z Public Good Projects (PGP), financovaných niečím, čo sa volá Nicholson Foundation. Keď som povedal, že sa cítim nepohodlne komentovať štúdiu, ktorú som ešte nevidel ani o nej nečítal, novinár súhlasil, že mi správu pošle s podmienkou, že ju nebudem zdieľať ani na ňu komentovať, kým sa príbeh nezverejní. S týmito podmienkami som súhlasil.

Dovoľte mi poukázať na to, aké zvláštne je, že dve rôzne súkromné organizácie sa rozhodli „exponovať“ zjavne rozšírenú aktivitu „botov“ v oblasti advokácie vapingu tým, že unikli neschválené „štúdie“ hlavným novinovým redakciám, zjavne bez akýchkoľvek plánov, aby sa tie štúdie podrobili hodnoteniu, a pred akýmkoľvek verejným zverejnením.

Keď som čítal správu PGP, všimol som si ďalšie podobnosti. Rovnako ako Astroscreen, PGP bola neospravedlniteľne nejasná vo svojich metódach. Podľa PGP ich analýza ponúka „nikdy predtým nevidené informácie o úlohe, ktorú boty v súčasnosti zohrávajú v online diskusiách o e-cigaretách a tabakových výrobkoch.“ Konkrétne dospievajú k záveru, že „viac ako polovica všetkých správ prenášaných prostredníctvom verejných médií v Spojených štátoch týkajúcich sa e-c cigariet a tabakových výrobkov môže byť zverejnená automatizovanými účtami alebo botmi.“

Ale neposkytli žiadne užitočné informácie o tom, ako dospeli k takému záveru. Čitatelia by sa jednoducho mali dôverovať, že nález je platný. Ale všimol som si niečo v správe, čo mi dalo dobrý dôvod, aby som jej neveril. A pretože článok, ktorý nakoniec publikoval Wall Street Journal neobsahoval žiadne moje komentáre pre novinára, vysvetlím ich tu.

Avšak predtým, než sa k tomu dostanem, pozrime sa na niektoré širšie problémy so správou PGP.

Čo vlastne myslia „botom“?

Predovšetkým, PGP je neospravedlniteľne nejasný o tom, čo vlastne robili, ako to robili a čo vlastne objavili. A to robí veľmi ťažkým interpretovať vyhlásenia, ktoré sa v správe zdajú byť priamym, ako napríklad toto: "z celkového vzorku 2,536,659 príspevkov na Twitteri týkajúcich sa e-cigariet alebo tabaku bolo 22,6 % príspevkov zverejnených ľuďmi, 20,8 % zverejnených podozrivými botmi a 56,6 % je potvrdené, že ich generovali boty."

Nie je možné významne interpretovať vyššie uvedenú štatistiku, pretože nevieme, čo PGP myslí pod botmi. Alebo inými slovami, nevieme, čo počítali ako bota, keď robili analýzu. Vieme, z toho, ako je správa koncipovaná, že PGP chce, aby sme uvažovali o botoch vo svetle vapingu ako automatizovaných účtov, navrhnutých tak, aby sa zdali byť ľudské, ktoré fungujú na šírenie dezinformácií o nikotíne a e-cigaretách, a/alebo ich inzerujú komukoľvek a všetkým, najmä deťom.

Ale čo PGP chce, aby sme si mysleli, keď počujeme „bot“, nie je to isté, čo vlastne v tomto štúdii počítali ako bota. Tak ako PGP skutočne identifikoval boty, a čo považovali za bota? Tu je to, čo hovoria v správe:

„PGP je schopné identifikovať, ktoré príspevky majú vysokú pravdepodobnosť pochádzania z botov a ktoré majú vysokú pravdepodobnosť pochádzania od ľudí…. Výskumníci PGP skúmajú viacero charakteristík účtov, aby určili pravdepodobnosť, že príspevok pochádza z bota, vrátane (ale nie výlučne) frekvencie a načasovania príspevkov, počtu príspevkov, počtu followerov a interakcie s inými účtami. Boty, najmä tie, ktoré sú vytvorené so zlým úmyslom, sú neuveriteľne nuansované a často sú navrhnuté tak, aby sa zdali presne ako človek. Preto jednoduché preskúmanie základných charakteristík účtu a profilu je nedostatočné na posúdenie pravdepodobnosti automatizácie.”

To je bezcenné. Naozaj ma nezaujíma, ako presné PGP považuje svoje metódy; chcem si túto hodnotenie spraviť sám, a nemôžem to na základe informácií, ktoré poskytujú. Ale všetko, čo mi chcú poskytnúť, je táto patronizujúca a príliš nejasná výhovorka, prečo mi nepovedia, na čo sa vlastne pozerali, aby som mohol posúdiť sám, či je ich štúdia platná. Zaobchádzajú so svojimi metódami ako s magickými a rámcujú ich ako príliš sofistikované na to, aby ich ich čitatelia pochopili, čo je v podstate obrovská červená vlajka.

PGP zdieľal niektoré dodatočné objasnenia na Twitteri včerajšieho dňa o svojom klasifikačnom procese a metodológii, ktoré boli ešte nejasnejšie a bezvýznamnejšie ako to, čo povedali v skutočnej správe. Napríklad: „Definujeme „automatizáciu" ako skóre od 1 do 100. 100 % robot robí veci ako automatické Retweetovanie, nezverejňovanie žiadneho originálneho obsahu.”

Peter Sterne, nezávislý novinár, ktorý píše o médiách, stručne vystihol problém s definíciou bota od PGP v súkromnej správe: „PGP očividne prijal absurdne širokú definíciu bota (kdokoľvek, kto používa akúkoľvek automatizovanú aplikáciu na postovanie), ktorá zahŕňa veľa skutočných ľudí, pričom silne naznačuje, že všetci „boty“ sú súčasťou sofistikovanej operácie na sociálnych médiách a ich tweety nemôžu byť brané doslovne.”

V každom prípade, PGP bol zjavne záujem o štúdium botov, akokoľvek ich definovali. Proporcia botov aktívnych v priestore vapingu a úloha, ktorú môžu zohrávať v advokácii, je legitímnym výskumným problémom, a myslím si, že mnohí vapéri by považovali štúdiu, ktorá by mohla odpovedať na tieto otázky, za celkom zaujímavú. Ale vec je, že PGP nenavrhli štúdiu, ktorá by mohla odpovedať na otázky, ktoré motivovali ich správu.

Ak by PGP chceli pochopiť charakteristiky účtov v určitej populácii tweeterov (t.j. vaperov), museli by zistiť spôsob, ako získať reprezentatívny vzorku účtov z tejto populácie. To je prakticky nemožné, ale to nie je podstatné, pretože sa zdá, že PGP ani nepochopili, že by museli urobiť niečo také. PGP neodoberali účty, odoberali tweety. Tieto tweety boli posielané účtami (samozrejme), takže sa nakoniec dostali do zberu účtov, ale bolo úplne nevhodné, aby výskumníci pokračovali v inferencii o populácii účtov, ktoré tweetujú o vapingu na základe niektorých účtov, ktorých tweety sa náhodne dostali do ich vzorky.

Druhý veľký problém s touto správou je, že v skutočnosti neuvádza, o koľko unikátnych účtov tu hovoria. Hlásia čísla tweetov (pravdepodobne preto, že tieto čísla sú väčšie, a PGP chce zapôsobiť na nás), ale nevieme, koľko účtov ich posiela. A to naozaj záleží, ak sú v ukážke nejaké reálne boty (a pravdepodobne nejaké sú), pretože nejasný spamový bot s nulovými nasledovníkmi, naprogramovaný na tweetovanie stovky krát denne o vaping, mohol generovať neprimerané množstvo tweetov v celej vzorke, aj keď bot má malý alebo žiadny vplyv mimo svojej malej izolovanej bubliny.

Tieto boty nie sú boty vôbec

Nedostatok transparentnosti, absencia definícií a jasná metodologická nekompetentnosť sú dostatočné dôvody na podozrenie z záverov tejto štúdie. Ale konkrétnym indikátorom, že zistenia PGP nie sú platné, je časť správy, ktorá bola vymazaná pred jej verejným vydaním. (Môžete si pozrieť verziu pre verejnosť na webovej stránke PGP.)

Späť k Wall Street Journal. Keď ma požiadali o komentár k správe PGP, poslali mi kópiu. Mala 32 strán. Sekcia výsledkov mala 15 strán. A podsekcia v rámci výsledkov, s názvom “Bot Networks,” zaberala asi 40 percent týchto výsledkov. Skladala sa z piatich “mikroúrovňových” analýz takzvaných “bot účtov” a ich “bot sietí identifikovaných počas [PGP’s] analytického procesu.” Používajú grafy na znázornenie každej siete. (Tu je verzia, ktorú mi dal novinár.)

Každý z grafov PGP bol postavený okolo ústredného uzla, ktorý reprezentoval “bota” v analýze PGP. Tento uzol bol prepojený s ďalšími uzlami, ktoré reprezentovali účty, ktoré retweetovali tweet takzvaného bota. Analytici sociálnych sietí označujú tieto grafické reprezentácie ako “ego siete,” pretože znázorňujú vzťah medzi centrálnym uzlom (ktorý je “ego”) a prepojenými uzlami (“alters”). PGP farebne kódoval uzly alter podľa toho, či spĺňali ich nezverejnené kritériá pre to, aby boli bot, pričom biele uzly reprezentovali účty, ktoré boli určené ako ľudia. Biele uzly boli menšinou uzlov vo všetkých PGP sieťach.

PGP chce, aby sme verili, že veľká väčšina aktivity na Twitteri ohľadom vapingu pravdepodobne nie je generovaná reálnymi ľuďmi. Zredigovali meno “ego” bota v centre každej bot siete. Prečo? V správe tvrdia, že to bolo na ochranu súkromia účtov, ale ak sú účty boty, prečo na tom záleží?

Úprimne, aj keby PGP naozaj mal záujem chrániť identity bot účtov zamaskovaných ako reálne osoby, ktoré zasahujú do online diskurzu o vapingu s potenciálne závažnými následkami pre verejné zdravie (alebo to tak tvrdia), skutočnosť je taká, že odviedli hroznú prácu.

Podarilo sa mi ľahko identifikovať konkrétne účty reprezentované ako centrálny uzol v každej z piatich takzvaných bot sietí, ktoré PGP zahrnul vo svojej pôvodnej správe. Podarilo sa mi to, pretože PGP zahrnul snímky obrazovky tweetov z účtov, ktoré ktokoľvek mohol zadať do vyhľadávacieho panela v užívateľskom rozhraní Twitteru a získať. Urobil som to pre tweet každého účtu, skontroloval ich počet nasledovníkov a príspevkov s tým, čo PGP hlásil, a overil, kým všetci boli. Celý proces mi trval menej ako polhodinu. A tipnite si čo? Žiadny z týchto účtov nie sú “boty, ktoré sa tvária ako skutoční ľudia.”

Z piatich účtov, ktoré PGP vybral na diskusiu o ich exemplárnych bot sieťach, bol len jeden, ktorý som nespoznal. Bol to komerčný účet so sídlom vo Veľkej Británii, ktorý využíval Twitter na reklamu svojich eBay ponúk na rôzne produkty, vrátane e-liquidu a CBD. Vyzeral účet, že používa automatizáciu na tweetovanie? Áno. Existovala nejaká indikácia, že za týmito tweetmi nestáli ľudia? Nie. Môže akákoľvek rozumná osoba považovať toto za niečo iné ako obchodný účet online obchodnej spoločnosti? Nie. Existovala nejaká indikácia, že účet propagoval mimo svojej siete nasledovníkov? Nie.

Pokiaľ ide o štyri účty, s ktorými som bol oboznámený, tri boli súkromné účty jednotlivcov, ktorí sú dlhoročnými obhajcami vapingu a zjavne sú to skutoční ľudia. Ten druhý bol Twitter účet tohto vydania. Redaktor spravodajstva Vaping360 Jim McDonald spravuje a tweetuje z tohto účtu, a Jim nie je bot.

Takže z piatich takzvaných botov: jeden je účet pre publikáciu o vapingu, ktorý vedie jeden z novinárov, ktorý ho používa na zverejňovanie článkov a interakciu s inými tweeterami (takže zverejňuje originálny obsah). Tri sú súkromní jednotlivci, ktorí obhajujú vaping. A ten druhý je nejaký britský predajca. Je pre mňa veľmi ťažké uveriť, že ktokoľvek oboznámený s týmito účtami by dospel k záveru, že sú boty, ktoré sa tvária ako ľudia. Alebo podniky, ktoré sa tvária ako jednotliví ľudia. Alebo podniky, ktoré používajú boty, aby sa tvárili ako jednotliví ľudia. Alebo ktokoľvek, kto sa zapája do akejkoľvek nečestnej činnosti, ak tomu tak je.

A to robí rozhodovanie PGP zredigovať mená týchto piatich účtov trochu podozrivým. Predovšetkým si určite boli vedomí, že by bolo možné, aby niekto, kto by chcel vedieť, kto sú tieto účty, mohol zistiť na základe informácií, ktoré sprístupnili. Takže nikto sa nemohol chrániť, len to trochu sťažili niekomu, kto chcel vedieť identitu účtov, aby našiel tieto informácie.

Snímky obrazovky, ktoré som mohol použiť na vyhľadávanie tweetov z týchto účtov, obsahovali retweety a odpovede na účty od “alters,” ktorí tiež nie sú boty— a neboli prijaté žiadne opatrenia na ochranu identít týchto účtov. Snímky obrazovky PGP odhalili mená a používateľské mená iných účtov v takzvaných “botnetoch,” len nie centrálnych botov (ktorí nie sú botmi).

To všetko robí ťažkým uveriť, že ochrana súkromia “botov” bola hlavným dôvodom, prečo PGP skryl ID účtov. Nedáva to zmysel, pretože ochrany boli mimoriadne ľahko prekonateľné pre každého, pretože ochrany neboli rozšírené na účty, ktoré sa objavili na snímkach obrazovky, a pretože na konci dňa mal PGP oveľa väčší záujem skryť tieto informácie pre svoju vlastnú ochranu a ochrániť kredibilitu svojej chybnej správy, než čokoľvek iné.

Ochrana súkromia alebo zachovanie tváre?

Rád by som vedel, prečo PGP zverejnil inú verziu správy, ako tú, ktorú zdieľali s Wall Street Journal. Zjavne to chcel vedieť aj Gregory Conley, ktorý sa ich na Twitteri opýtal, aby sa k tejto voľbe vyjadrili. Odpoveď PGP bola táto:

“WSJ mal exkluzivitu na výskum a zdieľali sme informácie počas dôvtipného vyšetrenia. V určitom bode sme zdieľali 5 účtov, ktoré mali vysoké automatizačné skóre, z viac ako 1 milióna analyzovaných správ. Nechceli sme, aby boli tieto účty cieľom. Takže ani článok, ani správa ich nespomínajú.”

PGP sa zdá, že naznačuje, že botnety boli poskytnuté Wall Street Journal ako doplnkový kontext k finálnej štúdii. Ak analýza, ktorú som označil za fatálne chybnú, v skutočnosti nebola pôvodne určená na verejnú spotrebu a bola jednoducho nejaký ďalší materiál poslaný do Journalu spolu s oficiálnou správou, to nemení fakt, že to podkopáva platnosť celej štúdie.

Ale je dosť ťažké uveriť, že to nemali na mysli mať v konečnej verzii. Táto časť bola uvedená v obsahu správy, ktorá mi bola zaslaná. To bola kľúčová súčasť ich sekcie výsledkov, pričom "botnety" boli vykreslené ako ilustrácia abstraktného javu, ktorý tvrdili, že ich správa osvetlila. Nebolo žiadne znamenie, že tento obsah nebol zamýšľaný ako hlavná časť konečnej správy.

Mal som dojem, že to, čo mi bolo dané, bola konečná správa, a keď som na túto analýzu upozornil ako na hrubú chybu (a neetické), nikdy mi nebolo povedané, že to bola povrchná časť štúdie alebo špeciálna pre Wall Street Journal. Aj keď nemôžem povedať s určitosťou, reportér, ktorý mi to poslal, sa zdalo, že má dojem, že to bola konečná verzia. A naozaj, kto by poslal pracovný návrh revolučnej správy do novín, ktorým ponúka exkluzívu? To naozaj nedáva zmysel. Dokument, ktorý obsahoval teraz odstránenú analýzu botnetu, bol upravený, odstránená časť bola súčasťou obsahu, nič nenaznačuje, že to nebolo zamýšľané ako konečný produkt.

Ak by PGP zistil, ako zle sa im podarilo túto analýzu, malo by to vyvolať otázky o platnosti celej ich štúdie. Zodpovedná, intelektuálne čestná a transparentná vec, ktorú by tu mali urobiť, by bola požiadať noviny, aby zadržali alebo zrušili svoj príbeh, aby mohla byť správa opravená, alebo ak boli chyby také vážne, opustené. Aspoň by malo byť zaznamenané, že verzia poslaná do Journal bola iná ako konečná verzia zverejnená na webovej stránke.

Myslím, že PGP odstránil tie stránky, keď pochopili zjavnosť závažných chýb, ktoré urobili. Podkopali normálne vedecké procesy vo všetkých ostatných ohľadoch tejto práce. Prečo by som mal—prečo by mal niekto—veriť, že im záležalo na niečom inom ako na zachovaní dobrého mena? Ak má PGP akékoľvek skutočné konkrétne dôkazy na podporu svojho tvrdenia, že rozhodnutie odstrániť túto časť nebolo spojené s faktom, že ich botnety vlastne neboli botnety, mali by sa s nimi prihlásiť.

Dehumanizovanie legitímnych protestujúcich

Správa PGP vykresľuje obraz sofistikovanej siete robotov navrhnutých na oklamanie ľudí, aby uverili, že sú jednotlivými ľuďmi, s cieľom manipulovať diskurz o vapingu. Fakt, že žiadny z ich najlepších príkladov nemal žiadnu z charakteristík tohto typu účtu (a štyria z nich boli ľudia, ktorých som skutočne poznal) vyvoláva vážne otázky o spoľahlivosti celého podniku.

Sfér vapingu na Twitteri je voľne prepojenou komunitou jednotlivých občanov, ktorí používajú svoje prevažne súkromné účty na sociálnych médiách v špecifickom kontexte. Títo ľudia nie sú na Twitteri pre dobro oportunistických výskumníkov "monitorovania a komunikácie verejného zdravia", ktorí majú z toho, že zbierajú ich obsah vytvorený používateľmi a prezentujú ho z kontextu, aby ilustrovali divoko nepravdepodobnú a intelektuálne nečestnú teóriu, že vplyvní propagátori vapingu nie sú nič iné ako sofistikovaná sieť zlomyseľných robotov, podvodne sa vydávajúcich za ľudí s cieľom šíriť dezinformácie v záujme nejakej beztvaré, bezmenné, korporátnej moci.

Nie som si istý, či zjavná neúprimnosť, ktorá saturuje správu PGP, predstavuje pokus organizácie o oklamanie verejnosti, alebo je to skôr odraz toho, že oklamali sami seba.

Ale na tom nezáleží. S alebo bez odstránenej časti "botnety", správa PGP je úplne neetická. Táto správa nebola o prispievaní k poznaniu o advokácii vapingu, bola o vytváraní mediálneho šialenstva okolo šokujúceho nálezu, ktorý vlastne nie je skutočný. Bola vykonaná súkromnou, nepomenovanou skupinou prieskumníkov trhu, ktorí buď nerozumejú alebo ich nezaujímajú normy transparentnej, platnej a spoľahlivej vedeckej práce. Ignorovali aj veľmi reálny mocenský nepomer medzi ľuďmi, ktorí robia výskum na twitiach o vapingu, a skutočnými ľuďmi, ktorí používajú Twitter na propagáciu vapingu.

Správa PGP je propaganda zameraná na dehumanizovanie legitímnych protestujúcich, diskreditovanie ich kauzy a cenzúrovanie ich prejavu na platformách sociálnych médií. Správa bola prezentovaná s povrchom vedy, ale je úplne určená na slúženie politickým cieľom.

Odporúčaná ďalšia literatúra: