Vaping Twitter Bot Studie er Dehumaniserende Propaganda

Den 4. oktober modtog jeg en email fra en reporter fra Wall Street Journal, der ønskede mine tanker om en undersøgelse om “bot-markedsføring af e-cigaretter” til en historie, han planlagde.

Jeg antog, at dette handlede om en nylig rapport fra det britiske firma Astroscreen, der fortalte Wired UK , at de opdagede, at en “koordineret, uægte sociale mediekampagne har været eksplicit rettet mod nøglepolitikere i USA i et forsøg på at tvinge dem til at trække planer for anti-vaping lovgivning tilbage.” Ironisk nok havde Astroscreen bygget en bot til at udføre deres arbejde for dem, og fordi botten er “proprietær maskinlæringsteknologi” (oversættelse: ingen udover forfatterne kan se hvordan eller hvorfor de kom til deres konklusioner), er der virkelig ikke nogen måde at vurdere gyldigheden af deres konklusioner.

Jeg var forberedt på at diskutere dette med reporteren, der kontaktede mig. Men han kontaktede ikke mig om Astroscreen-botstudiet.

WSJ-reporteren ønskede kommentarer om en anden rapport, fra navnløse forskere ved Public Good Projects (PGP) og finansieret af noget, der hedder Nicholson Foundation. Da jeg sagde, at jeg var ubehageligt tilpas med at kommentere på en undersøgelse, jeg ikke havde set eller læst om endnu, tilbød reporteren at sende mig rapporten på betingelse af, at jeg ikke delte eller kommenterede på den, før historien blev offentliggjort. Jeg accepterede de betingelser.

Lad mig påpege, hvor underligt det er, at to forskellige private organisationer besluttede at “afsløre” tilsyneladende udbredt “bot”-aktivitet i vaping-forkæmperskabet ved at lække uvurderede “undersøgelser” til større nyhedsmedier, tydeligvis uden planer om at få de undersøgelse gennemgået af eksperter, og før nogen offentlig frigivelse.

Da jeg læste PGP-rapporten, bemærkede jeg andre ligheder. Ligesom Astroscreen, var PGP uforklarligt uklar om deres metoder. Ifølge PGP tilbyder deres analyse “aldeles aldrig set information om den rolle, som bots i øjeblikket spiller i online samtaler omkring e-cigaretter og tobaksprodukter.” Specifikt konkluderer de, at “over halvdelen af alle meddelelser, der transmitteres gennem offentlige mediekilder i USA angående e-cigaretter og tobaksprodukter, kan være postet af automatiserede konti, eller bots.”

Alligevel giver de ingen nyttig information om, hvordan de nåede frem til en sådan konklusion. Læserne skal bare stole på, at fundet er gyldigt. Men jeg bemærkede noget i rapporten, der gav mig god grund til ikke at stole på det. Og, da den artikel, Wall Street Journal til sidst offentliggjorde ikke indeholdt nogen af mine kommentarer til reporteren, vil jeg forklare dem her.

Men før jeg kommer til det, lad os se på nogle af de bredere problemer med PGP’s rapport.

Hvad mener de egentlig med “bot”?

For det første er PGP uforklarligt vag omkring hvad de faktisk gjorde, hvordan de gjorde det, og hvad de faktisk fandt. Og dette gør det meget svært at fortolke udsagn, der synes ligetil i rapporten, som dette: "ud af et samlet prøveudtag på 2,536,659 Twitter-meddelelser relateret til e-cigaretter eller tobak, blev 22.6% af meddelelserne postet af mennesker, 20.8% postet af mistænkte bots, og 56.6% er bekræftet at være genereret af bots."

Det er umuligt at fortolke ovenstående statistik meningsfuldt, fordi vi ikke ved, hvad PGP mener med bots. Eller rettere, vi ved ikke, hvad de tæller som en bot, når de lavede analysen. Vi ved, ud fra hvordan rapporten er indrammet, at PGP ønsker, at vi skal tænke på bots i vaping som automatiserede konti, designet til at fremstå som mennesker, der opererer for at sprede misinformation om nikotin og e-cigaretter, og/eller reklamerer for dem til alle og enhver, især børn.

Men hvad PGP ønsker, at vi skal tænke på, når vi hører “bot”, er ikke det samme som hvad de faktisk talte om som en bot i denne undersøgelse. Så hvordan identificerede PGP faktisk bots, og hvad betragtede de som en bot? Her er hvad de siger i rapporten:

“PGP er i stand til at identificere, hvilke indlæg der har en høj sandsynlighed for at stamme fra bots og hvilke der har en høj sandsynlighed for at stamme fra mennesker…. PGP-forskere undersøger flere kontoegenskaber for at bestemme sandsynligheden for, at et indlæg er fra en bot, herunder (men ikke begrænset til) hyppigheden og tidspunktet for indlæg, antallet af indlæg, antallet af følgere og engagement med andre konti. Bots, især dem der er oprettet med ondsindet hensigt, er utrolig nuancerede og er ofte designet til at fremstå nøjagtigt som et menneske. Derfor er en simpel undersøgelse af grundlæggende konto- og profilkarakteristika utilstrækkelig til at vurdere sandsynligheden for automatisering.”

Dette er ubrugeligt. Jeg er ikke rigtig interesseret i, hvor præcise PGP mener, deres metoder er; jeg ønsker at lave den vurdering selv, og jeg kan ikke basere det på de oplysninger, de giver. Men alt de vil give mig er denne nedladende og alt for vage undskyldning for ikke at fortælle mig, hvad de egentlig så på, så jeg kan bedømme for mig selv, om deres studie er gyldigt. De behandler deres metoder som magi og indrammer dem som for sofistikerede til, at deres læsere kan forstå, hvilket grundlæggende set er et kæmpe rødt flag.

PGP delte nogle post-hoc afklaringer på Twitter i går om deres klassificeringsproces og metode, som var endnu mere vage og meningsløse end hvad de sagde i den faktiske rapport. For eksempel: “Vi definerer “automatisering” som en score fra 1-100. En 100% robot vil gøre ting som auto-RT, uden at poste originalt indhold.”

Peter Sterne, en freelance journalist, der skriver om medieindustrien, formulerede kort problemet med PGP’s bot-definition i en privat besked til mig: “PGP har åbenbart vedtaget en absurd bred definition af bot (enhver, der bruger en auto-posting app), der fejer mange reale mennesker ind under, mens de stærkt antyder, at alle “bots” er en del af en sofistikeret sociale medieoperation, og deres tweets ikke kan tages for pålydende.”

Under alle omstændigheder var PGP åbenbart interesseret i at studere bots, uanset hvordan de har defineret dem. Andelen af bots aktiv i vapingrummet, og den rolle de måtte spille i advocacy er et legitimt forskningspuzzle, og jeg tror, at mange dampere ville finde en undersøgelse, der kunne besvare disse spørgsmål, ret interessant. Men sagen er, at PGP ikke designede en undersøgelse, der kunne besvare de spørgsmål, der motiverede deres rapport.

Hvis PGP ønskede at forstå karakteristikaene af konti i en bestemt population af tweeters (dvs. dampere), skulle de finde ud af en måde at få et repræsentativt udvalg af konti fra den population. Dette er praktisk talt umuligt, men det er ved siden af punktet, fordi PGP ikke engang synes at forstå, at de skulle gøre noget som dette overhovedet. PGP udtog ikke konti, de udtog tweets. Disse tweets blev sendt af konti (åbenbart), så de endte med en samling af konti, men det var fuldstændig upassende for forskerne at fortsætte med at drage konklusioner om populationen af konti, der tweetede om vaping, på baggrund af nogle konti, hvis tweets tilfældigvis endte i deres udvalg.

Det andet store problem med rapporten er, at den faktisk ikke siger, hvor mange unikke konti de taler om her. De rapporterer tal om tweets (sandsynligvis fordi disse tal er større, og PGP ønsker at imponere os), men vi ved ikke, hvor mange konti der sender dem. Og dette betyder faktisk meget, hvis der er nogen reelle bots i prøven (og der er sandsynligvis nogle), fordi en obskur spam-bot med nul følgere, programmeret til at tweet hundreder af gange om dagen om vaping, kunne have genereret et uforholdsmæssigt antal af tweets i hele prøven, selvom botten har lidt til ingen effekt ud over sin lille isolerede boble.

Disse bots er slet ikke bots

Manglen på gennemsigtighed, fraværende definitioner og klar metodologisk inkompetence er grund nok til at mistænke konklusionerne af denne undersøgelse. Men det konkrete indikator, der viser, at PGP’s fund ikke er gyldige, er et afsnit af rapporten, der blev slettet før dens offentlige frigivelse. (Du kan se den offentlige version på PGP’s hjemmeside.)

Tilbage til Wall Street Journal. Da de bad mig om at kommentere på PGP-rapporten, sendte de mig en kopi. Den var 32 sider lang. Resultatafsnittet var 15 sider langt. Og et underafsnit inden for resultaterne, med titlen “Bot-netværk,” fyldte omkring 40 procent af disse resultater. Det bestod af fem “mikroniveau” analyser af såkaldte “bot-konti” og deres “bot-netværk identificeret gennem [PGP’s] analyseproces.” De bruger grafer til at repræsentere hvert netværk. (Her er den version, jeg fik af rapporteren.)

Hver af PGP's grafer var bygget omkring en fokal node, der repræsenterede en “bot” i PGP-analysen. Den node var linket til andre noder, der repræsenterede konti, der retweetede den såkaldte bots tweet. Sociale netværksanalytikere refererer til disse grafiske repræsentationer som “ego-netværk,” fordi de viser relationen mellem en central node (”ego”) og tilknyttede noder (“alters”). PGP farvekodede alter-noderne afhængigt af, om de opfyldte deres uoplyste kriterier for at være en bot, med hvide noder, der repræsenterede konti, der blev bestemt til at være mennesker. Hvide noder var mindretallet af noder i alle PGP's netværk.

PGP ønsker, at vi skal tro, at det store flertal af Twitter-aktiviteten om vaping sandsynligvis ikke er genereret af rigtige mennesker. De redigerede navnet på den “ego” bot i centrum af hvert botnet. Hvorfor? I rapporten hævder de, at det var for at beskytte konti's privatliv, men hvis konti er bots, hvorfor betyder det så noget?

Ærligt talt, selv hvis PGP faktisk var interesseret i at beskytte identiteterne af bot-konti forklædt som rigtige mennesker, der blandede sig i online vaping-diskursen med potentielt alvorlige konsekvenser for folkesundheden (eller sådan siger de), er faktum, at de gjorde et forfærdeligt stykke arbejde.

Jeg var i stand til at nemt identificere de specifikke konti, der blev repræsenteret som center node i hvert af de fem påståede bot-netværk, PGP inkluderede i deres oprindelige rapport. Jeg kunne gøre dette, fordi PGP inkluderede screenshots af tweets fra konti, som enhver kunne skrive ind i søgefeltet i Twitter-brugergrænsefladen og hente. Jeg gjorde det for tweets af hver konto, tjekkede deres følger- og postantal med, hvad PGP rapporterede, og bekræftede, hvem de alle var. Den samlede proces tog mig mindre end en halv time. Og gæt hvad? Ingen af disse konti er “bots, der poser som rigtige mennesker.”

Ud af de fem konti, PGP valgte til deres eksemplariske bot-netværksdiskussion, var der kun én, som jeg ikke genkendte. Det var en kommersiell konto baseret i U.K., der brugte Twitter til at annoncere sine eBay-opslag for forskellige produkter, herunder e-væske og CBD. Så det ikke tegnede ud til at bruge automatisering til at poste tweets? Yep. Var der nogen indikation på, at der ikke var nogen mennesker bag disse tweets? Nej. Ville en rimelig person forveksle dette med noget andet end en online handelsvirksomheds kommercielle konto? Nej. Var der nogen indikation på, at kontoen promoverede ud over sit eget follower-netværk? Nej.

Når det gælder de fire konti, jeg var bekendt med, var tre private konti af enkeltpersoner, som er langtidssupportere af vaping, og ganske åbenlyse rigtige mennesker. Den anden var Twitter-kontoen for denne publikation. Vaping360s nyhedsredaktør Jim McDonald styrer og tweeter fra denne konto, og Jim er ikke en bot.

Så af de fem påståede bots: én er kontoen for en vapingpublikation, som drives af en af journalisterne, der bruger den til at poste artikler og engagere sig med andre tweeters (så han poster originalt indhold). Tre er private personer, der taler for vaping. Og den anden er en britisk forhandler. Det er ekstremt svært for mig at tro, at nogen, der er bekendt med nogen af disse konti, ville konkludere, at de er bots, der poser som mennesker. Eller virksomheder, der poser som individuelle mennesker. Eller virksomheder, der bruger bots til at pose som individuelle mennesker. Eller nogen involveret i nogen skumle aktiviteter, for den sags skyld.

Og dette gør PGP's beslutning om at redigere navne på disse fem konti lidt mistænkelig. Først og fremmest vidste de næppe, at det ville være muligt for nogen, der ønskede at vide, hvem kontiene var, at finde ud af det med de oplysninger, de gjorde tilgængelige. Så de beskyttede ikke nogens privatliv, de gjorde bare det lidt mere besværligt for nogen, der ville finde ud af identiteten af kontiene at finde disse informationer.

De screenshots, jeg var i stand til at bruge til at søge tweets fra disse konti, inkluderede retweets og svar til kontiene fra “alters,” som også ikke er bots—og der blev ikke taget nogen foranstaltninger for at beskytte identiteterne af disse konti. PGP’s screenshots afslørede navnene og håndtagene på andre konti i de såkaldte “botnets,” bare ikke de centrale bots (som ikke er bots).

Alt dette gør det svært for mig at tro, at beskyttelse af “bots” privatliv var den primære grund til, at PGP skjulte konto-ID'erne. Det giver ikke mening, fordi beskyttelserne var ekstremt lette for enhver at omgå, fordi beskyttelserne ikke blev udvidet til kontiene, der fremstod i screenshots, og fordi PGP i sidste ende havde en langt større incitament til at skjule disse informationer for deres egen beskyttelse og for at beskytte troværdigheden af deres fejlagtige rapport end noget andet.

Beskytte privatliv eller redde ansigt?

Jeg vil gerne vide, hvorfor PGP offentliggjorde en anden version af rapporten end den, de delte med Wall Street Journal. Tilsyneladende var det også tilfældet for Gregory Conley, som bad dem redegøre for dette valg på Twitter. PGP’s svar til ham var dette:

“WSJ havde en eksklusiv på forskningen, og vi delte information under due diligence. På et tidspunkt delte vi 5 konti, der havde høje automatiseringsscore, ud af de over 1 million beskeder, der blev analyseret. Vi ønskede ikke, at disse konti skulle være mål.

PGP ser ud til at antyde her, at botnetværkene blev givet til Wall Street Journal som yderligere kontekst til den endelige undersøgelse. Hvis den analyse, jeg slog alarm om som fatalt fejlbehæftet, faktisk aldrig var beregnet til offentlig forbrug, og blot noget yderligere materiale sendt til Journal sammen med den officielle rapport, ændrer det ikke på det faktum, at det undergraver gyldigheden af hele studiet.

Men det er ret svært at tro på, at de ikke havde til hensigt at have dette i den endelige version. Afsnittet blev nævnt i indholdsfortegnelsen for den version af rapporten, der blev sendt til mig. Dette var en central del af deres resultatsk Section, hvor “botnets” blev præsenteret som illustrativt for det abstrakte fænomen, de hævdede, at deres rapport belyste. Der var ingen indikation på, at dette indhold ikke var beregnet til at være en vigtig del af den endelige rapport.

Jeg fik indtryk af, at det, jeg fik, var den endelige rapport, og da jeg markerede denne analyse som groft mangelfuld (og uetisk) blev jeg aldrig fortalt, at det var en overfladisk del af undersøgelsen eller speciel for Wall Street Journal. Selvom jeg ikke kan sige det med sikkerhed, syntes journalisten, der sendte det til mig, at være underindtryk af, at dette også var den endelige version. Og virkelig, hvem ville sende arbejdsudkastet til en banebrydende rapport til en avis, hvor du tilbyder en eksklusiv? Det giver ikke rigtig mening. Dokumentet, der omfattede den nu-slettede botnet-analyse, var poleret, den slettede sektion var en del af indholdsfortegnelsen, intet indikerer, at dette ikke var beregnet til at være det endelige produkt.

Hvis PGP fandt ud af, hvor dårligt de havde kludret med denne analyse, burde det have fået dem til at stille spørgsmålstegn ved gyldigheden af deres samlede studie. Det ansvarlige, intellektuelt ærlige og gennemsigtige at gøre her ville være at bede avisen om at holde eller annullere deres historie, så rapporten kunne blive rettet, eller måske, hvis fejlene var så alvorlige, opgivet. I det mindste skulle der have været lavet en note, der angav, at den version, der blev sendt til Journal, var anderledes end den endelige version, der blev offentliggjort på hjemmesiden.

Jeg tror, at PGP fjernede disse sider, da de forstod åbenheden af de alvorlige fejl, de lavede. De underminerede normale videnskabelige processer i alle andre aspekter af dette arbejde. Hvorfor skulle jeg - hvorfor skulle nogen - tro, at de bekymrede sig om noget andet end at redde deres ansigt? Hvis PGP har nogen faktiske konkrete beviser for at støtte deres påstand om, at beslutningen om at skære denne sektion var uafhængig af det faktum, at deres botnets ikke faktisk var botnets, skulle de træde frem med det.

Dehumanisering af legitime demonstranter

PGP’s rapport maler et billede af et sofistikeret netværk af bots designet til at narre folk til at tro, at de er individuelle mennesker for at manipulere diskursen om vaping. Det faktum, at ingen af deres bedste eksempler havde nogen af karakteristikaene for denne type konto (og fire af dem var mennesker, jeg faktisk tilfældigvis kendte) rejser alvorlige spørgsmål om pålideligheden af hele virksomheden.

Vaping advocacy sfæren på Twitter er et løst sammenkoblet samfund af enlige borgere, der bruger deres for det meste private sociale mediekonti i en specifik kontekst. Disse mennesker er ikke på Twitter for fordelene ved opportunistiske “offentlig sundhed overvågning og kommunikation” forskere, der har noget at vinde ved at høste deres bruger-genererede indhold og præsentere det uden for kontekst for at illustrere en vildt usandsynlig og intellektuelt uærlig teori om, at indflydelsesrige vape fortalere ikke er andet end et sofistikeret netværk af ondsindede bots, der duplicitøst poserer som mennesker for at sprede misinformation i interesse for noget navnløst, ansigtsløst, selskabsmagt.

Jeg er ikke sikker på, om den tilsyneladende uærlighed, der gennemsyrer PGP-rapporten, repræsenterer organisationens forsøg på at narre offentligheden, eller om det mere afspejler det faktum, at de har narret sig selv.

Men det betyder ikke noget. Med eller uden den slettede “botnets” sektion, er PGP's rapport helt uetisk. Denne rapport handlede ikke om at bidrage til viden om vaping advocacy, det handlede om at skabe en mediefrenzy omkring en chokerende opdagelse, der faktisk ikke er reel. Den blev udført af en privat, unavngivet gruppe af markedsforskere, der enten ikke forstår eller ikke bekymrer sig om normerne for gennemsigtigt, gyldigt og pålideligt videnskabeligt arbejde. De ignorerede også den meget reelle magtubalance mellem de mennesker, der forsker i vaping tweeters, og de rigtige mennesker, der bruger Twitter til at advocate for vaping.

PGP-rapporten er propaganda, der sigter mod at dehumanisere legitime demonstranter, diskreditere deres sag og censurere deres tale på sociale medieplatforme. Rapporten blev præsenteret med et videnskabeligt ydre, men den er helt bestemt beregnet til at tjene politiske formål.

Forslået yderligere læsning: