Vaping Twitter Bot Studie er Dehumanizing Propaganda

Den 4. oktober mottok jeg en e-post fra en Wall Street Journal reporter som ønsket mine tanker om en studie om "bot-markedsføring av e-sigaretter" for en historie han planla.

Jeg antar at dette handlet om en nylig rapport fra det britiske selskapet Astroscreen, som sa til Wired UK at de oppdaget en “koordinert, uekte kampanje på sosiale medier som har målrettet seg mot nøkkelpersoner i U.S. i et forsøk på å tvinge dem til å trekke tilbake planer om lovgivning mot vaping.” Ironisk nok hadde Astroscreen bygget en bot for å gjøre arbeidet for dem, og siden boten er “proprietær maskinlæringsteknologi” (oversettelse: ingen unntatt forfatterne kan se hvordan eller hvorfor de kom til sine konklusjoner), er det egentlig ikke noen måte å vurdere gyldigheten av deres konklusjoner.

Jeg var forberedt på å diskutere dette med reporteren som kontaktet meg. Men han kontaktet meg ikke angående Astroscreen bot-studien.

Journalisten i WSJ ønsket kommentarer om en annen rapport, av unnavnede forskere ved Public Good Projects (PGP) og finansiert av noe som heter Nicholson Foundation. Da jeg sa at jeg var ukomfortabel med å kommentere en studie jeg ikke hadde sett eller lest om ennå, tilbød journalisten å sende meg rapporten på betingelse av at jeg ikke delte eller kommenterte den før historien ble publisert. Jeg gikk med på de vilkårene.

La meg påpeke hvor merkelig det er at to distinkte private organisasjoner bestemte seg for å “avsløre” tilsynelatende utbredt “bot”-aktivitet i vaping-forkjemperområdet ved å lekke uvurderte “studier” til store nyhetskanaler, tilsynelatende uten noen planer om å få disse studiene fagfellevurdert, og før noen offentlig utgivelse.

Når jeg leste PGP-rapporten, la jeg merke til andre likheter. Som Astroscreen, var PGP uforklarlig uklar om metodene sine. Ifølge PGP tilbyr analysen deres “aldri-sett-før informasjon om rollen som roboter for tiden spiller i online samtale rundt e-sigaretter og tobakkprodukter.” Spesifikt konkluderer de med at “over halvparten av alle meldingene som sendes gjennom offentlige mediekilder i USA angående e-sigaretter og tobakkprodukter kan være postet av automatiserte kontoer, eller roboter.”

Likevel gir de ingen nyttig informasjon om hvordan de kom til en slik konklusjon. Leserne skal bare stole på at funnet er gyldig. Men jeg la merke til noe i rapporten som ga meg god grunn til å ikke stole på det. Og, siden artikkelen Wall Street Journal til slutt publiserte ikke inkluderte noen av kommentarene mine til reporteren, vil jeg forklare dem her.

Men før jeg kommer til det, la oss se på noen av de bredere problemene med PGPs rapport.

Hva mener de med “bot” uansett?

Først og fremst, PGP er uforklarlig vag om hva de faktisk gjorde, hvordan de gjorde det, og hva de faktisk fant. Og dette gjør det veldig vanskelig å tolke uttalelser som virker klare i rapporten, som denne: "av et totalt utvalg på 2,536,659 Twitter-meldinger relatert til e-sigaretter eller tobakk, ble 22.6% av meldingene postet av mennesker, 20.8% postet av mistenkte roboter, og 56.6% er bekreftet å ha blitt generert av roboter."

Det er umulig å meningsfullt tolke den ovennevnte statistikken fordi vi ikke vet hva PGP mener med bots. Eller rettere sagt, vi vet ikke hva de telte som en bot da de gjorde analysen. Vi vet, ut fra hvordan rapporten er rammet inn, at PGP vil at vi skal tenke på bots i vaping som automatiserte kontoer, designet for å se ut som mennesker, som opererer for å spre feilinformasjon om nikotin og e-sigaretter, og/eller reklamere for dem til alle og enhver, spesielt barn.

Men hva PGP ønsker at vi skal tenke på når vi hører “bot” er ikke det samme som hva de faktisk regnet som en bot i denne studien. Så hvordan identifiserte PGP faktisk botene, og hva ansett de som en bot? Her er hva de sier i rapporten:

“PGP er i stand til å identifisere hvilke innlegg som har høy sannsynlighet for å stamme fra roboter og hvilke som har høy sannsynlighet for å stamme fra mennesker…. PGP-forskere undersøker flere kontoegenskaper for å bestemme sannsynligheten for at et innlegg kommer fra en robot, inkludert (men ikke begrenset til) frekvensen og tidspunktet for innlegg, antall innlegg, antall følgere og engasjement med andre kontoer. Roboter, særlig de som er laget med ond hensikt, er utrolig nyanserte og er ofte designet for å se akkurat ut som et menneske. Derfor er en enkel undersøkelse av grunnleggende konto- og profilkarakteristikker utilstrekkelig for å vurdere sannsynligheten for automatisering.”

Dette er bortkastet. Jeg bryr meg egentlig ikke om hvor nøyaktige PGP mener at metodene deres er; jeg ønsker å gjøre den evalueringen selv, og jeg kan ikke basert på informasjonen de gir. Men alt de vil gi meg er denne nedlatende og altfor vage unnskyldningen for ikke å fortelle meg hva de faktisk så på, slik at jeg kan dømme for meg selv om studien deres er gyldig. De behandler metodene sine som magi og fremstiller dem som for sofistikerte for leserne deres til å forstå, noe som i utgangspunktet er et stort rødt flagg.

PGP delte noen etterpå-klargjøringer på Twitter i går om deres klassifiseringsprosess og metodologi som var enda mer vage og meningsløse enn det de sa i den faktiske rapporten. For eksempel: “Vi definerer “automatisering" som en poengsum fra 1-100. En 100% robot vil gjøre ting som auto-RT, poste ikke noe originalt innhold.”

Peter Sterne, en frilansjournalist som skriver om medieindustrien, uttrykte klart problemet med PGPs bot-definisjon i en privat melding til meg: “PGP har tilsynelatende vedtatt en absurd bred definisjon av bot (enhver som bruker en automatisk innleggelsesapp) som feier opp mange ekte mennesker, mens det sterkt antydes at alle “bots” er en del av en sofistikert sosiale medier-operasjon og deres tweets ikke kan tas for god fisk.”

Uansett var PGP åpenbart interessert i å studere bots, uansett hvordan de har definert dem. Prosentandelen av bots aktive i vaping-rommet, og rollen de kan spille i advocacy er et legitimt forskningspuzzle, og jeg tror mange vapers ville finne en studie som kunne svare på disse spørsmålene ganske interessant. Men saken er at PGP ikke designet en studie som kunne svare på spørsmålene som motiverte rapporten deres.

Hvis PGP ønsket å forstå egenskapene til kontoer i en bestemt befolkning av tweeters (dvs. vapers) måtte de finne ut en måte å få et representativt utvalg av kontoer fra den befolkningen. Dette er praktisk talt umulig, men det er ikke poenget fordi PGP til og med synes å ikke forstå at de måtte gjøre noe som dette i det hele tatt. PGP tok ikke prøver av kontoer, de tok prøver av tweets. Disse tweets ble sendt av kontoer (åpenbart) så de endte opp med en samling av kontoer, men det var helt upassende for forskerne å gå videre med å gjøre slutninger om befolkningen av kontoer som tweeter om vaping basert på noen kontoer hvis tweets tilfeldigvis endte opp i utvalget deres.

Det andre store problemet med rapporten er at den faktisk ikke sier hvor mange unike kontoer de snakker om her. De rapporterer tall på tweets (sannsynligvis fordi disse tallene er større, og PGP ønsker å imponere oss), men vi vet ikke hvor mange kontoer som sender dem. Og dette betyr faktisk mye hvis det er noen ekte roboter i utvalget (og det er sannsynligvis noen) fordi en obskur spam-robot med null følgere programmert til å tweet'e hundrevis av ganger per dag om vaping kunne ha generert et uforholdsmessig antall av tweetene i hele utvalget, selv om roboten har lite til ingen effekt utover sin lille isolerte boble.

Disse robotene er ikke roboter i det hele tatt

Mangel på åpenhet, fravær av definisjoner, og klar metodologisk inkompetanse er grunn nok til å mistenke konklusjonene i denne studien. Men den konkrete indikatoren på at PGPs funn ikke er gyldige er en seksjon av rapporten som ble slettet før den ble offentliggjort. (Du kan se den offentlige versjonen på PGPs nettside.)

Tilbake til Wall Street Journal. Da de ba meg om å kommentere på PGP-rapporten, sendte de meg en kopi. Den var 32 sider lang. Resultatsseksjonen var 15 sider lang. Og en underseksjon innen resultatene, med tittelen “Bot-nettverk,” utgjorde omtrent 40 prosent av disse resultatene. Den bestod av fem “mikronivå” analyser av såkalte “botkontoer” og deres “botnettverk identifisert gjennom [PGPs] analyseprosess.” De bruker grafer for å representere hvert nettverk. (Her er versjonen jeg fikk av journalisten.)

Hver av PGPs grafer ble bygget rundt en fokusnode, som representerer en “bot” i PGP-analysen. Den noden var koblet til andre noder som representerte kontoer som tweet'et den såkalte botens tweet. Sosiale nettverksanalytikere refererer til disse grafiske representasjonene som “ego-nettverk,” fordi de skildrer forholdet mellom en sentral node (den “ego”) og tilknyttede noder (“alters”). PGP fargekodet alter-nodene i henhold til om de oppfylte deres uoppgitte kriterier for å være en bot, med hvite noder som representerte kontoer som ble vurdert å være mennesker. Hvite noder var minoriteten av noder i alle av PGPs nettverk.

PGP ønsker at vi skal tro at den store majoriteten av Twitter-aktiviteten om vaping sannsynligvis ikke er generert av ekte mennesker. De redigerte navnet på “ego”-boten i sentrum av hvert botnet. Hvorfor? I rapporten hevder de at dette var for å beskytte personvernet til kontoene, men hvis kontoene er roboter, hvorfor er dette viktig?

Ærlig talt, selv om PGP faktisk var interessert i å beskytte identitetene til botkontoer som er forklædd som ekte mennesker som blander seg inn i nettbasert vaping-diskurs med potensielt alvorlige konsekvenser for folkehelsen (eller så sier de), er faktum at de gjorde en forferdelig jobb.

Jeg var i stand til å enkelt identifisere de spesifikke kontoene som ble representert som senter-node i hvert av de fem såkalte bot-nettverkene PGP inkluderte i sin opprinnelige rapport. Jeg var i stand til å gjøre dette fordi PGP inkluderte skjermbilder av tweets fra kontoene som hvem som helst kunne skrive inn i søkebaren i Twitter-brukergrensesnittet og hente frem. Jeg gjorde det for tweetene fra hver konto, sjekket deres følger- og innleggskonto med hva PGP rapporterte, og bekreftet hvem de alle var. Hele prosessen tok meg mindre enn en halvtime. Og gjett hva? Ingen av disse kontoene er “roboter som poserer som ekte mennesker.”

Blant de fem kontoene PGP valgte for sin eksemplariske diskusjon om botnettverk, var det bare én jeg ikke gjenkjente. Det var en kommersiell konto basert i Storbritannia, som brukte Twitter til å reklamere for sine eBay-lister for ulike produkter, inkludert e-væske og CBD. Så det så ut til at kontoen brukte automatisering for å poste tweets? Ja. Var det noen indikasjon på at det ikke var mennesker bak disse tweetene? Nei. Ville noen fornuftige personer forveksle dette med noe annet enn en kommersiell konto for et netthandelsfirma? Nei. Var det noen indikasjon på at kontoen promoterte utover sitt eget følgernettverk? Nei.

Når det gjelder de fire kontoene jeg var kjent med, var tre private kontoer av enkeltpersoner som er, langvarige vaping-forkjempere, og åpenbart ekte mennesker. Den andre var Twitter-kontoen til denne publikasjonen. Vaping360s nyhetsredaktør Jim McDonald administrerer og tweet'er fra denne kontoen, og Jim er ikke en bot.

Så av de fem påståtte robotene: en er kontoen til en vaping-publikasjon som drives av en av journalistene som bruker den til å poste artikler og engasjere seg med andre tweeters (så han poster originalinnhold). Tre er private enkeltpersoner som forkjemper for vaping. Og den andre er en britisk detaljhandel. Det er ekstremt vanskelig for meg å tro at noen som er kjent med noen av disse kontoene vil konkludere med at de er roboter som poserer som mennesker. Eller virksomheter som poserer som individuelle mennesker. Eller virksomheter som bruker roboter for å posere som individuelle mennesker. Eller noen involvert i noen usle aktiviteter, for den saks skyld.

Og dette gjør PGPs beslutning om å redigere navnene på disse fem kontoene litt mistenkelig. Først og fremst, visste de sikkert at det ville være mulig for noen som ønsket å vite hvem kontoene var, å finne det ut med informasjonen de gjorde tilgjengelig. Så de beskyttet ikke noens personvern, de gjorde det bare litt mer arbeidskrevende for noen som ønsket å vite identiteten til kontoene å finne den informasjonen.

Skjermbildene jeg var i stand til å bruke for å søke etter tweets fra disse kontoene inkluderte retweets og svar til kontoene fra “alters” som også ikke er roboter—og ingen tiltak ble tatt for å beskytte identitetene til disse kontoene. PGPs skjermbilder avslørte navnene og håndtakene til andre kontoer i de såkalte “botnettverkene,” bare ikke de sentrale robotene (som ikke er roboter).

Alt dette gjør det vanskelig for meg å tro at beskyttelse av personvernet til “robotene” var hovedgrunnen til at PGP skjulte konto-IDene. Det gir ikke mening fordi beskyttelsene var ekstremt enkle for noen å omgå, fordi beskyttelsene ikke ble utvidet til kontoene som vises i skjermbilder, og fordi i den endelige analysen hadde PGP en langt større insentiv til å skjule denne informasjonen for sin egen beskyttelse og for å beskytte troverdigheten til sin mangelfulle rapport enn noe annet.

Beskytte personvern eller redde ansikt?

Jeg vil gjerne vite hvorfor PGP publiserte en annen versjon av rapporten enn den de delte med Wall Street Journal. Tydeligvis ville Gregory Conley også vite det, som ba dem redegjøre for dette valget på Twitter. PGPs svar til ham var dette:

“WSJ hadde eksklusivitet på forskningen, og vi delte informasjon under due diligence. På ett tidspunkt delte vi 5 kontoer som hadde høye automasjonsresultater, av de 1 million+ meldingene som ble analysert. Vi ønsket ikke at disse kontoene skulle bli målrettet. Så hverken artikkelen eller rapporten nevner dem.”

PGP ser ut til å antyde her at botnettverkene ble gitt til Wall Street Journal som tilleggsinformasjon til den endelige studien. Hvis analysen jeg flagget som fatalt feilaktig faktisk aldri var ment for offentlig konsum, og bare noe ekstra materiale sendt til Journal sammen med den offisielle rapporten, endrer ikke det faktum at det undergraver gyldigheten av hele studien.

Men det er ganske vanskelig å tro at de ikke hadde til hensikt å ha dette i den endelige versjonen. Seksjonen ble oppført i innholdsfortegnelsen til versjonen av rapporten som ble sendt til meg. Dette var en kjernekomponent i resultatdelen deres, med «botnets» rammet inn som illustrative for det abstrakte fenomenet de påsto at rapporten deres belyste. Det var ingen indikasjon på at dette innholdet ikke var ment å være en stor del av den endelige rapporten.

Jeg fikk inntrykk av at det jeg fikk var den endelige rapporten, og da jeg påpekte at denne analysen var grovt feilaktig (og uetisk) ble jeg aldri fortalt at det var en overfladisk del av studien eller spesialtilpasset Wall Street Journal. Selv om jeg ikke kan si det med sikkerhet, virket reporteren som sendte det til meg å være under inntrykket av at dette var den endelige versjonen også. Og virkelig, hvem ville sende arbeidsutkastet til en banebrytende rapport til en avis du tilbyr eksklusiv tilgang til? Det gir ikke akkurat mening. Dokumentet som inkluderte den nå-slettede botnet-analysen var polert, den slettede delen var en del av innholdsfortegnelsen, ingenting indikerer at dette ikke var ment å være det endelige produktet.

Hvis PGP fant ut hvor dårlig de hadde rotet med denne analysen, burde det ha fått dem til å stille spørsmål ved gyldigheten av hele studien deres. Den ansvarlige, intellektuelt ærlige og transparente ting å gjøre her ville vært å be avisen om å holde eller avbryte historien deres slik at rapporten kunne bli rettet, eller kanskje hvis feilene var så alvorlige, abandons. I det minste burde det ha blitt gjort noen notater som indikerte at versjonen som ble sendt til Journal var annerledes enn den endelige versjonen publisert på nettstedet.

Jeg tror PGP fjernet disse sidene da de forstod åpenheten i de alvorlige feilene de gjorde. De undergravde normale vitenskapelige prosesser i alle andre aspekter av dette arbeidet. Hvorfor skulle jeg—hvorfor skulle noen—tro at de brydde seg om noe annet enn å redde ansikt? Hvis PGP har noen faktisk konkret bevis for å støtte sitt krav om at beslutningen om å kutte denne delen var urelatert til fakta om at deres botnets faktisk ikke var botnets, bør de komme frem med det.

Dehumanisering av legitime protestanter

PGP’s rapport maler et bilde av et sofistikert nettverk av roboter designet for å lure folk til å tro at de er individuelle mennesker for å manipulere diskursen om vaping. Faktumet at ingen av deres beste eksempler hadde noen av kjennetegnene til denne typen konto (og fire av dem var mennesker jeg faktisk tilfeldigvis kjente) reiser alvorlige spørsmål om påliteligheten til hele virksomheten.

Vaping forkjemperområdet på Twitter er et løst tilknyttet samfunn av individuelle borgere som bruker sine for det meste private sosiale medier-kontoer i en spesifikk kontekst. Disse menneskene er ikke på Twitter til fordel for opportunistiske “offentlig helse overvåkning og kommunikasjon” forskere, som har noe å vinne på å høste deres bruker-genererte innhold og presentere det ut av kontekst for å illustrere en villt usannsynlig og intellektuelt uærlig teori om at innflytelsesrike vape-forkjempere ikke er annet enn et sofistikert nettverk av ondsinnede roboter, som dobbeltspiller som mennesker for å spre feilinformasjon i interessen til noen navnløse, ansiktsløse, bedriftsmakt.

Jeg er ikke sikker på om den åpenbare uæren som metter PGP-rapporten representerer organisasjonens forsøk på å lure publikum, eller om det er mer reflekterende for faktumet at de har lurt seg selv.

Men det spiller ingen rolle. Med eller uten den slettede "botnets"-seksjonen er PGPs rapport helt uetisk. Denne rapporten handlet ikke om å bidra til kunnskap om vaping-advokatvirksomhet, det handlet om å skape et mediefrenzy rundt et sjokkerende funn som egentlig ikke er reelt. Den ble utført av en privat, unavngitt gruppe markedsanalytikere som enten ikke forstår eller ikke bryr seg om normene for åpen, gyldig og pålitelig vitenskapelig arbeid. De ignorerte også den veldig reelle maktubalanse mellom de som gjør forskning på vaping-tweeterne, og de virkelige menneskene som bruker Twitter for å advokere for vaping.

PGP-rapporten er propaganda rettet mot å dehumanisere legitime protestanter, diskreditere deres sak, og sensurere deres tale på sosiale medier. Rapporten ble presentert med et lag av vitenskap, men den er helt ment å tjene politiske mål.

Forslått videre lesing: