Vaping Twitter Bot -tutkimus on epäinhimillistävä propagandaa

Lokakuun 4. päivänä sain sähköpostin Wall Street Journalin toimittajalta, joka halusi ajatukseni tutkimuksesta, joka käsitteli "bottimarkkinointia sähkösavukkeille" juttua varten, jota hän suunnitteli.

Olin saanut käsityksen, että tämä liittyi äskettäiseen raporttiin brittiläiseltä yritykseltä Astroscreen, joka kertoi Wired UK:lle löytäneensä, että "koordinoinut, epäaito sosiaalisen median kampanja on kohdistunut selkeästi keskeisiin Yhdysvaltojen päättäjiin yrityksenä pakottaa heidät perumaan suunnitelmat anti-vaping-lainsäädännölle." Ironisesti, Astroscreen oli rakentanut botin tekemään heidän työnsä puolestaan, ja koska botti on "omat koneoppimisteknologiat" (käännös: kukaan muu kuin kirjoittajat eivät voi nähdä, miten tai miksi he tulivat johtopäätöksiinsä), ei todellakaan ole mitään tapaa arvioida heidän johtopäätöstensä pätevyyttä.

Olin valmis keskustelemaan tästä toimittajan kanssa, joka otti minuun yhteyttä. Mutta hän ei ottanut minuun yhteyttä Astroscreenin bottitutkimuksen vuoksi.

WSJ:n toimittaja halusi kommentteja eri raportista, nimeämättömiltä tutkijoilta Public Good Projects (PGP) -järjestöltä, ja rahoitettuna niin sanotulta Nicholson Foundationilta. Kun sanoin, että en ollut mukava kommentoimaan tutkimusta, jota en ollut vielä nähnyt tai lukenut, toimittaja tarjosi lähettävänsä raportin sillä ehdolla, etten jaa tai kommentoi sitä ennen kuin tarina julkaistaan. Hyväksyin nämä ehdot.

Haluan huomauttaa, kuinka outoa on, että kaksi erilaista yksityistä organisaatiota päätti "paljastaa" ilmeisesti laajalle levinnyttä "botti"-toimintaa vaping-kannanotoissa vuotamalla tarkastamattomia "tutkimuksia" suurille uutislähteille, ilmeisesti ilman mitään suunnitelmia saada nämä tutkimukset vertaisarvioituiksi, ja ennen mitään julkista julkaisua.

Kun luin PGP:n raportin, huomasin muita samankaltaisuuksia. Kuten Astroscreen, PGP oli anteeksiantamatonta epäselvä heidän menetelmissään. PGP:n mukaan heidän analyysinsä tarjoaa "ennen näkemätöntä tietoa siitä, mitä roolia robotit tällä hetkellä näyttelevät verkkokeskusteluissa liittyen sähkösavukkeisiin ja tupakkatuotteisiin." Erityisesti he päätyvät päätelmään, että "yli puolet kaikista viesteistä, jotka on lähetetty julkisissa medioissa Yhdysvalloissa sähkösavukkeista ja tupakkatuotteista, saattavat olla peräisin automatisoiduista tiliistä tai boteista."

Kuitenkin he eivät tarjoa mitään hyödyllistä tietoa siitä, miten he saivat aikaan tällaisen päätelmän. Lukijoiden oletetaan vain luottavan siihen, että havainto on pätevä. Mutta huomasin raportissa jotain, joka antoi minulle hyvän syyn olla luottamatta siihen. Ja koska Wall Street Journalin julkaisema artikkeli ei sisältänyt mitään kommenttejani toimittajalle, selitän ne täällä.

Kuitenkin ennen kuin pääsen siihen, katsotaanpa joitakin laajempia ongelmia PGP:n raportin kanssa.

Mitä he tarkoittavat "botilla"?

Ensinnäkin, PGP on anteeksiantamatonta epämääräinen siitä, mitä he oikeastaan tekivät, miten he tekivät sen ja mitä he oikeastaan löysivät. Ja tämä tekee erittäin vaikeaksi tulkita lausuntoja, jotka näyttävät yksinkertaisilta raportissa, kuten tämä: "yhteensä 2,536,659 Twitter-viestistä, jotka liittyvät sähkösavukkeisiin tai tupakkaan, 22,6 % viesteistä julkaisi ihmiset, 20,8 % julkaisi epäillyt robotit, ja 56,6 % on vahvistettu tuotetuksi boteilla."

Yllä olevaa tilastoa on mahdoton tulkita merkityksellisesti, koska emme tiedä, mitä PGP tarkoittaa boteilla. Tai pikemminkin, me emme tiedä, mitä he laskivat botiksi, kun he tekivät analyysin. Tiedämme kuitenkin, siitä, miten raportti on muotoiltu, että PGP haluaa meidän ajattelevan boteista vapingissa automatisoitujen tilien, jotka on suunniteltu näyttämään ihmisiltä ja toimimaan levittääkseen väärää tietoa nikotiinista ja sähkösavukkeista, ja/tai mainostaakseen niitä kenelle tahansa, erityisesti lapsille.

Mutta mitä PGP haluaa meidän ajattelevan, kun kuulemme "botti", ei ole sama kuin mitä he todella laskivat botiksi tässä tutkimuksessa. Joten miten PGP oikeasti tunnisti botit, ja mitä he pitivät botina? Tässä on, mitä he sanovat raportissa:

"PGP pystyy tunnistamaan, mitkä julkaisut todennäköisimmin ovat peräisin boteista ja mitkä todennäköisimmin ovat peräisin ihmisiltä…. PGP:n tutkijat tarkastelevat useita tiliominaisuuksia määrittääkseen, kuinka todennäköisesti julkaisu on peräisin botista, mukaan lukien (mutta ei rajoittuen) julkaisujen taajuus ja ajoitus, julkaisujen määrä, seuraajien määrä ja vuorovaikutus muiden tilien kanssa. Robotit, erityisesti ne, jotka on luotu pahantahtoisen tarkoituksen vuoksi, ovat uskomattoman hienostuneita ja niitä suunnitellaan usein näyttämään tarkalleen ihmisiltä. Siksi pelkkä perustietojen ja profiilimerkintöjen tarkastelu on riittämätöntä arvioimaan automaation todennäköisyyttä."

Tämä on hyödyttömämpää. En todellakaan välitä siitä, kuinka tarkkoina PGP pitää menetelmiään; haluan tehdä tuon arvion itse, enkä voi sen tarjoamien tietojen perusteella. Mutta kaikki mitä he haluavat antaa minulle, on tämä alentava ja liian epämääräinen tekosyy, etteivät he kerro minulle, mitä he todella tarkastelivat, jotta voisin itse arvioida, onko heidän tutkimuksensa pätevä. He käsittelevät menetelmiään kuin taikuutta ja muotoilevat ne liian monimutkaisiksi lukijoille ymmärtää, mikä on periaatteessa valtava punainen lippu.

PGP jakoi joitakin jälkikäteen tapahtuneita selvennyksiä Twitterissä eilen heidän luokitteluprosessistaan ja menetelmistään, jotka olivat jopa epäselvämpiä ja merkityksettömiä kuin mitä he sanoivat itse raportissa. Esimerkiksi: "Määrittelemme automaation" pisteen välillä 1-100. 100 % robotti tekee asioita kuten automaattista RT:tä, eikä julkaise alkuperäistä sisältöä."

Peter Sterne, freelancer-journalisti, joka kirjoittaa media-alasta, tiivisti PGP:n botimääritelmän ongelman yksityisessä viestissä minulle: "PGP on ilmeisesti omaksunut absurdin laajan botin määritelmän (kuka tahansa, joka käyttää jotain automaattista julkaisuohjelmaa), joka harhauttaa paljon oikeita ihmisiä, samalla kun se vahvasti antaa ymmärtää, että kaikki "robotit" ovat osa monimutkaista sosiaalisen median toimintaa ja heidän twiittejään ei voi ottaa kirjaimellisesti."

Joka tapauksessa, PGP oli ilmeisesti kiinnostunut tutkivan boteja, miten he niitä ovatkin määritelleet. Botti-osuus, joka on aktiivinen vaping-alueella, ja rooli, jonka he saattavat näyttelee kannanotossa, on oikea tutkimusongelma, ja uskon, että monet vaping-käyttäjät pitäisivät tutkimusta, joka voisi vastata näihin kysymyksiin, erittäin mielenkiintoisena. Mutta se, mitä PGP ei tehnyt, oli suunnitella tutkimusta, joka voisi vastata raporttia motivoiviin kysymyksiin.

Jos PGP halusi ymmärtää tiliominaisuudet tietyssä väestöryhmässä tweeteistä (eli, vaping-käyttäjistä), heidän pitäisi keksiä tapa saada edustava otos tileistä tuosta väestöryhmästä. Tämä on käytännössä mahdotonta, mutta se on toissijaista, koska PGP ei näytä ymmärtävän, että heidän pitäisi tehdä jotain tällaista ollenkaan. PGP ei otoksellut tilejä, he otoksellivat twiittejä. Nämä twiitit lähetettiin tileiltä (ilmeisesti), joten he saivat kokoelman tilejä, mutta oli täysin sopimatonta, että tutkijat tekevät havaintoja tileistä, jotka twiittasivat vapingista joidenkin tiliä, joiden twiitit sattui päätymään heidän otokseensa.

Raportin toinen suuri ongelma on, että se ei oikeastaan sano, kuinka monta ainutlaatuista tiliä he puhuvat täällä. He raportoivat twiittien määriä (luultavasti koska ne numerot ovat suurempia, ja PGP haluaa vaikuttaa meihin), mutta emme tiedä, kuinka monta tiliä niitä lähettää. Ja tämä on itse asiassa erittäin tärkeää, jos näytteessä on mitään oikeita boteja (ja todennäköisesti siellä on joitakin), koska epämääräinen roskaposti-botti, jolla ei ole seuraajia ja joka on ohjelmoitu twiittaamaan satoja kertoja päivässä vapingista, olisi voinut luoda epäsuhteellisen suuren määrän twiittejä koko näytteessä, vaikka botilla ei ole suurta vaikutusta sen pienessä eristyneessä kuplassa.

Nämä botit eivät ole botteja lainkaan

Läpinäkyvyyden puute, määritelmien puuttuminen ja selkeä metodologinen kyvyttömyys ovat riittäviä syitä epäillä tämän tutkimuksen johtopäätöksiä. Mutta konkreettinen indikaattori siitä, että PGP:n löydökset eivät ole päteviä, on raportin osa, joka poistettiin ennen sen julkista julkaisemista. (Voit nähdä julkisen version PGP:n verkkosivustolla.)

Takaisin Wall Street Journalin pariin. Kun he pyysivät minua kommentoimaan PGP:n raporttia, he lähettivät minulle kopion. Se oli 32 sivua pitkä. Tulokset-osio oli 15 sivua pitkä. Ja osio tuloksista, otsikolla "Bottiverkot", kattoi noin 40 prosenttia näistä tuloksista. Se koostui viidestä "mikrotason" analyysistä niin kutsutuista "bottitileistä" ja niiden "bottiverkoista, jotka tunnistettiin [PGP:n] analyysiprosessin aikana." He käyttävät kaavioita esittämään jokaisen verkon. (Tässä on versio, jonka sain toimittajalta.)

Jokainen PGP:n kaavioista rakennettiin keskeisen solmun ympärille, joka edustaa "botia" PGP:n analyysissä. Tämä solmu oli yhdistetty muihin solmuihin, jotka edustivat tilejä, jotka uudelleentwiittasivat niin kutsutun botin twiitin. Sosiaalisen verkoston analyytikot viittaavat näihin graafisiin esityksiin "ego-verkoina", koska ne kuvaavat suhdetta keskeisen solmun ("ego") ja yhdistettyjen solmujen ("alterit") välillä. PGP värikoodasi alter-solmut sen mukaan, täyttivätkö ne heidän paljastamattomat kriteerinsä botiksi, valkoiset solmut edustavat tilejä, jotka on varmennettu ihmisiksi. Valkoiset solmut olivat vähemmistö kaikissa PGP:n verkoissa.

PGP haluaa meidän uskovan, että valtaosa Twitterin toiminnasta vapingin suhteen ei todennäköisesti ole aidosti ihmisten tuottamaa. He salaoivat niin kutsutun "ego" botti-nimen kunkin bottiverkon keskipisteessä. Miksi? Raportissa he väittävät, että tämä oli suojatakseen tilien yksityisyyttä, mutta jos tilit ovat boteja, miksi sillä on merkitystä?

Rehellisesti sanottuna, vaikka PGP:llä oli oikeasti kiinnostusta suojata bottitilien identiteettejä, jotka naamioituvat todellisiksi ihmisiksi, jotka puuttuvat verkkovaping-keskusteluun mahdollisesti vakavilla seurauksilla kansanterveydelle (tai niin he sanovat), asia on se, että he tekivät kuin huonoa työtä.

Pystyin helpohkosti tunnistamaan erityiset tilit, jotka esitettiin keskipisteenä jokaisessa viidessä niin kutsutussa bottiverkossa, jotka PGP sisällytti alkuperäiseen raporttiinsa. Pystyin tekemään tämän, koska PGP oli lisännyt kuvakaappauksia twiiteistä tileiltä, joita kuka tahansa voisi kirjoittaa Twitterin käyttöliittymän hakupalkkiin ja löytää. Tein sen jokaisen tilin twiittien osalta, tarkastin heidän seuraajamääränsä ja julkaisutietonsa PGP:n raportin kanssa, ja varmistin, keitä he kaikki olivat. Koko prosessi kesti minulta alle puoli tuntia. Ja arvaapa mitä? Yksikään näistä tileistä ei ole "botti, joka naamioituu todelliseksi ihmiseksi".

Viidestä tilistä, jotka PGP valitsi esimerkilliseen bottiverkkojen keskusteluun, vain yksi ei ollut tuttu. Se oli kaupallinen tili, joka oli perustettu Yhdistyneessä kuningaskunnassa, käyttäen Twitteriä mainostaakseen eBay-listauksiaan erilaisista tuotteista, mukaan lukien e-neste ja CBD. Näyttikö tili käyttävän automaatiota twiittien julkaisemiseen? Kyllä. Oliko mitään merkkiä siitä, että ihmisiä ei ollut näiden twiittien takana? Ei. Olisiko kukaan järkevä ihminen sekoittanut tätä muuhun kuin verkkokaupan kaupalliseen tiliin? Ei. Olisiko mitään merkkiä siitä, että tili mainostaisi sen oman seuraajaverkon ulkopuolella? Ei.

Mitä tulee neljään tiliin, joista olin tietoinen, kolme oli yksityisiä tilejä, jotka kuulumme pitkään vapautus aktivisteihin, ja selvästi todellisiin ihmisiin. Toinen oli tämä julkaisun Twitter-tili. Vaping360:n uutispoimija Jim McDonald hallitsee ja twiittaa tältä tililtä, ja Jim ei ole botti.

Joten viidestä niin kutsutusta botista: yksi on vaping-julkaisu, jota johtaa yksi toimittajista, joka käyttää sitä artikkeleiden julkaisemiseen ja vuorovaikutukseen muiden twiittaajien kanssa (joten hän julkaisee alkuperäistä sisältöä). Kolme ovat yksityisiä yksilöitä, jotka puolustavat vapingia. Ja toinen on joku brittiläinen jälleenmyyjä. On äärimmäisen vaikeaa uskoa, että kukaan, joka on tuttu minkään näistä tileistä, päättäisi, että ne ovat boteja, jotka naamioituvat ihmisiksi. Tai yrityksiä, jotka naamioituvat yksittäisiksi ihmisiksi. Tai yrityksiä, jotka käyttävät boteja naamioituakseen yksittäisiksi ihmisiksi. Tai ketään, joka on mukana missään epäilyttävässä toiminnassa, sitä paitsi.

Ja tämä tekee PGP:n päätöksestä salata näiden viiden tilin nimet hieman epäilyttävän. Ensinnäkin, he tiesivät varmasti, että olisi mahdollista jonkun, joka halusi tietää, keitä tilit olivat, selvittää se saatavilla olevan tiedon avulla. Joten he eivät suojanneet kenenkään yksityisyyttä, he vain tekivät siitä hieman työläämpää jonkun, joka halusi tietää tilien identiteetin, löytää tietoa.

Kuvakaappaukset, joita pystyin käyttämään etsiäkseni twiittejä näiltä tileiltä, sisälsivät uudelleentwiittauksia ja vastauksia tileiltä "alterit", jotka eivät myöskään ole boteja - eikä mitään toimenpiteitä otettu suojatakseen näiden tilien identiteettejä. PGP:n kuvakaappaukset paljastivat muiden tilien nimet ja käyttäjätunnukset niin kutsutuissa "bottiverkoissa", vain ei keskeisiä boteja (jotka eivät ole boteja).

Kaikki tämä saa minut vaikeaksi uskoa, että ”bottien” yksityisyyden suojaaminen oli PGP:n pääsyy piilottaa tilitunnukset. Se ei ole järkevää, koska suojaukset olivat äärimmäisen helppoja kenen tahansa kiertää, koska suojauksia ei laajennettu kuvakaappauksissa esiintyville tileille, ja koska loppujen lopuksi PGP:llä oli paljon suurempi kannustin piilottaa nämä tiedot oman suojelunsa ja heidän virheellisen raporttinsa uskottavuuden suojaamiseksi kuin mihinkään muuhun.

Yksityisyyden suojaamista vai kasvojen pelastamista?

Haluaisin tietää, miksi PGP julkaisi raportista erilaisen version kuin sen, jonka he jakoivat Wall Street Journalille. Ilmeisesti niin teki myös Gregory Conley, joka pyysi heitä tilittämään tämän valinnan Twitterissä. PGP:n vastaus hänelle oli tämä:

"WSJ:llä oli yksinoikeus tutkimukseen ja jaoimme tietoa due diligence -prosessin aikana. Kerran jaoimme 5 tiliä, jotka olivat korkeilla automaatioskooreilla, yli 1 miljoonasta viestistä, jotka analysoitiin. Emme halunneet näiden tilien olevan kohteena. Joten ei artikkelissa eikä raportissa mainita niitä.”

PGP näyttää vihjaavan täällä, että bottiverkot annettiin Wall Street Journalille lisäyhteytenä lopulliseen tutkimukseen. Jos analyysi, jonka merkitsin kohtalaiseksi virheeksi, ei ollut oikeasti koskaan tarkoitettu julkiselle kulutukselle, ja oli vain ylimääräistä materiaalia, joka lähetettiin Journalille virallisen raportin mukana, se ei muuta sitä faktaa, että se heikentää koko tutkimuksen pätevyyttä.

Mutta on melko vaikeaa uskoa, etteivät he aikoneet sisällyttää tätä lopulliseen versioon. Osio oli lueteltu raportin sisällysluettelossa, joka lähetettiin minulle. Tämä oli olennainen osa heidän tuloksiaan, jossa ”botnets” esitettiin havainnollistavana abstraktista ilmiöstä, jonka he väittivät raporttinsa valaisevan. Ei ollut merkkejä siitä, että tätä sisältöä ei olisi tarkoitettu olevan merkittävä osa lopullista raporttia.

Sain vaikutelman, että se, mitä minulle annettiin, oli lopullinen raportti, ja kun korostin tätä analyysiä äärimmäisen virheelliseksi (ja epäeettiseksi), minulle ei koskaan sanottu, että se oli pinnallinen osa tutkimusta tai erityinen Wall Street Journalille. Vaikka en voi sanoa varmasti, vaikutti siltä, että se toimittaja, joka lähetti sen minulle, oli myös siinä uskossa, että tämä oli lopullinen versio. Ja oikeastaan, kuka lähettäisi työversion mullistavasta raportista sanomalehteen, jolle tarjoat eksklusiivista? Se ei oikein mene järkeen. Asiakirja, joka sisälsi nyt poistettua botnet-analyysiä, oli hiottu, poistettu osa oli osa sisällysluetteloa, mikään ei viittaa siihen, että tätä ei ollut tarkoitettu lopulliseksi tuotteeksi.

Jos PGP olisi saanut tietää, kuinka huonosti he olivat mokanneet tämän analyysin, sen olisi pitänyt saada heidät kyseenalaistamaan koko tutkimuksensa pätevyys. Vastuunalainen, älyllisesti rehellinen ja läpinäkyvä asia tehdä tässä olisi ollut pyytää sanomalehteä pidättämään tai peruuttamaan heidän juttunsa, jotta raportti voitaisiin korjata, tai ehkä, jos puutteet olivat niin vakavia, hylätä se. Vähintäänkin olisi pitänyt tehdä huomautus, jossa todettiin, että versio, joka lähetettiin Journalille, poikkesi verkkosivustolla julkaistusta lopullisesta versiosta.

Luulen, että PGP poisti nuo sivut, kun he ymmärsivät ilmeisten vakavien virheiden, joita he tekivät. He alensivat normaalit tieteelliset prosessit kaikilla muilla tämän työn osa-alueilla. Miksi minun—miksi kenenkään—pitäisi uskoa, että he välittivät mistään muusta kuin kasvojen säilyttämisestä? Jos PGP:llä on mitään konkreettista näyttöä tukeakseen väitettä siitä, että päätös tämän osion leikkaamisesta ei liittynyt siihen, että heidän botnetit eivät oikeasti olleet botnetteja, heidän tulisi tulla esiin sen kanssa.

Inhimillistävät laillisia mielenosoittajia

PGP:n raportti maalaa kuvan kehittyneestä bottiverkostosta, joka on suunniteltu huijaamaan ihmisiä uskomaan, että he ovat yksittäisiä ihmisiä manipuloidakseen keskustelua sähkötupakoinnista. Se, että mikään heidän parhaista esimerkeistään ei ollut tämän tyyppisen tilin ominaisuuksia (ja neljä heistä olivat ihmisiä, joita itse asiassa tunsin) herättää vakavia kysymyksiä koko yrityksen luotettavuudesta.

Vaping-advokaattien sfääri Twitterissä on löyhästi yhdistetty yhteisö yksittäisistä kansalaisista, jotka käyttävät enimmäkseen yksityisiä sosiaalisen median tilejään erityisessä kontekstissa. Nämä ihmiset eivät ole Twitterissä hyötyäkseen tilaisuusperäisten "kansanterveyden valvonta- ja viestintätutkijoiden" hyväksi, joilla on jotain voitettavaa keräämällä heidän käyttäjäluomaansa sisältöään ja esittämällä sitä kontekstista irrotettuna, jotta voitaisiin havainnollistaa hurjasti epäuskottavaa ja älyllisesti epärehellistä teoriaa, jonka mukaan vaikutusvaltaiset vaping-advokaatti ovat ei mitään muuta kuin monimutkainen verkosto ilkeitä botteja, jotka kaksinaamaisesti esiintyvät ihmisinä levittääkseen väärää tietoa jonkin nimetön, kasvojen puuttuvan, yritysvallan hyväksi.

En ole varma, edustaako PGP-raporttia kyllästyttävä ilmeinen epärehellisyys organisaation yritystä huijata yleisöä, vai heijastaa enemmän sitä, että he ovat huijanneet itseään.

Mutta sillä ei ole merkitystä. Poistetun “botnets” -osion kanssa tai ilman, PGP:n raportti on täysin epäeettinen. Tämä raportti ei ollut tarkoitettu edesauttamaan tietoa vaping-aktivismista, se oli tarkoitettu luomaan median myrsky hämmästyttävän havainnon ympärille, joka ei oikeastaan ole totta. Se toteutettiin yksityisen, nimeämättömän markkinatutkijaryhmän toimesta, joka joko ei ymmärrä tai ei välitä läpinäkyvän, pätevän ja luotettavan tieteellisen työn normeista. He myös jättivät huomiotta erittäin todellisen vallan epätasapainon niiden ihmisten välillä, jotka tekevät tutkimusta vaping-twiittaajista, ja niiden todellisten ihmisten välillä, jotka käyttävät Twitteriä edistääkseen vapingia.

PGP-raportti on propagandaa, joka pyrkii ihmisoikeuksia loukkaavien laillisten protestoijien aliarvioimiseen, heidän asiansa epäilyttäviksi tekemiseen ja heidän puheensa sensuroimiseen sosiaalisen median alustoilla. Raportti esiteltiin tieteellisen pinnan alla, mutta se on täysin tarkoitettu palvelemaan poliittisia päämääriä.

Ehdotettu lisälukeminen: