Badanie bota Twittera dotyczące vapoing jest dehumanizującą propagandą.

4 października otrzymałem e-mail od reportera Wall Street Journal, który chciał poznać moje zdanie na temat badania dotyczącego „marketingu botów e-papierosów” do historii, którą planował.

Pomyślałem, że chodzi o niedawny raport brytyjskiej firmy Astroscreen, która powiedziała Wired UK, że odkryli „skoordynowaną, nieautentyczną kampanię w mediach społecznościowych, która celowała w kluczowych amerykańskich decydentów w próbie zmuszenia ich do wycofania planów dotyczących ustawodawstwa przeciwko wapowaniu.” Ironią jest to, że Astroscreen zbudowało bota, aby wykonał za nich tę pracę, a ponieważ bot jest „własnościową technologią uczenia maszynowego” (tłumaczenie: nikt poza autorami nie może zobaczyć, jak ani dlaczego dotarli do swoich wniosków), naprawdę nie ma możliwości, aby ocenić ważność ich wniosków.

Byłem gotów omówić to z reporterem, który się ze mną skontaktował. Ale nie kontaktował się ze mną w sprawie badania bota Astroscreen.

Reporter WSJ chciał komentarzy na temat innego raportu, od anonimowych badaczy w Public Good Projects (PGP), finansowanego przez coś zwanego Fundacją Nicholsona. Kiedy powiedziałem, że jestem niepewny komentowania badania, którego jeszcze nie widziałem ani nie czytałem, reporter zaoferował przesłanie mi raportu pod warunkiem, że nie podzielę się nim ani nie skomentuję go, aż historia się ukaże. Zgodziłem się na te warunki.

Pozwólcie, że zwrócę uwagę, jak dziwne jest to, że dwie różne prywatne organizacje postanowiły „ujawnić” rzekomo szeroko rozpowszechnioną aktywność „bota” w przestrzeni zwolenników wapowania, publikując nieweryfikowane „badania” w głównych mediach, najwyraźniej bez jakichkolwiek planów, aby te badania były recenzowane przez specjalistów i przed jakimikolwiek publicznymi wydaniami.

Kiedy przeczytałem raport PGP, zauważyłem inne podobieństwa. Podobnie jak Astroscreen, PGP był nie do przyjęcia nieprzezroczysty co do swoich metodologii. Według PGP ich analiza oferuje „nigdy wcześniej nie widziane informacje na temat roli, jaką boty odgrywają obecnie w rozmowach online o e-papierosach i produktach tytoniowych.” Konkretnie, dochodzą do wniosku, że „ponad połowa wszystkich wiadomości przesyłanych przez publiczne źródła mediów w Stanach Zjednoczonych dotyczących e-papierosów i produktów tytoniowych może być publikowana przez zautomatyzowane konta, czyli boty.”

Jednak nie dostarczają żadnych użytecznych informacji na temat tego, jak doszli do takiego wniosku. Czytelnicy mają po prostu zaufać, że to odkrycie jest ważne. Ale zauważyłem coś w raporcie, co dało mi dobry powód, aby mu nie ufać. A, ponieważ artykuł, który ostatecznie opublikował Wall Street Journal nie zawierał żadnych moich komentarzy do reportera, wyjaśnię je tutaj.

Jednak zanim do tego przejdę, przyjrzyjmy się niektórym szerszym problemom z raportem PGP.

Co mają na myśli mówiąc „bot” w ogóle?

Przede wszystkim PGP jest nie do przyjęcia niejasne w kwestii tego, co właściwie zrobili, jak to zrobili i co właściwie odkryli. I to utrudnia interpretację wypowiedzi, które wydają się proste w raporcie, jak ta: "z całkowitej próbki 2,536,659 wiadomości na Twitterze związanych z e-papierosami lub tytoniem, 22,6% wiadomości zostało opublikowanych przez ludzi, 20,8% przez podejrzewane boty, a 56,6% potwierdzono, że zostały wygenerowane przez boty."

Nie da się znacząco zinterpretować powyższej statystyki, ponieważ nie wiemy, co PGP ma na myśli mówiąc boty. A raczej, nie wiemy, co uznali za bota, kiedy przeprowadzali analizę. Wiemy, z tego, jak raport jest sformułowany, że PGP chce, abyśmy myśleli o botach w kontekście wapowania jako o zautomatyzowanych kontach, zaprojektowanych tak, aby wyglądały na ludzi, które działają w celu szerzenia dezinformacji na temat nikotyny i e-papierosów, i/lub reklamowania ich każdemu, zwłaszcza dzieciom.

Ale to, co PGP chce, żebyśmy myśleli o „bocie” nie jest tym samym, co uznali za bota w tym badaniu. Więc jak PGP rzeczywiście zidentyfikowało boty, i co uznali za bota? Oto co mówią w raporcie:

„PGP jest w stanie zidentyfikować, które posty mają dużą szansę na pochodzenie od botów, a które mają dużą szansę na pochodzenie od ludzi… Badacze PGP analizują wiele cech kont, aby określić prawdopodobieństwo, że post pochodzi od bota, w tym (ale nie ograniczając się do) częstości i czasu postów, liczby postów, liczby obserwujących oraz interakcji z innymi kontami. Boty, szczególnie te stworzone z zamiarem złośliwym, są niezwykle złożone i często zaprojektowane tak, aby wyglądały dokładnie jak człowiek. Z tego powodu prosta analiza podstawowych cech konta i profilu jest niewystarczająca, aby ocenić prawdopodobieństwo automatyzacji.”

To jest bezużyteczne. Nie obchodzi mnie, jak dokładne PGP myśli, że ich metody są; chcę ocenić to samodzielnie, a nie mogę opierając się na informacjach, które dostarczają. Ale wszystko, co chcą mi dać, to to protekcjonalne i nadmiernie niejasne wytłumaczenie, dlaczego nie mówią mi, na co tak naprawdę patrzyli, abym mogł ocenić samodzielnie, czy ich badanie jest ważne. Traktują swoje metody jak magię i przedstawiają je jako zbyt złożone, aby ich czytelnicy mogli zrozumieć, co jest zasadniczo ogromnym czerwonym flagiem.

PGP podzieliło się niektórymi dodatkowym wyjaśnieniami na Twitterze wczoraj na temat ich procesu klasyfikacji i metodologii, które były jeszcze bardziej niejasne i bezsensowne niż to, co powiedzieli w samym raporcie. Na przykład: „Definiujemy „automatyzację” jako ocenę od 1 do 100. Robot w 100% będzie robił rzeczy takie jak auto-RT, publikując brak treści oryginalnych.”

Peter Sterne, freelancer, który pisze o branży medialnej, zwięźle wyraził problem z definicją bota PGP w prywatnej wiadomości do mnie: „PGP najwyraźniej przyjęło absurdalnie szeroką definicję bota (każdy, kto używa jakiejkolwiek aplikacji do automatycznego postowania), która obejmuje wiele prawdziwych ludzi, jednocześnie silnie sugerując, że wszystkie „boty” są częścią wyrafinowanej operacji w mediach społecznościowych i ich tweetów nie można traktować na serio.”

W każdym razie, PGP oczywiście było zainteresowane badaniem botów, niezależnie od tego, jak je zdefiniują. Proporcja botów aktywnych w przestrzeni wapowania i rola, jaką mogą odgrywać w rzeczach, to legitamna zagadka badawcza, i myślę, że wielu wapujących mogłoby uznać badanie, które mogłoby odpowiedzieć na te pytania, za dość interesujące. Ale rzecz w tym, że PGP nie zaprojektowało badania, które mogłoby odpowiedzieć na pytania motywujące ich raport.

Jeśli PGP chciało zrozumieć cechy kont w określonej populacji tweeterów (tj. wapujących), musieliby wymyślić sposób na uzyskanie reprezentatywnej próbki kont z tej populacji. To jest praktycznie niemożliwe, ale to nieistotne, ponieważ PGP nawet nie wydaje się rozumieć, że musieli by coś takiego zrobić. PGP nie próbował kont, badał tweety. Te tweety były wysyłane przez konta (oczywiście), więc otrzymali zbiór kont, ale całkowicie niewłaściwie było dla badaczy stwierdzić, że dokonali wniosków na temat populacji kont, które tweetują o wapowaniu, na podstawie niektórych kont, których tweety przypadkowo znalazły się w ich próbce.

Inny duży problem z raportem polega na tym, że tak naprawdę nie mówi, ile unikalnych kont mają na myśli. Podają liczby tweetów (prawdopodobnie dlatego, że te liczby są większe, a PGP chce nas zaimponować), ale nie wiemy, ile kont je wysyła. A to naprawdę ma duże znaczenie, jeśli w próbce są jakieś prawdziwe boty (a prawdopodobnie są) ponieważ niejasny spam-bot z zerową liczbą obserwujących zaprogramowany, aby tweetować setki razy dziennie o wapowaniu, mógł wygenerować nieproporcjonalną liczbę tweetów w całej próbce, nawet jeśli bot ma niewielki wpływ poza swoją małą, izolowaną bańką.

Te boty wcale nie są botami

Brak przejrzystości, nieobecne definicje i wyraźna niekompetencja metodologiczna to wystarczający powód do podejrzeń co do wniosków tego badania. Ale konkretna wskazówka, że ustalenia PGP nie są ważne, to sekcja raportu, która została usunięta przed jego publicznym wydaniem. (Możesz zobaczyć publiczną wersję na stronie internetowej PGP.)

Wracając do Wall Street Journal. Kiedy poprosili mnie o skomentowanie raportu PGP, wysłali mi kopię. Miała 32 strony. Sekcja z wynikami miała 15 stron. A podsekcja w ramach wyników, zatytułowana „Sieci Botów”, zajmowała około 40 procent tych wyników. Składała się z pięciu analiz „mikro-poziomowych” tzw. „kont botów” i ich „sieci botów zidentyfikowanych podczas procesu analizy [PGP].” Używają wykresów do przedstawienia każdej sieci. (Oto wersja, którą otrzymałem od dziennikarza.)

Każdy z wykresów PGP był zbudowany wokół węzła centralnego, reprezentującego „bota” w analizie PGP. Ten węzeł był połączony z innymi węzłami reprezentującymi konta, które retweetowały tzw. tweet bota. Analitycy sieci społecznych określają te graficzne przedstawienia jako „sieci ego”, ponieważ ukazują relacje między centralnym węzłem („ego”) a połączonymi węzłami („alterami”). PGP skategoryzowało węzły alter według tego, czy spełniały ich nieujawnione kryteria do bycia botem, przy czym białe węzły reprezentowały konta uznane za ludzkie. Białe węzły były mniejszością w całej sieci PGP.

PGP chce, abyśmy uwierzyli, że znakomita większość aktywności na Twitterze dotyczącej wapowania prawdopodobnie nie pochodzi od prawdziwych ludzi. Ukryli nazwę „ego” bota w centrum każdej botnety. Dlaczego? W raporcie twierdzą, że miało to na celu ochronę prywatności kont, ale jeśli konta są botami, dlaczego to ma znaczenie?

Szczerze mówiąc, nawet jeśli PGP naprawdę byłoby zainteresowane ochroną tożsamości kont botów przebranych za prawdziwych ludzi, którzy mieszają się w dyskursie na temat wapowania w sieci z potencjalnie poważnymi konsekwencjami dla zdrowia publicznego (lub tak twierdzą), to fakt jest taki, że zrobili to w straszny sposób.

Udało mi się łatwo zidentyfikować konkretne konta reprezentowane jako węzeł centralny w każdej z pięciu rzekomych sieci botów, które PGP uwzględniło w swoim pierwotnym raporcie. Udało mi się to zrobić, ponieważ PGP dołączyło zrzuty ekranu tweetów z kont, które każdy mógł wpisać w pasek wyszukiwania w interfejsie użytkownika Twittera i pobrać. Zrobiłem to dla tweetów każdego konta, sprawdziłem liczbę ich obserwujących i postów w porównaniu do tego, co podało PGP, i zweryfikowałem, kim byli wszyscy. Cały proces zajął mi mniej niż pół godziny. I zgadnij co? Żadne z tych kont nie jest „botem udającym prawdziwych ludzi.”

Spośród pięciu kont, które PGP wybrało do swojej omówienia przykładowych sieci botów, tylko jedno było mi nieznane. To było komercyjne konto z siedzibą w Wielkiej Brytanii, które używa Twittera do reklamowania swoich ofert na eBayu dotyczących różnych produktów, w tym e-liquidu i CBD. Czy konto wydawało się używać automatyzacji do publikowania tweetów? Tak. Czy były jakiekolwiek wskazówki, że to ludzie nie stali za tymi tweetami? Nie. Czy ktokolwiek rozumny mógłby pomylić to z czymś innym niż komercyjne konto firmy zajmującej się handlem internetowym? Nie. Czy było jakieś wskazanie, że konto promowało coś ponad własną sieć obserwujących? Nie.

Jeśli chodzi o cztery konta, które znałem, trzy to były konta prywatne osób, które są od dawna zwolennikami wapowania i są wyraźnie prawdziwymi ludźmi. Pozostałe to konto Twitter tej samej publikacji. Redaktor wiadomości Vaping360 Jim McDonald zarządza tym kontem i tweetuje z tego konta, a Jim nie jest botem.

Spośród pięciu rzekomych botów: jedno to konto publikacji o wapowaniu prowadzona przez jednego z dziennikarzy, który używa go do publikowania artykułów i angażowania się z innymi użytkownikami Twittera (więc publikuje oryginalne treści). Trzy to prywatne osoby, które popierają wapowanie. A to drugie to jakiś brytyjski sprzedawca. Bardzo trudno mi uwierzyć, że ktokolwiek zaznajomiony z którymkolwiek z tych kont mógłby stwierdzić, że są one botami udającymi ludzi. Albo firmami udającymi indywidualnych ludzi. Albo firmami używającymi botów do udawania indywidualnych ludzi. Albo ktokolwiek zaangażowany w jakiekolwiek podejrzane działania, żeby nie mówić.

I to sprawia, że decyzja PGP o ukryciu nazw tych pięciu kont budzi pewne podejrzenia. Po pierwsze, z pewnością wiedzieli, że będzie możliwe, aby ktoś kto chciałby wiedzieć, kim są te konta, dowiedział się tego z informacji, które udostępnili. Więc nie chronili prywatności nikogo, tylko sprawili, że stało się to nieco bardziej pracochłonne dla kogoś, kto chciałby wiedzieć tożsamość kont.

Zrzuty ekranu, które mogłem wykorzystać do wyszukania tweetów tych kont, obejmowały retweety i odpowiedzi na konta od „alterów”, którzy również nie są botami - i nie podjęto żadnych działań w celu ochrony tożsamości tych kont. Zrzuty ekranu PGP ujawniały imiona i nicki innych kont w tak zwanych „botnetach”, tylko nie centralnych botów (którzy nie są botami).

To wszystko sprawia, że trudno mi uwierzyć, że ochrona prywatności „botów” była głównym powodem, dla którego PGP ukrył identyfikatory kont. To nie ma sensu, ponieważ zabezpieczenia były niezwykle łatwe do obejścia dla każdego, ponieważ zabezpieczenia nie były rozszerzone na konta pojawiające się w zrzutach ekranowych, a ponieważ w końcu PGP miało znacznie większą motywację, aby ukryć tę informację dla własnej ochrony i ochrony wiarygodności swojego wadliwego raportu niż cokolwiek innego.

Ochrona prywatności czy ratowanie twarzy?

Chciałbym wiedzieć, dlaczego PGP opublikowało inną wersję raportu niż ta, którą podzielili się z Wall Street Journal. Podobno Gregory Conley również pytał ich o to na Twitterze. Odpowiedź PGP brzmiała tak:

„WSJ miał wyłączność na badania i dzieliliśmy się informacjami podczas due diligence. W pewnym momencie podaliśmy 5 kont, które miały wysokie wyniki automatyzacji, z ponad 1 miliona+ analizowanych wiadomości. Nie chcieliśmy, żeby te konta były celem. Dlatego ani artykuł, ani raport ich nie wymienia.”

PGP sugeruje tutaj, że botnety zostały przekazane Wall Street Journal jako dodatkowy kontekst do ostatecznego badania. Jeśli analiza, którą wskazałem jako śmiertelnie wadliwą, w rzeczywistości nigdy nie była przeznaczona do publicznej konsumpcji i była po prostu dodatkowym materiałem wysłanym do Dziennika wraz z oficjalnym raportem, to nie zmienia faktu, że podważa ważność całego badania.

Ale trudno uwierzyć, że nie zamierzali mieć tego w wersji finalnej. Sekcja była wymieniona w spisie treści wersji raportu, która została mi wysłana. To była kluczowa część ich sekcji wyników, z „botnetami” przedstawionymi jako ilustracja abstrakcyjnego zjawiska, które ich raport miał oświetlić. Nie było żadnej wskazówki, że ta zawartość nie miała być główną częścią ostatecznego raportu.

Miałem wrażenie, że to, co mi dano, to był ostateczny raport, a kiedy zwróciłem uwagę na tę analizę jako rażąco niepoprawną (i nieetyczną), nigdy nie powiedziano mi, że to była pobieżna część badania lub specjalna dla Wall Street Journal. Choć nie mogę powiedzieć tego na pewno, dziennikarz, który mi to wysłał, wydawał się być pod wrażeniem, że to była również ostateczna wersja. I naprawdę, kto wysłałby roboczy szkic przełomowego raportu do gazety, której oferujesz ekskluzywny materiał? To w ogóle nie ma sensu. Dokument, który zawierał teraz usuniętą analizę botnetów, był wypolerowany, usunięta sekcja była częścią spisu treści, nic nie wskazuje, że to nie miało być ostatecznym produktem.

Jeśli PGP dowiedział się, jak bardzo źle poprowadzili tę analizę, powinno to skłonić ich do zakwestionowania ważności całego badania. Odpowiednią, intelektualnie uczciwą i przejrzystą rzeczą, którą powinni tu zrobić, byłoby poprosić gazetę o wstrzymanie lub anulowanie swojego artykułu, aby raport mógł zostać poprawiony, lub być może, jeśli błędy byłyby tak poważne, porzucony. Przynajmniej jakiś notat powinien być sporządzony, wskazujący, że wersja wysłana do Journal była inna niż ostateczna wersja opublikowana na stronie internetowej.

Myślę, że PGP usunęło te strony, gdy tylko zrozumieli oczywistość poważnych błędów, które popełnili. Zdeprecjonowali normalne procesy naukowe we wszystkich innych aspektach tej pracy. Dlaczego miałbym ja—dlaczego ktokolwiek—uwierzyć, że zależało im na czymkolwiek innym, jak tylko na ratowaniu twarzy? Jeśli PGP ma jakiekolwiek konkretne dowody na poparcie swojej twierdzenia, że decyzja o usunięciu tej sekcji była niezwiązana z faktem, że ich botnety nie były w rzeczywistości botnetami, powinni to ujawnić.

Dehumanizacja legitymnych protestujących

Raport PGP przedstawia obraz zaawansowanej sieci botów zaprojektowanej w celu oszukania ludzi, aby uwierzyli, że są indywidualnymi ludźmi w celu manipulacji dyskursem na temat vapingu. Fakt, że żaden z ich najlepszych przykładów nie miał żadnych cech tego typu konta (a cztery z nich były ludźmi, które rzeczywiście znałem) rodzi poważne pytania dotyczące wiarygodności całego przedsięwzięcia.

Sfera adwokatury dotyczącej vapingu na Twitterze to luźno połączona społeczność indywidualnych obywateli, którzy korzystają ze swoich głównie prywatnych kont w mediach społecznościowych w określonym kontekście. Ci ludzie nie są na Twitterze dla korzyści oportunistycznych badaczy „monitorowania i komunikacji w zakresie zdrowia publicznego”, którzy mają coś do zyskania, zbierając ich użytkownikowe treści i przedstawiając je poza kontekstem w celu ilustrowania dziwacznie nieprawdopodobnej i intelektualnie nieuczciwej teorii, że wpływowi adwokaci vapingu nie są niczym innym, jak zaawansowaną siecią złośliwych botów, dwulicowo udających ludzi, aby rozprzestrzeniać dezinformację w interesie jakiejś bezimiennej, bezosobowej władzy korporacyjnej.

Nie jestem pewien, czy oczywista nieuczciwość, która nasyca raport PGP, reprezentuje próbę oszukania publiczności przez organizację, czy jest bardziej odbiciem faktu, że sami siebie oszukali.

Ale nie ma to znaczenia. Z usuniętą sekcją „botnetów” lub bez, raport PGP jest całkowicie nieetyczny. Ten raport nie dotyczył przyczyniania się do wiedzy na temat adwokatury związanej z vapingiem, chodziło o wywołanie medialnej paniki wokół szokującego odkrycia, które nie jest w rzeczywistości prawdziwe. Został przeprowadzony przez prywatną, anonimową grupę badaczy rynku, którzy albo nie rozumieją, albo nie dbają o normy przejrzystej, ważnej i wiarygodnej pracy naukowej. Ignorowali również bardzo realną nierównowagę władzy między ludźmi, którzy prowadzą badania na użytkownikach Twittera a prawdziwymi ludźmi, którzy używają Twittera, aby zabiegać o vaping.

Raport PGP jest propagandą mającą na celu dehumanizację legitymnych protestujących, zdyskredytowanie ich sprawy i cenzurowanie ich wypowiedzi na platformach społecznościowych. Raport został przedstawiony z pozorami nauki, ale jest całkowicie zamierzony do służenia celom politycznym.

Zalecana dalsza lektura: