Изследването на Twitter ботове за vaping е дехуманизираща пропаганда.

На 4 октомври получих имейл от репортер на Wall Street Journal, който искаше мнението ми за проучване относно "маркетинга на е-сигарети от ботове" за история, която планираше.

Помислих си, че това е свързано с наскоро публикуван доклад от британската компания Astroscreen, която каза на Wired UK, че са открили "координирана, неавтентична кампания в социалните медии, която явно е насочена към ключови законодатели в САЩ с опит да ги принуди да оттеглят плановете си за законодателство срещу вейпинга." Иронично, Astroscreen е създала бот, който да върши работата вместо тях, и тъй като ботът е "собствена технология за машинно обучение" (превод: никой освен авторите не може да види как или защо са стигнали до своите заключения), всъщност няма как да се оцени валидността на техните заключения.

Бях подготвен да обсъдим това с репортера, който ме контактува. Но той не се свързваше с мен относно проучването на Astroscreen.

Репортерът на WSJ искаше коментари относно друг доклад, изготвен от неназовани изследователи в Public Good Projects (PGP) и финансиран от нещо, наречено Фонд Николсън. Когато казах, че се чувствам неудобно да коментирам проучване, което не съм видял или прочел, репортерът предложи да ми изпрати доклада при условие, че не го споделям или коментирам, докато историята не бъде публикувана. Съгласих се с тези условия.

Нека посоча колко странно е, че две различни частни организации решиха да "разкрият" явно широкоспектърната "бот" активност в пространството на адвокацията за вейпинг, като изтекли непроверени "проучвания" към основни новинарски медии, явно без никакви планове да подложат тези проучвания на рецензия, и преди публичното им обявяване.

Когато прочетох доклада на PGP, забелязах и други прилики. Подобно на Astroscreen, PGP беше неоправдано непрозрачна относно методологиите си. Според PGP, техният анализ предлага "информация, която не е виждана досега относно ролята, която ботът в момента играе в онлайн разговорите около е-сигарети и тютюневи продукти." Конкретно, те заключават, че "повече от половината от всички съобщения, изпратени чрез публични медийни източници в Съединените щати относно е-сигарети и тютюневи продукти, може да са публикувани от автоматизирани акаунти, или ботове."

Въпреки това те не предоставят никаква полезна информация относно това как са стигнали до такова заключение. Читателите просто трябва да се доверят, че откритията са валидни. Но забелязах нещо в доклада, което ми даде основателна причина да не се доверя на него. И, тъй като статията, която Wall Street Journal в крайна сметка публикува, не включва никакви мои коментари към репортера, ще ги обясня тук.

Но преди да стигна до това, нека разгледаме някои от по-широките проблеми с доклада на PGP.

Какво имат предвид с „бот“?

Първо, PGP е неоправдано неясна относно това какво всъщност са направили, как го направиха и какво всъщност откриха. И това прави много трудно да се интерпретират изявления, които изглеждат прости в доклада, като това: "от общия обем от 2,536,659 Twitter съобщения, свързани с е-сигарети или тютюн, 22.6% от съобщенията бяха публикувани от хора, 20.8% от предполагаеми ботове, а 56.6% е потвърдено, че са генерирани от ботове."

Невъзможно е да се интерпретира значимо горната статистика, защото не знаем какво PGP има предвид под ботове. Или по-скоро, не знаем какво те броят за бот, когато са извършвали анализа. Знаем, от начина, по който е структуриран докладът, че PGP иска да мислим за ботове в контекста на вейпинга като автоматизирани акаунти, проектирани така, че да изглеждат човешки, които действат, за да разпространяват дезинформация относно никотина и е-сигаретите, и/или да ги рекламират на всеки и всички, особено на деца.

Но това, което PGP иска да мислим, когато чуем „бот“, не е същото, като това, което всъщност са броили за бот в това проучване. Така че как PGP всъщност идентифицира ботове и какво смятат за бот? Ето какво казват в доклада:

“PGP е в състояние да идентифицира кои публикации имат висока вероятност да произхождат от ботове и кои имат висока вероятност да произхождат от хора…. Изследователите на PGP разглеждат множество характеристики на акаунтите, за да определят вероятността публикация да е от бот, включително (но не само) честотата и времето на публикации, броя на публикациите, броя на последователите и взаимодействията с други акаунти. Ботовете, особено тези, създадени с злонамерен намерение, са изключително нюансирани и често са проектирани да изглеждат точно като човек. Следователно, простият преглед на основни характеристики на акаунти и профили е недостатъчен, за да се оценят вероятностите за автоматизация.”

Това е безполезно. Наистина не ме интересува колко точни смятат, че методите на PGP са; искам да направя това оценяване сама, а не мога, базирайки се на информацията, която предоставят. Но всичко, което искат да ми дадат, е това покровителствено и твърде неясно обяснение за това, защо не ми казват какво всъщност са разгледали, за да мога да преценя сама дали тяхното проучване е валидно. Те третират своите методи като магия и ги представят като твърде сложни, за да могат читателите им да разберат, което е в основата на огромно червено знаме.

PGP сподели някои последващи уточнения в Twitter вчера относно техния процес на класификация и методология, които бяха дори по-неясни и безсмислени от това, което казаха в самия доклад. Например: “Определяме „автоматизация" като оценка от 1-100. 100% робот ще прави неща като авто-RT, публикувайки нулево оригинално съдържание.”

Питър Штерне, свободен журналист, който пише за медийната индустрия, формулира проблема с определението за бот на PGP много кратко в лично съобщение до мен: “PGP явно е приела абсурдно широко определение за бот (всеки, който използва приложение за автоматично публикуване), което обхваща много реални хора, докато силно намеква, че всички "ботове" са част от сложна операция в социалните медии и техните туитове не могат да се взимат на сериозно.”

Както и да е, PGP очевидно беше заинтересована да изследва ботове, независимо от начина, по който са ги определили. Пропорцията на ботове, активни в пространството на вейпинга, и ролята, която могат да играят в адвокацията, е легитимен изследователски пъзел, и мисля, че много вейпери биха намерили проучване, което може да отговори на тези въпроси, доста интересно. Но работата е, че PGP не е проектирала проучване, което може да отговори на въпросите, мотивирали техния доклад.

Ако PGP искала да разбере характеристиките на акаунтите в определена популация от тийнейджъри (т.е. вейпери), те трябва да намерят начин да получат представително извадка от акаунти от тази популация. Това е практически невъзможно, но това е извън темата, защото PGP дори не изглежда да разбира, че трябва да направят нещо подобно. PGP не е взела извадка от акаунти, те взеха извадка от туитове. Тези туитове бяха изпратени от акаунти (очевидно), така че наистина получиха колекция от акаунти, но беше напълно неуместно за изследователите да направят изводи относно популацията от акаунти, които туитват за вейпинг на основата на някои акаунти, чиито туитове случайно попаднаха в тяхната извадка.

Другият голям проблем с доклада е, че той всъщност не казва колко уникални акаунта обсъждат тук. Те съобщават цифри за туитовете (вероятно защото тези числа са по-големи и PGP иска да ни впечатли), но не знаем колко акаунта ги изпращат. И това всъщност има голямо значение, ако в пробата има реални ботове (а вероятно има и някои), защото един неясен спам-бот без последователи, програмиран да туитва стотици пъти на ден за vaping, би могъл да генерира непропорционално количество от туитовете в цялата проба, дори ако ботът има малко или никакво влияние извън своята малка изолирана пузырка.

Тези ботове всъщност не са ботове

Липсата на прозрачност, отсъствието на дефиниции и ясната методологическа некомпетентност са достатъчна причина да се подозряват заключенията на това изследване. Но конкретният индикатор, че откритията на PGP не са валидни, е секция от доклада, която беше изтрита преди публичното му издание. (Можете да видите публичната версия на сайта на PGP.)

Обратно към Wall Street Journal. Когато ме помолиха да коментирам доклада на PGP, те ми изпратиха копие. То беше с дължина 32 страници. Разделът с резултатите беше с дължина 15 страници. А подтема в рамките на резултатите, озаглавена “Мрежи на ботове”, зае около 40 процента от тези резултати. Тя се състоеше от пет “микро-анализа” на така наречените “бот акаунти” и техните “мрежи на ботове, идентифицирани по време на анализа на [PGP].” Те използват графики, за да представят всяка мрежа. (Ето версията, която ми беше дадена от репортера.)

Всяка от графиките на PGP беше изградена около фокален възел, представляващ “бот” в анализа на PGP. Този възел беше свързан с други възли, представляващи акаунти, които ретуитваха туита на така наречения бот. Анализаторите на социални мрежи наричат тези графични представяния “его мрежи”, защото те изобразяват отношенията между централен възел ( “его”) и свързани възли (“алтери”). PGP кодираха цветово алтернтивните възли в зависимост от това дали отговарят на техните неподходящи критерии за бот, с бели възли, представляващи акаунти, определени за хора. Бялите възли бяха малцинство от възлите във всички мрежи на PGP.

PGP иска да повярваме, че огромното мнозинство от активността в Twitter относно vaping вероятно не е генерирано от реални хора. Те изтриха името на “его” бота в центъра на всяка ботмрежа. Защо? В доклада те твърдят, че това е било с цел да се защити поверителността на акаунтите, но ако акаунтите са ботове, защо това има значение?

Честно казано, дори ако PGP действително се интересуваше от защита на идентичността на акаунтите на ботове, маскирани като реални хора, които се намесват в онлайн дискусията за vaping с потенциално тежки последици за общественото здраве (или тъй както казват), фактът е, че те са свършили ужасна работа.

Успях да лесно идентифицирам конкретните акаунти, представени като централния възел в всеки от петте предполагаеми мрежи на ботове, включени в оригиналния доклад на PGP. Успях да направя това, защото PGP включи екранни снимки на туитове от акаунтите, които всеки можеше да напише в търсачката в интерфейса на Twitter и да възстанови. Направих го за туитовете на всеки акаунт, проверих броя на последователите и постовете им с това, което PGP съобщи, и потвърдих кои са те. Целият процес ми отне по-малко от половин час. И познайте какво? Нито един от тези акаунти не са “ботове, маскирани като реални хора.”

От петте акаунта, които PGP избра за обсъждането на примерните мрежи на ботове, имаше само един, който не познавах. Това беше търговски акаунт, базиран в Обединеното кралство, който използва Twitter, за да рекламира списъците си в eBay за различни продукти, включително e-ликвид и CBD. Дали акаунтът изглеждаше, че използва автоматизация за публикуване на туитове? Да. Имаше ли каквото и да е указание, че хората не стоят зад тези туитове? Не. Би ли объркал някой разумен човек това за нещо различно от търговски акаунт на компания за онлайн търговия? Не. Имаше ли каквото и да е указание, че акаунтът промотира извън собствената си мрежа от последователи? Не.

Що се отнася до четирите акаунта, с които бях запознат, три бяха частни акаунти на лица, които са дългогодишни защитници на vaping и очевидно реални хора. Другият беше Twitter акаунт на тази именно публикация. Редакторът на новини на Vaping360 Джим Макдоналд управлява и туитва от този акаунт, и Джим не е бот.

Така че от петте предполагаеми бота: един е акаунт за издание за vaping, който се управлява от един от журналистите, който го използва, за да публикува статии и да взаимодейства с други туитери (така че той публикува оригинално съдържание). Три са частни лица, които защитават vaping, а другият е някакъв британски търговец. Изключително трудно ми е да повярвам, че който и да е запознат с някой от тези акаунти би заключил, че те са ботове, маскирани като хора. Или бизнеси, маскирани като индивидуални хора. Или бизнеси, използващи ботове, за да се маскират като индивидуални хора. Или някой, ангажиран в каквато и да е злонамерена дейност, за да уточним.

И това прави решението на PGP да изтрие имената на тези пет акаунта малко съмнително. Първо, те със сигурност знаеха, че ще бъде възможно за някой, който иска да разбере кои са акаунтите, да го открие с информацията, която направиха налична. Така че те не защитиха ничия поверителност, просто направиха малко по-трудно за някой, който иска да разбере идентичността на акаунтите, да намери тази информация.

Екранните снимки, които успях да използвам, за да търся туитове от тези акаунти, включваха ретуити и отговори на акаунтите от “алтери”, които също не са ботове — и не бяха предприяти мерки за защита на идентичността на тези акаунти. Екранните снимки на PGP разкриха имената и потребителските имена на други акаунти в така наречените “бот мрежи”, просто не и на централните ботове (които не са ботове).

Всичко това ми прави трудно да повярвам, че защитата на поверителността на “ботовете” беше основната причина, поради която PGP скри идентификационните номера на акаунтите. Не има смисъл, защото защитите бяха изключително лесни за всеки да заобиколи, защото защитите не бяха разширени до акаунтите, появяващи се в екранни снимки, и защото в края на краищата, PGP имаше много по-голям стимул да скрие тази информация за собствената си защита и за защита на достоверността на техния дефектен доклад, отколкото за нещо друго.

Защита на поверителността или спасяване на лицето?

Бих искал да знам защо PGP публикува различна версия на доклада от тази, която споделиха с Wall Street Journal. Очевидно и Грегори Конли направи такъв въпрос, който ги помоли да обяснят този избор в Twitter. Отговорът на PGP към него беше:

“WSJ имаше ексклузивен достъп до изследването и ние споделихме информация по време на дю дилидженс. В един момент споделихме 5 акаунта, които имат високи оценки за автоматизация, от повече от 1 милион анализирани съобщения. Не искахме тези акаунти да бъдат насочвани. Затова нито статията, нито докладът ги споменават.”

PGP изглежда намеква тук, че мрежите от ботове са били предоставени на Wall Street Journal като допълнителен контекст към окончателното проучване. Ако анализът, който посочих като фатално неясен, всъщност никога не е бил предназначен за обществена консумация, а просто допълнителен материал, изпратен до Журнала заедно с официалния доклад, това не променя факта, че той подкопава валидността на цялото изследване.

Но е трудно да се повярва, че не са имали намерение да включат това в окончателната версия. Разделът беше изброен в съдържанието на версията на доклада, която ми беше изпратена. Това беше основна част от техния раздел с резултати, с „ботнетите“, представени като илюстрация на абстрактното явление, което твърдяха, че техният доклад осветлява. Нямаше индикация, че това съдържание не е предназначено да бъде основна част от окончателния доклад.

Получих впечатление, че това, което ми беше дадено, е окончателният доклад, и когато посочих този анализ като грубо заблуждаващ (и неетичен), никога не ми беше казано, че е повърхностна част от изследването или специална за Wall Street Journal. Не мога да кажа със сигурност, но репортерът, който ми го изпрати, изглеждаше, че е под впечатление, че това също е окончателната версия. И наистина, кой би изпратил работен проект на иновативен доклад на вестник, на който предлагаш ексклузивно? Това не наистина няма смисъл. Документът, който включваше сега изтрития анализ на ботнети, беше шлифован, изтритият раздел беше част от съдържанието, нищо не индикира, че това не е било предназначено да бъде окончателният продукт.

Ако PGP е разбрало колко зле са се провалили с този анализ, това би трябвало да ги накара да поставят под въпрос валидността на цялото им изследване. Отговорното, интелектуално честно и прозрачно нещо, което трябваше да направят тук, щеше да бъде да помолят вестника да задържи или анулира своята статия, така че докладът да може да бъде коригиран, или може би ако недостатъците бяха толкова сериозни, да бъде abandonван. Най-малкото, трябваше да бъде направена бележка, указваща, че версията, изпратена на Журнала, беше различна от окончателната версия, публикувана на уебсайта.

Мисля, че PGP премахна тези страници, след като разбиха очевидността на сериозните грешки, които направиха. Те подкопаха нормалните научни процеси във всички други аспекти на тази работа. Защо трябва да вярвам - защо всеки друг - че им е било грижа за нещо различно от запазването на лицето? Ако PGP има някакви реални конкретни доказателства, за да подкрепят твърдението си, че решението да се изреже този раздел не е свързано с факта, че техните ботнети всъщност не са ботнети, те би трябвало да се появят с това.

Дехуманизиране на легитимни протестиращи

Докладът на PGP рисува картина на сложна мрежа от ботове, проектирани да заблуждават хората да вярват, че са отделни човешки същества, с цел манипулиране на дискурса относно вейпинга. Фактът, че нито един от най-добрите им примери не притежава нито една от характеристиките на този тип акаунт (и четирима от тях всъщност бяха хора, които познавам) поставя сериозни въпроси относно надеждността на цялото предприятие.

Сферата на защитниците на вейпинга в Twitter е свободно свързана общност от индивидуални граждани, които използват своите основно частни акаунти в социалните медии в специфичен контекст. Тези хора не са в Twitter в полза на опортюнистични изследователи на "публичното здраве и комуникации", които имат нещо за печелене, събирайки техния потребителски генериран контент и представяйки го извън контекста с цел да илюстрират крайно неправдоподобна и интелектуално нечестна теория, че влиятелните защитници на вейпинга не са нищо повече от сложна мрежа от злонамерени ботове, които двусмислено се представят за хора, с цел да разпространяват дезинформация в интерес на някаква анонимна, безлицова, корпоративна власт.

Не съм сигурен дали явната неискреност, която насища докладът на PGP, представлява опит на организацията да заблуди обществеността, или е по-скоро отражение на факта, че те самите са се заблудили.

Но това няма значение. С или без изтрития раздел “ботнети”, докладът на PGP е напълно неетичен. Този доклад не беше за допринасяне за знания относно защитата на вейпинга, а за създаване на медийна паника около шокиращо откритие, което всъщност не е реално. Той беше извършен от частна, неназована група пазарни изследователи, които или не разбират, или не се интересуват от нормите на прозрачната, валидна и надеждна научна работа. Те също игнорираха много реалния дисбаланс в силите между хората, които извършват изследвания върху вейпинг тийтъри, и реалните хора, които използват Twitter, за да се застъпват за вейпинг.

Докладът на PGP е пропаганда, насочена към девалвиране на легитимните протестиращи, дискредитиране на тяхната кауза и цензуриране на тяхната реч в социалните медийни платформи. Докладът беше представен с илюзията на науката, но е напълно предназначен да служи на политически цели.

Предложена допълнителна литература: