Vaping Twitter Bot Studie ist dehumanisierende Propaganda

Am 4. Oktober erhielt ich eine E-Mail von einem Reporter des Wall Street Journal, der meine Gedanken zu einer Studie über "Bot-Marketing von E-Zigaretten" für eine geplante Geschichte wissen wollte.

Ich dachte, das beziehe sich auf einen aktuellen Bericht des britischen Unternehmens Astroscreen, das Wired UK mitgeteilt hatte, dass sie eine "koordinierte, unechte Social-Media-Kampagne" entdeckt hatten, die gezielt wichtige US-Politiker anvisiert, um sie zu zwingen, ihre Pläne für eine Gesetzgebung gegen Vaping zurückzuziehen. Ironischerweise hatte Astroscreen einen Bot entwickelt, um ihre Arbeit für sie zu erledigen, und da der Bot "proprietäre Machine-Learning-Technologie" ist (Übersetzung: Niemand außer den Autoren kann sehen, wie oder warum sie zu ihren Schlussfolgerungen kamen), gibt es wirklich keinen Weg, die Gültigkeit ihrer Schlussfolgerungen zu beurteilen.

Ich war bereit, dies mit dem Reporter zu besprechen, der mich kontaktiert hatte. Aber er kontaktierte mich nicht wegen der Astroscreen-Bot-Studie.

Der WSJ-Reporter wollte Kommentare zu einem anderen Bericht, von anonymen Forschern der Public Good Projects (PGP) und finanziert von etwas, das die Nicholson Foundation heißt. Als ich sagte, dass ich mich unwohl fühle, über eine Studie zu kommentieren, die ich noch nicht gesehen oder gelesen hatte, bot der Reporter an, mir den Bericht zu schicken unter der Bedingung, dass ich ihn nicht teile oder kommentiere, bis die Geschichte veröffentlicht ist. Ich stimmte diesen Bedingungen zu.

Lassen Sie mich darauf hinweisen, wie seltsam es ist, dass zwei verschiedene private Organisationen beschlossen haben, die scheinbar wütende "Bot"-Aktivität im Vaping-Advocacy-Bereich aufzudecken, indem sie ungeprüfte "Studien" an große Nachrichtenorganisationen weitergeben, anscheinend ohne jegliche Pläne, diese Studien peer-reviewen zu lassen, und vor einer öffentlichen Veröffentlichung.

Als ich den PGP-Bericht las, bemerkte ich weitere Ähnlichkeiten. Wie Astroscreen war PGP inakzeptabel intransparent in Bezug auf ihre Methoden. Laut PGP bietet ihre Analyse "noch nie gesehene Informationen über die Rolle, die Bots derzeit in Online-Unterhaltungen über E-Zigaretten und Tabakprodukte spielen." Konkret kommen sie zu dem Schluss, dass "über die Hälfte aller Nachrichten, die über öffentliche Medienquellen in den Vereinigten Staaten über E-Zigaretten und Tabakprodukte verbreitet werden, möglicherweise von automatisierten Konten oder Bots gepostet werden."

Dennoch liefern sie keine nützlichen Informationen darüber, wie sie zu einer solchen Schlussfolgerung kamen. Die Leser sollen einfach darauf vertrauen, dass die Erkenntnis gültig ist. Aber ich bemerkte etwas im Bericht, das mir guten Grund gab, ihm nicht zu vertrauen. Und da der Artikel, den das Wall Street Journal schließlich veröffentlichte, keine meiner Kommentare an den Reporter enthielt, werde ich sie hier erklären.

Bevor ich dazu komme, lassen Sie uns einige der größeren Probleme mit dem PGP-Bericht betrachten.

Was meinen sie überhaupt mit “Bot”?

Zunächst einmal ist PGP inakzeptabel vage darüber, was sie tatsächlich getan haben, wie sie es getan haben und was sie tatsächlich herausgefunden haben. Und das macht es sehr schwer, Aussagen zu interpretieren, die im Bericht scheinbar eindeutig sind, wie diese: "von einer Gesamtstichprobe von 2.536.659 Twitter-Nachrichten, die sich auf E-Zigaretten oder Tabak beziehen, wurden 22,6 % der Nachrichten von Menschen gepostet, 20,8 % von verdächtigen Bots, und 56,6 % wurden als von Bots generiert bestätigt."

Es ist unmöglich, die obige Statistik sinnvoll zu interpretieren, da wir nicht wissen, was PGP unter Bots versteht. Oder besser gesagt, wir wissen nicht, was sie als Bot gezählt haben, als sie die Analyse durchführten. Wir wissen aus der Formulierung des Berichts, dass PGP möchte, dass wir an Bots im Vaping denken als automatisierte Konten, die so gestaltet sind, dass sie menschlich erscheinen, und die darauf abzielen, Fehlinformationen über Nikotin und E-Zigaretten zu verbreiten und/oder sie jedem und allen, insbesondere Kindern, zu bewerben.

Aber was PGP möchte, dass wir denken, wenn wir "Bot" hören, ist nicht dasselbe wie das, was sie in dieser Studie tatsächlich als Bot gezählt haben. Also, wie hat PGP tatsächlich Bots identifiziert und was haben sie als Bot betrachtet? Hier ist, was sie im Bericht sagen:

“PGP kann identifizieren, welche Beiträge mit hoher Wahrscheinlichkeit von Bots stammen und welche mit hoher Wahrscheinlichkeit von Menschen stammen…. PGP-Forscher untersuchen mehrere Kontoeigenschaften, um die Wahrscheinlichkeit zu bestimmen, dass ein Beitrag von einem Bot stammt, einschließlich (aber nicht beschränkt auf) die Häufigkeit und den Zeitpunkt der Beiträge, die Anzahl der Beiträge, die Anzahl der Follower und das Engagement mit anderen Konten. Bots, insbesondere solche, die mit böswilliger Absicht erstellt wurden, sind äußerst nuanciert und oft so gestaltet, dass sie genau wie ein Mensch erscheinen. Daher ist eine einfache Überprüfung der grundlegenden Konto- und Profilmerkmale unzureichend, um die Wahrscheinlichkeit einer Automatisierung zu beurteilen.”

Das ist nutzlos. Es ist mir egal, wie genau PGP ihre Methoden hält; ich möchte diese Bewertung selbst vornehmen, und ich kann das aufgrund der Informationen, die sie bereitstellen, nicht. Aber alles, was sie mir geben wollen, ist diese bevormundende und übermäßig vagere Ausrede dafür, mir nicht zu sagen, was sie tatsächlich betrachtet haben, damit ich selbst beurteilen kann, ob ihre Studie gültig ist. Sie behandeln ihre Methoden wie Magie und stellen sie als zu anspruchsvoll für ihre Leser dar, was im Grunde genommen ein großes Warnsignal ist.

PGP teilte gestern einige nachträgliche Klarstellungen auf Twitter über ihren Klassifizierungsprozess und ihre Methodik mit, die sogar noch vager und bedeutungslos waren als das, was sie im tatsächlichen Bericht gesagt haben. Zum Beispiel: “Wir definieren "Automatisierung" als eine Punktzahl von 1-100. Ein 100 % Roboter wird Dinge tun wie auto-RT, ohne originale Inhalte zu posten.”

Peter Sterne, ein freiberuflicher Journalist, der über die Medienbranche schreibt, formulierte das Problem mit PGPs Bot-Definition prägnant in einer privaten Nachricht an mich: “PGP hat anscheinend eine absurd breite Definition von Bot (jeder, der irgendeine Auto-Posting-App verwendet) angenommen, die viele echte Menschen erfasst, während sie stark impliziert, dass alle 'Bots' Teil eines ausgeklügelten Social-Media-Operationen sind und ihre Tweets nicht für bare Münze genommen werden können.”

Auf jeden Fall war PGP offensichtlich daran interessiert, Bots zu studieren, wie auch immer sie diese definiert haben. Der Anteil der Bots, die im Vaping-Bereich aktiv sind, und die Rolle, die sie im Advocacy spielen können, ist ein legitimes Forschungsrätsel, und ich denke, viele Dampfer würden eine Studie, die diese Fragen beantworten könnte, ziemlich interessant finden. Aber die Sache ist, PGP hat keine Studie entworfen, die die Fragen beantwortet, die ihren Bericht motiviert haben.

Wenn PGP die Eigenschaften von Konten in einer bestimmten Population von Tweetenden (d.h. Dampfer) verstehen wollte, müssten sie herausfinden, wie sie eine repräsentative Stichprobe von Konten aus dieser Population erhalten können. Das ist praktisch unmöglich, aber das ist nebensächlich, weil PGP anscheinend nicht einmal versteht, dass sie so etwas tun müssten. PGP hat keine Konten stichprobenartig ausgewählt, sie haben Tweets stichprobenartig ausgewählt. Diese Tweets wurden von Konten gesendet (selbstverständlich), sodass sie am Ende mit einer Sammlung von Konten endeten, aber es war völlig unangemessen für die Forscher, auf Grundlage einiger Konten, deren Tweets zufällig in ihre Stichprobe fielen, Folgerungen über die Bevölkerung von Konten zu ziehen, die über Vaping twittern.

Das andere große Problem mit dem Bericht ist, dass er tatsächlich nicht sagt, von wie vielen einzigartigen Konten hier die Rede ist. Sie berichten von der Anzahl der Tweets (wahrscheinlich, weil diese Zahlen höher sind und PGP uns beeindrucken möchte), aber wir wissen nicht, wie viele Konten sie senden. Und das ist tatsächlich sehr wichtig, wenn es irgendwelche echten Bots in der Stichprobe gibt (und es gibt wahrscheinlich einige), denn ein obskurer Spam-Bot ohne Follower, der programmiert wurde, um Hunderte von Tweets pro Tag über Vaping zu senden, könnte eine überproportionale Anzahl der Tweets in der gesamten Stichprobe generiert haben, selbst wenn der Bot wenig bis gar keinen Einfluss über seine kleine isolierte Blase hinaus hat.

Diese Bots sind überhaupt keine Bots

Der Mangel an Transparenz, fehlende Definitionen und offensichtliche methodologische Inkompetenz sind Gründe genug, um die Schlussfolgerungen dieser Studie zu bezweifeln. Aber der konkrete Hinweis darauf, dass PGPs Ergebnisse nicht gültig sind, ist ein Abschnitt des Berichts, der vor der öffentlichen Veröffentlichung gelöscht wurde. (Sie können die öffentliche Version auf PGPs Website sehen.)

Zurück zum Wall Street Journal. Als sie mich baten, zum PGP-Bericht Stellung zu nehmen, schickten sie mir eine Kopie. Sie war 32 Seiten lang. Der Ergebnisteil war 15 Seiten lang. Und ein Unterabschnitt in den Ergebnissen, der den Titel "Bot-Netzwerke" trug, belegte etwa 40 Prozent dieser Ergebnisse. Es bestand aus fünf "Mikroanalysen" sogenannter "Bot-Konten" und ihren "Bot-Netzwerken", die im Verlauf von [PGPs] Analyseprozess identifiziert wurden. Sie verwenden Grafiken, um jedes Netzwerk darzustellen. (Hier ist die Version, die mir der Reporter gegeben hat.)

Jede der PGP-Diagramme wurde um einen Fokus-Knoten herum aufgebaut, der einen „Bot“ in der PGP-Analyse darstellt. Dieser Knoten war mit anderen Knoten verbunden, die Konten repräsentieren, die den sogenannten Tweet des Bots retweetet haben. Sozialnetzwerkanalysten beziehen sich auf diese grafischen Darstellungen als „Ego-Netzwerke“, weil sie die Beziehung zwischen einem zentralen Knoten (dem „Ego“) und verbundenen Knoten („Alter“) darstellen. PGP kodierte die Alter-Knoten farblich, je nachdem, ob sie ihre nicht offengelegten Kriterien für die Einstufung als Bot erfüllten, wobei weiße Knoten Konten repräsentierten, die als Menschen bestimmt wurden. Weiße Knoten waren die Minderheit der Knoten in allen Netzwerken von PGP.

PGP möchte, dass wir glauben, dass die überwältigende Mehrheit der Twitter-Aktivitäten zum Thema Vaping wahrscheinlich nicht von realen Menschen erzeugt wird. Sie schwärzten den Namen des „Ego“-Bots im Zentrum jedes Botnetzes. Warum? In dem Bericht behaupten sie, dies sei zum Schutz der Privatsphäre der Konten geschehen, aber wenn die Konten Bots sind, warum ist das dann wichtig?

Frankly, selbst wenn PGP tatsächlich daran interessiert wäre, die Identitäten von Bot-Konten zu schützen, die sich als echte Menschen tarnen und sich in Online-Diskurse über Vaping einmischen mit potenziell gravierenden Folgen für die öffentliche Gesundheit (oder so sagen sie), ist die Tatsache, dass sie einen schrecklichen Job gemacht haben.

Ich konnte einfach die spezifischen Konten identifizieren, die als Zentrumsknoten in jedem der fünf angeblichen Bot-Netzwerke dargestellt wurden, die PGP in ihrem ursprünglichen Bericht beinhaltete. Ich konnte dies tun, weil PGP Screenshots von Tweets aus den Konten einfügte, die jeder in die Suchleiste der Twitter-Benutzeroberfläche eingeben und abrufen konnte. Ich tat das für die Tweets jedes Kontos, überprüfte deren Follower- und Beitragsanzahl mit dem, was PGP berichtete, und verifiziert, wer sie alle waren. Der gesamte Prozess dauerte weniger als eine halbe Stunde. Und rate was? Keines dieser Konten sind „Bots, die sich als echte Menschen ausgeben.“

Von den fünf Konten, die PGP für ihre beispielhaften Botnetz-Diskussionen ausgewählt hat, gab es nur eines, das ich nicht erkannte. Es war ein kommerzielles Konto mit Sitz im Vereinigten Königreich, das Twitter nutzte, um seine eBay-Angebote für verschiedene Produkte, einschließlich E-Liquid und CBD, zu bewerben. Schien das Konto Automatisierung zu nutzen, um Tweets zu posten? Ja. Gab es irgendwelche Hinweise darauf, dass Menschen nicht hinter diesen Tweets standen? Nein. Wäre es für eine vernünftige Person möglich, dies für etwas anderes als ein kommerzielles Konto eines Online-Handelsunternehmens zu halten? Nein. Gab es irgendwelche Hinweise darauf, dass das Konto über sein eigenes Follower-Netzwerk hinaus promotete? Nein.

Was die vier Konten betrifft, mit denen ich vertraut war, so waren drei private Konten von Einzelpersonen, die langjährige Vaping-Befürworter sind und offensichtlich echte Menschen. Das andere war das Twitter-Konto für diese Publikation. Der Nachrichtenredakteur von Vaping360, Jim McDonald, verwaltet und tweetet von diesem Konto, und Jim ist kein Bot.

Also von den fünf angeblichen Bots: eines ist das Konto für eine Vaping-Publikation, die von einem der Journalisten betrieben wird, der es nutzt, um Artikel zu posten und sich mit anderen zu vernetzen (dass er originale Inhalte postet). Drei sind private Einzelpersonen, die sich für das Vaping einsetzen. Und das andere ist ein britischer Einzelhändler. Es ist extrem schwer für mich zu glauben, dass irgendjemand, der mit einem dieser Konten vertraut ist, zu dem Schluss kommen würde, dass es sich um Bots handelt, die sich als Menschen ausgeben. Oder Unternehmen, die sich als individuelle Menschen ausgeben. Oder Unternehmen, die Bots verwenden, um sich als individuelle Menschen auszugeben. Oder irgendjemand, der in irgendeiner nefarious Aktivität involviert ist, was auch immer das betrifft.

Und das macht PGPs Entscheidung, die Namen dieser fünf Konten zu schwärzen, etwas verdächtig. Zuerst einmal wussten sie sicherlich, dass es möglich wäre für jemanden, der wissen wollte, wer die Konten sind, dies mit den Informationen, die sie bereitstellten, herauszufinden. Sie schützten also niemandes Privatsphäre, sie machten es nur für jemanden, der die Identität der Konten erfahren wollte, etwas mühsamer, diese Informationen zu finden.

Die Screenshots, die ich nutzen konnte, um Tweets von diesen Konten zu suchen, beinhalteten Retweets und Antworten an die Konten von „Alters“, die ebenfalls keine Bots sind – und es wurden keine Maßnahmen ergriffen, um die Identitäten dieser Konten zu schützen. PGPs Screenshots enthüllten die Namen und Handles anderer Konten in den sogenannten „Botnetzen“, nur nicht die zentralen Bots (die keine Bots sind).

All dies macht es für mich schwer zu glauben, dass der Schutz der Privatsphäre der „Bots“ der Hauptgrund war, warum PGP die Konten-IDs versteckte. Es macht keinen Sinn, weil die Schutzmaßnahmen extrem leicht zu untergraben waren, weil die Schutzmaßnahmen nicht auf die in Screenshots erscheinenden Konten ausgeweitet wurden, und weil am Ende des Tages PGP einen viel größeren Anreiz hatte, diese Informationen zu verbergen, um sich selbst zu schützen und die Glaubwürdigkeit ihres fehlerhaften Berichts zu bewahren als alles andere.

Privatsphäre schützen oder Gesichtsverlust vermeiden?

Ich würde gerne wissen, warum PGP eine andere Version des Berichts veröffentlicht hat als die, die sie mit dem Wall Street Journal geteilt haben. Offensichtlich tat das auch Gregory Conley, der sie auf Twitter bat, diese Entscheidung zu erklären. PGPs Antwort an ihn war diese:

„Die WSJ hatte ein Exklusivrecht auf die Forschung, und wir haben während der Due Diligence Informationen geteilt. An einem Punkt teilten wir 5 Konten mit hohen Automatisierungswerten, aus den über 1 Million analysierten Nachrichten. Wir wollten nicht, dass diese Konten ins Visier genommen werden. Also erwähnt weder der Artikel noch der Bericht sie.“

PGP scheint hier zu implizieren, dass die Botnetze dem Wall Street Journal als zusätzlicher Kontext zur endgültigen Studie bereitgestellt wurden. Wenn die Analyse, die ich als fatal fehlerhaft kennzeichnete, tatsächlich nie für das öffentliche Konsum gedacht war und einfach nur zusätzliches Material war, das zusammen mit dem offiziellen Bericht an die Zeitung gesendet wurde, ändert das nichts daran, dass es die Validität der gesamten Studie untergräbt.

Aber es ist ziemlich schwer zu glauben, dass sie nicht vorhatten, dies in die endgültige Version aufzunehmen. Der Abschnitt war im Inhaltsverzeichnis der Version des Berichts aufgeführt, die mir geschickt wurde. Dies war ein zentraler Teil ihres Ergebnisses, wobei die „Botnetze“ als illustriert für das abstrakte Phänomen gerahmt wurden, das sie behaupteten, dass ihr Bericht beleuchtete. Es gab keinen Hinweis darauf, dass dieser Inhalt nicht als Hauptteil des endgültigen Berichts gedacht war.

Ich hatte den Eindruck, dass was ich erhielt, der endgültige Bericht war, und als ich diese Analyse als grob fehlerhaft (und unethisch) kennzeichnete, wurde mir nie gesagt, dass sie ein oberflächlicher Teil der Studie oder speziell für das Wall Street Journal war. Während ich das nicht mit Sicherheit sagen kann, schien der Reporter, der es mir zusendete, ebenfalls der Meinung zu sein, dass dies die endgültige Version war. Und wirklich, wer würde den Arbeitsentwurf eines bahnbrechenden Berichts an eine Zeitung senden, der man ein Exklusivrecht anbietet? Das macht wirklich keinen Sinn. Das Dokument, das die nun gelöschte Botnetz-Analyse enthielt, war poliert, der gelöschte Abschnitt war Teil des Inhaltsverzeichnisses, nichts weist daraufhin, dass dies nicht als Endprodukt gedacht war.

Wenn PGP herausfand, wie schlecht sie diese Analyse verbockt hatten, sollte das sie dazu bringen, die Validität ihrer gesamten Studie in Frage zu stellen. Das verantwortliche, intellektuell ehrliche und transparente Vorgehen hier wäre gewesen, die Zeitung zu bitten, ihre Geschichte zu halten oder abzubrechen, damit der Bericht korrigiert werden könnte, oder, falls die Fehler so schwerwiegend waren, vielleicht ganz aufgegeben werden könnte. Wenigstens hätte ein Hinweis gemacht werden sollen, der anzeigt, dass die Version, die an das Journal gesendet wurde, von der endgültigen Version auf der Webseite abwich.

Ich denke, PGP entfernte diese Seiten, als sie die Offensichtlichkeit der schweren Fehler, die sie gemacht hatten, erkannten. Sie untergruben die normalen wissenschaftlichen Prozesse in allen anderen Aspekten dieser Arbeit. Warum sollte ich – warum sollte irgendjemand – glauben, dass sie sich um etwas anderes kümmerten, als ihr Gesicht zu wahren? Wenn PGP irgendwelche konkreten Beweise hat, um ihre Behauptung zu unterstützen, dass die Entscheidung, diesen Abschnitt zu streichen, nichts damit zu tun hat, dass ihre Botnetze tatsächlich keine Botnetze waren, sollten sie damit herauskommen.

Entmenschlichung legitimer Protestler

PGPs Bericht malt ein Bild eines komplexen Netzwerks von Bots, die dafür entwickelt wurden, Menschen glauben zu machen, sie seien individuelle Menschen, um den Diskurs über Vaping zu manipulieren. Die Tatsache, dass keines ihrer besten Beispiele irgendeine der Eigenschaften dieses Kontotyps hatte (und vier von ihnen waren Menschen, die ich tatsächlich kannte) wirft ernsthafte Fragen zur Zuverlässigkeit des gesamten Unternehmens auf.

Die Vaping-Befürwortersphäre auf Twitter ist eine loses verbundenen Gemeinschaft von Bürgern, die ihre überwiegend privaten Social-Media-Konten in einem spezifischen Kontext nutzen. Diese Menschen sind nicht auf Twitter, um opportunistischen Forschern „öffentlicher Gesundheitsüberwachung und Kommunikation“ zu nutzen, die etwas zu gewinnen haben, indem sie ihre von Nutzern generierten Inhalte ernten und sie aus dem Kontext präsentieren, um eine wahnwitzig unwahrscheinliche und intellektuell unehrliche Theorie zu illustrieren, dass einflussreiche Vaping-Befürworter nicht mehr als ein sehr komplexes Netzwerk von böswilligen Bots sind, die sich hinterhältig als Menschen ausgeben, um Fehlinformationen im Interesse einer namenlosen, gesichtslosen Unternehmensmacht zu verbreiten.

Ich bin mir nicht sicher, ob die scheinbare Unehrlichkeit, die den PGP-Bericht durchdringt, der Versuch der Organisation ist, die Öffentlichkeit zu täuschen, oder ob sie mehr die Tatsache widerspiegelt, dass sie sich selbst getäuscht haben.

Aber es spielt keine Rolle. Mit oder ohne den gelöschten Abschnitt "Botnets" ist der Bericht von PGP völlig unethisch. Dieser Bericht diente nicht dazu, Wissen über das Eintreten für das Dampfen zu fördern, sondern darum, einen Medienfrenzy um eine schockierende Entdeckung zu erzeugen, die nicht wirklich existiert. Er wurde von einer privaten, nicht namentlich genannten Gruppe von Marktforschern durchgeführt, die entweder die Normen für transparentes, gültiges und zuverlässiges wissenschaftliches Arbeiten nicht verstehen oder ihnen egal sind. Sie ignorierten auch das sehr reale Machtungleichgewicht zwischen den Menschen, die Forschung über Dampfer-Tweeter betreiben, und den echten Menschen, die Twitter nutzen, um für das Dampfen zu werben.

Der PGP-Bericht ist Propaganda, die darauf abzielt, legitime Protestierende zu entmenschlichen, ihre Sache zu diskreditieren und ihre Stimme auf sozialen Medienplattformen zu zensieren. Der Bericht wurde mit dem Anschein von Wissenschaft präsentiert, aber er ist vollkommen darauf ausgelegt, politischen Zwecken zu dienen.

Vorgeschlagene weitere Lektüre: