Die Studie über den Vaping Twitter Bot ist entmenschlichende Propaganda.

Am 4. Oktober erhielt ich eine E-Mail von einem Reporter des Wall Street Journal, der meine Meinung zu einer Studie über „Bot-Marketing von E-Zigaretten“ für eine geplante Geschichte einholen wollte.

Ich dachte, dies beziehe sich auf einen kürzlich veröffentlichten Bericht des britischen Unternehmens Astroscreen, das Wired UK mitgeteilt hatte, dass sie eine „koordinierte, unauthentische Social-Media-Kampagne entdeckt haben, die ausdrücklich darauf abzielt, wichtige US-Politiker unter Druck zu setzen, ihre Pläne für Antivaping-Gesetzgebung zurückzuziehen.“ Ironischerweise hatte Astroscreen einen Bot entwickelt, um ihre Arbeit für sie zu erledigen, und da der Bot eine „proprietäre maschinelle Lerntechnologie“ ist (Übersetzung: Niemand außer den Autoren kann sehen, wie oder warum sie zu ihren Schlussfolgerungen gekommen sind), gibt es wirklich keinen Weg, die Validität ihrer Schlussfolgerungen zu beurteilen.

Ich war bereit, dies mit dem Reporter zu besprechen, der mich kontaktiert hatte. Aber er kontaktierte mich nicht wegen der Astroscreen-Bot-Studie.

Der WSJ-Reporter wollte Kommentare zu einem anderen Bericht von anonymen Forschern des Public Good Projects (PGP), der von einer Organisation namens Nicholson Foundation finanziert wurde. Als ich sagte, dass ich mich unwohl dabei fühle, zu einer Studie Stellung zu nehmen, die ich noch nicht gesehen oder über die ich gelesen hatte, bot der Reporter an, mir den Bericht zu schicken, unter der Bedingung, dass ich ihn bis nach Veröffentlichung der Geschichte nicht teile oder kommentiere. Ich stimmte diesen Bedingungen zu.

Es ist merkwürdig, dass zwei unterschiedliche private Organisationen beschlossen haben, die offenbar weit verbreitete „Bot“-Aktivität im Bereich der E-Zigaretten-Befürwortung „aufzudecken“, indem sie ungeprüfte „Studien“ an große Nachrichtenagenturen durchgestochen haben, anscheinend ohne irgendwelche Pläne, diese Studien einer Peer-Review zu unterziehen, und vor einer öffentlichen Veröffentlichung.

Als ich den PGP-Bericht las, bemerkte ich weitere Ähnlichkeiten. Ähnlich wie Astroscreen war PGP unerklärlich intransparent über ihre Methoden. Laut PGP bietet ihre Analyse „noch nie zuvor gesehenes Material über die Rolle, die Bots derzeit in der Online-Diskussion über E-Zigaretten und Tabakprodukte spielen.“ Konkret kommen sie zu dem Schluss, dass „über die Hälfte aller Nachrichten, die über öffentliche Medienquellen in den Vereinigten Staaten zu E-Zigaretten und Tabakprodukten übermittelt werden, möglicherweise von automatisierten Konten oder Bots gepostet werden.“

Dennoch liefern sie keine nützlichen Informationen darüber, wie sie zu diesem Schluss gekommen sind. Die Leser sollen einfach darauf vertrauen, dass das Ergebnis gültig ist. Aber ich bemerkte etwas im Bericht, das mir gute Gründe gab, ihm nicht zu vertrauen. Und da der Artikel, den die Wall Street Journal schließlich veröffentlicht hat, keinen meiner Kommentare an den Reporter enthielt, werde ich sie hier erläutern.

Bevor ich jedoch darauf eingehe, betrachten wir einige der größeren Probleme mit dem PGP-Bericht.

Was versteht man eigentlich unter einem „Bot“?

Erstens ist PGP inakzeptabel vage darüber, was sie tatsächlich gemacht haben, wie sie es gemacht haben und was sie tatsächlich gefunden haben. Das macht es sehr schwierig, Aussagen zu interpretieren, die im Bericht klar erscheinen, wie diese: "Von einer Gesamtstichprobe von 2.536.659 Twitter-Nachrichten zu E-Zigaretten oder Tabak wurden 22,6% der Nachrichten von Menschen gepostet, 20,8% von verdächtigen Bots und 56,6% wurden bestätigt, dass sie von Bots generiert wurden."

Es ist unmöglich, die obige Statistik sinnvoll zu interpretieren, da wir nicht wissen, was PGP unter Bots versteht. Oder besser gesagt, wir wissen nicht, was sie als Bot gezählt haben, als sie die Analyse durchgeführt haben. Wir wissen jedoch aus der Art und Weise, wie der Bericht formuliert ist, dass PGP möchte, dass wir an Bots im Zusammenhang mit Dampfen als automatisierte Konten denken, die so gestaltet sind, dass sie menschlich erscheinen und dazu dienen, Fehlinformationen über Nikotin und E-Zigaretten zu verbreiten und/oder sie an jeden und jeden, insbesondere an Kinder, zu bewerben.

Was PGP jedoch möchte, dass wir denken, wenn wir “Bot” hören, entspricht nicht dem, was sie in dieser Studie tatsächlich als Bot gezählt haben. Wie hat PGP also tatsächlich Bots identifiziert und was haben sie als Bot betrachtet? Hier ist, was sie im Bericht sagen:

„PGP kann identifizieren, welche Beiträge mit hoher Wahrscheinlichkeit von Bots stammen und welche mit hoher Wahrscheinlichkeit von Menschen stammen …. PGP-Forscher untersuchen mehrere Konto-Eigenschaften, um die Wahrscheinlichkeit zu bestimmen, dass ein Beitrag von einem Bot stammt, einschließlich (aber nicht beschränkt auf) die Häufigkeit und den Zeitpunkt von Beiträgen, die Anzahl der Beiträge, die Anzahl der Follower und die Interaktionen mit anderen Konten. Bots, insbesondere solche mit böswilliger Absicht, sind unglaublich nuanciert und oft so gestaltet, dass sie genau wie ein Mensch erscheinen. Daher ist eine einfache Untersuchung grundlegender Konto- und Profilmerkmale unzureichend, um die Wahrscheinlichkeit von Automatisierung zu bewerten.”

Das ist nutzlos. Es interessiert mich nicht, wie genau PGP denkt, dass ihre Methoden sind; ich möchte diese Bewertung selbst vornehmen, und das kann ich aufgrund der Informationen, die sie bereitstellen, nicht. Aber alles, was sie mir geben wollen, ist diese herablassende und übermäßig vage Ausrede, mir nicht zu sagen, was sie tatsächlich untersucht haben, damit ich selbst beurteilen kann, ob ihre Studie gültig ist. Sie behandeln ihre Methoden als Magie und stellen sie als zu komplex dar, um von ihren Lesern verstanden zu werden, was im Grunde genommen ein enormes Warnsignal ist.

PGP hat gestern auf Twitter einige nachträgliche Klarstellungen zu ihrem Klassifizierungsprozess und ihrer Methodik veröffentlicht, die sogar noch vager und bedeutungsloser waren als das, was sie im eigentlichen Bericht gesagt haben. Zum Beispiel: „Wir definieren 'Automatisierung' als eine Punktzahl von 1-100. Ein 100% Robot wird Dinge tun wie Auto-RT, ohne originale Inhalte zu posten.“

Peter Sterne, ein freiberuflicher Journalist, der über die Medienbranche schreibt, hat das Problem mit PGPs Bot-Definition in einer privaten Nachricht an mich prägnant formuliert: „PGP hat anscheinend eine absurd breite Definition von Bots übernommen (jeder, der eine Auto-Posting-App verwendet), die viele echte Menschen umfasst, während stark impliziert wird, dass alle 'Bots' Teil einer anspruchsvollen Social-Media-Operation sind und ihre Tweets nicht für bare Münze genommen werden können.“

So oder so, PGP war offensichtlich daran interessiert, Bots zu studieren, wie auch immer sie definiert sind. Der Anteil der aktiven Bots im Bereich Vaping und die Rolle, die sie in der Interessenvertretung spielen können, ist ein legitimes Forschungsrätsel, und ich denke, viele Dampfer würden eine Studie, die diese Fragen beantworten könnte, ziemlich interessant finden. Aber das Problem ist, dass PGP keine Studie entworfen hat, die die Fragen, die ihren Bericht motiviert haben, beantworten könnte.

Wenn PGP die Eigenschaften von Konten in einer bestimmten Population von Twitter-Nutzern (d.h. Dampfern) verstehen wollte, müssten sie einen Weg finden, eine repräsentative Stichprobe von Konten aus dieser Population zu bekommen. Das ist praktisch unmöglich, aber das ist nebensächlich, denn PGP scheint nicht einmal zu verstehen, dass sie so etwas tun müssten. PGP hat keine Konten stichprobenartig ausgewählt, sondern Tweets. Diese Tweets wurden von Konten gesendet (offensichtlich), sodass sie am Ende eine Sammlung von Konten hatten, aber es war völlig unangemessen, dass die Forscher aus einer Auswahl von Konten, deren Tweets zufällig in ihrer Stichprobe landeten, Schlussfolgerungen über die Bevölkerung von Konten, die über Vaping twittern, zogen.

Das andere große Problem mit dem Bericht ist, dass er nicht tatsächlich angibt, wie viele einzigartige Konten hier gemeint sind. Sie berichten von der Anzahl der Tweets (wahrscheinlich weil diese Zahlen größer sind und PGP uns beeindrucken möchte), aber wir wissen nicht, wie viele Konten sie gesendet haben. Und das ist tatsächlich sehr wichtig, wenn es in der Stichprobe echte Bots gibt (und es gibt wahrscheinlich einige), denn ein obskurer Spam-Bot mit null Followern, der programmiert wurde, um hundertmal pro Tag über Vaping zu twittern, könnte eine unverhältnismäßig große Anzahl der Tweets in der gesamten Stichprobe generiert haben, selbst wenn der Bot kaum oder keinen Einfluss über seine kleine isolierte Blase hinaus hat.

Diese Bots sind überhaupt keine Bots

Der Mangel an Transparenz, fehlende Definitionen und klare methodische Inkompetenz sind ausreichende Gründe, um die Schlussfolgerungen dieser Studie zu hinterfragen. Doch der konkrete Hinweis, dass die Ergebnisse von PGP nicht gültig sind, ist ein Abschnitt des Berichts, der vor der Veröffentlichung gelöscht wurde. (Sie können die öffentliche Version auf der Website von PGP einsehen.)

Zurück zur Wall Street Journal. Als sie mich baten, den PGP-Bericht zu kommentieren, schickten sie mir eine Kopie. Der Bericht war 32 Seiten lang. Der Ergebnisteil war 15 Seiten lang. Und ein Unterabschnitt innerhalb der Ergebnisse mit dem Titel „Bot-Netzwerke“ machte etwa 40 Prozent dieser Ergebnisse aus. Er bestand aus fünf „Mikroanalysen“ sogenannter „Bot-Konten“ und deren „Bot-Netzwerken, die im Verlauf von [PGP’s] Analyseprozess identifiziert wurden.“ Sie verwenden Grafiken, um jedes Netzwerk darzustellen. (Hier ist die Version, die mir der Reporter gegeben hat.)

Jede der Grafiken von PGP war um einen fokalen Knoten herum aufgebaut, der einen „Bot“ in der PGP-Analyse darstellt. Dieser Knoten war mit anderen Knoten verbunden, die Konten repräsentieren, die den Tweet des sogenannten Bots retweeteten. Analysten für soziale Netzwerke bezeichnen diese grafischen Darstellungen als „Ego-Netzwerke“, da sie die Beziehung zwischen einem zentralen Knoten (dem „Ego“) und verbundenen Knoten („Alters“) darstellen. PGP hat die Altersknoten farblich codiert, je nachdem, ob sie ihre nicht offengelegten Kriterien für einen Bot erfüllten, wobei weiße Knoten Konten darstellten, die als Mensch identifiziert wurden. Weiße Knoten waren die Minderheit der Knoten in allen Netzwerken von PGP.

PGP möchte, dass wir glauben, dass die überwiegende Mehrheit der Twitter-Aktivitäten zum Thema Vaping wahrscheinlich nicht von realen Menschen generiert wird. Sie haben den Namen des „Ego“-Bots im Zentrum jedes Botnetzes geschwärzt. Warum? Im Bericht behaupten sie, dies sei zum Schutz der Privatsphäre der Konten geschehen, aber wenn die Konten Bots sind, warum spielt das dann eine Rolle?

Frankly, even if PGP tatsächlich daran interessiert wäre, die Identitäten von Bot-Konten zu schützen, die sich als echte Menschen tarnen und sich in die Online-Diskussion über das Dampfen einmischen - mit potenziell schwerwiegenden Folgen für die öffentliche Gesundheit (oder so sagen sie) - die Tatsache ist, dass sie dabei einen schrecklichen Job gemacht haben.

Ich konnte die spezifischen Konten, die als zentrale Knotenpunkte in jedem der fünf angeblichen Bot-Netzwerke dargestellt wurden, die PGP in ihrem ursprünglichen Bericht einschloss, leicht identifizieren. Ich konnte dies tun, weil PGP Screenshots von Tweets der Konten einfügte, die jeder in die Suchleiste der Twitter-Benutzeroberfläche eingeben und abrufen konnte. Ich habe das für die Tweets jedes Kontos gemacht, deren Follower- und Beitragsanzahl mit dem, was PGP berichtete, überprüft und verifiziert, wer sie alle waren. Der gesamte Prozess dauerte weniger als eine halbe Stunde. Und weißt du was? Keines dieser Konten sind „Bots, die sich als echte Menschen ausgeben.“

Von den fünf Konten, die PGP für ihre Diskussion über beispielhafte Bot-Netzwerke auswählte, gab es nur eines, das ich nicht kannte. Es war ein kommerzielles Konto mit Sitz im Vereinigten Königreich, das Twitter nutzte, um seine eBay-Angebote für verschiedene Produkte zu bewerben, einschließlich E-Liquid und CBD. Wirkte das Konto automatisiert beim Posten von Tweets? Ja. Gab es irgendwelche Hinweise darauf, dass keine Menschen hinter diesen Tweets standen? Nein. Würde jemand, der die Sache rational betrachtet, dies für etwas anderes als ein kommerzielles Konto eines Online-Handelsunternehmens halten? Nein. Gab es irgendwelche Hinweise darauf, dass das Konto über sein eigenes Follower-Netzwerk hinaus bewarb? Nein.

Was die vier Konten betrifft, die ich kannte, waren drei private Konten von Individuen, die langjährige Verfechter des Dampfens sind und eindeutig echte Menschen. Das andere war der Twitter-Account dieser Publikation. Der Nachrichtenredakteur von Vaping360, Jim McDonald, verwaltet und tweetet von diesem Konto, und Jim ist kein Bot.

Von den fünf vermeintlichen Bots ist einer das Konto einer Vaping-Publikation, die von einem der Journalisten betrieben wird, der es nutzt, um Artikel zu posten und mit anderen Twitter-Nutzern zu interagieren (er postet also originale Inhalte). Drei sind Privatpersonen, die sich für das Dampfen einsetzen. Und der letzte ist ein britischer Einzelhändler. Es ist für mich extrem schwer zu glauben, dass jemand, der mit diesen Konten vertraut ist, zu dem Schluss kommen würde, dass es sich um Bots handelt, die sich als Menschen ausgeben. Oder um Unternehmen, die sich als individuelle Menschen ausgeben. Oder Unternehmen, die Bots verwenden, um sich als individuelle Menschen auszugeben. Oder dass jemand in irgendeine üble Aktivitäten verwickelt ist, um das einmal klarzustellen.

Und das macht PGPs Entscheidung, die Namen dieser fünf Konten zu schwärzen, etwas verdächtig. Zunächst einmal wussten sie sicherlich, dass es für jemanden, der herausfinden wollte, wer die Konten sind, möglich sein würde, dies mit den Informationen, die sie bereitgestellt haben, herauszufinden. Sie haben also niemandes Privatsphäre geschützt, sie haben es lediglich etwas mühsamer gemacht, dass jemand, der die Identität der Konten wissen wollte, diese Informationen findet.

Die Screenshots, die ich nutzen konnte, um Tweets von diesen Konten zu suchen, beinhalteten Retweets und Antworten von „Altern“, die ebenfalls keine Bots sind - und es wurden keine Maßnahmen ergriffen, um die Identitäten dieser Konten zu schützen. PGPs Screenshots enthüllten die Namen und Handles anderer Konten in den sogenannten „Botnetzen“, nur nicht die zentralen Bots (die keine Bots sind).

All dies macht es mir schwer zu glauben, dass der Schutz der Privatsphäre der „Bots“ der Hauptgrund war, warum PGP die Konten-IDs verborgen hielt. Es macht keinen Sinn, denn die Schutzmaßnahmen waren extrem leicht von jedem zu unterlaufen, da die Schutzmaßnahmen nicht auf die in den Screenshots erscheinenden Konten ausgeweitet wurden, und letztendlich hatte PGP einen weitaus größeren Anreiz, diese Informationen aus eigenem Schutz und zum Schutz der Glaubwürdigkeit ihres fehlerhaften Berichts zu verbergen als aus anderen Gründen.

Privatsphäre schützen oder Gesicht wahren?

Ich möchte wissen, warum PGP eine andere Version des Berichts veröffentlicht hat als die, die sie mit dem Wall Street Journal geteilt haben. Offensichtlich hat das auch Gregory Conley gefragt, der sie auf Twitter um eine Erklärung für diese Wahl bat. PGPs Antwort an ihn war:

„Das WSJ hatte eine Exklusivmeldung zu der Forschung und wir haben während der Due Diligence Informationen geteilt. Zu einem bestimmten Zeitpunkt haben wir 5 Konten, die hohe Automatisierungspunkte hatten, aus den 1 Million+ analysierten Nachrichten geteilt. Wir wollten nicht, dass diese Konten ins Visier genommen werden. Weder der Artikel noch der Bericht erwähnt sie.“

PGP scheint hier zu implizieren, dass die Botnets dem Wall Street Journal als zusätzlicher Kontext zur finalen Studie bereitgestellt wurden. Wenn die Analyse, die ich als fatal fehlerhaft eingestuft habe, tatsächlich niemals für die Öffentlichkeit bestimmt war und einfach nur zusätzliches Material war, das zusammen mit dem offiziellen Bericht an das Journal gesendet wurde, ändert das nichts an der Tatsache, dass es die Validität der gesamten Studie untergräbt.

Es ist jedoch ziemlich schwer zu glauben, dass sie nicht beabsichtigt hatten, dies in die endgültige Version aufzunehmen. Der Abschnitt war im Inhaltsverzeichnis der Version des Berichts aufgeführt, die mir zugeschickt wurde. Dies war ein zentraler Bestandteil ihres Ergebnisteils, wobei die „Botnets“ als veranschaulichend für das abstrakte Phänomen dargestellt wurden, das sie behaupteten, ihr Bericht beleuchte. Es gab keinen Hinweis darauf, dass dieser Inhalt nicht beabsichtigt war, ein wesentlicher Teil des endgültigen Berichts zu sein.

Ich hatte den Eindruck, dass das, was mir gegeben wurde, der endgültige Bericht war, und als ich diese Analyse als grob fehlerhaft (und unethisch) kennzeichnete, wurde mir nie mitgeteilt, dass es sich um einen oberflächlichen Teil der Studie oder um etwas Besonderes für das Wall Street Journal handelte. Obwohl ich es nicht mit Sicherheit sagen kann, schien der Reporter, der es mir zusandte, ebenfalls den Eindruck zu haben, dass dies die endgültige Version war. Und wirklich, wer würde einen Arbeitsentwurf eines bahnbrechenden Berichts an eine Zeitung senden, der man ein Exklusivangebot macht? Das macht wirklich keinen Sinn. Das Dokument, das die nun gelöschte Botnet-Analyse enthielt, war ausgearbeitet, der gelöschte Abschnitt war Teil des Inhaltsverzeichnisses, und es gibt nichts, was darauf hinweist, dass dies nicht als das endgültige Produkt gedacht war.

Wenn PGP herausgefunden hat, wie schlecht sie diese Analyse vermasselt haben, hätte das sie dazu bringen sollen, die Gültigkeit ihrer gesamten Studie zu hinterfragen. Die verantwortungsvolle, intellektuell ehrliche und transparente Vorgehensweise wäre gewesen, die Zeitung zu bitten, ihre Geschichte zurückzuhalten oder abzubrechen, damit der Bericht korrigiert werden kann, oder vielleicht, wenn die Mängel so schwerwiegend waren, ihn ganz aufzugeben. Wenigstens hätte eine Notiz gemacht werden sollen, die darauf hinweist, dass die Version, die dem Journal gesendet wurde, anders war als die endgültige Version, die auf der Website veröffentlicht wurde.

Ich denke, PGP hat diese Seiten entfernt, sobald sie die Offensichtlichkeit der gravierenden Fehler, die sie gemacht hatten, verstanden haben. Sie haben in allen anderen Aspekten dieser Arbeit die normalen wissenschaftlichen Prozesse untergraben. Warum sollte ich – warum sollte irgendjemand – glauben, dass sie sich um etwas anderes als um ihr Gesicht gesorgt haben? Wenn PGP tatsächliche konkrete Beweise hat, um ihre Behauptung zu untermauern, dass die Entscheidung, diesen Abschnitt zu streichen, nicht damit zusammenhing, dass ihre Botnets tatsächlich keine Botnets waren, sollten sie damit hervortreten.

Entmenschlichung legitimer Protestierenden

Der Bericht von PGP zeichnet ein Bild eines ausgeklügelten Netzwerks von Bots, das darauf ausgelegt ist, Menschen glauben zu machen, dass es sich um individuelle Personen handelt, um die Diskussion über das Vaping zu manipulieren. Die Tatsache, dass keines ihrer besten Beispiele irgendwelche Merkmale dieses Kontotyps aufwies (und vier von ihnen Menschen waren, die ich tatsächlich kannte), wirft ernsthafte Fragen zur Zuverlässigkeit des gesamten Vorhabens auf.

Der Bereich der Vaping-Befürworter auf Twitter ist eine lose verbundene Gemeinschaft einzelner Bürger, die ihre überwiegend privaten Social-Media-Konten in einem spezifischen Kontext nutzen. Diese Menschen sind nicht bei Twitter, um opportunistischen „Forschern für öffentliche Gesundheitsüberwachung und Kommunikation“ zu nutzen, die davon profitieren, ihre nutzergenerierten Inhalte zu ernten und aus dem Kontext zu reißen, um eine hochgradig abwegige und intellektuell unehrliche Theorie zu veranschaulichen, dass einflussreiche Vaping-Befürworter nichts weiter als ein ausgeklügeltes Netzwerk böswilliger Bots sind, die sich hinter menschlichen Identitäten verstecken, um Fehlinformationen im Interesse einer namenlosen, gesichtslosen Unternehmensmacht zu verbreiten.

Ich bin mir nicht sicher, ob die offensichtliche Unehrlichkeit, die den PGP-Bericht durchdringt, der Versuch der Organisation ist, die Öffentlichkeit zu täuschen, oder ob es eher widerspiegelt, dass sie sich selbst getäuscht haben.

Aber das spielt keine Rolle. Mit oder ohne den entfernten Abschnitt über „Botnets“ ist der Bericht von PGP vollständig unethisch. Dieser Bericht diente nicht dazu, zur Wissensbildung über die Unterstützung des Dampfens beizutragen, sondern dazu, ein Medienfurore um eine schockierende Feststellung zu erzeugen, die nicht wirklich existiert. Er wurde von einer privaten, nicht genannten Gruppe von Marktforschern durchgeführt, die entweder die Normen der transparenten, gültigen und zuverlässigen wissenschaftlichen Arbeit nicht verstehen oder nicht darum kümmern. Sie ignorierten auch das sehr reale Machtungleichgewicht zwischen den Menschen, die Forschung über dampfende Twitter-Nutzer durchführen, und den echten Menschen, die Twitter nutzen, um für das Dampfen zu werben.

Der PGP-Bericht ist Propaganda, die darauf abzielt, legitime Demonstranten zu entmenschlichen, ihre Sache zu diskreditieren und ihre Rede auf sozialen Medienplattformen zu zensieren. Der Bericht wurde mit dem Anschein von Wissenschaft präsentiert, dient jedoch vollständig politischen Zwecken.

Vorgeschlagene weitere Lektüre: