ベイピング Twitter ボット スタディは非人間的なプロパガンダです。

10月4日、ウォール・ストリート・ジャーナルの記者から、彼が計画しているストーリーのために「電子タバコのボットマーケティング」についての研究についての私の考えを聞きたいというメールを受け取りました。

これは、英国の会社アストロスクリーンからの最近の報告書に関するもので、「協調的で非倫理的なソーシャルメディアキャンペーンが、重要な米国の政策立案者を標的にして、反ベイピング法案の撤回を強制しようとしている」とワイヤードUKに語ったことが含まれていると思いました。皮肉なことに、アストロスクリーンは彼らのために作業を行うボットを構築し、そのボットは「専有的機械学習技術」であるため（翻訳：著者以外には彼らの結論がどのように導かれたかを見ることはできません）、彼らの結論の妥当性を判断する方法は本当にありません。

私は、私に連絡してきた記者とこのことについて話す準備ができていました。でも、彼はアストロスクリーンのボット研究について私に連絡してきたわけではありませんでした。

WSJの記者は、Public Good Projects（PGP）による異なる報告書に関するコメントを求めており、何か「ニコルソン財団」と呼ばれるものから資金提供を受けた無名の研究者によるものでした。私がまだ見たり読んだりしていない研究についてコメントするのは不快だと言ったとき、記者は、記事が公開されるまでそれについて共有したりコメントしたりしない条件で報告書を送ると提案しました。私はその条件に同意しました。

二つの異なる民間組織が、「ボット」の活動が蔓延していると「暴露する」ために、十分に審査されていない「研究」を主要なニュースアウトレットに漏らすことを決定したことは、非常に奇妙であると指摘させてください。

PGPの報告書を読んで、私は他の類似点に気づきました。アストロスクリーンのように、PGPも彼らの方法論に関しては弁解の余地のない不透明性をもっていました。PGPによれば、彼らの分析は「電子タバコやタバコ製品に関連するオンラインの会話において、ボットが現在どのような役割を果たしているかについての、これまでに見たことのない情報を提供します。」具体的には、「米国における電子タバコとタバコ製品に関する公開メディアソースを通じて送信されたメッセージの半分以上は、自動化されたアカウント、つまりボットによって投稿されている可能性があります。」と結論付けています。

しかし、彼らはそのような結論に至った経緯について有用な情報を提供していません。読者はその発見が妥当であると信じるべきとされています。しかし、私は報告書の中に、信じることができない理由を与える何かを見つけました。そして、ウォール・ストリート・ジャーナルが最終的に公開した記事には私のコメントは一切含まれていなかったので、ここでそれらを説明します。

しかし、その前に、PGPの報告書のいくつかの広範な問題を見てみましょう。

「ボット」とは一体何を意味するのか?

まず、PGPは、彼らが実際に何をしたか、どのようにそれを行ったか、そして実際に何を見つけたかについて一貫した説明がありません。これにより、報告書内の明確に見える声明を解釈するのが非常に難しくなります。たとえば、次のようなものです： "総サンプル2,536,659の電子タバコまたはタバコに関連するTwitterメッセージのうち、22.6%が人間によって投稿され、20.8%が疑わしいボットによって投稿され、56.6%がボットによって生成されたと確認されています。"

上記の統計を意味のある形で解釈することは不可能です。なぜなら、PGPがボットを何とみなしたかがわからないからです。ある意味で、PGPが分析を行ったときに、彼らがボットと考えたものはわかりません。報告のフレーミングからわかるのは、PGPは、電子タバコに関する情報を広めるために作成され、特に子供たちに広告を行うために設計された、人間のように見える自動化されたアカウントとしてボットを考えてほしいということです。

しかし、PGPが「ボット」と聞いて思わせたいのは、実際に彼らがこの研究でボットと見なしたものとは異なります。では、PGPは実際にどのようにボットを特定し、何をボットと考えたのでしょうか？彼らが報告書の中で言っているのは次のことです：

「PGPは、どの投稿がボットから発生する高い可能性があるか、またどの投稿が人間から発生する高い可能性があるかを特定できます…。PGPの研究者は、投稿がボットからのものである可能性を判断するために、投稿の頻度やタイミング、投稿数、フォロワー数、他のアカウントとのエンゲージメントなど、複数のアカウントの特性を調査します。特に悪意のある意図で作成されたボットは非常にニュアンスがあり、人間のように見えるように設計されていることが多いです。したがって、基本的なアカウントやプロフィールの特性を一般的に調査するだけでは、自動化の可能性を測るには不十分です。」

これは無意味です。PGPが自分たちの方法がどれだけ正確だと考えようが、私は自分自身でその評価をしたいのです。そして、彼らが提供する情報に基づいてはそれができません。しかし、彼らが実際に何を見たのかを教えないという理由のあまりにも曖昧で恩着せがましい言い訳だけを私に与えたいのです。彼らは、自分たちの方法を魔法のように扱い、読む人が理解できないほど高度であると表現しています。これは基本的に大きな赤信号です。

PGPは、昨日Twitterで、彼らの分類プロセスと方法論についての追加の明確化を共有しましたが、それは実際の報告書で述べたことよりもさらに曖昧で無意味でした。たとえば： 「私たちは「自動化」を1から100のスコアとして定義します。100%のロボットは、自動RTを行い、オリジナルのコンテンツを投稿しません。」

メディア業界について執筆しているフリーランスのジャーナリスト、ピーター・スターンは、私へのプライベートメッセージでPGPのボット定義の問題を簡潔に表現しました： 「PGPは明らかに、ボットの設計に関して非常に広範囲な定義を採用しています（自動投稿アプリを使用する誰でも）ため、多くの実在の人々を含む一方で、すべての「ボット」が高度なソーシャルメディア操作の一部であると暗に示し、そのツイートはそのまま受け入れられないという印象を与えています。」

いずれにせよ、PGPはボットの研究に明らかに興味を持っていましたが、彼らの定義がどうであれ、ベイピング分野で活動するボットの割合、そのボットが擁護の中で果たす役割は、本物の研究的なパズルです。多くのベイパーがこれらの質問に答える研究を見つけることができれば非常に興味深いと思うでしょう。しかし、PGPは彼らの報告書を動かす質問に答えられる研究を設計しませんでした。

PGPが特定のツイートを行う人口（すなわち、ベイパー）のアカウントの特性を理解したい場合、彼らはその人口から代表的なサンプルのアカウントを取得する方法を考え出す必要があります。これは事実上不可能ですが、PGPはそれを行う必要があることさえ理解していないようです。PGPはアカウントをサンプルとして取ったのではなく、ツイートをサンプルとして取ったのです。これらのツイートは（明らかに）アカウントから送信されたため、彼らはアカウントの収集を行いましたが、それにもかかわらず、研究者がベイピングについてツイートするアカウントの人口についての推論を行うのは完全に不適切でした。

レポートのもう一つの大きな問題は、ここで話しているユニークなアカウントがいくつあるのかを実際に示していないことです。彼らはツイートの数を報告しています（おそらくそれらの数の方が大きく、PGPは私たちを印象づけたいからです）が、私たちはどれだけのアカウントがそれらを送信しているのか知りません。そしてこれはサンプル内に本物のボットが存在する場合（おそらくいくつかあるでしょう）には非常に重要です。なぜなら、フォロワーゼロの迷惑ボットが、一日に何百回も電子タバコについてツイートするようプログラムされていれば、全体のサンプル内で不均衡な数のツイートを生成している可能性があるからです。たとえそのボットが自分の小さな孤立したバブルを超えてほとんど影響を持たないとしても。

これらのボットはまったくボットではありません

透明性の欠如、定義の不在、明確な方法論的無能は、この研究の結論を疑う十分な理由です。しかし、PGPの発見が有効でないという具体的な指標は、公開前に削除されたレポートの一部です。（PGPのウェブサイトで公開版を確認できます。）

ウォールストリートジャーナルに戻ります。彼らがPGPレポートについて私にコメントを求めたとき、彼らは私にコピーを送りました。それは32ページの長さでした。結果のセクションは15ページの長さでした。そして、結果の中の「ボットネットワーク」というタイトルのサブセクションは、これらの結果の約40パーセントを占めていました。それは、いわゆる「ボットアカウント」とそれらの「ボットネットワーク」をPGPの分析プロセス全体で特定した５つの「マイクロレベル」分析で構成されていました。彼らは各ネットワークを表すためにグラフを使用しています。（ここにレポーターから渡されたバージョンがあります。）

PGPのグラフは、PGP分析で「ボット」を表す焦点ノードを中心に構築されました。そのノードは、いわゆるボットのツイートをリツイートしたアカウントを表す他のノードにリンクされていました。ソーシャルネットワーク分析者は、これらのグラフィカルな表現を「エゴネットワーク」と呼びます。なぜなら、それは中心のノード（「エゴ」）と接続されたノード（「アルター」）との関係を示しているからです。PGPは、ボットであるかどうかの基準を満たすかどうかに応じてアルターノードに色分けをし、白いノードは人間と判断されたアカウントを表しました。白いノードはPGPのネットワーク全体でノードの少数派でした。

PGPは、電子タバコに関するTwitterの活動の大部分が、本物の人間によって生成されていないと私たちに信じさせようとしています。彼らはそれぞれのボットネットの中心にある「エゴ」ボットの名前を編集しました。なぜ？レポートではそれがアカウントのプライバシーを保護するためだと主張していますが、アカウントがボットなら、なぜこれが重要なのでしょうか？

率直に言って、たとえPGPが本当に、潜在的に公衆衛生に深刻な影響を及ぼす危険性のあるオンラインの電子タバコの議論に介入している本物の人々に disguiseされたボットアカウントのアイデンティティを守ることに興味があるとしても、実際のところ、彼らはひどい仕事をしたのです。

私は、PGPがオリジナルレポートに含めた5つのいわゆるボットネットワークの中心ノードとして示された特定のアカウントを簡単に特定することができました。なぜなら、PGPは、誰でもTwitterのユーザーインターフェイスの検索バーに入力し、取得できるアカウントからのツイートのスクリーンショットを含めていたからです。私はそれぞれのアカウントのツイートについて調べ、彼らのフォロワーと投稿数をPGPが報告したものと照らし合わせ、彼らが誰であるかを確認しました。全プロセスは30分もかかりませんでした。そして、なんと？これらのアカウントは「本物の人間を装ったボット」ではありません。

PGPがその典型的なボットネットワークの議論に選んだ5つのアカウントのうち、1つだけ認識しないアカウントがありました。それは、U.K.に拠点を置く商業アカウントで、様々な製品（電子液体やCBDを含む）のeBayリストを宣伝するためにTwitterを使用していました。そのアカウントは、ツイートを投稿するために自動化を使用しているように見えましたか？はい。人々がそのツイートの背後にいないという兆候はありましたか？いいえ。合理的な人は、これをオンライン商業会社の商業アカウント以外の何かと間違えるでしょうか？いいえ。アカウントがその自分のフォロワーネットワークを超えてプロモーションしている兆候はありましたか？いいえ。

私が知っている4つのアカウントについては、3つは電子タバコの長年の支持者である個人のプライベートアカウントであり、非常に明らかに実在の人物です。もう1つは、この非常に出版物のためのTwitterアカウントです。Vaping360のニュースエディターであるジム・マクドナルドがこのアカウントを管理し、ツイートをしていますが、ジムはボットではありません。

したがって、5つの疑わしいボットのうち、1つは記事を投稿し、他のツイート者と交流するためにそれを用いるジャーナリストの1人によって運営されている電子タバコ出版物のアカウントであり（オリジナルのコンテンツを投稿しているので）、3つは電子タバコを支持するプライベートな個人です。そしてもう1つは、イギリスのリテイラーです。これらのアカウントのいずれかを知っている人が、これらが人間を装ったボットであると結論づけるのは私には非常に疑わしいです。あるいは、個人の人間を装った企業である。あるいは、個人の人間を装ったボットを使用している企業である。あるいは、何らかの悪事に関与している人間である、ということです。

このため、PGPがこれら5つのアカウントの名前を編集した決定は少し疑わしいです。まず第一に、彼らは、アカウントが誰であるかを知りたい人が、彼らが提供した情報でそれを見つけ出すことが可能であることを確かに知っていたはずです。したがって、彼らは誰のプライバシーも保護していないだけで、識別情報を見つけ出そうとする人にとってはわずかに手間がかかるだけにしました。

私がこれらのアカウントからツイートを検索するのに使用できたスクリーンショットは、「アルター」からのリツイートや返信を含んでおり、こちらもボットではなく、これらのアカウントのアイデンティティを保護するための措置は講じられていませんでした。PGPのスクリーンショットは、いわゆる「ボットネット」の他のアカウントの名前とハンドルを明らかにしましたが、中心のボット（ボットではない）についてはそうではありませんでした。

すべてのこれが、PGPが「ボット」のプライバシーを保護することが、アカウントIDを隠した主な理由であるとは信じがたいです。なぜなら、それは誰でも簡単に突破できる非常に簡単な保護だったからです。また、保護がスクリーンショットに表示されているアカウントには拡張されておらず、最終的には、PGPは自らの保護と欠陥のあるレポートの信頼性を守るためにこの情報を隠すインセンティブがはるかに大きかったからです。

プライバシーを守ることか、それとも面子を保つことか？

なぜPGPがウォールストリートジャーナルと共有したものとは異なる版本のレポートを公開したのか知りたいです。おそらく、グレゴリー・コンリーも同じことを考えており、Twitterでこの選択について説明を求めました。PGPの彼に対する答えは以下の通りです。

「WSJは研究に関して独占権を持っており、私たちはデューデリジェンスの間に情報を共有しました。1百万以上のメッセージを分析した中で、高い自動化スコアを持つ5つのアカウントを共有しました。そのアカウントがターゲットにされることを望んでいませんでした。つまり、記事やレポートではそれらに言及していません。」

PGPはここで、ボットネットが最終研究に追加の文脈としてウォールストリートジャーナルに提供されたことをほのめかしているようです。私が致命的な欠陥があると指摘した分析が実際には公に消費されることを意図されていなかったが、正式なレポートとともにジャーナルに送られた追加の資料である場合、それは全体の研究の妥当性を損なうという事実は変わりません。

しかし、彼らがこれを最終版に含めるつもりではなかったとは信じがたいです。このセクションは、私に送られた報告書の目次に記載されていました。これは彼らの結果セクションの核心部分であり、「ボットネット」は彼らの報告書が明らかにすると主張した抽象的な現象の説明として示されています。この内容が最終報告の主要な部分として意図されていなかったことを示す兆候はありませんでした。

私は、私が受け取ったものが最終報告書であるという印象を受けました。そして、この分析が極めて欠陥がある（そして倫理的でない）と指摘したとき、私にはこれは研究の表面的な部分であるとか、ウォール・ストリート・ジャーナル特有であると言われることはありませんでした。確実には言えませんが、それを送ってくれた記者もこれが最終版であると思っていたようです。そして、本当に、本を独占的にオファーしている新聞に画期的な報告書の作業草案を送る人は誰ですか？それは本当に理にかなっていません。現在削除されたボットネット分析を含む文書は洗練されており、削除されたセクションは目次の一部でした。これが最終製品ではない意図があったという兆候はありません。

もしPGPがこの分析をどれほどひどく誤ったかを知ったなら、それは彼らにその全体的な研究の有効性を疑問視させるべきでした。ここで責任を持つ、知的に誠実で、透明性のある行動は、報告書を修正できるように新聞に記事を保留またはキャンセルするように頼むことです。あるいは、もし欠陥が非常に重大であれば、放棄することです。少なくとも、ジャーナルに送られた版がウェブサイトに公開された最終版とは異なることを示すメモが取られるべきでした。

PGPは、重大なエラーの明白さを理解した後、これらのページを削除したと思います。彼らはこの作業の他のすべての面で正常な科学的プロセスを覆しました。なぜ私は—なぜ誰も—彼らが面子を保つこと以外の何かに気を使っていたと信じるべきでしょうか？PGPがこのセクションを削除する決定が彼らのボットネットが実際にはボットネットでなかったという事実と無関係であるという主張を支持する具体的な証拠を持っているなら、彼らはそれを公表するべきです。

正当な抗議者を非人間化する

PGPの報告は、人々を個々の人間であると信じ込ませるように設計された洗練されたボットネットワークの様子を描いています。このタイプのアカウントの特徴を持つ最良の例がなかったという事実（そのうちの4つは私が実際に知っている人間でした）は、全体の企業の信頼性について深刻な疑問を投げかけます。

Twitter上の vaping 促進界隈は、特定の文脈で主にプライベートなソーシャルメディアアカウントを利用している個々の市民の緩くつながったコミュニティです。これらの人々は、ユーザー生成コンテンツを収集し文脈外で提示することで何かを得る、機会主義的な「公衆衛生モニタリングおよびコミュニケーション」研究者の利益のためにTwitterにいるわけではありません。影響力のある vape 促進者は、悪意のあるボットの洗練されたネットワークに他ならず、誤情報を広めるために人間を装っているという、極めて信じがたい且つ知的に不誠実な理論を示すために、無名で顔のない企業権力の利益のために活動を行っています。

PGPの報告書を覆う明らかな不誠実さが、一般市民を欺こうとする組織の試みを表しているのか、それとも彼らが自分自身を欺いていることをより反映しているのかはわかりません。

しかし、それは重要ではありません。削除された「ボットネット」セクションがあろうとなかろうと、PGPの報告書は完全に非倫理的です。この報告書は、電子タバコの擁護に関する知識に貢献するためのものではなく、実際には存在しない衝撃的な発見に関するメディアの騒動を作り出すことに関するものでした。これは、透明で有効かつ信頼できる科学的作業の規範を理解していないか、気にしない民間の無名の市場調査者のグループによって実施されました。彼らはまた、エレクトロニックタバコについてツイートをする人々と、実際にツイッターを使用して電子タバコを擁護する人々との間にある非常に現実の力の不均衡を無視しました。

PGPの報告書は、正当な抗議者を非人間化し、彼らの原因の信用を失わせ、ソーシャルメディアプラットフォームでの彼らの発言を検閲することを目的としたプロパガンダです。この報告書は科学の外見を持って提示されましたが、完全に政治的目的を果たすために意図されています。

推奨さらなる読書：