Estudo de Bot do Twitter sobre Vaping é Propaganda Desumanizadora

Em 4 de outubro, recebi um e-mail de um repórter do Wall Street Journal que queria minhas opiniões sobre um estudo sobre "marketing de bot de e-cigarettes" para uma matéria que ele estava planejando.

Imaginei que isso era sobre um relatório recente da empresa britânica Astroscreen, que disse ao Wired UK que descobriram que uma "campanha de mídia social coordenada e não autêntica estava claramente visando políticos chave dos EUA numa tentativa de forçá-los a desistir dos planos para uma legislação anti-vaping." Ironicamente, a Astroscreen havia construído um bot para fazer seu trabalho por eles, e porque o bot é "tecnologia de aprendizado de máquina proprietária" (tradução: ninguém além dos autores pode ver como ou por que chegaram às suas conclusões), realmente não há como julgar a validade de suas conclusões.

Estava preparado para discutir isso com o repórter que entrou em contato comigo. Mas ele não estava me contatando sobre o estudo do bot da Astroscreen.

O repórter do WSJ queria comentários sobre um relatório diferente, de pesquisadores não identificados do Public Good Projects (PGP) e financiados por algo chamado a Fundação Nicholson. Quando eu disse que estava desconfortável em comentar sobre um estudo que ainda não havia visto ou lido, o repórter se ofereceu para me enviar o relatório sob a condição de que eu não compartilhasse ou comentasse sobre ele até que a história fosse publicada. Concordei com esses termos.

Deixe-me apontar quão estranho é que duas organizações privadas distintas decidiram "expor" aparentemente a cada vez mais crescente atividade de "bot" no espaço de advocacia do vaping vazando "estudos" não verificados para grandes meios de comunicação, aparentemente sem nenhum plano de submeter esses estudos à revisão por pares, e antes de qualquer liberação pública.

Quando li o relatório do PGP, notei outras semelhanças. Assim como a Astroscreen, o PGP foi inexcusavelmente opaco sobre suas metodologias. De acordo com o PGP, sua análise oferece "informações nunca antes vistas sobre o papel que os bots estão atualmente desempenhando na conversa online sobre e-cigarettes e produtos de tabaco." Especificamente, eles concluem que "mais da metade de todas as mensagens transmitidas por meio de fontes de mídia pública nos Estados Unidos sobre e-cigarettes e produtos de tabaco podem ser postadas por contas automatizadas, ou bots."

No entanto, não fornecem nenhuma informação útil sobre como chegaram a tal conclusão. Os leitores supõem apenas que o achado é válido. Mas notei algo no relatório que me deu um bom motivo para não confiar nele. E, uma vez que o artigo que o Wall Street Journal eventualmente publicou não incluiu nenhum dos meus comentários ao repórter, explicarei aqui.

No entanto, antes de chegar a isso, vamos olhar alguns dos problemas mais amplos com o relatório do PGP.

O que eles querem dizer com "bot" de qualquer maneira?

Primeiramente, o PGP é inexcusavelmente vago sobre o que realmente fez, como fez e o que realmente encontrou. E isso torna muito difícil interpretar declarações que parecem diretas no relatório, como esta: "de um total de 2.536.659 mensagens do Twitter relacionadas a e-cigarettes ou tabaco, 22,6% das mensagens foram postadas por humanos, 20,8% postadas por bots suspeitos, e 56,6% estão confirmadas como geradas por bots."

É impossível interpretar significativamente a estatística acima porque não sabemos o que o PGP quer dizer com bots. Ou melhor, não sabemos o que eles contaram como um bot quando fizeram a análise. Sabemos, a partir de como o relatório é estruturado, que o PGP quer que pensemos sobre bots no vaping como contas automatizadas, projetadas para parecer humanas, que operam para espalhar desinformação sobre nicotina e e-cigarettes e/ou publicitá-los para qualquer pessoa, especialmente crianças.

Mas o que o PGP quer que pensemos quando ouvimos "bot" não é o mesmo que o que eles realmente contaram como um bot neste estudo. Então, como o PGP realmente identificou bots, e o que eles consideraram ser um bot? Aqui está o que eles dizem no relatório:

"O PGP é capaz de identificar quais postagens têm uma alta probabilidade de se originar de bots e quais têm uma alta probabilidade de se originar de humanos…. Pesquisadores do PGP examinam múltiplas características das contas para determinar a probabilidade de uma postagem ser de um bot, incluindo (mas não se limitando a) a frequência e o tempo das postagens, o número de postagens, o número de seguidores e o engajamento com outras contas. Bots, particularmente aqueles criados com intenção maliciosa, são incrivelmente nuanced e muitas vezes são projetados para parecer exatamente como um humano. Portanto, um exame simples de características básicas de conta e perfil é insuficiente para avaliar a probabilidade de automação."

Isso é inútil. Eu realmente não me importo quão precisas o PGP acha que suas metodologias são; quero fazer essa avaliação eu mesmo, e não posso com base nas informações que eles fornecem. Mas tudo o que eles querem me dar é essa desculpa paternalista e excessivamente vaga para não me dizer o que realmente olharam, para que eu possa julgar por mim mesmo se o estudo deles é válido. Eles tratam suas metodologias como mágica e as enquadram como muito sofisticadas para seus leitores entenderem, o que é basicamente um enorme sinal de alerta.

O PGP compartilhou algumas clarificações pós-hoc no Twitter ontem sobre seu processo de classificação e metodologia que foram ainda mais vagas e sem sentido do que o que disseram no relatório real. Por exemplo: "Definimos "automação" como uma pontuação de 1-100. Um robô 100% fará coisas como RT automático, postando nenhum conteúdo original."

Peter Sterne, um jornalista freelancer que escreve sobre a indústria de mídia, articulou de forma sucinta o problema com a definição de bot do PGP em uma mensagem privada para mim: "O PGP aparentemente adotou uma definição absurdamente ampla de bot (qualquer um que use qualquer aplicativo de postagem automática) que abrange muitas pessoas reais, enquanto sugere fortemente que todos os “bots” são parte de uma operação sofisticada de mídia social e seus tweets não podem ser tomados ao pé da letra."

De qualquer forma, o PGP estava obviamente interessado em estudar bots, como quer que os defina. A proporção de bots ativos no espaço do vaping, e o papel que possam desempenhar na advocacia é um legítimo quebra-cabeça de pesquisa, e eu acho que muitos vapers encontrariam um estudo que pudesse responder essas questões bastante interessante. Mas a questão é que o PGP não projetou um estudo que pudesse responder às perguntas que motivam seu relatório.

Se o PGP quisesse entender as características das contas em uma população particular de twitteiros (ou seja, vapers) eles precisariam descobrir uma maneira de obter uma amostra representativa de contas daquela população. Isso é praticamente impossível, mas isso não vem ao caso porque o PGP nem parece entender que precisaria fazer algo assim. O PGP não amostrou contas, eles amostraram tweets. Esses tweets foram enviados por contas (obviamente), então eles acabaram com uma coleção de contas, mas foi completamente inadequado para os pesquisadores prosseguirem fazendo inferências sobre a população de contas que tweetam sobre vaping com base em algumas contas cujos tweets acabaram em sua amostra.

O outro grande problema com o relatório é que ele não diz realmente quantas contas únicas eles estão falando aqui. Eles reportam números de tweets (provavelmente porque esses números são maiores, e a PGP quer nos impressionar), mas não sabemos quantas contas os estão enviando. E isso realmente importa muito se houver bots reais na amostra (e provavelmente existem alguns) porque um obscurecido spam-bot com zero seguidores programado para tweetar centenas de vezes por dia sobre vaping poderia ter gerado um número desproporcional dos tweets em toda a amostra, mesmo que o bot tenha pouco ou nenhum efeito além de sua pequena bolha isolada.

Esses bots não são bots de jeito nenhum

A falta de transparência, a ausência de definições e a clara incompetência metodológica são razões suficientes para suspeitar das conclusões deste estudo. Mas o indicador concreto de que as descobertas da PGP não são válidas é uma seção do relatório que foi excluída antes de seu lançamento público. (Você pode ver a versão pública no site da PGP.)

Voltando ao Wall Street Journal. Quando me pediram para comentar sobre o relatório da PGP, eles me enviaram uma cópia. Tinha 32 páginas. A seção de resultados tinha 15 páginas. E uma subseção dentro dos resultados, intitulada “Redes de Bots,” ocupou cerca de 40 por cento destes resultados. Consistia em cinco análises de “micro-nível” das chamadas “contas de bots” e suas “redes de bots identificadas ao longo do processo de análise da [PGP].” Eles usam gráficos para representar cada rede. (Aqui está a versão que me foi dada pelo repórter.)

Cada um dos gráficos da PGP foi construído em torno de um nó focal, representando um “bot” na análise da PGP. Esse nó estava ligado a outros nós representando contas que retweetaram o tweet do chamado bot. Analistas de redes sociais se referem a essas representações gráficas como “redes de ego,” porque elas retratam o relacionamento entre um nó central (o “ego”) e nós conectados (“alter”). A PGP codificou em cores os nós alter de acordo com se atendiam ou não aos seus critérios não divulgados para serem um bot, com nós brancos representando contas determinadas como humanas. Nós brancos eram a minoria dos nós em todas as redes da PGP.

A PGP quer que acreditemos que a grande maioria da atividade no Twitter sobre vaping provavelmente não é gerada por seres humanos reais. Eles redigiram o nome do bot “ego” no centro de cada botnet. Por quê? No relatório, afirmam que foi para proteger a privacidade das contas, mas se as contas são bots, por que isso importa?

Francamente, mesmo que a PGP realmente estivesse interessada em proteger as identidades de contas de bots disfarçadas como pessoas reais que estão interferindo no discurso on-line sobre vaping com potencialmente graves consequências para a saúde pública (ou assim dizem), o fato é que fizeram um trabalho terrível.

Consegui facilmente identificar as contas específicas representadas como o nó central em cada uma das cinco supostas redes bot que a PGP incluiu em seu relatório original. Consegui fazer isso porque a PGP incluiu capturas de tela de tweets das contas que qualquer um poderia digitar na barra de pesquisa da interface do Twitter e recuperar. Fiz isso para os tweets de cada conta, verifiquei a contagem de seguidores e postagens com o que a PGP reportou e verifiquei quem eram todas elas. Todo o processo me levou menos de meia hora. E adivinha? Nenhuma dessas contas é “bots se passando por humanos reais.”

Das cinco contas que a PGP escolheu para sua discussão sobre redes bot exemplares, havia apenas uma que eu não reconhecia. Era uma conta comercial situada no Reino Unido, usando o Twitter para anunciar suas listagens no eBay para vários produtos, incluindo e-líquido e CBD. A conta pareceu usar automação para postar tweets? Sim. Houve alguma indicação de que pessoas não estavam por trás desses tweets? Não. Alguma pessoa razoável confundiria isso com qualquer coisa além da conta comercial de uma empresa de comércio on-line? Não. Houve alguma indicação de que a conta estava promovendo além de sua própria rede de seguidores? Não.

Quanto às quatro contas que eu conhecia, três eram contas privadas de indivíduos que são, defensores do vaping há muito tempo, e claramente pessoas reais. A outra era a conta do Twitter desta publicação. O editor de notícias da Vaping360, Jim McDonald, gerencia e tweeta a partir desta conta, e Jim não é um bot.

Então, das cinco supostas bots: uma é a conta de uma publicação sobre vaping que é administrada por um dos jornalistas que a usa para postar artigos e interagir com outros usuarios (portanto, ele posta conteúdo original). Três são indivíduos privados que advogam pelo vaping. E a outra é um varejista britânico. É extremamente difícil para mim acreditar que alguém familiarizado com qualquer uma dessas contas concluiria que elas são bots se passando por humanos. Ou empresas se passando por humanos individuais. Ou empresas usando bots para se passar por humanos individuais. Ou qualquer pessoa envolvida em qualquer atividade nefariosa, para esse assunto.

E isso torna a decisão da PGP de redigir os nomes dessas cinco contas um pouco suspeita. Primeiro de tudo, certamente eles sabiam que seria possível para alguém que quisesse saber quem eram as contas descobrir com as informações que tornaram disponíveis. Portanto, eles não protegeram a privacidade de ninguém, apenas tornaram um pouco mais trabalhoso para alguém que queria saber a identidade das contas encontrar essa informação.

As capturas de tela que consegui usar para pesquisar tweets dessas contas incluíam retweets e respostas das contas de “alter” que também não são bots—e nenhuma medida foi tomada para proteger as identidades dessas contas. As capturas de tela da PGP revelaram os nomes e handles de outras contas nos chamados “botnets,” apenas não os bots centrais (que não são bots).

Tudo isso torna difícil para mim acreditar que proteger a privacidade dos “bots” foi a principal razão pela qual a PGP escondeu os IDs das contas. Não faz sentido porque as proteções eram extremamente fáceis para qualquer um subverter, porque as proteções não foram estendidas às contas que aparecem nas capturas de tela, e porque, no fim das contas, a PGP tinha um incentivo muito maior para esconder essa informação para sua própria proteção e para proteger a credibilidade de seu relatório falho do que qualquer outra coisa.

Proteger a privacidade ou salvar a face?

Eu gostaria de saber por que a PGP publicou uma versão diferente do relatório daquela que compartilharam com o Wall Street Journal. Aparentemente, Gregory Conley também queria saber, e pediu que eles explicassem essa escolha no Twitter. A resposta da PGP para ele foi esta:

“O WSJ teve uma exclusividade na pesquisa e compartilhamos informações durante a devida diligência. Em um ponto, compartilhamos 5 contas que tinham altas pontuações de automação, das mais de 1 milhão de mensagens analisadas. Não queríamos que essas contas fossem alvo. Portanto, nem o artigo nem o relatório as mencionam.”

A PGP parece estar implicando aqui que as botnets foram fornecidas ao Wall Street Journal como um contexto adicional para o estudo final. Se a análise que identifiquei como fatalmente falha nunca foi realmente destinada ao consumo público, e simplesmente algum material adicional enviado ao Journal junto com o relatório oficial, isso não muda o fato de que isso mina a validade de todo o estudo.

Mas é bem difícil acreditar que eles não pretendiam ter isso na versão final. A seção estava listada no índice da versão do relatório que me foi enviada. Esta era uma parte central da seção de resultados deles, com os “botnets” enquadrados como ilustrativos do fenômeno abstrato que eles afirmaram que seu relatório iluminava. Não houve indicação de que esse conteúdo não estava destinado a ser uma parte importante do relatório final.

Eu tive a impressão de que o que me foi dado era o relatório final, e quando sinalizei que esta análise era grosseiramente defeituosa (e antiética) nunca me disseram que era uma parte superficial do estudo ou especial para o Wall Street Journal. Embora eu não possa afirmar com certeza, o repórter que me enviou parecia ter a impressão de que esta era a versão final também. E, realmente, quem enviaria o rascunho de trabalho de um relatório inovador para um jornal ao qual você está oferecendo uma exclusividade? Isso realmente não faz sentido. O documento que incluía a análise de botnet agora excluída estava polido, a seção excluída fazia parte da tabela de conteúdos, nada indica que isso não era destinado a ser o produto final.

Se o PGP descobrisse o quão mal eles tinham mal interpretado essa análise, isso deveria ter feito com que questionassem a validade de todo o seu estudo. A coisa responsável, intelectualmente honesta e transparente a se fazer aqui seria pedir ao jornal que segurasse ou cancelasse sua história para que o relatório pudesse ser corrigido, ou talvez, se as falhas fossem tão sérias, abandonado. No mínimo, deveria ter sido feito um registro indicando que a versão enviada ao Journal era diferente da versão final publicada no site.

Eu acho que o PGP removeu essas páginas assim que entenderam a obviedade dos graves erros que cometeram. Eles subverteram os processos científicos normais em todos os outros aspectos deste trabalho. Por que eu—por que alguém—deveria acreditar que eles se importavam com algo além de salvar a própria imagem? Se o PGP tem alguma evidência concreta real para apoiar sua afirmação de que a decisão de cortar esta seção não estava relacionada ao fato de que suas botnets não eram, de fato, botnets, eles deveriam se manifestar com isso.

Desumanizando manifestantes legítimos

O relatório da PGP pinta um quadro de uma rede sofisticada de bots projetada para enganar as pessoas fazendo-as acreditar que são humanos individuais a fim de manipular o discurso sobre vaping. O fato de que nenhum dos seus melhores exemplos tivesse qualquer uma das características desse tipo de conta (e quatro deles eram humanos que eu realmente conhecia) levanta sérias questões sobre a confiabilidade de todo o empreendimento.

A esfera de advocacy de vaping no Twitter é uma comunidade de cidadãos individualmente conectados que estão usando suas contas de mídia social, na maior parte privadas, em um contexto específico. Essas pessoas não estão no Twitter para o benefício de pesquisadores oportunistas de “monitoramento e comunicação de saúde pública”, que têm algo a ganhar colhendo seu conteúdo gerado pelo usuário e apresentando-o fora de contexto para ilustrar uma teoria absurdamente implausível e intelectualmente desonesta de que influentes defensores do vape não são nada mais do que uma rede sofisticada de bots maliciosos, posando duplicadamente como humanos para espalhar desinformação no interesse de algum poder corporativo anônimo e sem rosto.

Não tenho certeza se a aparente desonestidade que satura o relatório PGP representa a tentativa da organização de enganar o público, ou se é mais reflexo do fato de que eles se enganaram.

Mas não importa. Com ou sem a seção de “botnets” excluída, o relatório do PGP é completamente antiético. Este relatório não tratava de contribuir para o conhecimento sobre defesa do vaping, mas sim de criar uma histeria da mídia em torno de uma descoberta chocante que na verdade não é real. Foi realizado por um grupo privado, não nomeado, de pesquisadores de mercado que ou não entendem ou não se importam com as normas de trabalho científico transparente, válido e confiável. Eles também ignoraram o desequilíbrio de poder muito real entre as pessoas que fazem pesquisa sobre twitters de vaping e as pessoas reais que usam o Twitter para defender o vaping.

O relatório PGP é propaganda destinada a desumanizar os manifestantes legítimos, desacreditar sua causa e censurar seu discurso nas plataformas de mídia social. O relatório foi apresentado com a aparência de ciência, mas é totalmente destinado a servir a fins políticos.

Leitura adicional sugerida: