El estudio del bot de Twitter sobre vaping es propaganda deshumanizadora.

El 4 de octubre recibí un correo electrónico de un reportero del Wall Street Journal que quería conocer mis opiniones sobre un estudio acerca de "la comercialización con bots de los cigarrillos electrónicos" para una historia que estaba planeando.

Supuse que esto se trataba de un informe reciente de la empresa británica Astroscreen, que dijo a Wired UK que descubrieron que "una campaña de redes sociales coordinada y no auténtica ha estado apuntando explícitamente a los principales responsables políticos de EE. UU. en un intento por forzarlos a retirar los planes para la legislación contra el vaping." Irónicamente, Astroscreen había construido un bot para hacer su trabajo por ellos, y debido a que el bot es "tecnología de aprendizaje automático propietaria" (traducción: nadie más que los autores pueden ver cómo o por qué llegaron a sus conclusiones), realmente no hay forma de juzgar la validez de sus conclusiones.

Estaba preparado para discutir esto con el reportero que me contactó. Pero él no me estaba contactando sobre el estudio del bot de Astroscreen.

El reportero del WSJ quería comentarios sobre un informe diferente, de investigadores no identificados de Public Good Projects (PGP) y financiado por algo llamado la Nicholson Foundation. Cuando dije que me sentía incómodo comentando sobre un estudio que no había visto ni leído aún, el reportero se ofreció a enviarme el informe con la condición de que no lo compartiera ni comentara hasta después de que se publicara la historia. Acepté esos términos.

Permítanme señalar lo extraño que es que dos organizaciones privadas distintas decidieran "exponer" la aparentemente rampante actividad de "bots" en el espacio de defensa del vaping al filtrar "estudios" no verificados a importantes medios de comunicación, aparentemente sin ningún plan de hacer que esos estudios sean revisados por pares, y antes de cualquier publicación pública.

Cuando leí el informe de PGP, noté otras similitudes. Al igual que Astroscreen, PGP fue inexcusablemente opaco sobre sus metodologías. Según PGP, su análisis ofrece "información nunca antes vista sobre el papel que los bots están jugando actualmente en la conversación en línea sobre los cigarrillos electrónicos y productos de tabaco." Específicamente, concluyen que "más de la mitad de todos los mensajes transmitidos a través de fuentes públicas de medios en los Estados Unidos sobre cigarrillos electrónicos y productos de tabaco pueden haber sido publicados por cuentas automatizadas, o bots."

Sin embargo, no proporcionan ninguna información útil sobre cómo llegaron a tal conclusión. Se supone que los lectores simplemente deben confiar en que el hallazgo es válido. Pero noté algo en el informe que me dio buenas razones para no confiar en él. Y, dado que el artículo que eventualmente publicó el Wall Street Journal no incluyó ninguno de mis comentarios al reportero, explicaré aquí.

Sin embargo, antes de llegar a eso, abordemos algunos de los problemas más amplios con el informe de PGP.

¿Qué quieren decir con "bot" de todos modos?

Primero que todo, PGP es inexcusablemente vago sobre lo que realmente hicieron, cómo lo hicieron y lo que realmente encontraron. Y esto hace que sea muy difícil interpretar declaraciones que parecen directas en el informe, como esta: "de una muestra total de 2,536,659 mensajes de Twitter relacionados con los cigarrillos electrónicos o tabaco, el 22.6% de los mensajes fueron publicados por humanos, el 20.8% publicados por sospechosos bots, y el 56.6% se confirma que han sido generados por bots."

Es imposible interpretar significativamente la estadística anterior porque no sabemos qué significa PGP por bots. O más bien, no sabemos qué contaron como un bot cuando realizaron el análisis. Sabemos, por cómo está enmarcado el informe, que PGP quiere que pensemos en los bots en el vaping como cuentas automatizadas, diseñadas para parecer humanas, que operan para difundir desinformación sobre la nicotina y los cigarrillos electrónicos, y/o publicitarlas a cualquiera y todos, especialmente a los niños.

Pero lo que PGP quiere que pensemos cuando oímos "bot" no es lo mismo que lo que realmente contaron como un bot en este estudio. Así que, ¿cómo identificó PGP realmente a los bots, y qué consideraron como un bot? Aquí está lo que dicen en el informe:

“PGP es capaz de identificar qué publicaciones tienen una alta probabilidad de originarse de bots y cuáles tienen una alta probabilidad de originarse de humanos…. Los investigadores de PGP examinan múltiples características de cuentas para determinar la probabilidad de que una publicación provenga de un bot, incluyendo (pero no limitado a) la frecuencia y el tiempo de las publicaciones, el número de publicaciones, el número de seguidores y la interacción con otras cuentas. Los bots, particularmente aquellos creados con intención maliciosa, son increíblemente matizados y a menudo están diseñados para parecer exactamente como un humano. Por lo tanto, un simple examen de las características básicas de la cuenta y del perfil es insuficiente para evaluar la probabilidad de automatización.”

Esto es inútil. Realmente no me importa cuán precisos piensan que son sus métodos en PGP; quiero hacer esa evaluación yo mismo, y no puedo basándome en la información que proporcionan. Pero todo lo que quieren darme es esta excusa condescendiente y excesivamente vaga por no decirme en qué realmente miraron, para que pueda juzgar por mí mismo si su estudio es válido. Tratan sus métodos como si fueran magia y los enmarcan como demasiado sofisticados para que sus lectores los comprendan, lo que básicamente es una gran bandera roja.

PGP compartió algunas aclaraciones post-hoc en Twitter ayer sobre su proceso de clasificación y metodología que fueron aún más vagas y sin sentido que lo que dijeron en el informe real. Por ejemplo: “Definimos "automación" como una puntuación de 1 a 100. Un robot al 100% hará cosas como auto-RT, publicando ningún contenido original.”

Peter Sterne, un periodista independiente que escribe sobre la industria de los medios, articuló de manera concisa el problema con la definición de bot de PGP en un mensaje privado que me envió: “PGP aparentemente ha adoptado una definición absurdamente amplia de bot (cualquiera que use alguna aplicación de publicación automática) que incluye a muchas personas reales, mientras implica fuertemente que todos los "bots" son parte de una sofisticada operación de redes sociales y sus tuits no pueden ser tomados al pie de la letra.”

En cualquier caso, PGP estaba obviamente interesado en estudiar bots, sea como fuere que los hayan definido. La proporción de bots activos en el espacio del vaping, y el papel que pueden desempeñar en la defensa es un legítimo puzzle de investigación, y creo que muchos vapeadores encontrarían un estudio que pudiera responder a estas preguntas bastante interesante. Pero la cuestión es que PGP no diseñó un estudio que pudiera responder a las preguntas que motivan su informe.

Si PGP quisiera entender las características de las cuentas en una población particular de twitters (es decir, vapeadores), necesitarían encontrar una manera de obtener una muestra representativa de cuentas de esa población. Esto es virtualmente imposible, pero eso no importa porque PGP ni siquiera parece entender que necesitarían hacer algo así. PGP no muestreó cuentas, muestrearon tuits. Estos tuits fueron enviados por cuentas (obviamente), así que terminaron con una colección de cuentas, pero fue completamente inapropiado que los investigadores procedieran a hacer inferencias sobre la población de cuentas que tuitean sobre el vaping en base a algunas cuentas cuyos tuits terminaron en su muestra.

El otro gran problema con el informe es que no dice realmente cuántas cuentas únicas están hablando aquí. Informan números de tweets (probablemente porque esos números son más altos, y PGP quiere impresionarnos), pero no sabemos cuántas cuentas los están enviando. Y esto realmente importa mucho si hay bots reales en la muestra (y probablemente hay algunos) porque un bot de spam oscuro con cero seguidores programado para twittear cientos de veces al día sobre vaping podría haber generado un número desproporcionado de los tweets en toda la muestra, incluso si el bot tiene poco o ningún efecto más allá de su pequeña burbuja aislada.

Estos bots no son bots en absoluto

La falta de transparencia, las definiciones ausentes y la clara incompetencia metodológica son razón suficiente para sospechar las conclusiones de este estudio. Pero el indicador concreto de que los hallazgos de PGP no son válidos es una sección del informe que fue eliminada antes de su publicación pública. (Puedes ver la versión pública en el sitio web de PGP.)

De vuelta al Wall Street Journal. Cuando me pidieron que comentara sobre el informe de PGP, me enviaron una copia. Tenía 32 páginas. La sección de resultados tenía 15 páginas. Y una subsección dentro de los resultados, titulada “Redes de Bots”, ocupaba alrededor del 40 por ciento de estos resultados. Consistía en cinco análisis de “micro-nivel” de las llamadas “cuentas de bots” y sus “redes de bots identificadas a lo largo del proceso de análisis de [PGP].” Usan gráficos para representar cada red. (Aquí está la versión que me dio el reportero.)

Cada uno de los gráficos de PGP estaba construido alrededor de un nodo focal, representando un “bot” en el análisis de PGP. Ese nodo estaba vinculado a otros nodos que representaban cuentas que retuitaron el tweet del llamado bot. Los analistas de redes sociales se refieren a estas representaciones gráficas como “redes ego”, porque representan la relación entre un nodo central (el “ego”) y nodos conectados (“alter”). PGP codificó por colores los nodos alter según si cumplían con sus criterios no revelados para ser un bot, con nodos blancos representando cuentas determinadas como humanas. Los nodos blancos eran la minoría de nodos en todas las redes de PGP.

PGP quiere que creamos que la gran mayoría de la actividad en Twitter sobre vaping probablemente no es generada por seres humanos reales. Redactaron el nombre del bot “ego” en el centro de cada botnet. ¿Por qué? En el informe afirman que esto fue para proteger la privacidad de las cuentas, pero si las cuentas son bots, ¿por qué esto importa?

Francamente, incluso si PGP realmente estuviera interesado en proteger las identidades de las cuentas de bots disfrazadas como personas reales que están interfiriendo en el discurso sobre vaping en línea con consecuencias potencialmente graves para la salud pública (o eso dicen), el hecho es que hicieron un trabajo terrible.

Pude fácilmente identificar las cuentas específicas representadas como el nodo central en cada una de las cinco supuestas redes de bots que PGP incluyó en su informe original. Pude hacer esto porque PGP incluyó capturas de pantalla de tweets de las cuentas que cualquiera podría escribir en la barra de búsqueda de la interfaz de usuario de Twitter y recuperar. Hice eso para los tweets de cada cuenta, comprobé su número de seguidores y publicaciones con lo que PGP reportó, y verifiqué quiénes eran todos ellos. Todo el proceso me llevó menos de media hora. ¿Y adivina qué? Ninguna de estas cuentas son “bots que se hacen pasar por humanos reales.”

De las cinco cuentas que PGP eligió para su discusión de redes de bots ejemplares, solo había una que no reconocía. Era una cuenta comercial basada en el Reino Unido, usando Twitter para publicitar sus listados de eBay para varios productos, incluyendo e-líquido y CBD. ¿Parecía la cuenta usar automatización para publicar tweets? Sí. ¿Hubo alguna indicación de que no hubiera personas detrás de esos tweets? No. ¿Alguna persona razonable confundiría esto con algo que no sea la cuenta comercial de una empresa de comercio en línea? No. ¿Hubo alguna indicación de que la cuenta estuviera promoviendo más allá de su propia red de seguidores? No.

En cuanto a las cuatro cuentas que conocía, tres eran cuentas privadas de individuos que son defensores del vaping desde hace mucho tiempo, y son claramente personas reales. La otra era la cuenta de Twitter de esta misma publicación. El editor de noticias de Vaping360, Jim McDonald, gestiona y twittea desde esta cuenta, y Jim no es un bot.

Así que de los cinco supuestos bots: uno es la cuenta de una publicación sobre vaping que es administrada por uno de los periodistas que la usa para publicar artículos y interactuar con otros tuiteros (así que él publica contenido original). Tres son individuos privados que abogan por el vaping. Y el otro es un minorista británico. Me resulta extremadamente difícil creer que cualquiera familiarizado con cualquiera de estas cuentas concluiría que son bots que se hacen pasar por humanos. O negocios que se hacen pasar por seres humanos individuales. O negocios que usan bots para hacerse pasar por humanos individuales. O cualquiera involucrado en alguna actividad nefasta, para ese caso.

Y esto hace que la decisión de PGP de redactar los nombres de estas cinco cuentas sea un poco sospechosa. Primero que todo, seguramente sabían que sería posible que alguien que quisiera saber quién eran las cuentas pudiera averiguarlo con la información que hicieron disponible. Así que no protegieron la privacidad de nadie, solo hicieron que fuera un poco más laborioso para alguien que quisiera saber la identidad de las cuentas encontrar esa información.

Las capturas de pantalla que pude usar para buscar tweets de estas cuentas incluían retweets y respuestas a las cuentas de “alter” que tampoco son bots—y no se tomaron medidas para proteger las identidades de estas cuentas. Las capturas de pantalla de PGP revelaron los nombres y usuarios de otras cuentas en las llamadas “botnets”, simplemente no los bots centrales (que no son bots).

Todo esto me hace difícil creer que proteger la privacidad de los “bots” fuera la razón principal por la que PGP ocultó las IDs de las cuentas. No tiene sentido porque las protecciones eran extremadamente fáciles de subvertir por cualquier persona, porque las protecciones no se extendieron a las cuentas que aparecen en las capturas de pantalla, y porque al final del día, PGP tenía un incentivo mucho mayor para ocultar esta información para su propia protección y para proteger la credibilidad de su informe defectuoso que cualquier otra cosa.

¿Proteger la privacidad o salvar la cara?

Me gustaría saber por qué PGP publicó una versión diferente del informe de la que compartieron con el Wall Street Journal. Aparentemente, a Gregory Conley también le interesó esto, ya que les pidió que explicaran esta elección en Twitter. La respuesta de PGP para él fue esta:

“El WSJ tenía una exclusiva sobre la investigación y compartimos información durante la debida diligencia. En un momento compartimos 5 cuentas que tenían altos puntajes de automatización, de más de 1 millón de mensajes analizados. No queríamos que esas cuentas fueran objetivo. Así que ni el artículo ni el informe las mencionan.”

PGP parece estar insinuando aquí que las botnets fueron proporcionadas al Wall Street Journal como contexto adicional para el estudio final. Si el análisis que señalé como fatalmente defectuoso realmente nunca fue destinado al consumo público, y simplemente fue material adicional enviado al Journal junto con el informe oficial, eso no cambia el hecho de que socava la validez de todo el estudio.

Pero es bastante difícil de creer que no tenían la intención de tener esto en la versión final. La sección estaba listada en la tabla de contenidos de la versión del informe que se me envió. Esta era una parte central de su sección de resultados, con los “botnets” enmarcados como ilustrativos del fenómeno abstracto que afirmaron que su informe iluminaba. No había indicios de que este contenido no estaba destinado a ser una parte importante del informe final.

Tuve la impresión de que lo que se me dio era el informe final, y cuando señalé este análisis como gravemente errado (y poco ético) nunca se me dijo que era una parte superficial del estudio o especial para el Wall Street Journal. Aunque no puedo decirlo con certeza, el reportero que me lo envió parecía tener la impresión de que esta era también la versión final. Y realmente, ¿quién enviaría la versión de trabajo de un informe revolucionario a un periódico al que se le está ofreciendo una exclusiva? Eso no tiene mucho sentido. El documento que incluía el análisis de botnet ahora eliminado estaba pulido, la sección eliminada era parte de la tabla de contenidos, nada indica que esto no estaba destinado a ser el producto final.

Si PGP se enterara de cuán mal manejaron este análisis, debería haberles hecho cuestionar la validez de su estudio completo. Lo responsable, intelectualmente honesto y transparente sería pedir al periódico que retenga o cancele su historia para que el informe pudiera ser corregido, o quizás si los errores eran tan serios, abandonado. Al menos, se debería haber hecho alguna nota indicando que la versión enviada al Journal era diferente de la versión final publicada en el sitio web.

Creo que PGP eliminó esas páginas una vez que entendieron la obviedad de los graves errores que cometieron. Subvirtieron los procesos científicos normales en todos los demás aspectos de este trabajo. ¿Por qué debería yo—por qué debería alguien—creer que les importaba algo más que salvar la cara? Si PGP tiene alguna evidencia concreta real para respaldar su afirmación de que la decisión de cortar esta sección no estaba relacionada con el hecho de que sus botnets no eran realmente botnets, deberían presentar eso.

Deshumanizando a los protestantes legítimos

El informe de PGP pinta un cuadro de una red sofisticada de bots diseñados para engañar a las personas haciéndoles creer que son individuos humanos con el fin de manipular el discurso sobre el vaping. El hecho de que ninguno de sus mejores ejemplos tuviera alguna de las características de este tipo de cuenta (y cuatro de ellos eran humanos que realmente conocía) plantea serias preguntas sobre la fiabilidad de toda la empresa.

La esfera de defensa del vaping en Twitter es una comunidad débilmente conectada de ciudadanos individuales que están usando sus cuentas de redes sociales, en su mayoría privadas, en un contexto específico. Estas personas no están en Twitter para el beneficio de los oportunistas investigadores de “monitorización y comunicación en salud pública”, que tienen algo que ganar cosechando su contenido generado por los usuarios y presentándolo fuera de contexto para ilustrar una teoría increíblemente implausible e intelectualmente deshonesta de que los influyentes defensores del vapeo no son más que una red sofisticada de bots maliciosos, posando de manera duplicada como humanos para difundir desinformación en interés de algún poder corporativo anónimo y sin rostro.

No estoy seguro de si la aparente deshonestidad que satura el informe de PGP representa el intento de la organización de engañar al público, o es más un reflejo del hecho de que se han engañado a sí mismos.

Pero no importa. Con o sin la sección eliminada de “botnets”, el informe de PGP es completamente poco ético. Este informe no fue acerca de contribuir al conocimiento sobre la defensa del vaping, fue acerca de crear una frenética mediática en torno a un hallazgo impactante que en realidad no es real. Fue llevado a cabo por un grupo privado y no nombrado de investigadores de mercado que o no entienden o no les importa las normas de trabajo científico transparente, válido y fiable. También ignoraron el muy real desequilibrio de poder entre las personas que investigan a los twitteros del vaping y las personas reales que usan Twitter para abogar por el vaping.

El informe de PGP es propaganda dirigida a deshumanizar a los protestantes legítimos, desacreditar su causa y censurar su discurso en las plataformas de redes sociales. El informe fue presentado con la apariencia de ciencia, pero está completamente destinado a servir a fines políticos.

Lectura adicional sugerida: