Nghiên cứu Bot Twitter Vaping là Tuyên truyền phi nhân hóa

Vào ngày 4 tháng 10, tôi đã nhận được một email từ một phóng viên của Wall Street Journal, người đã muốn nghe ý kiến của tôi về một nghiên cứu về “tiếp thị bot của thuốc lá điện tử” cho một câu chuyện mà anh ấy đang lên kế hoạch.

Tôi đoán rằng đây là một báo cáo gần đây từ công ty Anh Astroscreen, họ đã nói với Wired UK rằng họ phát hiện ra rằng một “chiến dịch truyền thông xã hội không chính thức và có phối hợp đã nhắm mục tiêu rõ ràng đến các chính sách quan trọng của Mỹ trong nỗ lực buộc họ phải rút lại kế hoạch cho luật chống vaping.” Thật mỉa mai, Astroscreen đã xây dựng một bot để thực hiện công việc của họ, và vì bot là “công nghệ học máy sở hữu” (dịch nghĩa: không ai ngoài các tác giả có thể thấy cách hoặc lý do mà họ đưa ra kết luận của mình), thật sự không có cách nào để đánh giá tính hợp lệ của kết luận của họ.

Tôi đã chuẩn bị để thảo luận về điều này với phóng viên đã liên lạc với tôi. Nhưng anh ấy không liên lạc với tôi về nghiên cứu bot của Astroscreen.

Phóng viên WSJ muốn có ý kiến về một báo cáo khác, từ các nhà nghiên cứu không được đặt tên tại Dự án Công ích (PGP) và được tài trợ bởi một cái gì đó gọi là Quỹ Nicholson. Khi tôi nói rằng tôi không thoải mái bình luận về một nghiên cứu tôi chưa thấy hoặc chưa đọc, phóng viên đã đề nghị gửi cho tôi báo cáo với điều kiện tôi không chia sẻ hoặc bình luận về điều đó cho đến khi câu chuyện được xuất bản. Tôi đã đồng ý với những điều khoản đó.

Hãy để tôi chỉ ra rằng thật kỳ lạ khi hai tổ chức tư nhân khác nhau quyết định “bộc lộ” hoạt động “bot” dường như tràn lan trong không gian vận động vaping bằng cách rò rỉ những “nghiên cứu” chưa được thẩm định đến các phương tiện truyền thông lớn, dường như không có bất kỳ kế hoạch nào để đưa những nghiên cứu đó được đánh giá ngang hàng, và trước bất kỳ sự phát hành công khai nào.

Khi tôi đọc báo cáo PGP, tôi nhận thấy những điểm tương đồng khác. Giống như Astroscreen, PGP đã vô cùng mơ hồ về phương pháp của họ. Theo PGP, phân tích của họ cung cấp “những thông tin chưa từng thấy về vai trò mà các bot hiện đang đóng trong các cuộc trò chuyện trực tuyến xung quanh thuốc lá điện tử và sản phẩm thuốc lá.” Cụ thể, họ kết luận rằng “hơn một nửa số thông điệp được truyền qua các nguồn truyền thông công khai ở Hoa Kỳ liên quan đến thuốc lá điện tử và sản phẩm thuốc lá có thể được đăng bởi các tài khoản tự động, hoặc bot.”

Tuy nhiên, họ không cung cấp bất kỳ thông tin hữu ích nào về cách họ đã đến được kết luận như vậy. Người đọc chỉ được mong đợi sẽ tin rằng phát hiện đó là hợp lệ. Nhưng tôi đã nhận thấy một điều trong báo cáo khiến tôi có lý do chính đáng để không tin tưởng nó. Và, vì bài viết mà Wall Street Journal cuối cùng đã xuất bản không bao gồm bất kỳ bình luận nào của tôi với phóng viên, tôi sẽ giải thích chúng ở đây.

Tuy nhiên, trước khi tôi đến điều đó, hãy xem một số vấn đề rộng lớn hơn với báo cáo của PGP.

Họ có ý gì khi nói “bot”?

Trước tiên, PGP đã vô cùng mơ hồ về những gì họ thực sự đã làm, cách họ đã làm và những gì họ thực sự đã tìm thấy. Và điều này làm cho rất khó hiểu các phát biểu có vẻ thẳng thắn trong báo cáo, như cái này: "trong tổng số mẫu 2,536,659 tin nhắn Twitter liên quan đến thuốc lá điện tử hoặc thuốc lá, 22.6% số tin nhắn được đăng bởi con người, 20.8% được đăng bởi bot nghi ngờ, và 56.6% được xác nhận là đã được tạo ra bởi bot."

Rất khó để giải thích có ý nghĩa thống kê trên vì chúng ta không biết PGP tính bot như thế nào. Hoặc đúng hơn, chúng ta không biết họ đã đếm gì là một bot khi họ thực hiện phân tích. Chúng ta biết, từ cách mà báo cáo được trình bày, rằng PGP muốn chúng ta nghĩ về bot trong việc vaping như là các tài khoản tự động, được thiết kế để xuất hiện như con người, hoạt động để lan truyền thông tin sai lệch về nicotine và thuốc lá điện tử, và/hoặc quảng cáo chúng đến bất kỳ ai, đặc biệt là trẻ em.

Nhưng điều mà PGP muốn chúng ta nghĩ đến khi nghe “bot” không tương đồng với những gì họ thực sự đã đếm là bot trong nghiên cứu này. Vậy PGP thực sự đã xác định bot như thế nào, và họ coi cái gì là một bot? Đây là những gì họ nói trong báo cáo:

“PGP có khả năng xác định các bài đăng có khả năng cao xuất phát từ bot và những bài có khả năng cao xuất phát từ con người.... Các nhà nghiên cứu PGP kiểm tra nhiều đặc điểm tài khoản để xác định khả năng một bài đăng đến từ một bot, bao gồm (nhưng không giới hạn ở) tần suất và thời gian bài viết, số lượng bài đăng, số lượng người theo dõi, và sự tương tác với các tài khoản khác. Bot, đặc biệt là những bot được tạo ra với ý định xấu, thì cực kỳ tinh vi và thường được thiết kế để giống hệt như một con người. Do đó, việc kiểm tra đơn giản các đặc điểm cơ bản của tài khoản và hồ sơ là không đủ để đánh giá khả năng tự động.”

Điều này là vô dụng. Tôi không thực sự quan tâm PGP nghĩ phương pháp của họ chính xác như thế nào; tôi muốn tự mình đánh giá điều đó, và tôi không thể dựa trên thông tin họ cung cấp. Nhưng tất cả những gì họ muốn cho tôi là cái lý do giáo điều và mơ hồ này để không cho tôi biết chính xác họ đã xem xét điều gì, để tôi có thể đánh giá cho bản thân xem nghiên cứu của họ có hợp lệ hay không. Họ xem xét phương pháp của mình như ma thuật và trình bày chúng như quá tinh vi để độc giả của họ hiểu, điều này cơ bản là một cờ đỏ lớn.

PGP đã chia sẻ một số sự làm rõ sau khi kết thúc trên Twitter ngày hôm qua về quy trình phân loại và phương pháp của họ còn mơ hồ và vô nghĩa hơn so với những gì họ đã nói trong báo cáo thực tế. Ví dụ: “Chúng tôi xác định “tự động hóa" như một điểm số từ 1-100. Một robot 100% sẽ làm những việc như tự động RT, không đăng nội dung gốc.”

Peter Sterne, một nhà báo tự do viết về ngành công nghiệp truyền thông, đã diễn đạt ngắn gọn vấn đề với định nghĩa bot của PGP trong một tin nhắn riêng tư với tôi: “PGP dường như đã áp dụng một định nghĩa bot quá rộng (bất kỳ ai sử dụng bất kỳ ứng dụng tự động nào) mà cuốn vào rất nhiều người thật, trong khi ám chỉ một cách mạnh mẽ rằng tất cả “bot” là một phần của một hoạt động truyền thông xã hội tinh vi và tweet của chúng không thể được xem xét một cách đơn giản.”

Dù sao đi nữa, PGP rõ ràng đã quan tâm đến việc nghiên cứu bot, dù họ đã định nghĩa chúng như thế nào. Tỉ lệ bot hoạt động trong không gian vaping, và vai trò của chúng có thể đóng trong vận động là một câu hỏi nghiên cứu hợp lý, và tôi nghĩ nhiều người sử dụng vaping sẽ thấy một nghiên cứu có thể trả lời những câu hỏi này khá thú vị. Nhưng vấn đề là, PGP đã không thiết kế một nghiên cứu có thể trả lời những câu hỏi thúc đẩy báo cáo của họ.

Nếu PGP muốn hiểu các đặc điểm của tài khoản trong một dân số nhất định của những người tweet (tức là, những người sử dụng vaping), họ sẽ cần phải tìm một cách để có được một mẫu đại diện của các tài khoản từ dân số đó. Điều này gần như là không thể, nhưng đó không phải là điểm chính vì PGP dường như thậm chí không hiểu rằng họ sẽ cần làm điều gì đó như vậy ngay từ đầu. PGP không thu thập mẫu tài khoản, họ thu thập mẫu tweet. Những tweet này được gửi bởi các tài khoản (rõ ràng) vì vậy họ đã kết thúc với một tập hợp các tài khoản, nhưng việc các nhà nghiên cứu dựa vào đó để đưa ra kết luận về dân số tài khoản tweet về vaping trên cơ sở một số tài khoản mà tweet của chúng tình cờ nằm trong mẫu của họ là hoàn toàn không phù hợp.

Vấn đề lớn khác với báo cáo là nó thực sự không nói rõ có bao nhiêu tài khoản độc nhất mà họ đang nói ở đây. Họ báo cáo số lượng tweet (có lẽ vì những con số đó lớn hơn, và PGP muốn gây ấn tượng với chúng ta), nhưng chúng ta không biết có bao nhiêu tài khoản đang gửi chúng. Và điều này thực sự rất quan trọng nếu có bất kỳ bot nào thực sự trong mẫu (và có lẽ có một vài cái) bởi vì một bot spam mờ ám với không người theo dõi nào được lập trình để tweet hàng trăm lần mỗi ngày về vaping có thể đã tạo ra một số lượng tweet không cân xứng trong toàn bộ mẫu, ngay cả khi bot đó có tác động nhỏ hoặc không có tác động nào ngoài cái bong bóng nhỏ bé của nó.

Những bot này hoàn toàn không phải là bot

Sự thiếu minh bạch, không có định nghĩa, và sự bất tài rõ ràng về phương pháp là lý do đủ để nghi ngờ các kết luận của nghiên cứu này. Nhưng chỉ số cụ thể cho thấy rằng những phát hiện của PGP không hợp lệ là một phần của báo cáo đã bị xóa trước khi phát hành công khai. (Bạn có thể xem phiên bản công khai trên trang web của PGP.)

Quay trở lại Wall Street Journal. Khi họ yêu cầu tôi bình luận về báo cáo của PGP, họ đã gửi cho tôi một bản sao. Nó dài 32 trang. Phần kết quả dài 15 trang. Và một tiểu mục trong phần kết quả, có tiêu đề “Mạng bot,” chiếm khoảng 40 phần trăm của những kết quả này. Nó bao gồm năm phân tích “mức vi mô” về các “tài khoản bot” và “mạng bot” của chúng được xác định trong [quá trình phân tích của PGP]. Họ sử dụng các biểu đồ để đại diện cho mỗi mạng. (Đây là phiên bản mà tôi được phóng viên cung cấp.)

Mỗi biểu đồ của PGP đều được xây dựng xung quanh một nút trung tâm, đại diện cho một “bot” trong phân tích của PGP. Nút đó liên kết với các nút khác đại diện cho các tài khoản đã retweet tweet của cái gọi là bot. Các nhà phân tích mạng xã hội gọi những biểu diễn đồ họa này là “mạng ego,” vì chúng mô tả mối quan hệ giữa một nút trung tâm (người “ego”) và các nút kết nối (“alters”). PGP mã màu các nút alter theo việc liệu chúng có đáp ứng các tiêu chí không công bố của họ để trở thành bot hay không, với các nút trắng đại diện cho các tài khoản được xác định là người thật. Các nút trắng là thiểu số trong tất cả các mạng của PGP.

PGP muốn chúng ta tin rằng phần lớn hoạt động trên Twitter về vaping có lẽ không phải do con người thật tạo ra. Họ đã xóa tên của bot “ego” ở trung tâm mỗi mạng bot. Tại sao? Trong báo cáo họ tuyên bố rằng đây là để bảo vệ quyền riêng tư của các tài khoản, nhưng nếu các tài khoản là bot thì tại sao điều này lại quan trọng?

Thực tế là, ngay cả khi PGP thực sự quan tâm đến việc bảo vệ danh tính của các tài khoản bot được ngụy trang thành người thật đang can thiệp vào các cuộc thảo luận về vaping trực tuyến với những hậu quả có thể nghiêm trọng cho sức khỏe cộng đồng (hoặc như họ nói), thì sự thật là họ đã làm một công việc rất tệ.

Tôi đã có thể dễ dàng xác định các tài khoản cụ thể được đại diện như nút trung tâm trong mỗi năm mạng bot được cho là của PGP trong báo cáo gốc của họ. Tôi có thể làm điều này bởi vì PGP đã bao gồm các ảnh chụp màn hình của các tweet từ các tài khoản mà bất cứ ai cũng có thể nhập vào thanh tìm kiếm trong giao diện người dùng Twitter và thu hồi. Tôi đã làm điều đó đối với các tweet của mỗi tài khoản, kiểm tra số lượng người theo dõi và bài đăng của chúng với những gì PGP báo cáo, và xác minh tất cả chúng là ai. Toàn bộ quá trình mất tôi chưa đến nửa giờ. Và đoán xem? Không tài khoản nào trong số này là “bot giả mạo thành người thật.”

Trong số năm tài khoản mà PGP chọn cho cuộc thảo luận về mạng bot ví dụ của họ, chỉ có một mà tôi không nhận ra. Nó là một tài khoản thương mại có trụ sở ở Vương quốc Anh, sử dụng Twitter để quảng bá danh sách eBay cho nhiều sản phẩm, bao gồm e-liquid và CBD. Tài khoản đó có vẻ như sử dụng tự động hóa để đăng các tweet? Có. Có bất kỳ dấu hiệu nào cho thấy con người không đứng sau những tweet đó không? Không. Có ai có lý do hợp lý nào để nhầm lẫn điều này với bất cứ điều gì khác ngoài tài khoản thương mại của một công ty thương mại trực tuyến không? Không. Có bất kỳ dấu hiệu nào cho thấy tài khoản đó đang quảng bá ngoài mạng người theo dõi của nó không? Không.

Đối với bốn tài khoản mà tôi quen thuộc, ba là tài khoản riêng của các cá nhân, là những người ủng hộ vaping lâu dài, và rõ ràng là người thật. Tài khoản còn lại là tài khoản Twitter cho chính ấn phẩm này. Biên tập viên tin tức của Vaping360 Jim McDonald quản lý và tweet từ tài khoản này, và Jim không phải là một bot.

Vì vậy, trong năm bot được cho là: một là tài khoản của một ấn phẩm về vaping do một trong những nhà báo điều hành, sử dụng nó để đăng bài viết, và tương tác với những người tweet khác (vì vậy anh ấy đăng nội dung gốc). Ba là các cá nhân riêng tư ủng hộ vaping. Và cái còn lại là một nhà bán lẻ nào đó đến từ Anh. Tôi rất khó tin rằng bất kỳ ai quen thuộc với bất kỳ tài khoản nào trong số này sẽ kết luận rằng họ là bot giả mạo thành người. Hoặc doanh nghiệp giả mạo thành người. Hay doanh nghiệp sử dụng bot để giả mạo thành người. Hay bất kỳ ai tham gia vào bất kỳ hoạt động tồi tệ nào, trong vấn đề này.

Và điều này khiến quyết định của PGP để xóa tên của năm tài khoản này trở nên hơi đáng ngờ. Trước hết, chắc chắn họ đã biết rằng sẽ có khả năng cho ai đó muốn biết những tài khoản này là gì sẽ tìm ra được thông tin với những gì họ đã cung cấp. Vì vậy họ không bảo vệ quyền riêng tư của bất kỳ ai, họ chỉ khiến việc tìm hiểu danh tính của các tài khoản trở nên khó khăn hơn một chút cho những người muốn biết.

Các ảnh chụp màn hình mà tôi đã có thể sử dụng để tìm kiếm tweet từ những tài khoản này bao gồm các retweet và trả lời từ các tài khoản “alters” cũng không phải là bot và không có biện pháp nào được thực hiện để bảo vệ danh tính của những tài khoản này. Các ảnh chụp màn hình của PGP đã tiết lộ tên và tên người dùng của các tài khoản khác trong cái gọi là “mạng bot,” chỉ không phải là các bot trung tâm (mà không phải là bot).

Tất cả những điều này khiến tôi khó tin rằng việc bảo vệ quyền riêng tư của các “bot” là lý do chính mà PGP đã ẩn giấu ID tài khoản. Điều này không hợp lý bởi vì các biện pháp bảo vệ rất dễ để bất kỳ ai vượt qua, vì các biện pháp bảo vệ không được mở rộng đến các tài khoản xuất hiện trong các ảnh chụp màn hình, và vì vào cuối ngày, PGP có động lực lớn hơn nhiều để che giấu thông tin này vì sự bảo vệ của chính họ và để bảo vệ tính xác thực của báo cáo có sai sót của họ hơn bất kỳ điều gì khác.

Bảo vệ quyền riêng tư hay giữ thể diện?

Tôi muốn biết lý do tại sao PGP đã công bố một phiên bản khác của báo cáo so với phiên bản họ đã chia sẻ với Wall Street Journal. Rõ ràng Gregory Conley cũng đã hỏi họ để giải thích về lựa chọn này trên Twitter. Câu trả lời của PGP cho anh ta là:

“WSJ đã có một độc quyền về nghiên cứu và chúng tôi đã chia sẻ thông tin trong quá trình thẩm định. Vào một thời điểm, chúng tôi đã chia sẻ 5 tài khoản có điểm số tự động hóa cao, trong số hơn 1 triệu tin nhắn được phân tích. Chúng tôi không muốn những tài khoản đó bị nhắm đến. Vì vậy cả bài báo và báo cáo đều không đề cập đến chúng.”

PGP dường như ám chỉ ở đây rằng các mạng bot đã được cung cấp cho Wall Street Journal như một bối cảnh bổ sung cho nghiên cứu cuối cùng. Nếu phân tích mà tôi đã chỉ ra là bị lỗi chết người thực sự không bao giờ được dự định cho tiêu dùng công chúng, và chỉ là một số tài liệu bổ sung được gửi đến Journal cùng với báo cáo chính thức, điều đó không thay đổi thực tế rằng nó làm suy yếu tính hợp lệ của toàn bộ nghiên cứu.

Nhưng thật khó để tin rằng họ không có ý định đưa điều này vào phiên bản cuối cùng. Mục này đã được liệt kê trong bảng mục lục của phiên bản báo cáo đã được gửi cho tôi. Đây là một phần cốt lõi trong phần kết quả của họ, với “botnets” được trình bày như là ví dụ của hiện tượng trừu tượng mà họ tuyên bố báo cáo của họ làm sáng tỏ. Không có dấu hiệu nào cho thấy nội dung này không được dự định là một phần quan trọng của báo cáo cuối cùng.

Tôi đã có ấn tượng rằng những gì tôi được đưa là báo cáo cuối cùng, và khi tôi chỉ ra rằng phân tích này bị lỗi nghiêm trọng (và không đạo đức) thì tôi không bao giờ được thông báo rằng nó là một phần sơ lược của nghiên cứu hoặc đặc biệt cho Wall Street Journal. Mặc dù tôi không thể nói chắc chắn, nhưng phóng viên đã gửi nó cho tôi dường như cũng có ấn tượng rằng đây là phiên bản cuối cùng. Và thật sự, ai lại gửi bản nháp làm việc của một báo cáo đột phá cho một tờ báo mà bạn đang cung cấp một độc quyền? Điều đó thực sự không hợp lý. Tài liệu bao gồm phân tích botnet đã bị xóa hiện tại đã được chỉnh sửa, phần bị xóa là một phần của mục lục, không có gì cho thấy rằng điều này không có ý định là sản phẩm cuối cùng.

Nếu PGP phát hiện ra họ đã làm sai lệch phân tích này tệ đến mức nào, điều đó lẽ ra đã khiến họ phải đặt câu hỏi về tính hợp lệ của toàn bộ nghiên cứu của họ. Điều có trách nhiệm, trung thực về mặt trí tuệ, và minh bạch ở đây sẽ là yêu cầu tờ báo hoãn hoặc hủy câu chuyện của họ để báo cáo có thể được chỉnh sửa, hoặc có lẽ nếu những sai sót quá nghiêm trọng, thì nên bỏ qua. Ít nhất, một ghi chú nên được thực hiện để chỉ ra rằng phiên bản gửi đến Tạp chí khác với phiên bản cuối cùng được xuất bản trên trang web.

Tôi nghĩ PGP đã xóa những trang đó khi họ hiểu rõ sự hiển nhiên của những lỗi nghiêm trọng mà họ đã mắc phải. Họ đã làm sai lệch các quy trình khoa học bình thường trong mọi khía cạnh khác của công việc này. Tại sao tôi—tại sao bất kỳ ai—phải tin rằng họ quan tâm đến bất cứ điều gì khác ngoài việc giữ thể diện? Nếu PGP có bất kỳ bằng chứng cụ thể nào để hỗ trợ cho tuyên bố rằng quyết định cắt bỏ phần này không liên quan đến việc botnets của họ thực sự không phải là botnets, họ nên công bố điều đó.

Phi nhân hóa những người biểu tình hợp pháp

Báo cáo của PGP mô tả một bức tranh về một mạng lưới phức tạp các bot được thiết kế để lừa mọi người tin rằng chúng là những con người riêng lẻ nhằm thao túng cuộc thảo luận về vaping. Thực tế là không có ví dụ tốt nhất nào của họ có bất kỳ đặc điểm nào của loại tài khoản này (và bốn trong số họ là những người mà tôi thực sự biết) đã đặt ra những câu hỏi nghiêm túc về độ tin cậy của toàn bộ doanh nghiệp.

Lĩnh vực vận động vaping trên Twitter là một cộng đồng lỏng lẻo kết nối giữa các công dân cá nhân đang sử dụng các tài khoản mạng xã hội chủ yếu của họ trong một bối cảnh cụ thể. Những người này không có mặt trên Twitter vì lợi ích của các nhà nghiên cứu "giám sát và truyền thông sức khỏe cộng đồng" cơ hội, những người có điều gì đó để thu được bằng cách thu thập nội dung do người dùng tạo ra của họ và trình bày nó ngoài ngữ cảnh để minh họa cho một lý thuyết khó tin và không trung thực rằng các nhà vận động vape có ảnh hưởng chẳng qua chỉ là một mạng lưới tinh vi của các bot xấu, giả mạo là con người để lan truyền thông tin sai lệch vì lợi ích của một thế lực doanh nghiệp không tên, không hình.

Tôi không chắc liệu sự không trung thực rõ ràng ngập tràn trong báo cáo PGP có đại diện cho nỗ lực của tổ chức này để lừa dối công chúng hay là phản ánh hơn về thực tế rằng họ đã tự lừa dối chính mình.

Nhưng điều đó không quan trọng. Có hoặc không có phần “botnets” đã bị xóa, báo cáo của PGP hoàn toàn không đạo đức. Báo cáo này không phải về việc đóng góp vào kiến thức về vận động vaping, mà là về việc tạo ra một cơn sốt truyền thông xung quanh một phát hiện gây sốc mà thực sự không tồn tại. Nó được thực hiện bởi một nhóm nghiên cứu thị trường tư nhân, không tên, những người hoặc là không hiểu hoặc không quan tâm đến các chuẩn mực của công việc khoa học minh bạch, hợp lệ và đáng tin cậy. Họ cũng đã phớt lờ sự mất cân bằng quyền lực rất thực giữa những người nghiên cứu về người dùng Twitter vaping, và những người thực sự sử dụng Twitter để vận động cho vaping.

Báo cáo PGP là tuyên truyền nhằm dehuman hóa những người biểu tình hợp pháp, làm mất uy tín nguyên nhân của họ, và kiểm duyệt lời nói của họ trên các nền tảng mạng xã hội. Báo cáo được trình bày với vẻ ngoài của khoa học, nhưng hoàn toàn nhằm phục vụ mục đích chính trị.

Đọc thêm được gợi ý: