AnthropicがチャットAIの悪用事例と対策手法をまとめたレポートを公開、100人以上のSNSアカウントをAIで動かして政治的思想を扇動するサービスが報告される – GIGAZINE

AI企業のAnthropicがチャットAIの悪用事例と対策手法をまとめたレポートを公開し、SNS上で複数の偽アカウントを作成して特定の政治的メッセージを拡散しようとする組織的な活動を阻止したと報告しています。

Detecting and Countering Malicious Uses of Claude Anthropic
https://www.anthropic.com/news/detecting-and-countering-malicious-uses-of-claude-march-2025

問題の活動を行っていたのは「世論誘導サービスを提供する営利組織」で、複数の依頼者から仕事を請け負っていたとAnthropicは報告しています。それぞれの依頼者の政治や思想は異なりましたが、この組織はすべてのプロジェクトを同じシステムで運営していたとのこと。

調査により、この組織はX(旧Twitter)とFacebookに100以上のアカウントを作成し、政治的に整合性のあるアカウントのネットワークを作成していたことが判明しました。これらのアカウントはすべて偽物で、さまざまな言語を操りながら特定の思想についてコメントしますが、すべてClaudeなどのAIで駆動しており、人間が関わっていなかったとのこと。

こうした偽アカウントは何万人もの「本物の人間」のユーザーと関わって大きな影響力を発揮し、ヨーロッパやイラン、アラブ首長国連邦、ケニアのコミュニティで政治的に偏ったストーリーを展開していました。

Anthropicは今回の調査で明らかになった事例について、「AIによって強化された世論誘導サービスの進化を表している」と述べ、特に「技術インフラが政治的目標から切り離されている」「単一の運営者が複数の依頼者に同時に対応できる」「AIが戦略的および戦術的決定を行う」「コンテンツが正当に見え、パターンが人間の行動を模倣するため、検出がますます困難になる」といった点に注目しています。

また、Anthropicは他にも「Claudeを使ってオープンソースのツールキットを書き直し、セキュリティカメラに関連するパスワードとユーザー名をスクレイピングするツールを開発する」「AIを使って外国語でのコミュニケーションを行う求人詐欺」「初心者がClaudeを使ってマルウェアを開発する」といった事例も確認されたと報告しています。

Anthropicは、AIを導入するハードルが下がり、今回のような世論誘導サービスが今後ますます一般的になると予想。このようなAIを利用したインフルエンサーマーケティング活動の特定と阻止に取り組むとともに、広範なセキュリティとセーフティコミュニティとの知見の共有を続けることを誓いました。