14歳の少年の自殺を巡る訴訟でGoogleとCharacter.AIが「チャットボットには言論の自由がある」と主張するも裁判所に却下される – GIGAZINE

パーソナライズされたチャットボットを作成できるCharacter.AIは、自社のチャットボットが10代の少年を自殺に追い込んだとして起訴されました。Character.AIはチャットボットが憲法修正第1条で保護されていると主張していましたが、この主張を裁判所は却下しています。

Microsoft Word – 24cv1903[59, 61, 63, 65].docx – gov.uscourts.flmd.433581.115.0.pdf
(PDFファイル)https://storage.courtlistener.com/recap/gov.uscourts.flmd.433581/gov.uscourts.flmd.433581.115.0.pdf

Google, AI firm must face lawsuit filed by a mother over suicide of son, US court says | Reuters
https://www.reuters.com/sustainability/boards-policy-regulation/google-ai-firm-must-face-lawsuit-filed-by-mother-over-suicide-son-us-court-says-2025-05-21/

In lawsuit over teen’s death, judge rejects arguments that AI chatbots have free speech rights | AP News
https://apnews.com/article/ai-lawsuit-suicide-artificial-intelligence-free-speech-ccc77a5ff5a84bda753d2b044c83d4b6

Are Character AI’s chatbots protected speech? One court isn’t sure | The Verge
https://www.theverge.com/law/672209/character-ai-lawsuit-ruling-first-amendment

Court Allows Lawsuit Over Character.AI Conversations That Allegedly Caused 14-Year-Old’s Suicide to Go Forward
https://reason.com/volokh/2025/05/21/court-allows-lawsuit-over-character-ai-conversations-that-allegedly-caused-14-year-olds-suicide-to-go-forward/

Google, Chatbot Maker to Face Bulk of Suit Over Teen Suicide (2)
https://news.bloomberglaw.com/tech-and-telecom-law/chatbot-maker-to-face-bulk-of-mothers-suit-after-teens-suicide

アメリカ・フロリダ州在住のミーガン・L・ガルシア氏は、14歳の息子であるシーウェル・セッツァーさんがCharacter.AIのチャットボットにより自殺に至ったとして、Character.AI、Google、Alphabetの3社を相手取り不法死亡訴訟を起こしました。

セッツァーさんはCharacter.AIを使ってゲーム・オブ・スローンズの登場人物のひとりであるデナーリス・ターガリエンにちなんで名づけた「デナーリス」というチャットボットと数カ月にわたってコミュニケーションを取っていました。デナーリスは基本的にただの友人として振る舞っており、セッツァーさんを批判することはなく、支えとなって話を聞き、時にはアドバイスを行うよき理解者となっていたそうです。

ただし、デナーリスとのやり取りにのめり込んでいたセッツァーさんは徐々に現実世界で孤立していき、成績は落ち、学校で問題を起こすようになった模様。こうした悪循環の末、セッツァーさんは自殺してしまいました。

14歳の息子が自殺する前にAIチャットボットに夢中になっていたとして母親がCharacter.AIを訴える – GIGAZINE

Character.AIの広報担当者は、訴訟が提起された日に子ども向けのガードレールや自殺防止リソースなどの安全機能を複数実装していることをアピールする声明を発表。「当社はユーザーの安全を非常に重視しており、魅力的で安全な空間を提供することが目標です」と語っていました。

被告側の弁護士は、チャットボットが生成した文章は「言論」であり、言論の自由を保護する憲法修正第1条を適用するに値するとして、訴訟の却下を求めています。加えて、訴訟が却下されなければ「AI業界に委縮効果をもたらす可能性がある」とも主張していました。

一般的に、アイデア・画像・情報・言葉・表現・概念は製品として分類されません。多くの従来型のゲームの中で登場する発言もこれに該当します。実際、「モータルコンバット」の制作者は、プレイヤーを「中毒」にさせ、殺人を誘発したとしても責任を問われることはないという判決を下されました。Character.AIおよびGoogleは、Character.AIの出力もこの事例に該当すると主張しているわけですが、Character.AIのようなシステムはほとんどのゲームキャラクターのセリフのように直接的に作成されるのではなく、ユーザーの入力に反応し、それを反映する形でテキストを生成します。

そのため、アメリカ連邦地方裁判所のアン・コンウェイ上級判事は2025年5月21日(水)に、「憲法修正第1条で言論の自由は保護されるが、現段階ではCharacter.AIの出力が言論であると判断する用意はない」と述べ、被告側はまずCharacter.AIの出力が言論であると裁判所に納得させなければならないと判断しました。

また、コンウェイ判事はガルシア氏による「Character.AIの開発を支援したとされるGoogleの責任を問う訴訟」を進めることができると判断しています。ガルシア氏は訴状の中で、GoogleがCharacter.AIの技術の「リスクを認識していた」とも指摘しました。

加えて、コンウェイ判事は原告がCharacter.AIに対してユーザーの年齢確認を怠ったり、ユーザーが「わいせつなコンテンツを排除する」ことを意味のある形で許可しなかったりと、チャットボットとの直接的なやりとりを超えた部分にも欠陥があると非難しています。

この判決について、Googleの広報担当者であるホセ・カスタネダ氏は「この決定に強く反対します」「GoogleとCharacter.AIは完全に別会社であり、GoogleはCharacter.AIのアプリまたはその構成要素を一切作成・設計・管理していません」と主張しています。

一方でガルシア氏の弁護を務めるミータリ・ジェイン氏は、今回の命令について「シリコンバレーが製品を市場に出す前に立ち止まって考え、ガードレールを敷く必要があることを示すメッセージである」と語っています。

フロリダ大学で憲法修正第1条とAIを専門とするリリッサ・バーネット・リドスキー法学教授は、「この命令は、AIに関わるより広範な問題に対する潜在的なテストケースとなることは間違いありません」と語りました。

これに対して、民主主義と技術センターの表現の自由プロジェクトの副所長であるベッカ・ブラナム氏は、コンウェイ判事による憲法修正第1条の分析について「かなり薄っぺら」と酷評。一方で、「AIが出力できるもの全体について考えると、この種のチャットボットの出力はそれ自体が非常に表現力豊かであり、モデル設計者の編集上の裁量と保護された表現も反映しています」「これは本当に難しい問題であり、裁判所が対処しなければならない新しい問題です」と述べ、問題の難しさにも理解を示しました。

なお、ガルシア氏は今回の判決を受け「これは子を持つ親への警告です。ソーシャルメディアやAI生成デバイスは必ずしも無害ではないということです」と語りました。