顧客サポートAIが暴走してコードエディターAI「Cursor」開発企業の評判がガタ落ちに – GIGAZINE

顧客サポートとして実装されていたチャットAIが誤った情報を流してしまい、会社の評判に悪影響を与えたことがわかりました。IT関係者は「全面的にAIに頼るのもよくない」と、この話を教訓として捉えています。

Cursor’s AI glitch triggers viral fallout—and raises questions about chatbot reliability | Fortune
https://fortune.com/article/customer-support-ai-cursor-went-rogue/

サポートAIに問題が発生したのはAIスタートアップのAnysphereです。AnysphereはAIによるコード生成や文章生成を標準機能として組み込んだエディター「Cursor」を展開して年間売上高1億ドル(約145億円)に達するなど著しい成長を遂げている企業で、AIアシスタントを顧客に提供しつつ、顧客サポートの担当者として自社でもAIアシスタントを起用しています。

ところが、この顧客サポートAIアシスタントが顧客に誤った情報を伝えるという事態が発生しました。

事の発端は、Cursorのユーザーによる問い合わせでした。このユーザーはデバイスを切り替えると同時に不自然にサービスからログアウトされるという不具合を経験したため、顧客サポートに連絡したところ、Samと名乗るサポート担当者から「ログアウトは新しいポリシーに基づく予期された動作である」との返信をもらったそうです。

ところが、新しいポリシーなど存在せず、Samという人物も架空の人間であることが明らかになったといいます。Samの返答はAIのもので、新しいポリシーは「幻覚」であり、まったくのでっち上げの説明でした。

このニュースは開発者コミュニティで急速に広まり、ユーザーがCursorの利用をキャンセルしたという報告が寄せられ、Anysphereの透明性の欠如に不満を漏らす人もいました。

混乱を受け、Anysphereの共同設立者であるマイケル・トゥルエル氏は「ユーザーをログアウトさせるバグを調査中です。混乱を招いたことをお詫びします」とコメントを寄せました。

テック系インフルエンサーは今回の事例を教訓として今後に生かすよう他の新興企業に警告を発しています。Googleの元チーフサイエンティスト、キャシー・コジルコフ氏は、「この混乱は、AIは間違いを犯す、AIはその間違いの責任を取ることができない、ユーザは人間を装った機械に欺かれることを嫌う、ということをリーダーが理解していれば避けられたはずです」と述べました。

セキュリティ会社Upwindのアミラム・シャチャーCEOは、幻覚を見るAIチャットボットが話題になったのは今回が初めてではないと指摘します。2022年には、航空会社エア・カナダのAIチャットボットが割引制度について誤った案内をしたため、裁判沙汰に発展した例があります。

「チャットボットの誤回答に責任はない」と弁解していたエア・カナダに裁判所が損害賠償支払いを命令 – GIGAZINE

シャチャーCEOは「根本的に、AIはユーザーの考えを理解していないのです。適切な制約がなければ、AIは裏付けのない情報で自信満々に回答してしまいます。Cursorの顧客のように高度な技術を持つユーザーにとって、いい加減な説明は許されないでしょう」と指摘しました。