文脈
zenncafeというイベントで先日登壇させていただきました(宣伝)
イベントのメインコンテンツとして「生成AI時代のテックブログプラットフォームの在り方(超訳)」のような座談会があって有意義でした。レポはこちらの記事でも書かれていますね。
私も自分なりに「なぜ技術記事のLLM生成は問題になり得るのか」を整理してみます。
技術記事のLLM生成に関する問題
プラットフォーム目線の問題もあるのですが、話が発散するのでユーザ視点で考えます。
読み手側
一言でいうと「LLM作成の記事の多くはクオリティが低く、読んだ時間が無駄になる」という問題があるでしょう。ややこしい点として、人間の書いた記事もクオリティが低い記事の方が、残念ながら多いです。その差は何？と考えたときに、以下のような問題だと認識しています。
- 従来は、文章力の稚拙さや用語の使い方の誤りなどで「足切り」ができていたが、LLM生成でそれが難しくなった。
- 悪い意味で全部読まないと判断できない時代になった。
- LLM生成のままで出した記事は大抵の場合、文章量を絞っていないため(≒文字数至上主義)読み終えるコストが高い。
- 人間より執筆の生産性が高いため、記事が大量に生成され、真偽を検証するコストが高まる。
記事の質を大量に検証するのがつらい、を言い換えると「LLM生成で書くな」という読み手側の悲鳴になるんだと思います。
書き手側
読み手側がお腹いっぱいなので、書いた記事が読まれる確率が下がります。また、LLM生成の臭いがしただけで読まれなくなるので、丁寧な文体の人は割を食います。長い文章で頑張っている人も。
また書いた量でのスキルチェックが難しくなるので、キャリアへの寄与度が下がります。読み手の評価に興味のない書き手には関係のない話ですが、まあ書いた記事の価値が下がって嬉しくないのは確か。
対策の難しさ
「当プラットフォームでは生成AIの利用を禁ずる」とするのは現実的ではないため、対策は執筆手段でなく成果物と書き手に行うことになります。ここに難しさがあって、ブログプラットフォームって本質的には読み手のためでもあり、書き手のための場所でもあります。下手くそでも書かないより書け！というのが現代のアウトプット時代なのですが、このスタンスを保つためにはクオリティフィルターをかけづらい。仮に査読やレビュー相当のプロセスを加えた際に引っかかるのは生成AI記事だけではないのです。
対策は難しい
思いつきレベルの対策を考えてはみたのですが、結論としてはプラットフォーム側の苦労がわかる結果となりました。
1. レートベース方式
アカウントあたりに執筆できる記事の件数を決める。大抵の場合1日で1件～3件書ければいいんじゃないかとは思っている。でもこれはDoS攻撃じみたスパム対策であって、本質的にはあまり効果がない気もしている。
2. 書き手の格付け/リーグ制
like数、アクセス数、その他の数字を使って書き手の信頼度をtier制にするとか。難点は生成AIでそれらしい記事を書くと、まさしくランキングハックされそうな点。これも厳しい。
3. ミュートリスト
比較的、現実的な案だと思っていて読み手側で読まない書き手を設定できれば不満はある程度解消できると思う。難点は技術的な難易度・運用負荷を考慮していないところ。
4. Down Vote(👎)の追加
クオリティの低い記事には-1を付ける機能。……どう考えても荒れます。朝起きて「〇〇さんから👎が送られました！」とか来るのは最悪の体験だし、匿名で送れるようにしてもPvP化すると思う。本当にやめた方がいいです。
5. 生成AIで書かれた確率の表示
運営側で判断した「この記事は〇〇％生成AI製です！」を表示する。これも当然荒れる。書き手へのストレスが凄い。肝心の引っかけたい対象にはすぐハックされそう。
まとめ
基本的には良心に任せるしかないので、各人が善いプラットフォームになるような記事を書いていきましょう。あと1記事辺りの文量は短くした方が読み手の負荷が減って、いろんな意味でいいんじゃないかな。
Views: 0
