無意味な分析の有害さがわかる「1つの事例」 – マンガ 統計学が最強の学問である

統計学の解説書ながら42万部超えの異例のロングセラーとなっている『統計学が最強の学問である』。そのメッセージと知見の重要性は、統計学に支えられるAIが広く使われるようになった今、さらに増しています。そしてこのたび、ついに同書をベースにした『マンガ 統計学が最強の学問である』が発売されました。第9回では、適切な比較を行なわない一面的な単純集計がどれだけ愚かか？　を丁寧に解説します。（本記事は2013年に発行された『統計学が最強の学問である』を一部改変し公開しています。）

Photo: Adobe Stock

ツッコミどころが多すぎるグラフ

　前節で統計解析は3つの問い、すなわち、

【問1】何かの要因が変化すれば利益は向上するのか？
【問2】そうした変化を起こすような行動は実際に可能なのか？
【問3】変化を起こす行動が可能だとしてその利益はコストを上回るのか？

のすべてに答えなければならないと述べた。

　もちろんどんな状況においても、必ず統計解析結果の数字だけで3つすべての問いに答えられるというわけではなく、データからはどうしても判断しきれない部分について経験や勘が重要になることもある。

　しかしながら、実際に達成可能で、投資するコストに対しての十分な見返りが期待できるアクションが何か、まったく明らかにすることができない統計解析をするぐらいなら、最初から経験と勘だけで物事を決めていたほうがよっぽどマシである。

　たとえば以前会ったマーケターは「プロモーションキャンペーンの評価レポート」として図表11のようなグラフを提示した。

　この結果をもってマーケターは「〈見た・たぶん見た〉を合わせると46％で約半数の高い認知率を獲得しました！　おめでとうございます！　キャンペーンは成功でした！」と主張したというのである。その割には自分の周りでそのキャンペーンの話なんか全然聞かない。

　おめでたいのは彼の仕切ったキャンペーンの成果ではなく、彼自身の統計リテラシーのほうなのだ。

　ツッコミどころが多すぎてどこから指摘していいか迷うところだが、最も大きな問題は、このデータの出所がキャンペーンの対象とした商品購入後のアンケートであった、というところにある。インターネットの通販にせよ、実店舗に行ったにせよ、商品購入者の多くはキャンペーン広告の掲載されたバナーやポスター、チラシなどに対して一般よりも見やすい環境にあった可能性が高い。

　こうした偏りの大きいデータから示したキャンペーンの認知率が大きかったからといって、いったい何だと言うのだろうか。

よくわからないまま使われる指標たち

　また、仮にキャンペーンの認知率を日本全体のランダムサンプルから正確に測定できたとしても、「だから何？」という話の域を出ない。キャンペーンの内容をどれだけ多くの人が知っていようが、実際に購買というアクションに繋がらなければ何の意味も持たないのである。

　これは認知率だけに限らず、「延べ視聴者数」「キャンペーンサイトのアクセス数」「好感度」など多くのプロモーション評価に用いられる指標が、実際の売上に繋がるかどうかはよくわからないまま使われていることを示している。

　みなさんにだって、「広告をよく見る気がするし、その広告自体は好きだが、その商品を買おうとは思わない」という経験はあるはずだ。たとえば私はアサヒスーパードライのCMをよく見かけるし、毎回とてもかっこいいとも思うが、自宅では主にキリンの商品ばかりを飲んでいる。それなのにマーケターたちは、今日も「何人が目にした」「何人が好きだと言っている」という調査結果の集計を「分析結果」としてプレゼンしているのだ。

　極端な例で言えば、図表12のような回答結果が出た場合のことをしばしばマーケターたちは失念しているのかもしれない。

　商品購入者に関する結果は先ほどとまったく同じ値を用いている。だから先ほどと同様に、商品購入者の半数近くがキャンペーン広告を目にしたという結果に違いはない。だが一方で、商品の非購入者を見てみると68％すなわち7割近くが広告を見たと回答している。この結果を踏まえると、「むしろ広告を目にした人のほうが商品を買っていないのではないか」ということになってしまうのだ。

　こうなると、何か致命的な、広告を見たせいで買う気が失せるような内容が含まれていた可能性をも検討すべきだろう。

死者・犯罪・暴動を生み出す食べ物とは？

　このように適切な比較を行なわない一面的な単純集計がどれだけ愚かなことかは、もう少し噛み砕いた事例について考えてみれば小学生にだってわかるのではないだろうか。

〈次の食べ物を禁止すべきかどうか考えてみましょう〉
・心筋梗塞で死亡した日本人の95％以上が生前ずっとこの食べ物を食べていた。
・強盗や殺人などの凶悪犯の70％以上が犯行前24時間以内にこの食べ物を口にしている。
・日本人に摂取を禁止すると、精神的なストレス状態が見られることもある。
・江戸時代以降日本で起こった暴動のほとんどは、この食べ物が原因である。

　ちなみにこの食べ物とは「ごはん」だ。病人だろうが犯罪者だろうがほとんどの日本人はごはんを食べるし、禁止されると落ち着かなくなったりイライラすることもある。社会的抑圧によって食べることができないということであれば、普段温厚な日本人ですらお上に楯突きたくもなるだろう。

　一面だけの単純集計だけを見ていては、「白米を食べることを禁止する」といったバカな結論にさえ至る。こんな「統計解析」しか見せられたことがなければ、「統計学なんかじゃ何もわからない」と思うのも当然だ。

　私はわざわざ格別要領の悪い人や、不誠実なマーケターの例を挙げたわけではない。マーケティングの領域に限らず、こうした無意味な「分析」はこの世に溢れている。海外の一流ビジネススクールで読まされるような専門書にすら、こうした意味のない解析結果を根拠に「キャンペーンは成功した」と主張するようなものもある。

　だが、「十分なデータ」をもとに「適切な比較」を行なう、という統計的因果推論の基礎さえ身につければ、経験や勘を超えてビジネスを飛躍させる裏ワザはもっと簡単に見つかるはずなのだ。

---

▶『マンガ 統計学が最強の学問である』の刊行に寄せて

『マンガ統計学が最強の学問である』は、言語化・定型化された仕事がAIに奪われていくなかで、「新たに何をするか考えて決める」スキルを日本に最大限広げるために制作されました。

　実は初代『統計学が最強の学問である』はほとんど数式を使わず、統計学がどう生まれてどう役に立てられるのかにフォーカスした、統計学の本としては少し変わった本でした。しかし、40万部以上売れただけあって、あの本を読んで統計学を面白いと感じ、本格的に勉強しようとしたり、実務に活かすようになった、という方と私は日々の仕事の場で頻繁にお会いします。統計手法の数理面を細かく説明したり、統計解析をおこなうためのプログラミングに関する本は多数ありますが、それはちょうどAIのサポートが手厚くなっている部分です。今の時代はそれよりも、「統計学を活用したい」というモチベーション、「どのような課題に対して統計学を活用するか」という課題設定のコツ、そして分析結果の読み解き方と、結果を踏まえて何をやるべきかを考える枠組みといったスキルのほうが相対的に重要になってきているのではないでしょうか。

　本書が目指すのは、まさにそうした今こそ必要な「統計学の活かし方」を、物語を通して皆さんにお伝えすることです。たとえば『SLAM DUNK』というマンガを読むことでバスケットボールをプレイするモチベーションが喚起されたり、バスケットボールの観方がわかるようになったりといった方がたくさんいるように、すばらしいマンガは多くの人の人生を変える力を持っています。ありがたいことに私にとっても大好きな漫画家であるうめさん（小沢高広さんと妹尾朝子さん）に漫画制作を依頼できたことで、ストーリー面でも作画面でもすばらしいものになりました。私自身のデータ活用に関わる経験を凝縮した物語を、うまく追体験していただければ幸いです。

　また各話の最後には、それまでに出てきた統計手法について、できる限りわかりやすく、かつ簡潔に説明した解説を加えました。ストーリー内ではあまり説明臭くならないよう、しかし気になるであろう知識面はその後の解説で補足できるよう個人的にバランスをとったつもりです。

　本書をきっかけに、さらに多くの人が統計学を学び、「新たに何をするか考えて決める仕事」をする力を手にしていただければ幸いです。