はじめに
「データがそう示している」と言われると、つい納得してしまいます。しかし、数字そのものは正しくても、読み方を間違えると、結論を大きく取り違えることがあります。この記事では、分析でよく出会う5つの落とし穴を、例とあわせて紹介します。各章の最後には、実務でどう対処するかを短くまとめました。
1. 相関と因果 ― 「一緒に動く」は「原因」ではない
例：アイスクリームがよく売れる月ほど、水難事故も多い。では、アイスを売るのをやめれば事故は減るでしょうか。
なぜ起きるか：どちらも「気温」が上がると増えるからです。暑い時期はアイスが売れ、泳ぐ人も増えます。このように、2つの数字が一緒に増えたり減ったりする関係を「相関」と呼びます。そして、2つの数字の両方に影響する隠れた要因を「交絡（こうらく）因子」と呼びます。相関があっても、片方がもう片方の原因とは限りません。
実務メモ：因果を確かめたいなら、ランダムに分けて比べる実験が最も信頼できます。ビジネスの世界では「A/Bテスト」と呼ばれます。A/Bテストとは、調べたい対象をくじ引きのようにランダムに2つのグループに分け、片方にだけ変化を加えて結果を比べる方法です。この章の例なら、たとえば海水浴場をランダムに2つに分け、片方だけでアイスの販売をやめて、水難事故の数を比べます。ランダムに分けると、気温のような交絡因子が両方のグループに同じくらい含まれます。そのため、偶然とは言えないほどの差が出れば、それはアイスの販売をやめた効果だと考えられます（もちろん、この例では差はほとんど出ないはずです）。A/Bテストができないときは、思いつく交絡因子を洗い出し、それをそろえたうえで比べます。たとえば、気温が同じくらいの日だけを集めて、アイスの売上と事故の数の関係を見ます。それでも関係が残るかを確かめるのです。ただし、思いつかなかった交絡因子は残るので、A/Bテストほど確実ではありません。
2. シンプソンのパラドックス ― 全体と内訳で結論が逆になる
例：1986年に発表された腎臓結石の治療の研究（Charigら）のデータから、2つの治療法を比べます。治療Aは切開して行う従来の手術（開放手術）、治療Bは背中から細い管を入れて行う、体への負担が小さい手術（経皮的腎砕石術）です。成功率は次のとおりです。
| 治療A | 治療B | |
|---|---|---|
| 小さい結石 | 93%（81/87） | 87%（234/270） |
| 大きい結石 | 73%（192/263） | 69%（55/80） |
| 全体 | 78%（273/350） | 83%（289/350） |
小さい結石でも、大きい結石でも、治療Aのほうが成功率が高い。それなのに、全体では治療Bのほうが高くなっています。
なぜ起きるか：治療Aは、難しい「大きい結石」の患者に多く使われていました（350人中263人）。治療Bは、比較的やさしい「小さい結石」が中心でした（350人中270人）。全体の成功率は、内訳の成功率を患者数に応じて混ぜ合わせたものです。そのため、治療Aの全体の成功率は、成功率の低い「大きい結石」の患者に引っ張られて下がりました。結石の大きさが、治療の選び方と成功率の両方に影響していたのです。つまり、1章の交絡と同じしくみです。
実務メモ：全体の数字だけで判断せず、重要な切り口（地域、年代、店舗規模など）で分けて確認しましょう。ただし、「全体と内訳のどちらを信じるか」は、データだけでは決まりません。どの要因が何に影響するのか、という因果の構造を考えて選びます。この例では、結石の大きさが「どちらの治療を選ぶか」と「成功するか」の両方に影響しているので、大きさごとに分けた内訳のほうが公平な比較です。このデータの範囲では、治療Aのほうが成績が良いと判断できます。反対に、分ける基準そのものが治療や施策の影響を受けて変わる場合は、全体の数字のほうが正しいこともあります。
3. 生存者バイアス ― 見えているのは「残ったもの」だけ
例：第二次世界大戦の爆撃機について、よく語られる逸話があります。帰還した機体の弾痕を調べると、胴体や翼に多く、エンジンには少なかった。では、弾痕の多い場所に装甲を足すべきでしょうか。
なぜ起きるか：統計学者のエイブラハム・ウォールドは、逆の提案をしたと伝えられています。調べられたのは「帰ってこられた機体」だけです。エンジンに弾が当たった機体は、帰ってこられなかった。だから弾痕がない場所こそ、守るべき場所だというわけです（ウォールドが帰還機のデータから、機体の部位ごとの弱さを推定する研究をしたのは事実です。ただ、「エンジンに装甲を」という具体的な場面など、細部は後から脚色された部分が多いとされています）。
実務メモ：「成功企業の共通点」や「長く続いている顧客の特徴」を分析するときは要注意です。途中で消えたもの（失敗した企業、解約した顧客）のデータが含まれているかを、必ず確認しましょう。可能なら、消えたものと残ったものを比べます。たとえば、解約した顧客と続いている顧客を比べると、続くかどうかを分けている違いが見えてきます。
4. 選択バイアス ― 誰のデータなのか
例：「お客様満足度90%！」という結果が出た。ところが、アンケートに答えたのは、会員向けメールを開いた人だけだった。
なぜ起きるか：メールを開く人は、もともとそのサービスに関心が高い人です。不満がある人や離れかけている人は、そもそも回答していません。データが集まる過程で特定の人が選ばれると、結果は全体を代表しなくなります。3章の生存者バイアスも、この選択バイアスの一種です。
実務メモ：分析の前に「このデータは誰のものか」「誰が入っていないか」を書き出しましょう。回答者の年代や利用頻度を、全体の分布と比べるだけでも、偏りに気づけます。偏りがあるときは、ランダムに選んだお客様に回答をお願いする、回答の少ない層の結果を重く数える（重み付け）、といった方法で補います。ただし、重み付けで直せるのは、わかっている偏りだけです。
5. 平均への回帰 ― 施策の効果に見える「自然な戻り」
例：先月の売上成績が下位だった店舗に、てこ入れ施策を行った。今月、それらの店舗の成績は上がった。施策は成功だったのでしょうか。
なぜ起きるか：成績には、店舗の実力のほかに「たまたま」の要素（天候、イベント、偶然の欠品など）が含まれます。先月の下位グループには、実力に加えて、たまたま運が悪かった店舗が多く含まれているはずです。運の良し悪しは毎月入れ替わるので、何もしなくても、翌月は平均に近づきます。これを「平均への回帰」と呼びます。
上の図は、300店舗のシミュレーションです。毎月の成績を「店舗の実力」と「たまたまの変動」の合計として作りました。先月の下位10%の店舗（赤い丸）の平均は81点でしたが、何もしていないのに、今月は93点まで上がり、全体の平均（99点）に近づいています。99点まで戻りきらないのは、低い成績の一部が店舗の実力によるもので、こちらは翌月も変わらないからです。
実務メモ：効果を測るときは、施策をしない比較対象（対照群）を用意しましょう。大事なのは、対照群も同じ条件の店舗から選ぶことです。全店舗と比べると、下位店舗だけに起きる自然な戻りが、施策の効果に見えてしまいます。先月の下位店舗をランダムに2つに分け、片方にだけ施策を行えば、両方のグループで自然な戻りは同じように起きます。そのため、2つのグループの「伸び」の差が、施策の効果になります。1章のA/Bテストと同じ考え方です。
まとめ
5つの落とし穴に共通するのは、「目の前の数字だけでは見えないものがある」ということです。隠れた要因（1・2章）、消えたデータや偏ったデータ（3・4章）、そして偶然のゆらぎ（5章）です。結果を信じる前に、次の5つを確認してみてください。
- ほかに、両方に影響する要因はないか？（相関と因果）
- 分けて見ても、同じ結論になるか？（シンプソンのパラドックス）
- 消えてしまったデータはないか？（生存者バイアス）
- このデータは誰のもので、誰が入っていないか？（選択バイアス）
- 同じ条件の比べる相手（対照群）はいるか？（平均への回帰）
データそのものが間違っていることもあります。しかし、正しいデータでも、読み方しだいで私たちをだますことがあります。数字を見たら、まず一度立ち止まる。それだけで、多くの落とし穴は避けられます。
参考
- C. R. Charig, D. R. Webb, S. R. Payne, J. E. Wickham (1986). “Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy.” British Medical Journal, 292(6524), 879–882. https://doi.org/10.1136/bmj.292.6524.879
- Bill Casselman (2016). “The Legend of Abraham Wald.” American Mathematical Society, Feature Column. https://www.ams.org/samplings/feature-column/fc-2016-06
