統計のウソに騙されるな! 恐ろしい「シンプソンのパラドクス」を知っておこう 2013年5月27日 仕事のエコノミクス ツイート ビジネスに活用できる実践的な知識として、「統計学」がブームだ。 東大医学部卒の統計専門家、西内啓氏の『統計学が最強の学問である』はベストセラーになった。「週刊ダイヤモンド」も「最強の武器『統計学』」と題した特集を展開し、売り上げ好調だったという。 統計学を身につけていれば、仕事の幅も広がる。多変量解析などの知識と技術は、業種や職種を問わず応用範囲が広いし、仮説を統計的に検証するカイ2乗検定やt検定といった手法は、マーケティングの現場でも使われる。 そればかりではない。統計学を理解すれば、他人から騙されにくくなる。逆に言えば、統計学を知らない人を騙すことは容易なのである。その典型例のひとつが「シンプソンのパラドクス」だ。 米国の統計学者E. H. シンプソンが提示した「集団を2つに分けた場合にある仮説が成立しても、集団全体では正反対の仮説が成立することもある」という統計学的なパラドックスのことである。 例えば、A高校とB高校の成績を比べてみよう。次のような場合、全体の平均点が高いのはどちらだろうか? ・男子の平均点は、A高校がB高校より5点高かった。 ・女子の平均も、A高校がB高校より5点高かった。 統計学を知らなければ、「そりゃA高校でしょ」と即断してしまうが、正しくは「これだけでは、どちらか分からない」のである。 なぜだろうか。西内氏が著書で挙げている例をもとに、具体的な平均点を見ていくと、男子のA高校は160人で60点、B高校は40人で55点。次に女子を見ると、A高校は40人で75点、B高校は160人で70点だったとする。 男子も女子もA高校のほうが平均点が高いが、それぞれの得点計をもとに、全体の平均点を計算するとどうなるだろうか。表からも一目瞭然だが、なんとB高校の平均点のほうが4点も高くなるのだ。 経営会議に間違った分析資料を出したら大変だ これは数学的には「加重平均」という処理の差によるものである。A高校もB高校も、それぞれの高校内で平均点を比べると、女子の方が高い。その好成績に寄与している女子がB高校のほうが多いから、本来ならばB高校により多くの「加重」をしなければならない。 ところが、この知識がないと、最初の問題文を読んだだけで「単純平均」をイメージしてしまうために、正解を誤るのである。 このことは、たとえば医師の治療成績などを比較するときに、より深刻な問題をもたらす。A高校とB高校を、それぞれA医師とB医師、あるいはA病院とB病院に置き換えてみると容易に想像できるだろう。 肝臓の治療成績を比較すると、A医師はB医師より成績がよかった。腎臓の治療成績を見ても、A医師はB医師より成績がよかった。このことから、A医師はB医師よりも優秀だと言えるだろうか。 答えはもちろんNOである。全体を平均すると、B医師のほうが治療成績は高くなることもある。 うっかり勘違いを元に他人を批判して、恥ずかしい思いをしないようにしたいし、経営上の意思決定の場に間違った資料を提出して、会社を危険に晒さないようにしたい。もちろん、わざと他人をだますような使い方も禁物だ。
統計のウソに騙されるな! 恐ろしい「シンプソンのパラドクス」を知っておこう
ビジネスに活用できる実践的な知識として、「統計学」がブームだ。
東大医学部卒の統計専門家、西内啓氏の『統計学が最強の学問である』はベストセラーになった。「週刊ダイヤモンド」も「最強の武器『統計学』」と題した特集を展開し、売り上げ好調だったという。
統計学を身につけていれば、仕事の幅も広がる。多変量解析などの知識と技術は、業種や職種を問わず応用範囲が広いし、仮説を統計的に検証するカイ2乗検定やt検定といった手法は、マーケティングの現場でも使われる。
そればかりではない。統計学を理解すれば、他人から騙されにくくなる。逆に言えば、統計学を知らない人を騙すことは容易なのである。その典型例のひとつが「シンプソンのパラドクス」だ。
米国の統計学者E. H. シンプソンが提示した「集団を2つに分けた場合にある仮説が成立しても、集団全体では正反対の仮説が成立することもある」という統計学的なパラドックスのことである。
例えば、A高校とB高校の成績を比べてみよう。次のような場合、全体の平均点が高いのはどちらだろうか?
・男子の平均点は、A高校がB高校より5点高かった。
・女子の平均も、A高校がB高校より5点高かった。
統計学を知らなければ、「そりゃA高校でしょ」と即断してしまうが、正しくは「これだけでは、どちらか分からない」のである。
なぜだろうか。西内氏が著書で挙げている例をもとに、具体的な平均点を見ていくと、男子のA高校は160人で60点、B高校は40人で55点。次に女子を見ると、A高校は40人で75点、B高校は160人で70点だったとする。
男子も女子もA高校のほうが平均点が高いが、それぞれの得点計をもとに、全体の平均点を計算するとどうなるだろうか。表からも一目瞭然だが、なんとB高校の平均点のほうが4点も高くなるのだ。
経営会議に間違った分析資料を出したら大変だ
これは数学的には「加重平均」という処理の差によるものである。A高校もB高校も、それぞれの高校内で平均点を比べると、女子の方が高い。その好成績に寄与している女子がB高校のほうが多いから、本来ならばB高校により多くの「加重」をしなければならない。
ところが、この知識がないと、最初の問題文を読んだだけで「単純平均」をイメージしてしまうために、正解を誤るのである。
このことは、たとえば医師の治療成績などを比較するときに、より深刻な問題をもたらす。A高校とB高校を、それぞれA医師とB医師、あるいはA病院とB病院に置き換えてみると容易に想像できるだろう。
肝臓の治療成績を比較すると、A医師はB医師より成績がよかった。腎臓の治療成績を見ても、A医師はB医師より成績がよかった。このことから、A医師はB医師よりも優秀だと言えるだろうか。
答えはもちろんNOである。全体を平均すると、B医師のほうが治療成績は高くなることもある。
うっかり勘違いを元に他人を批判して、恥ずかしい思いをしないようにしたいし、経営上の意思決定の場に間違った資料を提出して、会社を危険に晒さないようにしたい。もちろん、わざと他人をだますような使い方も禁物だ。