★データ解析備忘録★

ゆる〜い技術メモ

統計の誤解と濫用や「p値至上主義」を憂慮しp値の6原則を発表したASAの声明に対する統計学徒の素人意見

アメリカ統計学会がp値に関して以下のような声明を3月7日(現地時間)に発表したということで注目を集めているようです。

AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ON
STATISTICAL SIGNIFICANCE AND P-VALUES
https://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf

また、すでにこの声明に対し複数の方がブログで紹介をしています。
tjo.hatenablog.com
d.hatena.ne.jp

どちらも非常に大事なことが書かれているので、どちらも読むことをお勧めします。
まあこれらの記事は読んでいただくとして、僕は僕なりに思うことがあるのでそれを書こうと思います。

声明のp値に関する6項目を一応自分でも訳してみます。

1. P-values can indicate how incompatible the data are with a specified statistical model.
2. P-values do not measure the probability that the studied hypothesis is true, or the
probability that the data were produced by random chance alone.
3. Scientific conclusions and business or policy decisions should not be based only on
whether a p-value passes a specific threshold.
4. Proper inference requires full reporting and transparency.
5. A p-value, or statistical significance, does not measure the size of an effect or the
importance of a result.
6. By itself, a p-value does not provide a good measure of evidence regarding a model or
hypothesis.

(私訳)
1. p値は「そのデータがある特定の統計モデルに対してどのくらい適さないか」を示し得る。
2. p値は「検証される仮説が真である確率」を示さないし、「ランダムな偶然のみからそのデータが得られた確率」も示さない。
3. 科学的な結論とビジネス・政策的な決定は「p値がある特定の閾値を切ったか」のみに基づくべきではない。
4. 適切な推論には完全なレポーティングと透明性を必要とする。
5. あるp値、あるいはある統計的な有意性は、結果の重要性や効果の量を示さない。
6. p値はそれ自体ではモデルや仮説に関するエビデンスの良い尺度にはならない。

私の立場

私は現在、某K大学の経済学部3年で四月から4年になります。
私の大学の経済学部では1年生から統計学が必修で、僕はさらに統計をメインでやるゼミに入ったので統計を勉強し始めてちょうど3年くらいです。
また、某ベンチャー企業でデータ解析のお手伝いをバイトでしているので実務もほんの少しかじっています。

なんだかんだp値は共通言語として便利(本当は違うけど)

これがこの「p値問題」の根幹なのかなと。
僕はp値至上主義者ではありませんが、なんだかんだp値はインパクトが強いし便利(本当は違うんだけど)。理由は以下です。

p値は統計学をやると結構最初の方に勉強する

通常、統計学を勉強し始めるとき、最初にやるのは古典的なフィッシャー流の統計学*1です。確率変数から始まり、確率分布、仮設検定、単回帰分析、重回帰分析、、と進めていくのが普通です。
だってこれが基礎だから。
p値が最初に出てくるのは仮設検定のところでしょうか?その後も回帰分析で出て来ます。

ところが、これがなかなか解釈しづらい。「p < 0.05なら帰無仮説を棄却して対立仮説を採択するけど対立仮説が正しいとはいってない」ことはどんな先生でも教えるはずですが、学習者からするとこれが超分かりづらい。
また、回帰分析でのp値も帰無仮説は「係数は0」ですからね。p < 0.05だからって係数が推定値だとは誰も言ってないんです。
「はあ?」って感じですよね。僕も統計を勉強し始めて1年間くらいはそんな感じでした。

でもp < 0.05なら「有意」なものとして扱うことにして、解釈を行う。
いい先生なら、重回帰くらいまで学習が進んだところで「p値至上主義はダメ。古典的統計学をやるなら最低限こうしよう」みたいなことを教えてくれるのですが(経験談)、そのような先生ばかりではないでしょう。

大学の授業でベイズ統計ってのは、多くの場合このような古典的な統計学をある程度やってからやるものです。だって古典的統計学は基礎だから。
そうするとベイズをやろうって人自体が結構減ります。

要するに、統計をあんまり深くやっていないと古典的な回帰分析でp値だけを見るようになってしまう。

で、その結果、p < 0.05 にすることが目的となって統計の濫用になる。
社会科学が専門の方に聞いたのですが、たとえ学術研究でも、よくわからないで統計的手法を用いて p < 0.05 にすることが目的化してしまっている例はあるようです*2

この段階で、久保先生の『データ解析のための統計モデリング入門― 一般化線形モデル・階層ベイズモデル・MCMC』に出会っていれば、この「p値問題」に気づけます。

ちゃんとモデリングしろよ

これがこの声明のメッセージなのかと思いました。
統計的手法を使うのなら、学術研究だろうとビジネスだろうと、データに合った適切な手段を用いて、
よくわからずに「とりあえず有意差がでればいい」のではなく、p値を分かったうえで、それに頼らず
ベイズなり決定理論的アプローチなりできちんとデータ解析しなさいよ。ということだと思いました。

ただし、冒頭で紹介した「p値や有意性に拘り過ぎるな、p &lt; 0.05かどうかが全てを決める時代はもう終わらせよう」というアメリカ統計学会の声明に対する某データサイエンティストのブログの声明に対する素人()の声明 - 驚異のアニヲタ社会復帰への道にもあるとおり、p値はあまりにも便利な共通語なので(何度も言うように、本当は違います)、しばらくは「p値依存」な状態は続くのかなあと思います。

とはいうものの...

じゃあp値はなくていいのか?それは違います。
p値そのものに疑問を投げかけたらそのベースにある漸近性とか統計学的基礎を否定することになりかねませんからね。
「正しく使いましょう」ということです。

それを考慮しても、今回の声明は各業界に対して結構衝撃的だったのかなと思います。



以上、統計を勉強しているベイジアン見習いの意見でした。

*1:母集団の平均や分散には「神のみぞ知る」「真の値」があって、、、という統計学

*2:だからこそ、その方は統計を専門にやれる人の重要性を強調していましたが。