★データ解析備忘録★

ゆる〜い技術メモ

『ベイズ法の基礎と応用』を読みました

間瀬茂先生による『ベイズ法の基礎と応用-条件付き確率分布による統計モデリングMCMC法を用いたデータ解析-』が昨日に発売されたようなので早速買ってみました。

Amazon Primeで注文から家に届くまで12時間。早い。
このいかにも学術書という雰囲気が好きです。

肝心の感想ですが、まだ流し読みした程度なので内容について詳しいことは書けませんが、
近年のベイズ統計に関する本の出版ラッシュ*1を受けてこの本がどういう感じの本なのかを重点的に書きたいと思います。

構成

A5版で250ページと標準的な長さですが、非常に網羅的です。

第1章 ベイズの定理,ベイズ統計学ベイズ主義,そして現代ベイズ

1.1 ベイズの定理の誕生
1.2 ベイズ統計学
1.3 マルコフ連鎖モンテカルロ
1.4 現代ベイズ

第2章 確率分布と密度関数

2.1 基本的記号と概念
2.2 確率分布と密度関数
2.3 同時密度と周辺密度
2.4 事象の独立性
2.5 確率変数列の独立性

第3章 条件付き確率と密度,ベイズの定理

3.1 条件付き確率とベイズの定理
3.2 オッズ比に対するベイズの定理
3.3 ベイズ比に対するベイズの定理
3.4 条件付き密度に対するベイズの定理
3.5 事後分布化の推移性
3.6 条件付き期待値と条件付き分散
3.7 条件付き独立性
3.8 最大エントロピー法:データのないベイズ
3.9 例:病気とその診断法
3.10 例:確率論の誕生の瞬間,パスカルフェルマーの書簡
3.11 例:モンティ・ホール問題
3.12 例:ベイズ
3.13 例:ラプラスの継起規則
3.14 例:事後分布化の推移性
3.15 例:条件付き平均と条件付き分散
3.16 例:軍事機密とされたベイス法

第4章 最尤推定

4.1 統計モデルと推定
4.2 尤度関数と最尤推定
4.3 最尤法と対数尤度方程式
4.4 例:1次定常マルコフ連鎖
4.5 例:家系図データ
4.6 例:人間の血液型の遺伝
4.7 情報量不等式
4.8 EM アルゴリズム
4.9 例:EM アルゴリズムによる人間の血液型の遺伝

第5章 ベイズ推測理論

5.1 事前分布と事後分布
5.2 例:事後分布
5.3 ベイズ推定量とMAP推定量
5.4 例:人間の血液型の遺伝
5.5 事後予測分布
5.6 例:事後予測分布
5.7 一変量共役事前分布
5.8 事後分布に対する極限定理
5.9 例:映画のレイティング
5.10 尤度比検定とベイズ因子
5.11 例:尤度比検定とベイズ因子
5.12 例:ベイズ判別分析

第6章 モンテカルロ法

6.1 モンテカルロ法
6.2 例:ビュッフォンの針問題
6.3 疑似乱数
6.4 重点サンプリング法
6.5 例:重点サンプリング法
6.6 重点サンプリングからの再サンプリング(SIR)法
6.7 例:SIR法
6.8 例:SIR法を使った事後分布標本の再サンプリング
6.9 二つの確率変数の差の比較
6.10 例:二つの確率変数の差の平均
6.11 負相関変数の利用
6.12 例:負相関変数の利用
6.13 制御変数の利用
6.14 例:制御変数の利用
6.15 条件付き平均の利用
6.16 例:条件付き平均の利用
6.17 ブートストラップ法と交差検証法

第7章 MCMC

7.1 有限状態空間上のマルコフ連鎖
7.2 連続状態空間上のマルコフ連鎖
7.3 メトロポリス抽出法の理論的基礎
7.4 ギブス抽出法
7.5 例:メトロポリス抽出法とギブス抽出法
7.6 データ増幅法
7.7 スライス抽出法
7.8 例:スライス抽出法
7.9 潜在変数モデル
7.10 例:潜在変数モデル
7.11 ギブス分布とハミルトニアンMC 抽出法
7.12 例:ハミルトニアンMC 法
7.13 混合性の問題
7.14 加熱(heated)MCMC
7.15 MCMCMC法
7.16 例:加熱MCMC
7.17 モデル選択
7.18 MCMC 法の収束性の診断
7.19 MCMC 法とベイズ

第8章 アニーリング法

8.1 アニーリング法の原理
8.2 アニーリング法のアルゴリズム
8.3 例:トラベリング・セールスマン問題
8.4 例:ワイルドな関数の最小化
8.5 例:2 変数Rastrigin 関数の最小化
8.6 例:二値画像の総エネルギーの最小化

第9章 階層的ベイズモデル

9.1 共役超事前分布
9.2 階層的ベイズモデルによる推論
9.3 階層的回帰モデル
9.4 例:多項事前分布とディリクレ超事前分布
9.5 例:bank データ
9.6 例:オレンジジュースの販売データ
9.7 例:地震震度予測

第10章 マルコフ確率場と画像解析

10.1 マルコフ確率場
10.2 マルコフ確率場の例
10.3 例:マルコフ確率場による多値画像のシミュレーション
10.4 マルコフ確率場と画像解析
10.5 例:MAPP 推定法による雑音の除去
10.6 エッジ過程

第11章 ベイジアン・ネットワーク

11.1 DAGとベイジアン・ネットワーク
11.2 エビデンスと事後周辺分布
11.3 ベイジアンネットワークの例
11.4 BP アルゴリズム
11.5 BP アルゴリズムの簡単な例
11.6 ベイジアンネットワーク・モデルの推定
11.7 ベイジアン・ネットワークのモデル選択
11.8 ベイジアンネットワークのシミュレーション
11.9 ナイーブ・ベイジアン・ネットワーク
11.10 ベイジアンスパムフィルター
11.11 例:ナイーブ・ベイジアン・ネットワークの企業格付け問題への応用

第12章 線形混合モデル

12.1 線形混合モデル
12.2 正規線形混合モデル
12.3 例:歯列成長データ
12.4 例:線形混合モデルによる格付けデータの予測

第13章 隠れマルコフモデル

13.1 隠れマルコフモデル
13.2 前進・後退アルゴリズム
13.3 Viterbi アルゴリズム
13.4 Baum-Welch アルゴリズム
13.5 例:いかさまカジノ実験

第14章 状態空間モデルと逐次的モンテカルロ法

14.1 状態空間モデル
14.2 ベイジアン・フィルタリング方程式
14.3 カルマンフィルター
14.4 逐次的重要サンプリング法
14.5 逐次的重要再サンプリング法
14.6 ブートストラップ・フィルター
14.7 例:ブートストラップ・フィルター法
14.8 ベイジアン平滑化方程式
14.9 パラメータ推定

第15章 統計システムR のベイズ法関連パッケージ

15.1 R のベイズ法関連パッケージ

たった250ページでこれだけの内容を駆け抜けます。
ですので、当然ですが理論に関しては図を用いたり概念的な説明は少なく、数式がほとんどです。

僕はそういうものを求めて購入したのでいいのですが、
少なくとも「入門用」の本ではないかなと思います。

ただ、何章か読んだ感じでは数式の流れは分かりやすく書かれているので、ベイズ統計を(数式で)勉強したことがある人なら初めての内容も比較的分かりやすいのかなと思いました。
ですので、数式でしっかり理解したい人にはおすすめです。

特徴

  • 数式が多い割には、目次にもある通り例題が多めなのが特徴だと思います。
  • Rパッケージに含まれているサンプルデータを使用しているものもあるようで、結果はきちんと示されているものの、コードはないようです。
  • ただし、分かりやすい例題でイメージはつかみやすい。

感想

  • まずは全部通してちゃんと読みます。(←大事)
  • 前書きにもある通り、「概観する」にはちょうどよさそう。
  • 例題にコードがないので、データが手に入るものとかはRやSASでトレースしてみると勉強になりそう。
  • 最終章のRの関連パッケージにStanが書かれていなかったのはどうしてだろう?

発見した誤植

(2/10現在)

  • 162, 165ページ。「 N(vec(\Delta_0),V_\beta\oplus A^{-1})」とあるが「V_\beta\otimes A^{-1}」では?p.162の脚注も同様。