PRML輪読4, 5日目

ディープラーニングとのギャップを感じて深層学習に浮気しつつも予定通り輪読も進めています。
また更新忘れていたので二日分のまとめ

進捗

4日目の範囲

  • 2 : 確率分布
  • 2-1 : 二値変数
  • 2-2 : 多値変数

5日目の範囲


さすがに1回1時間の輪読では全然計算をカバーできなくなってきて、大事だとおもったところの式展開を追いかけつつ流れを追うような感じで進めています。2章が終わったくらいで一通り計算して答え合わせ回みたいな回を作るかも....

ベイズのための確率分布

この章は1章で導入したベイズ理論のためにいろいろな確率分布を紹介しています。

重要な概念として、共役事前分布があり、このような性質を持つ分布は事前分布に使った時に事後分布も同じ形をとります。つまり、この分布を使えば簡単に次々と増えた情報を確率の補正に適用でき、また逆にこのような性質を持たない分布を使ってベイズ的な確率の取り扱いは困難でしょう。

ここまでの感触

まず導入として二項分布の拡張であるベータ分布などを押さえて、ガウス分布を取り扱いました。ガウス分布については、だいぶ線形代数の知識が求められて計算が重たくなってきました。
また、それぞれの分布が具体的にどの局面で使われるのかという対比がまだうまくできていないのでそこを考察する必要を感じています。なので2章が終わった後で考察してまとめます。