Bayesian Paradigmの勉強で印象に残ったことのメモ

勉強のログ

• June 16: Conjugate priorとeffective sample sizeの話は結局何が大事なのかあまりわからなかった

  • July 12: Conjugate priorに関して、belnooli/binomial distributionやnormal distribution, unifrom distributionが汎用的なbeta distributionという括りでまとめられるのが面白い。この場合、Beta distributionを元にパラメータを随時推定できる。また、別の例だとexponential distribution, poisson distributionがGamma distributionという汎用的なくくりでまとめられるのが面白い。

• June 16: データを段階的に準備して、それを数段階に分かれてposteriorを計算し、次の段階でそれをpriorとして用いてposteriorを計算することを繰り返した場合と、データを一括でまとめて計算した場合のposteriorが一緒になるのは凄い！

• July 12: Beta distributionやGamma distributionのposteriorの計算がシンプルだったのに対して、normal distributionの場合のposteriorの場合は少しややこしい。それは、数式がややこしいのもあるし、(i) meanが分からないが、varianceが既知の場合や、(ii)meanもvarianceも分からない場合、などの複数のシチュエーションが講座で扱われていて、少し頭が混乱している。

• June 16: オフィスで週末にcourseraのBaysien Statsの勉強していたら、たまたまThe 2nd Bayes-Duality Workshop 2024というカンファレンスで登壇する人と遭遇して、いろいろ話を聞いた。また時間があったら取り扱われた内容を読んでみよう。 https://bayesduality.github.io/workshop_2024.html

• July 12: posterior "predictive" distributionを考えることのメリットがよく分からない。なぜposterior distributionだけじゃダメなんだろう。

• Sept 7th: Geminiにこのブログ記事を読ませて今後の方向性のフィードバックをもらった

Suggestions for Further Exploration

- MCMC Methods: As you delve deeper into Bayesian modeling, consider exploring Markov Chain Monte Carlo (MCMC) methods, which are essential for dealing with complex models or non-conjugate priors.
- Model Selection: Learn about Bayesian model selection techniques, such as Bayes factors or WAIC, to compare different models and choose the most appropriate one for your data.
- Bayesian Deep Learning: Explore the intersection of Bayesian methods and deep learning, which has gained significant attention in recent years.