今回は続きのFAB(Factorized Asymptotic Bayesian inference)についてメモる。
hirotaka-hachiya.hatenablog.com
【4. Factorized Asymptotic Bayesian Inference Algorithm】
まず、FICに含まれるは、ML(Maximum Likelihood)推定量なのだが、実際には求めることができない。そこで、下記のFICの下限を最大化するFABを導入する。
ここでは、2つの不等式を用いている。1つ目は、を用いている。これはなので自明である。2つ目は、以下の凸関数の不等式を用いている。
凸関数の点における接線の間には以下の不等式が成り立つ。
ここで、とすると、以下の不等式が得られる。
さらに、、とすると、以下の不等式が得られる。
http://www.sugakukobo.com/pdf/Nagoya_Lecture_note-2012.pdf
論文では、とと設定しているため、最終的には以下の不等式を用いていることになる。
この下限を最大化する問題に落とし込むことにより、まず、ML推定量を求める必要がない点に加え、計算困難ながを中心とした線形の計算に置き換わるので良いとのこと。
以下のLemma5によると、はの時に式(12)が最大になるとのことだが、自分で確認した限りではの時に最大となった。。。
この式(12)を、すべてのモデルの候補Mに対して計算し、最大値をとるモデルを選択する。単にコンポーネント数を選択するだけであれば、Cmax回式(12)を計算すればよいが、各コンポーネントのモデルS1,...,Scまで選択するとなると組み合わせ問題になる。ただし、FABは、目的関数がS1,...,Scに分解することができるため、組み合わせ問題を回避できるとのこと。
【4.2 Iterative Optimazation Algorithm】
Cを固定して、式(13)を最大化するために、次のVステップとMステップを繰り返す。
ここで、Vステップの式(15)は、式(11)の汎関数をに関する微分をとり0と置くことにより得られたの式にあるを代入することにより得られる。
ここで、式(15)のは、混合比が小さい場合により小さい値を取り、また各コンポーネントのモデル次元が大きい場合にも、より小さい値を取るような正則化項になっている。