第？回NPBセミナーに参加してきました

文献 勉強会 研究メモ

ウチの大学の@tanichu先生を中心としてノンパラベイズを勉強するNPBセミナーに参加してきました。
https://sites.google.com/site/ritsamlproject/information/npbseminanoozhirase2011822
ウチの大学以外にも都合の付くときはNICTの人やKUの人たちも参加してて、混合ディリクレ過程やガウス過程等の勉強をしています。終了予定19時でもロスタイム突入で、21-22時とかよくあるというなかなか濃ゆいセミナーです。

今回のプログラムはこんな感じでした。

  1. ガウシアンプロセス(GP)を用いた音楽の演奏表情生成 by @okeihaan さん
  2. Infinite Hierarchical Hidden Markov Models by @tanichu 先生
  3. Beam sampling for the infinite hidden markov model by @phelrine 君
  4. 拡張ペアワイズ表現を用いた一般化多変量解析 by @interactlab 先生
  5. A Nonparametric Bayesian Model of Multi-Level Category Learning by 僕(@y2squared)

これで13：00スタートの終了20：30とか素敵なゼミでした。（終わるころには僕のHPが赤く点滅してました^^；)

まずは@okeihaanさんの研究紹介「GPを用いた音楽の演奏表情生成」

カラオケで好きな歌をうたうとき，私たちはなにげなく強弱やテンポの抑揚をつけて歌っています．このように音楽を演
奏するとき，私たちは楽譜では必ずしも書かれていない微少な強弱やテンポの変動によって"表情豊かな"演奏が作ってい
ます．1980年以降このような表情豊かな演奏を計算機によって生成しようという研究が始まり，様々な手法が提案されてきました．
私たちはノンパラメトリック手法の1つであるGaussian Process(ガウス過程)を用いて学習．推定を行うモデル(usapi)を
提案しています．このusapiでは楽譜情報とピアニストの演奏データの関係を学習し，新たな楽譜が入力されたときに，
学習したピアニストの演奏のような演奏を推定するという学習モデルです．
Gaussian Processを用いることで演奏表情付け課題でこれまで何だかんだ言って必要だった"手入力"をほぼ排除すること
ができるだけではなく，適切な学習サンプルがなかった場合でも，補完させることで自然な演奏を生成することができま
す．演奏表情付けって何？というところをスタート地点として，Gaussian processをどう用いたか，用いてみて，あれこ
れ試行錯誤していたことについてお話できればと思います

入力（譜面情報）x→真の分布ｙ→（ガウスノイズ）→観測（ラベル、実際の音）ｔの関係について、GPで学習を行い譜面情報に演奏表情をつけて自動演奏する仕組みを作ったよという話。音楽のような感性が絡むようなものの学習とか自動生成って評価がアンケート頼りでいかにも難しそうって思っていたけれど主観評価ではなく、ちゃんとした指標で客観評価されててすごいなと思いました。また、GPを使うにしても論文的な理論の部分と実際のデモのためのチューニングの話とかも具体的な分すごい興味深い話が聴けてよかったです。


　続いては、@tanichu先生による文献紹介「Infinite Hierarchical Hidden Markov Models」
(PDF)
　
　HDPからずっとお世話になり続けてるTehさんたちの論文．Infinite Hidden Markov Model（もしくはHDP-HMM）は隠れ状態数が理論上無限という話であったのに対し，Infinite Hierarchical Hidden Markov Models(IHHMM)というのはHierarchical Hidden Markov Models(HHMM)の階層が無限大まで飛ばせるよというお話．具体的にはHHMMは各状態遷移の間にさらに隠れ状態変数ｆを経由して条件を伝播させるようにしていたけど，iHHMMでは下層の切れ目でないと上層の切れ目にはなりえないという制約を、上手く使うため、各階層の状態遷移がおこるか否かを補助変数ｚを用いて、ｚをHMMのパラメータ学習とは独立にサンプリングすることで対応したとのこと*1．学習自体はHMMでよく出てくるForward-backwardアルゴリズムなのでそこは何とか理解できた＾＾；（なんとかじゃダメだろって突っ込みはなしで！）@tanichu先生と@phelrineくんの欲しかったのはinfinite Hierarchical infinite Hidden Markov Modelだったようで少しずれてたという残念な結末と，尤度評価で提案法を従来法と比較しても最下層からせいぜい３つもあれば事足りてしまうのでInfiniteな深さがとれるという提案法の良い点が実験的には主張できなかったこと；；
　ディスカッション中の@okeihaanさんの「そもそも無限まで多重階層化したところでそんなInfiniteな階層が必要な状況ってあるの？」って質問がなかなか鋭かった。さすが@okeihaanさん．


　続いては@phelrineくんの文献紹介だったけど@interactlab先生の時間の都合もあり順番を入れ替えて「拡張ペアワイズ表現を用いた一般多変量解析」の紹介

そもそも，PCAやCCA，LPPといった手法は，全てペアワイズ表現 \sum A_{i,j}(x_i-x_j)B(x_i-x_j)^Tというものの一般化固有値問題で纏められるよという話があって、そこにデータ独立項（いわゆる正則化項みたいなもの）をつけたのが拡張ペアワイズ表現．この考え方をつかうとPCAやCCAが同じフレームワークで扱えるのでそれらの混合が楽なのと正則化項も簡単に足すことができるモデルなので，新しいモデルも作れるんじゃないか？という主張．のはず！レイリー商って単語を初めて聞いたのでそのあたりから付いていけずに心が折れてました^^;そんな内容をすらすら理解できる学部2回生の@i_horseくんマジぱねぇ．


　この時点ですでに18:00越えｗいつも通りの展開ですｗ

　ちょっと休憩を挟んで次は@phelrine君の「Beam sampling for the infinite hidden markov model」の紹介VideoLectures

こっちはiHHMMではなくてiHMMのお話．Forward-Backwardアルゴリズムの際に状態数が無限であることを考えると処理時間が大変なことになるよね．そこでスライスサンプリングを行って閾値未満の尤度を持つ状態のパスを削除していくことで最適パスの計算を効率的に行いましょうって話．名前がBeam SamplingだからBeam Searchと繋がるかと思ったらスライスサンプリングによるMCMCでした．状態数が減る分パスの計算が割と早くなるのがウリかな．スライスサンプリングはhttp://www.mathworks.co.jp/help/ja_JP/toolbox/stats/br5k9hi-5.html#br5k9hi-7　とかが参考になるかと．


　そして、最後に、僕が「A Nonparametric Bayesian Model of Multi-level Category Learning」の紹介をしました．

発表資料はこちらになります．

20110822文献紹介
View more presentations from Yutaka Yamada
基本的にはHDPの表現の１つであるCRFに，さらにツリーの親子関係を表現するための補助変数τ(τ_ｉ：iの親)を導入し，τもサンプリングを行うことで適切なツリー構造を作ろうと言うものです．この手法に限らず，ＣＲＦで上の階層にproxy customerとして客が行くけど客はあくまでテーブルなのが違和感を感じるよねって先生と話してました．このあたりなぜテーブルの個数で合ってテーブルの客数でないのか直感にそぐわないので分かる人がいたら教えてもらえると助かります＾＾
　そして，この手法のメインともいえる部分だと思うんですがギブスサンプリングの事後分布の導出．ここがほとんどわかりませんでした＼（^o^）／
もう少し数式に強くなる必要がありますね．

　次は土曜日の勉強会と9月のCVPRML勉強会。9月の方はICCVの金出先生とLi Fei-Feiの論文の紹介があるのでなかなか死亡フラグが建ってますが頑張るぞ！

*1:HHMMはDynamic Bayesian Networkから来ていることもあり間に入る補助変数は次状態にも影響を及ぼす