Learning a kernel function for classification with small training samples

http://portal.acm.org/citation.cfm?id=1143895

Boosting margin based distance functions for clustering

http://portal.acm.org/citation.cfm?id=1015389

Boostingのテクニックを用いてカーネル学習を行うsemi-supervised learning。Boostingを使うので、学習するカーネルはweak kernel（後述）の線形結合になる。weak kernelとは、誤解されやすい言葉だが、Boostingのweak learnerのように、線形結合されるもの、というくらいの意味。weak kernelに何を使うか、という選択肢に関しては、制約つきEMを解くことによって得られるノンパラメトリックなカーネルを使う。つまり、Boostingによってインスタンスの分布を更新しながら、制約つきEMを解くことによって得られるカーネルの線形結合を、最終的なカーネルとする。

制約つきEMは、インスタンスとクラスラベルのペアを教師データとするのではなく、インスタンスのペアが同じGaussian Distributionに基づいて発生した、というインスタンスのproduct spaceに関する情報を教師データとして、それを守るようなGaussian Distributionを定式化し、EMアルゴリズムでそれをとく、という手法らしい。引用論文を後でチェックするつもり。

マハラノビス距離を学習する方法ともうひとつ（忘れた）が、semi-supervised learningおよびクラスタリングにおける距離関数の学習法として主流らしいが、実験によればこの手法はそれらをしのぐ非常によい結果を出している。だが、一編目の論文にある手法ですら上に述べたように、いろいろな手法の組み合わせでできていて複雑だし、Boostingを使っている、といっても繰り返し回数を固定で打ち切るようなことをしていて、アルゴリズム的に完成系という感じではない。今後、理論的な裏づけがなされていくのだろうか？複雑なのでうまく理論的な解析ができるのかよくわからない。

二編目のほうは、semi-supervised learning以外に、retrievalの実験が結構よくて、一編目の技術だけではカバーできないようなケース（インスタンスの分布がそもそもGaussianにならないようなケース）に対応する拡張はしていて、進歩はしているのだが、アイディア・テクニックの面白さはすべて一編目にあるような感じ。

これらの論文を軸にして、semi-supervised learningの最近の研究を洗っていけると楽しそう。