Asymmetric Boosting

Hamed Masnadi-Shirazi, Nuno Vasconcelos, Asymmetric boosting, In Proceedings of the 24th international conference on Machine learning, 2007.

Asymmetricとは、ここではinbalanced dataとか、cost sensitive learningといった意味。AdaBoostをConst sensitive learningに拡張する。これまでに、AdaC1, AdaC2, AdaC3 (Sun et al., 2005), CSB0, CSB1, CSB2 (Ting, 2000), AdaCostなどが提案されてきたが、インスタンスウェイトの更新や最急降下法のふり幅の決め方をヒューリスティックに補正したものにとどまっていた。

提案のAsymmetric AdaBoostでは、非対称なコストが与えられたときに、このコストの元でのベイズの誤り確率に近づけるという基準(このアイディアがこの論文の最大のポイント)で、インスタンスウェイトの更新とふり幅を決めるという、理論的裏づけを持ったアルゴリズムである。オリジナルのAdaBoostは、(コストが対象な)ベイズの誤り確率に近づける(=指数損失関数を使う)ので、これの自然な拡張となっている。そのため、コストを対象にした場合、Asymmetric AdaBoostはおのずからAdaBoostと同じになる。

さらに、Cost sensitiveであることを人工的なデータで裏付けたり、AdaBoostと同様に、training errorが下がりきった後でも、test errorが低下するというLarge margin classifierの特性を引き継いでいることを実験で示している上、精度も従来手法を上回り、安定性もよい。

論文の構成もよく、読みやすい。