コンピュータ科学論文

Evidence Contrary to the Statistical View of Boosting

Evidence Contrary to the Statistical View of Boosting David Mease, Abraham Wyner; 9(Feb):131--156, 2008. AdaBoostは強力な学習アルゴリズムである。しかも、2000年代になって、Additive Modelという統計モデルの上で論じられ、なぜAdaboostやその派生…

Greedy Function Approximation: A Gradient Boosting Machine

Greedy Function Approximation: A Gradient Boosting Machine - Friedman (ResearchIndex) AdaBoostやLogitBoostの枠組みでは、真の分布が未知であるために、これを訓練例を代用してある損失関数を最小化する。ところが、これは代用品に過ぎないだけでなく…

Asymmetric Boosting

Hamed Masnadi-Shirazi, Nuno Vasconcelos, Asymmetric boosting, In Proceedings of the 24th international conference on Machine learning, 2007. Asymmetricとは、ここではinbalanced dataとか、cost sensitive learningといった意味。AdaBoostをConst …

Transductive Inference for Text Classification using Support Vector Machines

Transductive Inference for Text Classification using Support Vector Machines - Joachims (ResearchIndex) テキスト分類へのSVMの応用、SVMlight等で有名なJoachimsの論文。ICML1999のBest Papersにも選ばれている。 Transductive Learningを簡単に定義…

Boosting for Transfer Learning

Wenyuan Dai, et. al, Boosting for Transfer Learning, ICML2007. 少しの新しい学習データがあれば、Adaboostを借りて、古い学習データの中から使えるものを選び出す(高いウェイトをつける)、という方法。前半のIterationでは新しい学習データを強化し、…

Additive Logistic Regression: a Statistical View of Boosting

Additive Logistic Regression: a Statistical View of Boosting - Friedman, Hastie, Tibshirani (ResearchIndex) http://citeseer.ist.psu.edu/friedman98additive.html ブースティングといえば、AdaBoostに始まり、いろいろな工夫がなされたけども、結局A…

Experiments with a New Boosting Algorithm - Freund, Schapire

Experiments with a New Boosting Algorithm - Freund, Schapire (ResearchIndex) http://citeseer.ist.psu.edu/freund96experiments.html 1996年現在の実験を中心にまとめた論文。Weak learner(FindAttrTest, FindDecRule, C4.5)と、アンサンブル学習アルゴ…

Learning a kernel function for classification with small training samples

Learning a kernel function for classification with small training samples http://portal.acm.org/citation.cfm?id=1143895 Boosting margin based distance functions for clustering http://portal.acm.org/citation.cfm?id=1015389 Boostingのテクニ…