Greedy Function Approximation: A Gradient Boosting Machine

Greedy Function Approximation: A Gradient Boosting Machine - Friedman (ResearchIndex)

AdaBoostやLogitBoostの枠組みでは、真の分布が未知であるために、これを訓練例を代用してある損失関数を最小化する。ところが、これは代用品に過ぎないだけでなく、たとえばノイズが多い場合には問題になりそうだと想像がつく。Gradient Boostingでは、訓練例をそのまま用いる代わりに、関数空間において最小に情報を適用し、弱学習機を設計する枠組みを与える。また、ノイズの問題だけでなく、指数損失関数以外の損失関数を採用する上でもアドバンテージがある。このような枠組みを与えた上で、least-absolute-deviationやHuber-lossや、それらを弱学習器としてRegession Treeを採用した具体的なアルゴリズムを示している。