本節課主要介紹了 Gradient Boosted Decision Tree。首先講如何將 AdaBoost 與 Decision Tree 結合起來,即通過 sampling 和 pruning 的方法得到AdaBoost-D Tree 模型。然後,從 optimization 的角度來看 AdaBoost,找到好的 hypothesis 也就是找到一個好的方向,找到權重 α 也就是找到合適的步進長度。
影片內容 pdf:https://www.csie.ntu.edu.tw/~htlin/course/mltech18spring/doc/211_handout.pdf
extended reading:
Greedy Function Approximation: A Gradient Boosting Machine (Friedman)
1.http://statweb.stanford.edu/~jhf/ftp/trebst.pdf