本節課主要介紹了 SVR,先通過 representer theorem 理論,將 ridge regression 轉化為 kernel 的形式,即 kernel ridge regression,並推導了 SVR的解法。但是得到的解法是 dense 的,大部分為非零值。所以,定義新的 tube regression,使用 SVM 的推導方法,來最小化 regularized tube errors,轉化為對偶形式,得到了 sparse 的解法。
影片內容 pdf: https://www.csie.ntu.edu.tw/~htlin/course/mltech17spring/doc/206_handout.pdf
extended reading:
1.SVM versus Least Squares SVM (Ye and Xiong)
http://proceedings.mlr.press/v2/ye07a/ye07a.pdf
2.A Tutorial on Support Vector Regression (Smola and Scholkopf)
http://www.svms.org/regression/SmSc98.pdf