林軒田_機器學習技法 Machine Learning Techniques

Lecture 1：Linear SVM

在本課程中機器學習基石課程中所講到的基本工具，將其延伸成複雜實用的模型。

Lecture 2：Dual Support Vector Machine

本節課將從另一個方面入手，研究對偶支持向量機（Dual Support Vector Machine），嘗試從新的角度計算得出分類線，推廣SVM 的應用範圍。

Lecture 3：Kernel Support Vector Machine

上節課的最後，提到 dual SVM 的計算過程其實跟 d^ 還是有關係的。那麼，能不能完全擺脫對 d^ 的依賴，從而減少 SVM 計算量呢？這就是本節課所要講的主要內容。

Lecture 4：Soft-Margin Support Vector Machine

本節課將介紹一種 Soft-Margin SVM，目的是讓分類錯誤的點越少越好，而不是必須將所有點分類正確，也就是允許有 noise 存在。這種做法很大程度上不會使模型過於復雜，不會造成過擬合，而且分類效果是令人滿意的。

Lecture 5：Kernel Logistic Regression

本節課將把 Soft-Margin SVM 和我們之前介紹的 Logistic Regression 聯繫起來，研究如何使用 kernel 技巧來解決更多的問題。

Lecture 6：Support Vector Regression

本節課將延伸上節課的內容，討論如何將 SVM 的 kernel 技巧應用到 regression 問題上。

Lecture 7：Blending and Bagging

本節課開始，講介紹 Aggregation Models，即如何將不同的 hypothesis 和 features 結合起來，讓模型更好。本節課將介紹其中的兩個方法，一個是 Blending，一個是 Bagging。

Lecture 8：Adaptive Boosting

在沒有那麼多 gt 的情況下，使用 bootstrap 方式，從已有數據集中得到新的類似的數據集，從而得到不同的 gt。這種做法稱為bagging。本節課將繼續從這些概念出發，介紹一種新的演算法。

Lecture 9：Decision Tree

AdaBoost 演算法的優點是，即使底層的演算法 g 不是特別好（只要比亂選好點），經過多次疊代後算法模型會越來越好，起到了boost 提升的效果。本節課將在此基礎上介紹一種新的 aggregation 算法：決策樹（Decision Tree）。

Lecture 10：Random Forest

本節課將介紹隨機森林（Random Forest）算法，它是我們之前介紹的 Bagging 和上節課介紹的 Decision Tree 的結合。

Lecture 11：Gradient Boosted Decision Tree

RF 還可以使用 OOB 樣本進行 self-validation，而且可以通過 permutation tes t進行 feature selection。本節課將使用 Adaptive Boosting 的方法來研究 decision tree 的一些算法和模型。

Lecture 12：Neural Network

本節課講介紹一種出現時間較早，但當下又非常火的一種機器算法模型，就是神經網絡（Neural Network）。

Lecture 13：Deep Learning

本節課將繼續對神經網絡進行深入研究，並介紹層數更多、神經元個數更多、模型更複雜的神經網絡模型，即深度學習模型。

Lecture 14：Radial Basis Function Network

本節課將介紹 Radial Basis Function Network，把之前介紹的 adial Basis Function 和 Neural Network 聯繫起來。

Lecture 15：Matrix Factorization

本節課主要介紹了 Matrix Factorization。通過電影推薦系統的例子，介紹 Matrix Factorization 其實是一個提取用戶特徵，關於電影的線性模型。

Lecture 16：Finale

本節課將對機器學習技法課程介紹過的所有內容做個總結，分成三個部分：Feature Exploitation Techniques，Error Optimization Techniques和Overfitting Elimination Techniques。