【QA】什麼是彈性網路(Elastic Net)？? - Cupoy

2021/09/06 下午 08:49

機器學習共學討論版

Ray

觀看數：2139

回答數：1

收藏數：1

回答列表

• 2021/09/06 下午 08:52
  Ray
  贊同數：0
  不贊同數：0
  留言數：0

  彈性網路(Elastic Net)可以看作是L1 regularization和L2 regularization的混合版，彈性網絡同時使用了L1和L2正則化，因此其數學式中就綜合了L1與L2的懲罰項，如下所示 **L1 regularization：**  **L2 regularization：**  **Elastic Net regularization：**  ----------- 雖然Lasso(也就是L1 norm)模型會執行變數挑選，但一個源自於懲罰參數的結果就是，通常當兩個高度相關的變數的係數在被逼近成為0的過程中，可能一個會完全變成0但另為一個仍保留在模型中。此外，這種一個在內、一個在外的處理方法不是很有系統。相對的，Ridge(L2 norm)模型的懲罰參數就稍具效率一點，可以有系統的將高相關性變數的係數一起降低。於是，Elastic Net模型的優勢就在於，它綜合了Ridge 懲罰項達到有效正規化優勢以及Lasso 懲罰項能夠進行變數挑選優勢，允許學習到一個只有少量引數是非零稀疏的模型，就像 Lasso一樣，但是它仍然保持一些像Ridge的正則性質。  ------------------ **彈性網絡(Elastic Net)的優點：** 1. 鼓勵在高度相關變數的情況下的群體效應，而不像Lasso那樣將其中一些置為0.當多個特徵和另一個特徵相關的時候彈性網路非常有用。Lasso傾向於隨機選擇其中一個，而彈性網路傾向於選擇兩個。 2. 對所選變數的數量沒有限制。 3. 能夠控制multicollinearity的的問題，能夠在p>n時執行回歸，並降低資料中過多的雜訊，以幫助我們將具有影響力的變數獨立出來且維持住模型正確率。 **彈性網絡(Elastic Net)的缺點：** 1. Elastic Net，以及一般的regularization models，依舊有假設預測變數和目標變數需具有線性關係。雖然我們可以結合non-additive models(一種無母數回歸模型，non-parametric regression)交互作用，但當資料變數很多的時候，會是非常繁瑣與困難的。因此，當非線性關係存在時，可能考慮使用非線性迴歸的方法。