何謂逐步迴歸?跟一般的迴歸方式有何不同?
各位專家好： 想問有聽過一個名詞稱作逐步迴歸(STEP REGRESSION)， 這個跟一般的迴歸有何不同? 另外什麼情況才會用到逐步迴歸呢?又是該如何使用? 謝謝
回答列表
-
2022/02/26 下午 08:13王健安贊同數：0不贊同數：0留言數：0
Yaoga 您好， 逐步迴歸是由線性迴歸（Linear Regression）與逐步挑選（Selection）兩種演算法組合而成， 當我們想透過線性迴歸模型得知哪些特徵放入模型時能讓模型表現最佳， 逐步迴歸是其中一個可使用的方法， 它是透過輪流放入或剔除某個特徵並由 F-test 檢定結果判斷最佳模型的方法。 逐步迴歸在特徵挑選方面主要分成三種不同演算法： （以 A、B、C 當作特徵名稱為例） 1. Forward Selection 一開始先將 A、B、C 輪流個別放入模型中，透過 F-test 檢定結果判斷最顯著的模型， 假如 A 的結果最顯著，則 A 特徵就正式放入模型中； 接著再個別輪流將 B、C 放入模型中，判斷模型是否有顯著，以及挑選出最具顯著的模型， 結果顯示當 C 放入模型時最為顯著，這時模型已經同時擁有 A、C 兩個特徵； 接著再將 B 放入模型中，假如發現模型沒有顯著，代表 B 特徵對模型沒有幫助， 因此就不會把 B 納入模型中， 最終模型就會由 A、C 兩個特徵組成。  圖片來源：[連結](https://quantifyinghealth.com/stepwise-selection/) 2. Backward Selection 一開始會先建立包含 A、B、C 三個特徵全部放入的模型， 接著將每個特徵輪流剔除掉後計算模型顯著性， 若都沒有顯著，則最後結果就是三個特徵全放入的模型， 假如 B、C 兩特徵的模型最顯著， 則就會剔除掉 A 特徵； 再來進入第二輪，個別把 B、C 兩特徵剔除後計算模型顯著性， 假如都不顯著，則我們可知最終模型包含 B、C 特徵。 3. Stepwise Selection 可以視為 Forward Selection 與 Backward Selection 輪流執行的演算法， 剛開始確認哪個特徵要放入模型中， 接著確認哪個特徵要被剔除， 一直到該輪檢定時每個模型都不顯著， 就會得到最終模型。 參考資料： https://medium.com/kkproject/%E7%89%B9%E5%BE%B5%E7%AF%A9%E9%81%B8-stepwise-selection-%E6%BC%94%E7%AE%97%E6%B3%95-stepclass%E5%AF%A6%E4%BD%9C-%E4%BA%8C-83b247b492fa https://medium.com/kkproject/%E7%89%B9%E5%BE%B5%E7%AF%A9%E9%81%B8-stepwise-selection-%E6%BC%94%E7%AE%97%E6%B3%95-stepclass%E5%AF%A6%E4%BD%9C-%E4%B8%89-989bbd4103c7