【QA】什麼是過擬合(Overfitting)?
過擬合(Overfitting)就是模型訓練的過程中太屈就於training data,導致模型想將預測error降到最小,讓模型能符合每一個訓練集資料的點,但當模型遇到Testing data時,卻不見得會有很好的表現(error值高),此種現象稱作為過擬合(Overfitting)。 **接下來我想要用視覺化與更直覺化理解的方式來討論這個問題。**
回答列表
-
2021/08/11 下午 09:14Chili贊同數:1不贊同數:0留言數:1
 正常來說,一般模型會像上圖一樣,不見得通過所有訓練集點,但可以看出,不論對訓練集或是測試集,其都有不錯的預測效果。  但過擬合(Overfitting)的模型,就會像圖二一樣,雖然對訓練集的預測能力很高,但遇到測試集或是驗證集資料時,就不具備如此理想的預測力。從圖中可以看出,此模型並沒有辦法預測到測試集的點。 ***當然這舉例,相對極端,現實上遇到的模型大多不會如此,但我們可以這樣的方式,初步暸解過擬合(Overfitting)的樣態。** ------ * 造成模型產生過擬合(Overfitting)的可能原因: (1) 訓練資料太少-當訓練資料太少時,模型沒有太多的東西可以用來生成模型,就會使得模型不能反映資料的原貌。 (2) 模型太複雜-當模型有太多參數,或為高次方的模型時,就會可能發生過擬合(Overfitting)。如上圖二就是個高次方的模型。 ---- 參考答案來源: 莫煩: https://www.youtube.com/watch?v=e9OKufD6lRM&list=PLXO45tsB95cJ0U2DKySDmhRqQI9IaGxck&index=16 -------