請問 MSE, Accuracy, cross_val_score 這幾種評估指標的差異
Day 38的範例裡面只用了MSE與Accuracy來評估模型的好壞，想請問這兩種與part 2很常用到的cross_val_score的差異嗎?
我先說說看我的理解:
1.MSE, Accuracy是在評估模型最終在test data上的表現，MSE是越接近0越好，代表猜測與實際值的差距越小。Accuracy是越接近1越好，代表猜對的佔整體樣本數的比例。
2. cross_val_score是在選模型的時候把training data切割成好幾塊做交叉驗證後選出一個best model，最後再把best model拿去用MSE, Accuracy做最終評估?
對這三種指標的理解還不是很深刻，再麻煩老師們回答
回答列表
-
2019/05/29 下午 10:17Jimmy贊同數：3不贊同數：0留言數：0
Hi 明翰!
首先，MSE 與 Accuracy 都是評估指標，但 MSE 是評估回歸問題的指標，Accuracy 則是評估分類問題的指標，當預測目標的範圍分布是實數，就是回歸問題；分布是類別時，就是分類問題。
再來 cross_val_score 是切分資料的一種方法，將資料不重複切成好幾塊來訓練模型。那要怎麼知道模型訓練得好不好? 就是拿上述的評估指標進行評估。當今天是分類問題時，cross_val_score 就會用 Accuracy 來評估 score，回歸問題則是用 MSE。
-
2019/05/30 上午 01:23Seanyu.TW贊同數：2不贊同數：0留言數：0
補充一下，MSE/MAE/CrossEntropy 都是在做尋找最佳解 (優化) 的過程中使用的目標函式，所以可以拿來當作優化目標 (因為數學上的特性，他們都是連續、可微分的)，也可以拿來當作評估指標；然而 Accuracy 卻不能當作優化目標函式 (不可微分)，僅能拿來做最後的評估，正如 recall / precision 也是一樣。
-
2019/05/30 下午 02:51張維元 (WeiYuan)贊同數：1不贊同數：0留言數：0
MSE, Accuracy 是評估模型預測資料跟真實資料的錯誤率，我們通常的目標是最小化這個數值。但是當這個值很小的時候，可能會隱含 Overfitting 的問題，亦即模型受這組資料影響太大。因此，我們會引入 cross_val_score 的方式，讓模型可以考量不同資料的相容性，提高泛化的能力。