RandomForest衍生的一種叫Extra Tree演算法有何不同?
老師您好： 近期有看到和RandomForest類似的演算法 有一種叫ExtraTrees的演算法 這個演算法網路上找了一些資料後 好像還是看不出跟RandomForest有什麼樣明顯的差異 是否可以再請老師協助解釋呢?感謝了 https://zhuanlan.zhihu.com/p/57965634 1.extra trees extra trees是RF的一个变种, 原理几乎和RF一模一样，仅有区别有： ①对于每个决策树的训练集，RF采用的是随机采样bootstrap来选择采样集作为每个决策树的训练集，而extra trees一般不采用随机采样，即每个决策树采用原始训练集。 ②在选定了划分特征后，RF的决策树会基于基尼系数，均方差之类的原则，选择一个最优的特征值划分点，这和传统的决策树相同。但是extra trees比较的激进，他会随机的选择一个特征值来划分决策树。 从第二点可以看出，由于随机选择了特征值的划分点位，而不是最优点位，这样会导致生成的决策树的规模一般会大于RF所生成的决策树。也就是说，模型的方差相对于RF进一步减少，但是偏倚相对于RF进一步增大。在某些时候，extra trees的泛化能力比RF更好。
回答列表
-
2021/04/18 上午 02:46Jaio贊同數：0不贊同數：0留言數：0
在此之前，可以參考 https://blog.csdn.net/hhtnan/article/details/54580994 中他畫的圖，對以下會更好理解。 第一點 : 建立每棵樹的訓練集方式不同， RF 是經過訓練 (boosting )後選出的，ET 即用原本的資料集。 第二點 : 各個樹的修剪方式不同， RF 是經過挑選 (例如計算 GINI 、 information gain) 而決定是否要繼續修剪，ET則是隨機的修剪。 總括來說 ET 比 RF 更隨機。 在應用上，當高維度時ET的效果通常較差，因為在高維度通常會出現更多不重要的特徵，再加上ET沒有做特徵與解答相關性的篩選。在低維度時，他們的表現會差不多，但是ET會更有效率，因為每一次的選取都不用花時間去優化相關性。 而我想文中提到的范化能力可能較好是因為，他沒有在被答案，而是一堆人在討論解答是甚麼。 (接續上一次問題的舉例)
-
2021/04/18 下午 10:30張維元 (WeiYuan)贊同數：1不贊同數：0留言數：1
嗨，你好
你提供的資料不就寫了蠻多的差異了嗎？看起來就是計算的依據不同，你主要的問題是什麼呢？
嗨，你好，我是維元，持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流，都可以追蹤 我的粉絲專頁 ヽ(●´∀`●)ﾉ