Day 072 在討論 Activation Function時有提到「死掉的神經元」，請問具體來說「死掉的神經元」是什麼狀況？該神經元的數學表示形式又是如何？
2020/11/22 下午 03:08
啟動函數
蔣淳斌
觀看數：164
回答數：2
收藏數：0
ml-072
relu
activation function
neuron
> 如果使用 ReLU，要小心設置 learning rate，注意不要讓網路出現很多「dead」 神經元，如果不好解決，可以試試 Leaky ReLU、PReLU 或者Maxout 在討論 Activation Function 的講義中有提到「死神經元」，但是只有簡單帶過而已，讓人無法搞懂所謂的死神經元是發生了什麼事、神經元性質產生了什麼變化。請問各位這邊的死神經元究竟是指什麼意思，謝謝。
回答列表
-
2020/11/22 下午 04:46Jeffrey贊同數：1不贊同數：0留言數：0
指的是神經元的輸出為0, 沒有給下一級輸出值
-
2020/11/24 下午 03:13張維元 (WeiYuan)贊同數：0不贊同數：0留言數：0
嗨，你好
Dead ReLU Problem（神經元壞死現象）指的是 ReLU 在負數區域被kill 的現象。 在 x<0 時，梯度為 0，導致這個神經元及之後的神經元梯度永遠為0，不再對任何數據有所響應，導致相應參數永遠不會被更新。產生這種現象的兩個原因： 1. 參數初始化問題 2. learning rate太高導致在訓練過程中參數更新太大
嗨，你好，我是維元，持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流，都可以追蹤我的 Facebook 或 技術部落格 ，也會不定時的舉辦分享活動，一起來玩玩吧 ヽ(●´∀`●)ﾉ