摘要： 在深度學習中除了兜模型外，最重要的就是模型內的參數，也就是weight部分，每個模型開始學習前都需要有一個對應的初始值。這時候有些人會覺得初始值不就隨機給或是給0開始學就好了啊，我一開始接觸也是這麼覺得的，對於簡單的應用(目標函數是convex)/方法這個方式可能有行，但對於神經網路而言若是有一個好的初始值對於模型學習更是事半功倍，若是初始值不好或是目標函數是non-convex問題則會造成神經網路學習到不好的結果。
此篇主要寫一下weight initialization對深度學習模型的影響，以及Batch normalization的出現對weight initialization的影響。
這篇文章會介紹
1. weight初始值是0會發生什麼事
2. Random initialization
3. Xavier initialization
4. He initialization
5. Batch Normalization
...
詳見全文： Medium
若喜歡本文，請關注我們的臉書 Please Like our Facebook Page：
留下你的回應
以訪客張貼回應