# 3.15 數值穩定性和模型初始化
理解了正向傳播與反向傳播以后,我們來討論一下深度學習模型的數值穩定性問題以及模型參數的初始化方法。深度模型有關數值穩定性的典型問題是衰減(vanishing)和爆炸(explosion)。
## 3.15.1 衰減和爆炸
當神經網絡的層數較多時,模型的數值穩定性容易變差。假設一個層數為`$ L $`的多層感知機的第`$ l $`層`$ \boldsymbol{H}^{(l)} $` 的權重參數為`$ \boldsymbol{W}^{(l)} $`,輸出層`$ \boldsymbol{H}^{(L)} $`的權重參數為`$ \boldsymbol{W}^{(L)} $`。為了便于討論,不考慮偏差參數,且設所有隱藏層的激活函數為恒等映射(identity mapping)`$ \phi(x) = x $`。給定輸入`$ \boldsymbol{X} $`,多層感知機的第`$ l $`層的輸出`$ \boldsymbol{H}^{(l)} = \boldsymbol{X} \boldsymbol{W}^{(1)} \boldsymbol{W}^{(2)} \ldots \boldsymbol{W}^{(l)} $`。此時,如果層數`$ l $`較大,`$ \boldsymbol{H}^{(l)} $`的計算可能會出現衰減或爆炸。舉個例子,假設輸入和所有層的權重參數都是標量,如權重參數為0.2和5,多層感知機的第30層輸出為輸入`$ \boldsymbol{X} $`分別與`$ 0.2^{30} \approx 1 \times 10^{-21} $`(衰減)和 `$ 5^{30} \approx 9 \times 10^{20} $`(爆炸)的乘積。類似地,當層數較多時,梯度的計算也更容易出現衰減或爆炸。
隨著內容的不斷深入,我們會在后面的章節進一步介紹深度學習的數值穩定性問題以及解決方法。
## 3.15.2 隨機初始化模型參數
在神經網絡中,通常需要隨機初始化模型參數。下面我們來解釋這樣做的原因。
回顧3.8節(多層感知機)圖3.3描述的多層感知機。為了方便解釋,假設輸出層只保留一個輸出單元`$ o_1 $`(刪去`$ o_2 $`和`$ o_3 $`以及指向它們的箭頭),且隱藏層使用相同的激活函數。如果將每個隱藏單元的參數都初始化為相等的值,那么在正向傳播時每個隱藏單元將根據相同的輸入計算出相同的值,并傳遞至輸出層。在反向傳播中,每個隱藏單元的參數梯度值相等。因此,這些參數在使用基于梯度的優化算法迭代后值依然相等。之后的迭代也是如此。在這種情況下,無論隱藏單元有多少,隱藏層本質上只有1個隱藏單元在發揮作用。因此,正如在前面的實驗中所做的那樣,我們通常將神經網絡的模型參數,特別是權重參數,進行隨機初始化。
### 3.15.2.1 PyTorch的默認隨機初始化
隨機初始化模型參數的方法有很多。在3.3節(線性回歸的簡潔實現)中,我們使用`torch.nn.init.normal_()`使模型`net`的權重參數采用正態分布的隨機初始化方式。不過,PyTorch中`nn.Module`的模塊參數都采取了較為合理的初始化策略(不同類型的layer具體采樣的哪一種初始化方法的可參考[源代碼](https://github.com/pytorch/pytorch/tree/master/torch/nn/modules)),因此一般不用我們考慮。
### 3.15.2.2 Xavier隨機初始化
還有一種比較常用的隨機初始化方法叫作Xavier隨機初始化[1]。
假設某全連接層的輸入個數為`$ a $`,輸出個數為`$ b $`,Xavier隨機初始化將使該層中權重參數的每個元素都隨機采樣于均勻分布
```[tex]
U\left(-\sqrt{\frac{6}{a+b}}, \sqrt{\frac{6}{a+b}}\right).
```
它的設計主要考慮到,模型參數初始化后,每層輸出的方差不該受該層輸入個數影響,且每層梯度的方差也不該受該層輸出個數影響。
## 小結
* 深度模型有關數值穩定性的典型問題是衰減和爆炸。當神經網絡的層數較多時,模型的數值穩定性容易變差。
* 我們通常需要隨機初始化神經網絡的模型參數,如權重參數。
## 參考文獻
[1] Glorot, X., & Bengio, Y. (2010, March). Understanding the difficulty of training deep feedforward neural networks. In Proceedings of the thirteenth international conference on artificial intelligence and statistics (pp. 249-256).
- Home
- Introduce
- 1.深度學習簡介
- 深度學習簡介
- 2.預備知識
- 2.1環境配置
- 2.2數據操作
- 2.3自動求梯度
- 3.深度學習基礎
- 3.1 線性回歸
- 3.2 線性回歸的從零開始實現
- 3.3 線性回歸的簡潔實現
- 3.4 softmax回歸
- 3.5 圖像分類數據集(Fashion-MINST)
- 3.6 softmax回歸的從零開始實現
- 3.7 softmax回歸的簡潔實現
- 3.8 多層感知機
- 3.9 多層感知機的從零開始實現
- 3.10 多層感知機的簡潔實現
- 3.11 模型選擇、反向傳播和計算圖
- 3.12 權重衰減
- 3.13 丟棄法
- 3.14 正向傳播、反向傳播和計算圖
- 3.15 數值穩定性和模型初始化
- 3.16 實戰kaggle比賽:房價預測
- 4 深度學習計算
- 4.1 模型構造
- 4.2 模型參數的訪問、初始化和共享
- 4.3 模型參數的延后初始化
- 4.4 自定義層
- 4.5 讀取和存儲
- 4.6 GPU計算
- 5 卷積神經網絡
- 5.1 二維卷積層
- 5.2 填充和步幅
- 5.3 多輸入通道和多輸出通道
- 5.4 池化層
- 5.5 卷積神經網絡(LeNet)
- 5.6 深度卷積神經網絡(AlexNet)
- 5.7 使用重復元素的網絡(VGG)
- 5.8 網絡中的網絡(NiN)
- 5.9 含并行連結的網絡(GoogLeNet)
- 5.10 批量歸一化
- 5.11 殘差網絡(ResNet)
- 5.12 稠密連接網絡(DenseNet)
- 6 循環神經網絡
- 6.1 語言模型
- 6.2 循環神經網絡
- 6.3 語言模型數據集(周杰倫專輯歌詞)
- 6.4 循環神經網絡的從零開始實現
- 6.5 循環神經網絡的簡單實現
- 6.6 通過時間反向傳播
- 6.7 門控循環單元(GRU)
- 6.8 長短期記憶(LSTM)
- 6.9 深度循環神經網絡
- 6.10 雙向循環神經網絡
- 7 優化算法
- 7.1 優化與深度學習
- 7.2 梯度下降和隨機梯度下降
- 7.3 小批量隨機梯度下降
- 7.4 動量法
- 7.5 AdaGrad算法
- 7.6 RMSProp算法
- 7.7 AdaDelta
- 7.8 Adam算法
- 8 計算性能
- 8.1 命令式和符號式混合編程
- 8.2 異步計算
- 8.3 自動并行計算
- 8.4 多GPU計算
- 9 計算機視覺
- 9.1 圖像增廣
- 9.2 微調
- 9.3 目標檢測和邊界框
- 9.4 錨框
- 10 自然語言處理
- 10.1 詞嵌入(word2vec)
- 10.2 近似訓練
- 10.3 word2vec實現
- 10.4 子詞嵌入(fastText)
- 10.5 全局向量的詞嵌入(Glove)
- 10.6 求近義詞和類比詞
- 10.7 文本情感分類:使用循環神經網絡
- 10.8 文本情感分類:使用卷積網絡
- 10.9 編碼器--解碼器(seq2seq)
- 10.10 束搜索
- 10.11 注意力機制
- 10.12 機器翻譯