# 6.10 雙向循環神經網絡
之前介紹的循環神經網絡模型都是假設當前時間步是由前面的較早時間步的序列決定的,因此它們都將信息通過隱藏狀態從前往后傳遞。有時候,當前時間步也可能由后面時間步決定。例如,當我們寫下一個句子時,可能會根據句子后面的詞來修改句子前面的用詞。雙向循環神經網絡通過增加從后往前傳遞信息的隱藏層來更靈活地處理這類信息。圖6.12演示了一個含單隱藏層的雙向循環神經網絡的架構。
:-: 
<div align=center>圖6.12 雙向循環神經網絡的架構</div>
下面我們來介紹具體的定義。
給定時間步`$ t $`的小批量輸入`$ \boldsymbol{X}_t \in \mathbb{R}^{n \times d} $`(樣本數為`$ n $`,輸入個數為`$ d $`)和隱藏層激活函數為 `$ \phi $`。在雙向循環神經網絡的架構中,
設該時間步正向隱藏狀態為`$ \overrightarrow{\boldsymbol{H}}_t \in \mathbb{R}^{n \times h} $`(正向隱藏單元個數為`$ h $`),
反向隱藏狀態為`$ \overleftarrow{\boldsymbol{H}}_t \in \mathbb{R}^{n \times h} $`(反向隱藏單元個數為`$ h $`)。我們可以分別計算正向隱藏狀態和反向隱藏狀態:
```[tex]
\begin{aligned}
\overrightarrow{\boldsymbol{H}}_t &= \phi(\boldsymbol{X}_t \boldsymbol{W}_{xh}^{(f)} + \overrightarrow{\boldsymbol{H}}_{t-1} \boldsymbol{W}_{hh}^{(f)} + \boldsymbol{b}_h^{(f)}),\\
\overleftarrow{\boldsymbol{H}}_t &= \phi(\boldsymbol{X}_t \boldsymbol{W}_{xh}^{(b)} + \overleftarrow{\boldsymbol{H}}_{t+1} \boldsymbol{W}_{hh}^{(b)} + \boldsymbol{b}_h^{(b)}),
\end{aligned}
```
其中權重`$ \boldsymbol{W}_{xh}^{(f)} \in \mathbb{R}^{d \times h} $`、`$ \boldsymbol{W}_{hh}^{(f)} \in \mathbb{R}^{h \times h} $`、`$ \boldsymbol{W}_{xh}^{(b)} \in \mathbb{R}^{d \times h} $`、`$ \boldsymbol{W}_{hh}^{(b)} \in \mathbb{R}^{h \times h} $`和偏差 `$ \boldsymbol{b}_h^{(f)} \in \mathbb{R}^{1 \times h} $`、`$ \boldsymbol{b}_h^{(b)} \in \mathbb{R}^{1 \times h} $`均為模型參數。
然后我們連結兩個方向的隱藏狀態`$ \overrightarrow{\boldsymbol{H}}_t $`和`$ \overleftarrow{\boldsymbol{H}}_t $`來得到隱藏狀態`$ \boldsymbol{H}_t \in \mathbb{R}^{n \times 2h} $`,并將其輸入到輸出層。輸出層計算輸出`$ \boldsymbol{O}_t \in \mathbb{R}^{n \times q} $`(輸出個數為`$ q $`):
```[tex]
\boldsymbol{O}_t = \boldsymbol{H}_t \boldsymbol{W}_{hq} + \boldsymbol{b}_q,
```
其中權重`$ \boldsymbol{W}_{hq} \in \mathbb{R}^{2h \times q} $`和偏差`$ \boldsymbol{b}_q \in \mathbb{R}^{1 \times q} $`為輸出層的模型參數。不同方向上的隱藏單元個數也可以不同。
## 小結
* 雙向循環神經網絡在每個時間步的隱藏狀態同時取決于該時間步之前和之后的子序列(包括當前時間步的輸入)。
------------
> 注:本節與原書基本相同,[原書傳送門](https://zh.d2l.ai/chapter_recurrent-neural-networks/bi-rnn.html)
- Home
- Introduce
- 1.深度學習簡介
- 深度學習簡介
- 2.預備知識
- 2.1環境配置
- 2.2數據操作
- 2.3自動求梯度
- 3.深度學習基礎
- 3.1 線性回歸
- 3.2 線性回歸的從零開始實現
- 3.3 線性回歸的簡潔實現
- 3.4 softmax回歸
- 3.5 圖像分類數據集(Fashion-MINST)
- 3.6 softmax回歸的從零開始實現
- 3.7 softmax回歸的簡潔實現
- 3.8 多層感知機
- 3.9 多層感知機的從零開始實現
- 3.10 多層感知機的簡潔實現
- 3.11 模型選擇、反向傳播和計算圖
- 3.12 權重衰減
- 3.13 丟棄法
- 3.14 正向傳播、反向傳播和計算圖
- 3.15 數值穩定性和模型初始化
- 3.16 實戰kaggle比賽:房價預測
- 4 深度學習計算
- 4.1 模型構造
- 4.2 模型參數的訪問、初始化和共享
- 4.3 模型參數的延后初始化
- 4.4 自定義層
- 4.5 讀取和存儲
- 4.6 GPU計算
- 5 卷積神經網絡
- 5.1 二維卷積層
- 5.2 填充和步幅
- 5.3 多輸入通道和多輸出通道
- 5.4 池化層
- 5.5 卷積神經網絡(LeNet)
- 5.6 深度卷積神經網絡(AlexNet)
- 5.7 使用重復元素的網絡(VGG)
- 5.8 網絡中的網絡(NiN)
- 5.9 含并行連結的網絡(GoogLeNet)
- 5.10 批量歸一化
- 5.11 殘差網絡(ResNet)
- 5.12 稠密連接網絡(DenseNet)
- 6 循環神經網絡
- 6.1 語言模型
- 6.2 循環神經網絡
- 6.3 語言模型數據集(周杰倫專輯歌詞)
- 6.4 循環神經網絡的從零開始實現
- 6.5 循環神經網絡的簡單實現
- 6.6 通過時間反向傳播
- 6.7 門控循環單元(GRU)
- 6.8 長短期記憶(LSTM)
- 6.9 深度循環神經網絡
- 6.10 雙向循環神經網絡
- 7 優化算法
- 7.1 優化與深度學習
- 7.2 梯度下降和隨機梯度下降
- 7.3 小批量隨機梯度下降
- 7.4 動量法
- 7.5 AdaGrad算法
- 7.6 RMSProp算法
- 7.7 AdaDelta
- 7.8 Adam算法
- 8 計算性能
- 8.1 命令式和符號式混合編程
- 8.2 異步計算
- 8.3 自動并行計算
- 8.4 多GPU計算
- 9 計算機視覺
- 9.1 圖像增廣
- 9.2 微調
- 9.3 目標檢測和邊界框
- 9.4 錨框
- 10 自然語言處理
- 10.1 詞嵌入(word2vec)
- 10.2 近似訓練
- 10.3 word2vec實現
- 10.4 子詞嵌入(fastText)
- 10.5 全局向量的詞嵌入(Glove)
- 10.6 求近義詞和類比詞
- 10.7 文本情感分類:使用循環神經網絡
- 10.8 文本情感分類:使用卷積網絡
- 10.9 編碼器--解碼器(seq2seq)
- 10.10 束搜索
- 10.11 注意力機制
- 10.12 機器翻譯