# 介紹 在迄今為止我們考慮過的所有機器學習算法中，沒有人將數據視為序列。為了考慮序列數據，我們擴展了存儲先前迭代輸出的神經網絡。這種類型的神經網絡稱為 RNN。考慮完全連接的網絡秘籍：  這里，權重由`A`乘以輸入層`x`給出，然后通過激活函數`σ`，給出輸出層`y`。 如果我們有一系列輸入數據`x[1], x[2], x[3], ...`，我們可以調整完全連接的層以考慮先前的輸入，如下所示：  在此循環迭代之上獲取下一個輸入，我們希望得到概率分布輸出，如下所示：  一旦我們有一個完整的序列輸出`{S[1], S[2], S[3], ...}`，我們可以通過考慮最后的輸出將目標視為數字或類別。有關通用體系結構的工作原理，請參見下圖：  圖 1：為了預測單個數字或類別，我們采用一系列輸入（標記）并將最終輸出視為預測輸出 我們還可以將序列輸出視為序列到序列模型中的輸入：  圖 2：為了預測序列，我們還可以將輸出反饋到模型中以生成多個輸出 對于任意長序列，使用反向傳播算法進行訓練會產生長時間相關的梯度。因此，存在消失或爆炸的梯度問題。在本章的后面，我們將通過將 RNN 單元擴展為所謂的長短期記憶（LSTM）單元來探索該問題的解決方案。主要思想是 LSTM 單元引入另一個操作，稱為門，它控制通過序列的信息流。我們將在后面的章節中詳細介紹。 > 在處理 NLP 的 RNN 模型時，編碼是用于描述將數據（NLP 中的字或字符）轉換為數字 RNN 特征的過程的術語。術語解碼是將 RNN 數字特征轉換為輸出字或字符的過程。