**循環神經網絡**（RNN，recurrent neural network）處理序列的方式是，遍歷所有序列元素，并保存一個**狀態**（state），其中包含與已查看內容相關的信息. > 當你在閱讀這個句子時，你是一個詞一個詞地閱讀（或者說，眼睛一次掃視一次掃視地閱讀），同時會記住之前的內容。這讓你能夠動態理解這個句子所傳達的含義。生物智能以漸進的方式處理信息，同時保存一個關于所處理內容的內部模型，這個模型是根據過去的信息構建的，并隨著新信息的進入而不斷更新。  ***** ### Keras 中的循環層 ~~~ from keras.layers import SimpleRNN ~~~ > 與 Keras 中的所有循環層一樣，`SimpleRNN`可以在兩種不同的模式下運行 * 返回每個時間步連續輸出的完整序列，即形狀為`(batch_size, timesteps, output_features)`的三維張量 * 只返回每個輸入序列的最終輸出，即形狀為`(batch_size, output_features)`的二維張量 * 這兩種模式由`return_sequences`這個構造函數參數來控制 * `SimpleRNN`的最大問題是，在時刻`t`，理論上來說，它應該能夠記住許多時間步之前見過的信息，但實際上它是不可能學到這種長期依賴的。其原因在于**梯度消失問題**（vanishing gradient problem），這一效應類似于在層數較多的非循環網絡（即前饋網絡）中觀察到的效應：隨著層數的增加，網絡最終變得無法訓練。 > `SimpleRNN`并不是 Keras 中唯一可用的循環層，還有另外兩個：`LSTM`和`GRU` **`LSTM`層:** * 其背后的長短期記憶（LSTM，long short-term memory） * `LSTM`層是`SimpleRNN`層的一種變體，它增加了一種攜帶信息跨越多個時間步的方法 * 保存信息以便后面使用，從而防止較早期的信號在處理過程中逐漸消失 * **只需要記住 LSTM 單元的作用：允許過去的信息稍后重新進入，從而解決梯度消失問題**