# RNN展開的溫和介紹 > 原文： [https://machinelearningmastery.com/rnn-unrolling/](https://machinelearningmastery.com/rnn-unrolling/) 循環神經網絡是一種神經網絡，其中來自先前時間步長的輸出作為輸入饋送到當前時間步長。 這會創建一個帶有周期的網絡圖或電路圖，這使得很難理解信息如何通過網絡傳輸。 在這篇文章中，您將發現展開或展開循環神經網絡的概念。 閱讀這篇文章后，你會知道： * 具有循環連接的循環神經網絡的標準概念。 * 在為每個輸入時間步驟復制網絡時展開正向傳遞的概念。 * 在訓練期間展開用于更新網絡權重的反向傳遞的概念。 讓我們開始吧。 ## 展開循環神經網絡 循環神經網絡是一種神經網絡，其中來自先前時間步長的輸出被當作當前時間步長的輸入。 我們可以用圖片來證明這一點。 下面我們可以看到網絡將前一時間步的網絡輸出作為輸入，并使用前一時間步的內部狀態作為當前時間步的起點。  具有循環的RNN的示例 RNN適合并在許多時間步驟上進行預測。我們可以通過在輸入序列上展開或展開RNN圖來簡化模型。 > 可視化RNN的有用方法是考慮通過沿輸入序列“展開”網絡形成的更新圖。 - [帶循環神經網絡的監督序列標記](http://amzn.to/2upsSJ9)，2008。 ## 展開遠期通行證 考慮我們有多個輸入時間步長（X（t），X（t + 1），...），內部狀態的多個時間步長（u（t），u（t + 1），...）的情況，以及輸出的多個時間步長（y（t），y（t + 1），......）。 我們可以將上述網絡示意圖展開成沒有任何周期的圖形。  正向通過時展開的RNN示例 我們可以看到循環被移除，并且來自前一時間步的輸出（y（t））和內部狀態（u（t））作為輸入傳遞到網絡以處理下一個時間步。 這種概念化的關鍵是網絡（RNN）在展開的時間步驟之間不會改變。具體而言，每個時間步長使用相同的權重，只有輸出和內部狀態不同。 這樣，就好像輸入序列中的每個時間步都復制了整個網絡（拓撲和權重）。 此外，網絡的每個副本可以被認為是相同前饋神經網絡的附加層。  展開的RNN示例，每個網絡副本作為一個層 > 一旦及時展開，RNN可被視為非常深的前饋網絡，其中所有層共享相同的權重。 - [深度學習，自然](https://www.nature.com/articles/nature14539.epdf)，2015 這是一個有用的概念工具和可視化，有助于了解正向傳遞過程中網絡中發生的情況。它可能也可能不是深度學習庫實現網絡的方式。 ## 展開后退通行證 網絡展開的想法在向后傳遞實現循環神經網絡的方式中起著更大的作用。 > 正如[反向傳播到時間]的標準，網絡隨著時間的推移展開，因此到達層的連接被視為來自前一個時間步。 - [具有雙向LSTM和其他神經網絡架構的逐幀音素分類](ftp://ftp.idsia.ch/pub/juergen/nn_2005.pdf)，2005 重要的是，給定時間步長的誤差反向傳播取決于先前時間步驟的網絡激活。 通過這種方式，后向傳遞需要展開網絡的概念化。 將錯誤傳播回序列的第一個輸入時間步驟，以便可以計算誤差梯度并且可以更新網絡的權重。 > 與標準反向傳播一樣，[反向傳播時間]包括重復應用鏈規則。細微之處在于，對于循環網絡，損失函數不僅取決于隱藏層的激活，還取決于其對輸出層的影響，還取決于其在下一個時間步長對隱藏層的影響。 - [帶循環神經網絡的監督序列標記](http://amzn.to/2upsSJ9)，2008 展開循環網絡圖也引入了其他問題。每個時間步都需要一個新的網絡副本，這反過來占用內存，特別是對于具有數千或數百萬權重的大型網絡。隨著時間步數攀升到數百個，大型循環網絡的內存需求可能會迅速增加。 > ...需要按輸入序列的長度展開RNN。通過展開RNN N次，網絡內的每個神經元的激活被復制N次，這消耗了大量的存儲器，尤其是當序列非常長時。這阻礙了在線學習或改編的小型實施。此外，這種“完全展開”使得多個序列的并行訓練在共享存儲器模型（例如圖形處理單元（GPU））上效率低下 - [具有連接主義時間分類的循環神經網絡的在線序列訓練](https://arxiv.org/abs/1511.06841)，2015 ## 進一步閱讀 如果您要深入了解，本節將提供有關該主題的更多資源。 ### 文件 * [具有連接主義時間分類的循環神經網絡的在線序列訓練](https://arxiv.org/abs/1511.06841)，2015 * [具有雙向LSTM和其他神經網絡架構的幀式音素分類](ftp://ftp.idsia.ch/pub/juergen/nn_2005.pdf)，2005 * [帶循環神經網絡的監督序列標記](http://amzn.to/2upsSJ9)，2008 * [深度學習，自然](https://www.nature.com/articles/nature14539.epdf)，2015 ### 用品 * [對時間反向傳播的溫和介紹](http://machinelearningmastery.com/gentle-introduction-backpropagation-time/) * [了解LSTM網絡](http://colah.github.io/posts/2015-08-Understanding-LSTMs/)，2015年 * [滾動和展開RNN](https://shapeofdata.wordpress.com/2016/04/27/rolling-and-unrolling-rnns/) ，2016年 * [展開的RNN](http://suriyadeepan.github.io/2017-01-07-unfolding-rnn/) ，2017年 ## 摘要 在本教程中，您發現了展開循環神經網絡的可視化和概念工具。 具體來說，你學到了： * 具有循環連接的循環神經網絡的標準概念。 * 在為每個輸入時間步驟復制網絡時展開正向傳遞的概念。 * 在訓練期間展開用于更新網絡權重的反向傳遞的概念。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。