# 具有Keras的長短期記憶循環神經網絡的迷你課程 > 原文： [https://machinelearningmastery.com/long-short-term-memory-recurrent-neural-networks-mini-course/](https://machinelearningmastery.com/long-short-term-memory-recurrent-neural-networks-mini-course/) 長期短期記憶（LSTM）復現神經網絡是目前最有趣的深度學習類型之一。 它們被用于展示復雜問題領域的世界級結果，例如語言翻譯，自動圖像字幕和文本生成。 LSTM與多層感知器和卷積神經網絡的不同之處在于它們專門用于序列預測問題。 在這個迷你課程中，您將了解如何快速將LSTM模型用于您自己的序列預測問題。 完成這個迷你課程后，您將知道： * LSTM是什么，如何訓練，以及如何準備訓練LSTM模型的數據。 * 如何開發一套LSTM模型，包括堆疊，雙向和編碼器 - 解碼器模型。 * 如何通過超參數優化，更新和最終模型來充分利用模型。 讓我們開始吧。 **注**：這是一個很大的指南;你可能想要為它添加書簽。  具有Keras的長期短期記憶循環神經網絡的迷你課程 照片由 [Nicholas A. Tonelli](https://www.flickr.com/photos/nicholas_t/14840636880/) ，保留一些權利。 ## 這個迷你課程是誰？ 在我們開始之前，讓我們確保您在正確的位置。 本課程適用于了解一些應用機器學習并且需要快速掌握LSTM的開發人員。 也許您想要或需要在項目中開始使用LSTM。本指南旨在幫助您快速有效地完成此任務。 * 你了解Python的方法。 * 你知道你在SciPy周圍的方式。 * 您知道如何在工作站上安裝軟件。 * 你知道如何糾纏自己的數據。 * 您知道如何使用機器學習來解決預測建模問題。 * 你可能知道一點點深度學習。 * 你可能知道一點Keras。 您知道如何設置工作站以使用Keras和scikit-learn;如果沒有，你可以在這里學習如何： * [如何使用Anaconda設置用于機器學習和深度學習的Python環境](http://machinelearningmastery.com/setup-python-environment-machine-learning-deep-learning-anaconda/) 本指南采用自上而下和結果優先的機器學習風格，您已經習慣了。它將教你如何獲得結果，但它不是靈丹妙藥。 您將通過本指南開發有用的技能。 完成本課程后，您將： * 了解LSTM的工作原理。 * 知道如何為LSTM準備數據。 * 知道如何應用一系列類型的LSTM。 * 知道如何將LSTM調整為問題。 * 知道如何保存LSTM模型并使用它來進行預測。 接下來，讓我們回顧一下課程。 ## 迷你課程概述 這個迷你課程分為14節課。 您可以每天完成一節課（推薦）或在一天內完成所有課程（硬核！）。 這取決于你有空的時間和你的熱情程度。 以下是14個課程，可以幫助您開始使用Python中的LSTM并提高工作效率。課程分為三個主題：基礎，模型和高級。  LSTM迷你課程概述 ### 基金會 這些課程的重點是在使用LSTM之前需要了解的事項。 * **第01課**：什么是LSTM？ * **第02課**：如何訓練LSTM * **第03課**：如何為LSTM準備數據 * **第04課**：如何在Keras開發LSTM ### 楷模 * **第05課**：如何開發香草LSTMs * **第06課**：如何開發堆疊式LSTM * **第07課**：如何開發CNN LSTM * **第08課**：如何開發編碼器 - 解碼器LSTM * **第09課**：如何開發雙向LSTM * **第10課**：如何開發注意力的LSTM * **第11課**：如何開發生成LSTM ### 高級 * **第12課**：如何調整LSTM超參數 * **第13課**：如何更新LSTM模型 * **第14課**：如何使用LSTM進行預測 每節課可能需要60秒或60分鐘。花點時間，按照自己的進度完成課程。提出問題，甚至在下面的評論中發布結果。 課程期望你去學習如何做事。我會給你提示，但每節課的部分內容是強迫你去哪里尋求幫助（提示，我在這個博客上有所有的答案;使用搜索）。 我確實在早期課程中提供了更多幫助，因為我希望你建立一些自信和慣性。 掛在那里;不要放棄！ ## 基金會 本節中的課程旨在讓您了解LSTM的工作原理以及如何使用Keras庫實現LSTM模型。 ## 第1課：什么是LSTM？ ### **目標** 本課程的目標是充分理解高級LSTM，以便您可以向同事或經理解釋它們是什么以及它們如何工作。 ### 問題 * 什么是序列預測？一些例子是什么？ * 傳統神經網絡對序列預測有哪些局限性？ * RNN對序列預測的承諾是什么？ * 什么是LSTM及其組成部分是什么？ * LSTM有哪些突出的應用？ ### 進一步閱讀 * [深度學習的循環神經網絡崩潰課程](http://machinelearningmastery.com/crash-course-recurrent-neural-networks-deep-learning/) * [循環神經網絡序列預測模型的簡要介紹](http://machinelearningmastery.com/handle-long-sequences-long-short-term-memory-recurrent-neural-networks/) * [循環神經網絡對時間序列預測的承諾](http://machinelearningmastery.com/promise-recurrent-neural-networks-time-series-forecasting/) * [關于長短期記憶網絡對時間序列預測的適用性](http://machinelearningmastery.com/suitability-long-short-term-memory-networks-time-series-forecasting/) * [專家對長短期記憶網絡的簡要介紹](http://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts/) * [8深度學習的鼓舞人心的應用](http://machinelearningmastery.com/inspirational-applications-deep-learning/) ## 第2課：如何訓練LSTM ### 目標 本課程的目的是了解如何在示例序列上訓練LSTM模型。 ### Questions * 傳統RNN的訓練有哪些常見問題？ * LSTM如何克服這些問題？ * 什么算法用于訓練LSTM？ * Backpropagation Through Time如何運作？ * 什么是截斷的BPTT，它提供了什么好處？ * 如何在Keras中實施和配置BPTT？ ### Further Reading * [對時間反向傳播的溫和介紹](http://machinelearningmastery.com/gentle-introduction-backpropagation-time/) * [如何準備Keras中截斷反向傳播的序列預測](http://machinelearningmastery.com/truncated-backpropagation-through-time-in-keras/) ## 第3課：如何為LSTM準備數據 ### Goal 本課程的目標是了解如何準備用于LSTM模型的序列預測數據。 ### Questions * 如何準備用于LSTM的數字數據？ * 如何準備用于LSTM的分類數據？ * 使用LSTM時如何處理序列中的缺失值？ * 如何將序列構建為監督學習問題？ * 在使用LSTM時，如何處理長序列？ * 你如何處理不同長度的輸入序列？ * 如何重塑Keras中LSTM的輸入數據？ ### 實驗 演示如何將數字輸入序列轉換為適合訓練LSTM的形式。 ### Further Reading * [如何在Python中擴展長短期內存網絡的數據](http://machinelearningmastery.com/how-to-scale-data-for-long-short-term-memory-networks-in-python/) * [如何使用Python編寫一個熱編碼序列數據](http://machinelearningmastery.com/how-to-one-hot-encode-sequence-data-in-python/) * [如何使用Python處理序列預測問題中的缺失時間步長](http://machinelearningmastery.com/handle-missing-timesteps-sequence-prediction-problems-python/) * [如何將時間序列轉換為Python中的監督學習問題](http://machinelearningmastery.com/convert-time-series-supervised-learning-problem-python/) * [如何處理具有長短期記憶循環神經網絡的超長序列](http://machinelearningmastery.com/handle-long-sequences-long-short-term-memory-recurrent-neural-networks/) * [如何準備Keras中截斷反向傳播的序列預測](http://machinelearningmastery.com/truncated-backpropagation-through-time-in-keras/) * [可變長度輸入序列的數據準備](http://machinelearningmastery.com/data-preparation-variable-length-input-sequences-sequence-prediction/) ## 第4課：如何在Keras開發LSTM ### Goal 本課程的目標是了解如何使用Python中的Keras深度學習庫定義，擬合和評估LSTM模型。 ### Questions * 你如何定義LSTM模型？ * 你如何編譯LSTM模型？ * 你如何適應LSTM模型？ * 您如何評估LSTM模型？ * 如何使用LSTM模型進行預測？ * 如何將LSTM應用于不同類型的序列預測問題？ ### Experiment 準備一個示例，演示LSTM模型在序列預測問題上的生命周期。 ### Further Reading * [Keras中長期短期記憶模型的5步生命周期](http://machinelearningmastery.com/5-step-life-cycle-long-short-term-memory-models-keras/) * [循環神經網絡序列預測模型的簡要介紹](http://machinelearningmastery.com/handle-long-sequences-long-short-term-memory-recurrent-neural-networks/) ## 楷模 本節中的課程旨在教您如何使用LSTM模型獲得序列預測問題的結果。 ## 第5課：如何開發香草LSTM ### Goal 本課程的目標是學習如何開發和評估香草LSTM模型。 * 什么是香草LSTM架構？ * 什么是香草LSTM應用的例子？ ### Experiment 設計并執行一個實驗，演示序列預測問題的香草LSTM。 ### Further Reading * [用Keras](http://machinelearningmastery.com/sequence-classification-lstm-recurrent-neural-networks-python-keras/) 在Python中用LSTM循環神經網絡進行序列分類 * [用Keras](http://machinelearningmastery.com/time-series-prediction-lstm-recurrent-neural-networks-python-keras/) 用Python中的LSTM循環神經網絡進行時間序列預測 * [Python中長期短期記憶網絡的時間序列預測](http://machinelearningmastery.com/time-series-forecasting-long-short-term-memory-network-python/) ## 第6課：如何開發堆疊LSTM ### Goal 本課程的目標是學習如何開發和評估堆疊的LSTM模型。 ### Questions * 在層次結構的序列問題上使用香草LSTM有什么困難？ * 堆疊的LSTM是什么？ * 什么是堆疊LSTM應用于何處的示例？ * 堆疊式LSTM提供哪些好處？ * 如何在Keras中實現堆疊LSTM？ ### Experiment 設計并執行一個實驗，演示具有分層輸入結構的序列預測問題的堆疊LSTM。 ### Further Reading * [用Keras](http://machinelearningmastery.com/sequence-classification-lstm-recurrent-neural-networks-python-keras/) 在Python中用LSTM循環神經網絡進行序列分類 * [用Keras](http://machinelearningmastery.com/time-series-prediction-lstm-recurrent-neural-networks-python-keras/) 用Python中的LSTM循環神經網絡進行時間序列預測 ## 第7課：如何開發CNN LSTM ### Goal 本課程的目標是學習如何開發在前端使用卷積神經網絡的LSTM模型。 ### Questions * 使用具有空間輸入數據的香草LSTM有什么困難？ * 什么是CNN LSTM架構？ * 有哪些CNN LSTM的例子？ * CNN LSTM提供哪些好處？ * 如何在Keras中實施CNN LSTM架構？ ### Experiment 設計并執行一個實驗，演示有空間輸入的序列預測問題的CNN LSTM。 ### Further Reading * [用Keras](http://machinelearningmastery.com/sequence-classification-lstm-recurrent-neural-networks-python-keras/) 在Python中用LSTM循環神經網絡進行序列分類 ## 第8課：如何開發編碼器 - 解碼器LSTM ### Goal 本課程的目標是學習如何開發編碼器 - 解碼器LSTM模型。 ### Questions * 什么是序列到序列（seq2seq）預測問題？ * 在seq2seq問題上使用香草LSTM有什么困難？ * 什么是編碼器 - 解碼器LSTM架構？ * 編碼器 - 解碼器LSTM有哪些例子？ * 編碼器 - 解碼器LSTM有什么好處？ * 如何在Keras中實現編碼器 - 解碼器LSTM？ ### Experiment 設計并執行一個實驗，演示序列到序列預測問題的編碼器 - 解碼器LSTM。 ### Further Reading * [如何在Python](http://machinelearningmastery.com/timedistributed-layer-for-long-short-term-memory-networks-in-python/) 中為長期短期內存網絡使用時間分布層 * [如何學習使用seq2seq循環神經網絡添加數字](http://machinelearningmastery.com/learn-add-numbers-seq2seq-recurrent-neural-networks/) * [如何將編碼器 - 解碼器LSTM用于隨機整數的回波序列](http://machinelearningmastery.com/how-to-use-an-encoder-decoder-lstm-to-echo-sequences-of-random-integers/) ## 第9課：如何開發雙向LSTM ### Goal 本課程的目標是學習如何開發雙向LSTM模型。 ### Questions * 什么是雙向LSTM？ * 有哪些使用雙向LSTM的例子？ * 雙向LSTM比香草LSTM有什么好處？ * 雙向架構引發了關于時間步長的問題？ * 如何在Keras中實現雙向LSTM？ ### Experiment 設計并執行一個實驗，在序列預測問題上比較前向，后向和雙向LSTM模型。 ### Further Reading * [如何使用Keras開發用于Python序列分類的雙向LSTM](http://machinelearningmastery.com/develop-bidirectional-lstm-sequence-classification-python-keras/) ## 第10課：如何開發注意力的LSTM ### Goal 本課的目的是學習如何開發LSTM模型。 ### Questions * 具有中性信息的長序列對LSTM有何影響？ * LSTM型號的注意事項是什么？ * 在LSTM中使用注意力的一些例子是什么？ * 注意為序列預測提供了什么好處？ * 如何在Keras中實施注意力架構？ ### Experiment 設計并執行一項實驗，該實驗將注意力集中在具有長序列中性信息的序列預測問題上。 ### Further Reading * [長期短期記憶循環神經網絡](http://machinelearningmastery.com/attention-long-short-term-memory-recurrent-neural-networks/)的注意事項 ## 第11課：如何開發生成LSTM ### Goal 本課程的目標是學習如何開發用于生成模型的LSTM。 * 什么是生成模型？ * 如何將LSTM用作生成模型？ * LSTM作為生成模型的一些例子是什么？ * LSTM作為生成模型有哪些好處？ ### Experiment 設計并執行實驗以學習文本語料庫并生成具有相同語法，語法和樣式的新文本樣本。 ### Further Reading * [使用Keras](http://machinelearningmastery.com/text-generation-lstm-recurrent-neural-networks-python-keras/) 在Python中使用LSTM循環神經網絡生成文本 ## 高級 本節中的課程旨在教您如何根據自己的序列預測問題從LSTM模型中獲得最大收益。 ## 第12課：如何調整LSTM超參數 ### Goal 本課程的目標是學習如何調整LSTM超參數。 ### Questions * 我們如何診斷LSTM模型的過度學習或學習不足？ * 調整模型超參數的兩種方案是什么？ * 鑒于LSTM是隨機算法，如何可靠地估計模型技能？ * 列出可以調整的LSTM超參數，并提供可以評估的值的示例： * 模型初始化和行為。 * 模型架構和結構。 * 學習行為。 ### Experiment 設計并執行實驗以調整LSTM的一個超參數并選擇最佳配置。 ### Further Reading * [如何評估深度學習模型的技巧](http://machinelearningmastery.com/evaluate-skill-deep-learning-models/) * [如何用Keras調整LSTM超參數進行時間序列預測](http://machinelearningmastery.com/tune-lstm-hyperparameters-keras-time-series-forecasting/) * [如何使用Keras網格搜索Python中的深度學習模型的超參數](http://machinelearningmastery.com/grid-search-hyperparameters-deep-learning-models-python-keras/) * [如何提高深度學習效能](http://machinelearningmastery.com/improve-deep-learning-performance/) ## 第13課：如何更新LSTM模型 ### Goal 本課程的目標是學習如何在新數據可用后更新LSTM模型。 ### Questions * 更新LSTM模型以響應新數據有什么好處？ * 使用新數據更新LSTM模型有哪些方案？ ### Experiment 設計并執行實驗以使LSTM模型適應序列預測問題，該問題與不同模型更新方案的模型技能的影響形成對比。 ### Further Reading * [如何在時間序列預測訓練期間更新LSTM網絡](http://machinelearningmastery.com/update-lstm-networks-training-time-series-forecasting/) ## 第14課：如何使用LSTM進行預測 ### Goal 本課程的目標是學習如何最終確定LSTM模型并使用它來預測新數據。 ### Questions * 你如何在Keras中保存模型結構和重量？ * 你如何適應最終的LSTM模型？ * 如何使用最終模型進行預測？ ### Experiment 設計并執行實驗以適應最終的LSTM模型，將其保存到文件，然后加載它并對保留的驗證數據集進行預測。 ### Further Reading * [保存并加載您的Keras深度學習模型](http://machinelearningmastery.com/save-load-keras-deep-learning-models/) * [如何訓練最終機器學習模型](http://machinelearningmastery.com/train-final-machine-learning-model/) ## 結束！ （_看你有多遠_） 你做到了。做得好！ 花點時間回顧一下你到底有多遠。以下是您學到的知識： 1. LSTM是什么以及為什么它們是序列預測的首選深度學習技術。 2. LSTM使用BPTT算法進行訓練，該算法也強加了一種思考序列預測問題的方法。 3. 用于序列預測的數據準備可以涉及掩蔽缺失值以及分割，填充和截斷輸入序列。 4. Keras為LSTM模型提供了5步生命周期，包括定義，編譯，擬合，評估和預測。 5. 香草LSTM由輸入層，隱藏的LSTM層和密集輸出層組成。 6. 隱藏的LSTM層可以堆疊，但必須從一層到另一層暴露整個序列的輸出。 7. 在處理圖像和視頻數據時，CNN可用作LSTM的輸入層。 8. 在預測可變長度輸出序列時可以使用編碼器 - 解碼器架構。 9. 在雙向LSTM中向前和向后提供輸入序列可以提高某些問題的技能。 10. 該注意力可以為包含中性信息的長輸入序列提供優化。 11. LSTM可以學習輸入數據的結構化關系，進而可以用來生成新的例子。 12. LSTM的LSTM超參數可以像任何其他隨機模型一樣進行調整。 13. 當新數據可用時，可以更新適合的LSTM模型。 14. 最終的LSTM模型可以保存到文件中，然后加載以便對新數據進行預測。 不要輕視這一點;你在很短的時間內走了很長的路。 這只是您與Keras的LSTM之旅的開始。繼續練習和發展你的技能。 ## 摘要 **你如何使用迷你課程？** 你喜歡這個迷你課嗎？ **你有什么問題嗎？有沒有任何問題？** 讓我知道。在下面發表評論。