# 生成長短期記憶網絡的溫和介紹 > 原文： [https://machinelearningmastery.com/gentle-introduction-generative-long-short-term-memory-networks/](https://machinelearningmastery.com/gentle-introduction-generative-long-short-term-memory-networks/) 開發了用于序列預測的長短期記憶循環神經網絡。 除了序列預測問題。 LSTM也可以用作生成模型 在這篇文章中，您將了解LSTM如何用作生成模型。 完成這篇文章后，你會知道： * 關于生成模型，重點關注稱為語言建模的文本的生成模型。 * 使用LSTM Generative模型的應用示例。 * 如何使用LSTM為生成模型建模文本的示例。 讓我們開始吧。  生成長短期記憶網絡的溫和介紹 [Fraser Mummery](https://www.flickr.com/photos/73014677@N05/10035345914/) 的照片，保留一些權利。 ## 生成模型 LSTM可以用作生成模型。 給定大量序列數據，例如文本文檔，可以設計LSTM模型以學習語料庫的一般結構屬性，并且當給定種子輸入時，可以生成代表原始語料庫的新序列。 開發用于概括文本語料庫的模型的問題在自然語言處理領域被稱為語言建模。語言模型可以在單詞級別工作并學習文檔中單詞之間的概率關系，以便準確地完成句子并生成全新的句子。在最具挑戰性的語言模型中，語言模型在角色級別工作，從角色序列中學習，并一次生成一個角色的新序列。 > 字符級語言建模的目標是預測序列中的下一個字符。 - [使用循環神經網絡生成文本](http://www.cs.utoronto.ca/~ilya/pubs/2011/LANG-RNN.pdf)，2011。 雖然更具挑戰性，但字符級模型的附加靈活性允許生成新單詞，添加標點符號以及生成文本數據中可能存在的任何其他結構。 > ...從序列生成的角度來看，一次預測一個字符更有趣，因為它允許網絡發明新穎的單詞和字符串。 - [生成具有循環神經網絡的序列](https://arxiv.org/abs/1308.0850)，2013。 語言建模是迄今為止生成LSTM最常研究的應用，可能是因為使用了可以量化和比較模型表現的標準數據集。這種方法已用于生成一系列有趣的語言建模問題的文本，例如： * 生成維基百科文章（包括標記）。 * 生成莎士比亞等偉大作家的片段。 * 生成技術手稿（包括標記）。 * 生成計算機源代碼。 * 生成文章標題。 結果的質量各不相同;例如，標記或源代碼可能需要手動干預才能呈現或編譯。然而，結果令人印象深刻。 該方法還應用于不同的域，其中可獲得大量現有序列信息，并且可以一次一步地生成新序列，例如： * 手寫代。 * 音樂一代。 * 語音生成。  用于自動手寫生成的LSTM的示例。 取自“[生成序列與循環神經網絡](https://arxiv.org/abs/1308.0850)”，2014年。 ## 生成LSTM 生成型LSTM實際上不是架構，它更多地是關于LSTM預測模型學習內容以及模型如何使用的觀點的變化。 我們可以想象使用任何LSTM架構作為生成模型。在這種情況下，我們將使用簡單的Vanilla LSTM。  用于生成模型的Vanilla LSTM架構 在字符級語言模型的情況下，所有可能字符的字母表是固定的。一個熱編碼用于學習輸入序列和預測輸出序列。 使用一對一模型，其中針對每個輸入時間步驟預測一步。這意味著輸入序列可能需要專門處理以便被向量化或格式化以有效地訓練監督模型。 例如，給定順序： ```py "hello world" ``` 需要構建數據集，例如： ```py 'h' => 'e' 'e' => 'l' 'l' => 'l' ... ``` 這可以按原樣呈現為一個時間步驟樣本的數據集，這可能對網絡非常有限（例如，沒有BPTT）。 或者，它可以被向量化為固定長度的輸入序列，用于多對一時間步長模型，例如： ```py ['h', 'e', 'l'] => 'l' ['e', 'l', 'l'] => 'o' ['l', 'l', 'o'] => ' ' ... ``` 或者，一對多時間步長模型的固定長度輸出序列： ```py 'h' => ['e', 'l', 'l'] 'e' => ['l', 'l', 'o'] 'l' => ['l', 'o', ' '] ... ``` 或者這些方法的一些變化。 注意，在進行預測時將需要相同的向量化表示，這意味著需要將預測的字符作為后續樣本的輸入來呈現。這在實施中可能非常笨拙。 網絡的內部狀態可能需要仔細管理，可能在輸入序列中的選擇位置（例如段落，頁面或章節的末尾）而不是在每個輸入序列的末尾重置。 ## 進一步閱讀 如果您要深入了解，本節將提供有關該主題的更多資源。 ### 文件 * [使用循環神經網絡生成文本](http://www.cs.utoronto.ca/~ilya/pubs/2011/LANG-RNN.pdf)，2011。 * [使用循環神經網絡生成序列](https://arxiv.org/abs/1308.0850)，2013。 * [TTS合成與雙向LSTM的循環神經網絡](https://pdfs.semanticscholar.org/564f/ed868f652f361bb3e345f6f94073d8f6f261.pdf)，2014年。 * [使用LSTM循環神經網絡](http://people.idsia.ch/~juergen/blues/IDSIA-07-02.pdf)，2002年首次研究音樂作品。 * [來自幾個人類旋律的循環網絡學習的爵士樂旋律](https://www.aaai.org/Papers/FLAIRS/2005/Flairs05-010.pdf)，2005。 ### 帖子 * [使用Keras進行LSTM循環神經網絡的文本生成](http://machinelearningmastery.com/text-generation-lstm-recurrent-neural-networks-python-keras/)，2016 [循環神經網絡的不合理有效性](http://karpathy.github.io/2015/05/21/rnn-effectiveness/)，2015。 * 維基百科上的[語言模型](https://en.wikipedia.org/wiki/Language_model)。 ## 摘要 在這篇文章中，您發現了使用LSTM作為生成模型。 具體來說，你學到了： * 關于生成模型，重點關注稱為語言建模的文本的生成模型。 * 使用LSTM Generative模型的應用示例。 * 如何使用LSTM為生成模型建模文本的示例。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。