# 長短時記憶網絡在時間序列預測中的適用性 > 原文： [https://machinelearningmastery.com/suitability-long-short-term-memory-networks-time-series-forecasting/](https://machinelearningmastery.com/suitability-long-short-term-memory-networks-time-series-forecasting/) 長短期記憶（LSTM）是一種循環神經網絡，可以學習序列中項目之間的順序依賴性。 LSTM 承諾能夠學習在時間序列預測問題中進行預測所需的上下文，而不是預先指定和修復此上下文。 鑒于有希望，對于 LSTM 是否適合時間序列預測存在疑問。 在這篇文章中，我們將研究 LSTMs 在該技術的一些主要開發者的時間序列預測中的應用。 讓我們開始吧。  關于長期短期記憶網絡對時間序列預測的適用性 照片由 [becosky](https://www.flickr.com/photos/becosky/3304801086/) ，保留一些權利。 ## LSTM 用于時間序列預測 我們將仔細研究一篇旨在探討 LSTM 是否適合時間序列預測的論文。 該論文標題為“[將 LSTM 應用于通過時間窗口方法預測的時間序列](https://link.springer.com/chapter/10.1007/3-540-44668-0_93)”（[得到 PDF](ftp://ftp.idsia.ch/pub/juergen/icann2001predict.pdf) ，Gers，Eck 和 Schmidhuber，發表于 2001 年。 他們首先評論單變量時間序列預測問題實際上比傳統上用于演示 LSTM 功能的問題類型更簡單。 > 文獻中發現的時間序列基準問題通常比 LSTM 已經解決的許多任務在概念上更簡單。它們通常根本不需要 RNN，因為關于下一個事件的所有相關信息都是通過一個小時間窗內包含的一些最近事件來傳達的。 本文重點研究了 LSTM 在兩個復雜時間序列預測問題中的應用，并將 LSTM 的結果與其他類型的神經網絡進行了對比。 該研究的重點是兩個經典的時間序列問題： ### 麥基玻璃系列 這是根據微分方程計算的人為時間序列。  Mackey-Glass 系列的情節，取自 Schoarpedia 有關更多信息，請參閱： * [Scholarpedia 上的 Mackey-Glass 方程](http://www.scholarpedia.org/article/Mackey-Glass_equation)。 ### 混沌激光數據（A 組） 這是一系列來自圣達菲研究所的比賽。 集 A 定義為： > 清潔的物理實驗室實驗。遠紅外激光器中的 1000 個波動點，大致由三個耦合非線性常微分方程描述。  混沌激光數據（A 組）的例子，取自時間序列的未來 有關更多信息，請參閱： * 第 2 節“競爭”[時間序列的未來](http://samoa.santafe.edu/media/workingpapers/93-08-053.pdf)，1993。 ## 自回歸 使用自回歸（AR）方法來模擬這些問題。 這意味著下一個時間步驟是作為一些過去（或滯后）觀察的函數。 這是經典統計時間序列預測的常用方法。 LSTM 一次暴露于一個輸入，沒有固定的滯后變量集，如窗口多層感知器（MLP）。 有關時間序列 AR 的更多信息，請參閱帖子： * [使用 Python 進行時間序列預測的自回歸模型](http://machinelearningmastery.com/autoregression-models-time-series-forecasting-python/) ## 結果分析 一些更為突出的評論是為了回應 LSTM 對 Mackey-Glass 系列問題的糟糕結果。 首先，他們評論說增加網絡的學習能力沒有幫助： > 增加內存塊的數量并沒有顯著改善結果。 這可能需要進一步增加訓練時期的數量。一堆 LSTM 也可能具有改進的結果。 他們評論說，為了在 Mackey-Glass 系列上做得好，LSTM 需要記住最近的過去觀察結果，而 MLP 則明確地給出了這些數據。 > AR-LSTM 方法的結果明顯比時間窗方法的結果更差，例如使用 MLP。 AR-LSTM 網絡無法訪問過去作為其輸入的一部分... [為了使 LSTM 做得好]需要記住過去的一個或兩個事件，然后在覆蓋相同的存儲器單元之前使用該信息。 他們評論說，總的來說，這對 LSTM 和 RNN 構成了比 MLP 更大的挑戰。 > 假設任何動態模型都需要來自 t-tau ...的所有輸入，我們注意到 AR-RNN 必須存儲從 t-tau 到 t 的所有輸入并在適當的時間覆蓋它們。這需要實現循環緩沖區，這是 RNN 難以模擬的結構。 同樣，我不禁認為更大的隱藏層（更多的內存單元）和更深的網絡（堆疊的 LSTM）更適合學習多個過去的觀察。 他們后來總結了論文，并根據結果討論了 LSTM 可能不適合時間序列預測的 AR 類型公式，至少當滯后觀測值接近預測時間時。 鑒于 LSTM 在測試的單變量問題上的表現與 MLP 相比，這是一個公平的結論。 > 基于時間窗的 MLP 在某些時間序列預測基準上優于 LSTM 純 AR 方法，僅通過查看一些最近的輸入來解決。因此，LSTM 的特殊優勢，即學習在很長的未知時間內記住單個事件，在這里是不必要的。 > > LSTM 學會了調整每個系列的基本振蕩，但無法準確地跟蹤信號。 它們確實強調了 LSTM 學習振蕩行為的能力（例如周期或季節性）。 > 我們的結果建議僅在傳統的基于時間窗口的方法必須失敗的任務中使用 LSTM。 > > LSTM 跟蹤混沌信號中的緩慢振蕩的能力可適用于認知領域，例如語音和音樂中的節奏檢測。 這很有趣，但可能沒那么有用，因為這些模式通常會在預測之前盡可能明確地刪除。然而，它可能突出了 LSTM 學習在非平穩序列背景下進行預測的可能性。 ## 最后的話 那么，這一切意味著什么呢？ 根據面值，我們可以得出結論，LSTM 不適用于基于 AR 的單變量時間序列預測。我們應首先轉向具有固定窗口的 MLP，如果 MLP 無法獲得良好結果，則僅轉向 LSTM。 這聽起來很公平。 在我們為時間序列預測注銷 LSTM 之前，我會爭論一些應該考慮的問題： * 考慮更復雜的數據準備，例如至少縮放和平穩性。如果周期或趨勢明顯，則應將其移除，以便模型可以關注基礎信號。話雖如此，LSTM 在非靜止數據上表現良好或者比其他方法更好的能力是有趣的，但我希望與所需網絡容量和訓練的增加相稱。 * 考慮使用較大的模型和分層模型（堆疊的 LSTM）來自動學習（或“記住”）更大的時間依賴性。較大的型號可以了解更多。 * 考慮將模型擬合更長時間，例如數千或數十萬個時代，同時利用正規化技術。 LSTM 需要很長時間才能學習復雜的依賴關系。 我不會指出我們可以超越基于 AR 的模型;很明顯，AR 模型是 LSTM 考慮和采用經典統計方法（如 ARIMA）和表現良好的神經網絡（如窗口 MLP）的良好清潔試驗場。 我相信 LSTM 應用于時間序列預測問題的巨大潛力和機會。 你同意嗎？ 請在下面的評論中告訴我。