# 循環神經網絡在時間序列預測中的應用 > 原文： [https://machinelearningmastery.com/promise-recurrent-neural-networks-time-series-forecasting/](https://machinelearningmastery.com/promise-recurrent-neural-networks-time-series-forecasting/) 循環神經網絡是一種神經網絡，它在輸入觀察中添加了對順序的顯式處理。 這種能力表明，循環神經網絡的前景是學習輸入序列的時間背景，以便做出更好的預測。也就是說，進行預測所需的一系列滯后觀察不再必須像傳統的時間序列預測那樣被診斷和指定，甚至不能用經典神經網絡進行預測。相反，可以學習時間依賴性，也可以學習對這種依賴性的改變。 在這篇文章中，您將發現循環神經網絡在時間序列預測中的承諾能力。閱讀這篇文章后，你會知道： * 傳統時間序列預測方法的重點和隱含（如果不是明確的話）限制。 * 使用傳統前饋神經網絡進行時間序列預測的能力。 * 循環神經網絡在傳統神經網絡之上做出的額外承諾以及這在實踐中可能意味著什么的暗示。 讓我們開始吧。  時間序列預測的循環神經網絡的承諾 照片由 [Andy Hutchinson](https://www.flickr.com/photos/repomonkey/13909187181/) 拍攝，保留一些權利。 ## 時間序列預測 時間序列預測很困難。 與分類和回歸的簡單問題不同，時間序列問題增加了觀察的順序或時間依賴性的復雜性。 這可能很困難，因為在擬合和評估模型時需要專門處理數據。它還有助于建模，提供趨勢和季節性等額外結構，可用于提高模型技能。 傳統上，時間序列預測一直由 ARIMA 等線性方法主導，因為它們對許多問題都有很好的理解和有效性。但是這些傳統方法也受到一些限制，例如： * **關注完整數據**：通常不支持丟失或損壞的數據。 * **關注線性關系**：假設線性關系排除了更復雜的關節分布。 * **關注固定的時間依賴性**：必須診斷和指定不同時間的觀察之間的關系，以及作為輸入提供的滯后觀察的數量。 * **關注單變量數據**：許多現實問題都有多個輸入變量。 * **關注一步預測**：許多現實問題需要長時間的預測。 > 現有技術通常依賴于手工制作的特征，這些特征創建起來很昂貴并且需要該領域的專業知識。 - John Gamboa，[深度學習時間序列分析](https://arxiv.org/abs/1701.01887)，2017 年 請注意，已經開發了一些專門技術來解決其中一些限制。 ## 時間序列的神經網絡 神經網絡近似于從輸入變量到輸出變量的映射函數。 由于多種原因，這種通用能力對于時間序列是有價值的。 * **強健噪音**。神經網絡對輸入數據和映射函數中的噪聲具有魯棒性，甚至可以在存在缺失值的情況下支持學習和預測。 * **非線性**。神經網絡不會對映射函數做出強有力的假設，并且很容易學習線性和非線性關系。 > ......神經網絡的一個重要貢獻 - 即它們近似任意非線性函數的優雅能力。這個屬性在時間序列處理中具有很高的價值，并承諾提供更強大的應用程序，特別是在預測的下層...... - Georg Dorffner，[神經網絡用于時間序列處理](http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.45.5697)，1996。 更具體地，神經網絡可以被配置為在映射函數中支持任意定義但固定數量的輸入和輸出。這意味著： * **多變量輸入**。可以指定任意數量的輸入要素，為多變量預測提供直接支持。 * **多步預測**。可以指定任意數量的輸出值，為多步驟甚至多變量預測提供直接支持。 僅就這些功能而言，前饋神經網絡被廣泛用于時間序列預測。 隱含于神經網絡的使用是要求確實存在從輸入到輸出的有意義的映射以便學習。對隨機游走的映射建模將不會比持久性模型表現更好（例如，使用最后看到的觀察作為預測）。 這種可學習的映射函數的期望也使得其中一個限制變得清晰：映射函數是固定的或靜態的。 * **固定輸入**。滯后輸入變量的數量是固定的，與傳統的時間序列預測方法相同。 * **固定輸出**。輸出變量的數量也是固定的;雖然這是一個更微妙的問題，但這意味著對于每個輸入模式，必須產生一個輸出。 > 序列對[深度神經網絡]提出了挑戰，因為它們要求輸入和輸出的維數是已知的并且是固定的。 - Ilya Sutskever，Oriol Vinyals，Quoc V. Le，[序列學習與神經網絡](https://arxiv.org/abs/1409.3215)，2014 前饋神經網絡確實提供了很好的能力，但仍然受到必須在模型設計中預先指定時間依賴性的這一關鍵限制。 這種依賴性幾乎總是未知的，必須通過固定形式的詳細分析來發現和梳理。 ## 時間序列的循環神經網絡 當從輸入到輸出學習映射函數時，像長短期記憶網絡這樣的循環神經網絡在觀察之間增加了對順序的顯式處理。 序列的添加是近似函數的新維度。網絡不是單獨將輸入映射到輸出，而是能夠隨時間學習輸入到輸出的映射函數。 此功能可解鎖神經網絡的時間序列。 > 長期短期記憶（LSTM）能夠解決許多時間序列任務，這些任務是由使用固定大小時間窗口的前饋網絡無法解決的。 - Felix A. Gers，Douglas Eck，JürgenSchmidhuber，[將 LSTM 應用于通過時間窗方法預測的時間序列](https://link.springer.com/chapter/10.1007/3-540-44668-0_93)，2001 除了使用神經網絡進行時間序列預測的一般好處之外，循環神經網絡還可以從數據中學習時間依賴性。 * **了解時間依賴性**。學習了隨時間觀察的背景。 也就是說，在最簡單的情況下，網絡從序列中一次顯示一個觀察點，并且可以了解它之前看到的哪些觀察結果是相關的以及它們如何與預測相關。 > 由于能夠在序列中學習長期相關性，LSTM 網絡消除了對預先指定的時間窗口的需要，并且能夠精確地建模復雜的多變量序列。 - Pankaj Malhotra 等，[用于時間序列異常檢測的長短期記憶網絡](https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2015-56.pdf)，2015 循環神經網絡的前景是可以學習輸入數據中的時間依賴性。不需要指定一組固定的滯后觀察。 在這個承諾中隱含的是，也可以學習隨環境變化的時間依賴性。 但是，循環神經網絡可能更多。 優良作法是從時間序列數據中手動識別和移除這樣的系統結構，以使問題更容易建模（例如使系列靜止），并且這在使用循環神經網絡時仍然是最佳實踐。但是，這些網絡的一般能力表明，這可能不是熟練模型的要求。 從技術上講，可用的上下文可能允許循環神經網絡學習： * **趨勢**。時間序列的增加或減少水平，甚至是這些變化的變化。 * **季節性**。隨著時間的推移不斷重復模式。 您認為 LSTM 對時間序列預測問題的承諾是什么？ ## 摘要 在這篇文章中，您發現了循環神經網絡對時間序列預測的承諾。 具體來說，你學到了： * 傳統的時間序列預測方法側重于具有線性關系的單變量數據以及固定和手動診斷的時間依賴性。 * 神經網絡增加了學習可能的噪聲和非線性關系的能力，其中任意定義但固定數量的輸入和輸出支持多變量和多步預測。 * 循環神經網絡增加了有序觀察的顯式處理和從上下文學習時間依賴的承諾。 您是否不同意我對 LSTM 對時間序列預測的承諾的看法？ 在下面發表評論并加入討論。