# 比較經典和機器學習方法進行時間序列預測的結果 > 原文： [https://machinelearningmastery.com/findings-comparing-classical-and-machine-learning-methods-for-time-series-forecasting/](https://machinelearningmastery.com/findings-comparing-classical-and-machine-learning-methods-for-time-series-forecasting/) 通常報告機器學習和深度學習方法是所有預測建模問題的關鍵解決方案。 最近一項重要的研究評估并比較了許多經典和現代機器學習和深度學習方法在 1000 多個單變量時間序列預測問題的大量不同組合中的表現。 這項研究的結果表明，簡單的經典方法，如線性方法和指數平滑，優于復雜和復雜的方法，如決策樹，多層感知器（MLP）和長期短期記憶（LSTM）網絡模型。 這些發現突出了評估經典方法并將其結果用作評估任何機器學習和時間序列預測的深度學習方法的基線的要求，以證明其增加的復雜性增加了預測技能。 在這篇文章中，您將發現這項最新研究的重要發現，評估和比較經典和現代機器學習方法在大量不同時間序列預測數據集上的表現。 閱讀這篇文章后，你會知道： * 像 ETS 和 ARIMA 這樣的經典方法勝過機器學習和深度學習方法，可以對單變量數據集進行一步預測。 * 像 Theta 和 ARIMA 這樣的經典方法勝過機器學習和深度學習方法，可以對單變量數據集進行多步預測。 * 機器學習和深度學習方法還沒有兌現他們對單變量時間序列預測的承諾，還有很多工作要做。 讓我們開始吧。  研究結果比較時間序列預測的經典和機器學習方法 [Lyndon Hatherall](https://www.flickr.com/photos/m8ee/8492207975/) 的照片，保留一些權利。 ## 概觀 [Spyros Makridakis](https://en.wikipedia.org/wiki/Spyros_Makridakis) ，等。發表于 2018 年的一項研究題為“[統計和機器學習預測方法：關注和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)。” 在這篇文章中，我們將仔細研究 Makridakis 等人的研究。仔細評估和比較經典時間序列預測方法與現代機器學習方法的表現。 這篇文章分為七個部分;他們是： 1. 學習動機 2. 時間序列數據集 3. 時間序列預測方法 4. 數據準備 5. 一步預測結果 6. 多步預測結果 7. 成果 ## 學習動機 該研究的目的是清楚地展示一套不同的機器學習方法的能力，與傳統的時間序列預測方法相比，它可以收集大量不同的單變量時間序列預測問題。 該研究是對越來越多的論文的回應，并聲稱機器學習和深度學習方法為時間序列預測提供了優異的結果，幾乎沒有客觀證據。 > 數以百計的論文提出了新的 ML 算法，提出了方法上的進步和準確性的改進。然而，關于它們作為標準預測工具的相對表現，可獲得有限的客觀證據。 - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 作者清楚地提出了大量索賠的三個問題;他們是： * 他們的結論基于一些甚至一個時間序列，提出了關于結果的統計顯著性及其概括性的問題。 * 對這些方法進行短期預測視野評估，通常是一步到位，不考慮中期和長期預測。 * 沒有使用基準來比較 ML 方法與其他方法的準確性。 作為回應，該研究包括八種經典方法和 10 種機器學習方法，使用一個步驟和多步驟預測，在 1,045 個月度時間序列的集合中進行評估。 雖然不是確定的，但結果旨在客觀和穩健。 ## 時間序列數據集 研究中使用的時間序列數據集來自 M3 競賽中使用的時間序列數據集。 M3 競賽是一系列競賽中的第三項，旨在準確發現在實時系列預測問題中哪些算法在實踐中表現良好。比賽結果發表在 2000 年題為“ [M3 競賽：結果，結論和影響](https://www.sciencedirect.com/science/article/pii/S0169207000000571)”的論文中。 比賽中使用的數據集來自各行各業，并且具有從小時到年度的各種不同時間間隔。 > M3-Competition 的 3003 系列是在配額基礎上選擇的，包括各種類型的時間序列數據（微觀，行業，宏觀等）和連續觀測之間的不同時間間隔（年度，季度等）。 下表摘自論文，提供了競賽中使用的 3,003 個數據集的摘要。  M3 競賽中使用的數據集，行業和時間間隔表 取自“M3 競賽：結果，結論和影響”。 競爭的結果是更簡單的時間序列預測方法優于更復雜的方法，包括神經網絡模型。 > 這項研究，前兩次 M-Competitions 和許多其他實證研究已經證明，除了最簡單的疑問之外，精心設計的理論結構或更復雜的方法并不一定能提高樣本后預測的準確性，而不是簡單的方法，盡管它們可以更好地適應統計模型到可用的歷史數據。 - [M3-競爭：結果，結論和影響](https://www.sciencedirect.com/science/article/pii/S0169207000000571)，2000。 我們在本文中回顧的最近一項評估機器學習方法的研究選擇了 1,045 個時間序列的子集，每月間隔與 M3 競賽中使用的間隔相比。 > ...使用 M3 競賽中使用的 1045 個月度時間序列的大部分，在多個預測視野中評估此類表現。 - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 ## 時間序列預測方法 該研究評估了八種經典（或簡單）方法和 10 種機器學習方法的表現。 > ......八種傳統統計方法和八種流行的 ML 方法，以及近兩年來最受歡迎的兩種方法。 - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 評估的八種經典方法如下： * 樸素 2，實際上是一個隨季節調整的隨機游走模型。 * 簡單的指數平滑。 * 霍爾特。 * 阻尼指數平滑。 * SES，Holt 和 Damped 的平均值。 * Theta 方法。 * ARIMA，自動。 * ETS，自動。 共有八種機器學習方法用于重現和比較 2010 年論文“[時間序列預測的機器學習模型的經驗比較](https://www.tandfonline.com/doi/abs/10.1080/07474938.2010.481556)”中提供的結果。 他們是： * 多層感知器（MLP） * 貝葉斯神經網絡（BNN） * 徑向基函數（RBF） * 廣義循環神經網絡（GRNN），也稱為核回歸 * K-最近鄰回歸（KNN） * CART 回歸樹（CART） * 支持向量回歸（SVR） * 高斯過程（GP） 另外兩個'_ 現代 _'神經網絡算法也被添加到列表中，因為它們的采用率最近有所上升;他們是： * 循環神經網絡（RNN） * 長短期記憶（LSTM） ## 數據準備 再次，基于 2010 年論文“[時間序列預測的機器學習模型的經驗比較](https://www.tandfonline.com/doi/abs/10.1080/07474938.2010.481556)”中描述的方法，使用了謹慎的數據準備方法。 在那篇論文中，每個時間序列都是使用冪變換進行調整，去季節化和去趨勢化。 > [...]在計算 18 個預測之前，他們對系列進行了預處理，以實現平均值和方差的平穩性。這是使用對數轉換，然后去季節化和最終縮放來完成的，同時還考慮了去除趨勢分量的第一個差異。 - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 受這些操作的啟發，對一步預測的 MLP 應用了五種不同數據轉換的變體，并對它們的結果進行了比較。五個轉變是： * 原始數據。 * Box-Cox 功率變換。 * 延長數據的時間。 * 去除數據。 * 所有三個變換（權力，去季節化，趨勢）。 一般來說，人們發現最好的方法是應用功率變換并對數據進行去季節化，并且可能也會對系列產生不利影響。 > 根據 sMAPE 的最佳組合是 7 號（Box-Cox 轉換，deseasonalization），而根據 MASE 的最佳組合是 10 號（Box-Cox 轉換，deseasonalization 和 detrending） - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 ## 一步預測結果 所有模型均使用一步時間序列預測進行評估。 具體而言，最后 18 個時間步驟用作測試集，并且模型適合于所有剩余的觀察。對測試集中的 18 個觀測值中的每個觀測值進行單獨的一步預測，可能使用前向驗證方法，其中使用真實觀測值作為輸入以進行每個預測。 > 預測模型是使用前 n - 18 個觀測值開發的，其中 n 是序列的長度。然后，生成了 18 個預測，并且與開發預測模型時未使用的實際值進行了評估。 - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 回顧結果，發現 MLP 和 BNN 從所有機器學習方法中獲得最佳表現。 > 結果表明，MLP 和 BNN 的表現優于其余的 ML 方法。 - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 令人驚訝的結果是發現 RNN 和 LSTM 表現不佳。 > 應該指出的是，RNN 是不太準確的 ML 方法之一，這表明研究進展并不一定能保證預測表現的提高。這個結論也適用于 LSTM 的表現，LSTM 是另一種流行且更先進的 ML 方法，它也不能提高預測精度。 - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 比較所有方法的表現，發現機器學習方法都是通過簡單的經典方法進行的，其中 ETS 和 ARIMA 模型的整體表現最佳。 這一發現證實了之前類似研究和競賽的結果。  條形圖比較模型表現（sMAPE）的一步預測 取自“統計和機器學習預測方法：關注和前進方向”。 ## 多步預測結果 多步驟預測涉及在最后一次已知觀察之前預測多個步驟。 針對機器學習方法評估了[多步預測](https://machinelearningmastery.com/multi-step-time-series-forecasting/)的三種方法;他們是： * 迭代預測 * 直接預測 * 多神經網絡預測 發現經典方法再次優于機器學習方法。 在這種情況下，發現諸如 Theta，ARIMA 和指數平滑（梳狀）的組合的方法實現了最佳表現。 > 簡而言之，統計模型在所有預測視野中似乎總體上優于 ML 方法，根據所檢查的誤差指標，Theta，Comb 和 ARIMA 在競爭者中占主導地位。 - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 ## 成果 該研究提供了重要的支持證據，即經典方法可能主導單變量時間序列預測，至少在評估的預測問題類型上如此。 該研究表明，對于單步和多步預測的單變量時間序列預測，機器學習和深度學習方法的表現更差，計算成本增加。 這些發現強烈鼓勵使用經典方法，如 ETS，ARIMA 等，作為探索更精細方法之前的第一步，并要求將這些簡單方法的結果用作表現的基線，以便更精細的方法必須清楚，以證明其使用的合理性。 它還強調了不僅要考慮仔細使用數據準備方法，而且需要主動測試針對給定問題的多種不同數據準備方案組合，以便發現哪種方法最有效，即使在經典方法的情況下也是如此。 機器學習和深度學習方法仍然可以在特定的單變量時間序列問題上獲得更好的表現，并且應該進行評估。 該研究沒有考慮更復雜的時間序列問題，例如那些數據集： * 復雜的不規則時間結構 * 缺少觀察 * 噪音很大。 * 多個變量之間復雜的相互關系。 該研究總結了一個誠實的困惑，為什么機器學習方法在實踐中表現如此糟糕，因為它們在其他人工智能領域表現出色。 > 最有趣的問題和最大的挑戰是找出其表現不佳的原因，目的是提高準確性并發揮其巨大潛力。人工智能學習算法已經徹底改變了各種領域的廣泛應用，并且沒有理由用 ML 方法在預測中無法實現同樣的目標。因此，我們必須找到如何應用以提高他們更準確的預測能力。 - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 作者對 LSTM 和 RNN 進行了評論，這些評論通常被認為是一般的序列預測問題的深度學習方法，在這種情況下，它們在實踐中表現明顯不佳。 > [...]人們會期望更高級的 NN 類型的 RNN 和 LSTM 比 ARIMA 和其他統計方法更準確。 - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 他們評論說 LSTM 似乎更適合擬合或過度擬合訓練數據集而不是預測它。 > 另一個有趣的例子可能是 LSTM 的情況與較簡單的 NN（如 RNN 和 MLP）相比，報告更好的模型擬合但更差的預測準確性 - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 有工作要做，機器學習方法和深度學習方法比傳統的統計方法更有學習時間序列數據的承諾，甚至通過自動特征學習直接對原始觀察這樣做。 > 鑒于他們的學習能力，ML 方法應該比簡單的基準測試更好，比如指數平滑。接受問題是設計可行解決方案的第一步，我們希望 AI 和 ML 領域的人員能夠接受實證研究結果并努力提高其方法的預測準確性。 - [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 ## 進一步閱讀 如果您希望深入了解，本節將提供有關該主題的更多資源。 * [Makridakis 比賽，維基百科](https://en.wikipedia.org/wiki/Makridakis_Competitions) * [M3-競爭：結果，結論和影響](https://www.sciencedirect.com/science/article/pii/S0169207000000571)，2000。 * [M4 競賽：結果，發現，結論和前進方向](https://www.sciencedirect.com/science/article/pii/S0169207018300785)，2018。 * [統計和機器學習預測方法：關注點和前進方向](http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889)，2018。 * [時間序列預測機器學習模型的實證比較](https://www.tandfonline.com/doi/abs/10.1080/07474938.2010.481556)，2010。 ## 摘要 在這篇文章中，您發現了最近一項研究的重要發現，該研究評估和比較了經典和現代機器學習方法在大量不同時間序列預測數據集上的表現。 具體來說，你學到了： * 像 ETS 和 ARIMA 這樣的經典方法勝過機器學習和深度學習方法，可以對單變量數據集進行一步預測。 * 像 Theta 和 ARIMA 這樣的經典方法勝過機器學習和深度學習方法，可以對單變量數據集進行多步預測。 * 機器學習和深度學習方法尚未兌現其對單變量時間序列預測的承諾，還有很多工作要做。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。