# 使用序列進行預測 > 原文： [https://machinelearningmastery.com/sequence-prediction/](https://machinelearningmastery.com/sequence-prediction/) 序列預測不同于其他類型的監督學習問題。 該序列對訓練模型和進行預測時必須保留的觀察結果施加順序。 通常，涉及序列數據的預測問題被稱為序列預測問題，盡管存在一組基于輸入和輸出序列而不同的問題。 在本教程中，您將發現不同類型的序列預測問題。 完成本教程后，您將了解： * 4種類型的序列預測問題。 * 專家對每種序列預測問題的定義。 * 每種類型的序列預測問題的真實示例。 讓我們開始吧。  使用序列進行預測的溫和介紹 照 [abstrkt.ch](https://www.flickr.com/photos/xa4/6881309290/) ，保留一些權利。 ## 教程概述 本教程分為5個部分;他們是： 1. 序列 2. 序列預測 3. 序列分類 4. 序列生成 5. 序列到序列預測 ## 序列 我們經常處理應用機器學習中的集合，例如訓練或測試樣本集。 集合中的每個樣本可以被認為是來自域的觀察。 在一組中，觀察的順序并不重要。 序列不同。該序列對觀察結果強加了明確的順序。 訂單很重要。在使用序列數據作為模型的輸入或輸出的預測問題的制定中必須遵守它。 ### 序列預測 序列預測涉及預測給定輸入序列的下一個值。 例如： * 鑒于：1,2,3,4,5 * 預測：6  序列預測問題的示例 > 序列預測試圖基于前面的元素來預測序列的元素 - [序列學習：從識別和預測到順序決策](http://www.sts.rpi.edu/~rsun/sun.expert01.pdf)，2001。 > 使用一組訓練序列訓練預測模型。一旦訓練，該模型用于執行序列預測。預測包括預測序列的下一項。此任務有許多應用程序，如網頁預取，消費者產品推薦，天氣預報和股票市場預測。 - [CPT +：減少緊湊預測樹的時間/空間復雜度](https://link.springer.com/chapter/10.1007/978-3-319-18032-8_49)，2015 序列預測通常也可稱為“_序列學習_”。 > 學習順序數據仍然是模式識別和機器學習中的一項基本任務和挑戰。涉及順序數據的應用可能需要預測新事件，產生新序列，或決策制定，例如序列或子序列的分類。 - [關于使用變量馬爾可夫模型的預測](http://www.jair.org/media/1491/live-1491-2335-jair.pdf)，2004。 從技術上講，我們可以將這篇文章中的所有以下問題都稱為一種序列預測問題。這會讓初學者感到困惑。 序列預測問題的一些例子包括： * **天氣預報**。鑒于隨著時間的推移對天氣的一系列觀察，預測明天的預期天氣。 * **股市預測**。給定安全性隨時間的一系列移動，預測安全性的下一個移動。 * **產品推薦**。給定一系列過去購買的客戶，預測下一次購買客戶。 ## 序列分類 序列分類涉及預測給定輸入序列的類標簽。 For example: * 鑒于：1,2,3,4,5 * 預測：“好”或“壞”  序列分類問題的示例 > 序列分類的目的是使用標記的數據集D建立分類模型，以便該模型可用于預測看不見的序列的類標簽。 - 第14章，[數據分類：算法和應用](http://www.amazon.com/dp/B00MOU4SC0?tag=inspiredalgor-20)，2015年 輸入序列可以包括實數值或離散值。在后一種情況下，這些問題可以稱為離散序列分類。 序列分類問題的一些例子包括： * **DNA序列分類**。給定ACGT值的DNA序列，預測序列是否編碼編碼區或非編碼區。 * **異常檢測**。給定一系列觀察結果，預測序列是否異常。 * **情感分析**。給定一系列文本，如評論或推文，預測文本的情感是正面還是負面。 ## 序列生成 序列生成涉及生成新的輸出序列，其具有與語料庫中的其他序列相同的一般特征。 For example: * 鑒于：[1,3,5]，[7,9,11] * 預測：[3,5,7] > [循環神經網絡]可以通過一次一步地處理實際數據序列并預測接下來會發生什么來訓練序列生成。假設預測是概率性的，則可以通過從網絡的輸出分布迭代采樣從訓練的網絡生成新的序列，然后在下一步驟中將樣本作為輸入饋入。換句話說，通過讓網絡將其發明看作是真實的，就像一個人在做夢 - [生成具有循環神經網絡的序列](https://arxiv.org/abs/1308.0850)，2013。 序列生成問題的一些示例包括： * **文字生成**。給定一組文本，例如莎士比亞的作品，生成新的句子或段落的文字，如莎士比亞。 * **手寫預測**。給定手寫示例語料庫，為在語料庫中具有手寫屬性的新短語生成手寫。 * **音樂生成**。給定一組音樂示例，生成具有語料庫屬性的新音樂作品。 序列生成還可以指給定單個觀察作為輸入的序列的生成。 一個例子是圖像的自動文本描述。 * **圖像標題生成**。給定圖像作為輸入，生成描述圖像的單詞序列。  序列生成問題的示例 > 能夠使用正確形成的英語句子自動描述圖像的內容是一項非常具有挑戰性的任務，但它可以產生很大的影響，例如通過幫助視障人士更好地理解網絡上的圖像內容。 [...]實際上，描述不僅必須捕獲圖像中包含的對象，還必須表達這些對象如何相互關聯以及它們的屬性和它們所涉及的活動。此外，上述語義知識具有用英語等自然語言表達，這意味著除了視覺理解之外還需要語言模型。 - [Show and Tell：神經圖像標題生成器](https://arxiv.org/abs/1411.4555)，2015 ## 序列到序列預測 序列到序列預測涉及在給定輸入序列的情況下預測輸出序列。 For example: * 鑒于：1,2,3,4,5 * 預測：6,7,8,9,10  序列到序列預測問題的示例 > 盡管它們具有靈活性和功能，但[深度神經網絡]只能應用于輸入和目標可以用固定維數向量進行合理編碼的問題。這是一個重要的限制，因為許多重要問題最好用長度未知的序列表達。例如，語音識別和機器翻譯是順序問題。同樣，問答也可以被視為將表示問題的單詞序列映射到表示答案的單詞序列。 - [用神經網絡進行序列學習的序列](https://arxiv.org/abs/1409.3215)，2014 這是序列預測的微妙但具有挑戰性的擴展，其中不是預測序列中的單個下一個值，而是預測新序列可以具有或不具有與輸入序列相同的長度或者與輸入序列具有相同的時間。 這種類型的問題最近在自動文本翻譯領域（例如，將英語翻譯成法語）進行了大量研究，并且可以通過縮寫seq2seq來引用。 > seq2seq學習的核心是使用循環神經網絡將可變長度輸入序列映射到可變長度輸出序列。雖然相對較新，但seq2seq方法不僅在其原始應用 - 機器翻譯方面取得了最先進的成果。 - [多任務序列到序列學習](https://arxiv.org/abs/1511.06114)，2016。 如果輸入和輸出序列是時間序列，則該問題可以稱為多步時間序列預測。 * **多步時間序列預測**。給定時間序列的觀察，預測一系列未來時間步驟的觀察結果。 * **文字摘要**。給定文本文檔，預測描述源文檔的顯著部分的較短文本序列。 * **程序執行**。給定文本描述程序或數學方程，預測描述正確輸出的字符序列。 ## 進一步閱讀 如果您要深入了解，本節將提供有關該主題的更多資源。 * 維基百科上的[序列](https://en.wikipedia.org/wiki/Sequence) * [CPT +：減少緊湊預測樹的時間/空間復雜度](https://link.springer.com/chapter/10.1007/978-3-319-18032-8_49)，2015 * [關于使用變量馬爾可夫模型的預測](http://www.jair.org/media/1491/live-1491-2335-jair.pdf)，2004 * [序列預測簡介](http://data-mining.philippe-fournier-viger.com/an-introduction-to-sequence-prediction/)，2016 * [序列學習：從識別和預測到順序決策](http://www.sts.rpi.edu/~rsun/sun.expert01.pdf)，2001 * 第14章，離散序列分類，[數據分類：算法和應用](http://amzn.to/2tkM723)，2015 * [使用循環神經網絡生成序列](https://arxiv.org/abs/1308.0850)，2013 * [Show and Tell：神經圖像標題生成器](https://arxiv.org/abs/1411.4555)，2015 * [多任務序列到序列學習](https://arxiv.org/abs/1511.06114)，2016 * [用神經網絡進行序列學習的序列](https://arxiv.org/abs/1409.3215)，2014 * [遞歸和直接的多步預測：兩全其美](https://robjhyndman.com/papers/rectify.pdf)，2012 ## 摘要 在本教程中，您發現了不同類型的序列預測問題。 具體來說，你學到了： * 4種類型的序列預測問題。 * 專家對每種序列預測問題的定義。 * 每種類型的序列預測問題的真實示例。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。