# 人類活動識別的深度學習模型 > 原文： [https://machinelearningmastery.com/deep-learning-models-for-human-activity-recognition/](https://machinelearningmastery.com/deep-learning-models-for-human-activity-recognition/) 人類活動識別（HAR）是具有挑戰性的時間序列分類任務。 它涉及基于傳感器數據預測人的移動，并且傳統上涉及深度領域專業知識和來自信號處理的方法，以正確地設計來自原始數據的特征以適合機器學習模型。 最近，諸如卷積神經網絡和循環神經網絡的深度學習方法已經顯示出通過自動學習原始傳感器數據的特征而能夠甚至實現最先進的結果。 在這篇文章中，您將發現人類活動識別的問題以及在這個問題上實現最先進表現的深度學習方法。 閱讀這篇文章后，你會知道： * 活動識別是基于傳感器數據（例如智能手機中的加速度計）預測人（通常在室內）的移動的問題。 * 傳感器數據流通常被分成稱為窗口的子序列，并且每個窗口與更廣泛的活動相關聯，稱為滑動窗口方法。 * 卷積神經網絡和長期短期記憶網絡，或許兩者結合在一起，最適合從原始傳感器數據中學習特征并預測相關的運動。 讓我們開始吧。  用于人類活動識別的深度學習模型 照片由 [Simon Harrod](https://www.flickr.com/photos/sidibousaid/8238090492/) 拍攝，保留一些權利。 ## 概觀 這篇文章分為五個部分;他們是： 1. 人類活動識別 2. 神經網絡建模的好處 3. 監督學習數據表示 4. 卷積神經網絡模型 5. 循環神經網絡模型 ## 人類活動識別 人類活動識別（簡稱 HAR）是涉及基于傳感器數據識別人的特定運動或動作的廣泛研究領域。 運動通常是在室內進行的典型活動，例如步行，說話，站立和坐著。它們也可能是更集中的活動，例如在廚房或工廠車間進行的那些類型的活動。 可以遠程記錄傳感器數據，例如視頻，雷達或其他無線方法。或者，可以將數據直接記錄在對象上，例如通過攜帶具有加速度計和陀螺儀的定制硬件或智能電話。 > 基于傳感器的活動識別從大量低水平傳感器讀數中尋找關于人類活動的深刻的高級知識 - [基于傳感器的活動識別深度學習：調查](https://www.sciencedirect.com/science/article/pii/S016786551830045X)，2018。 從歷史上看，用于活動識別的傳感器數據具有挑戰性且收集成本高，需要定制硬件。現在，用于健身和健康監測的智能手機和其他個人跟蹤設備便宜且無處不在。因此，來自這些設備的傳感器數據收集起來更便宜，更常見，因此是一般活動識別問題的更常研究的版本。 問題是在給定傳感器數據快照的情況下預測活動，通常是來自一個或少數傳感器類型的數據。通常，該問題被構造為單變量或多變量時間序列分類任務。 這是一個具有挑戰性的問題，因為沒有明顯或直接的方式將記錄的傳感器數據與特定的人類活動相關聯，并且每個受試者可能執行具有顯著變化的活動，導致所記錄的傳感器數據的變化。 目的是記錄特定受試者的傳感器數據和相應活動，根據該數據擬合模型，并推廣模型以根據傳感器數據對新看不見的受試者的活動進行分類。 ## 神經網絡建模的好處 傳統上，來自信號處理領域的方法用于分析和提取收集的傳感器數據。 這些方法用于特征工程，創建特定于域的，特定于傳感器或特定于信號處理的特征以及原始數據的視圖。然后對處理后的數據版本訓練統計和機器學習模型。 此方法的局限性在于分析原始數據和設計擬合模型所需的功能所需的信號處理和領域專業知識。每個新數據集或傳感器模態都需要這種專業知識。實質上，它昂貴且不可擴展。 > 然而，在大多數日常 HAR 任務中，這些方法可能嚴重依賴于啟發式手工特征提取，其通常受到人類領域知識的限制。此外，這些方法只能學習淺層特征，導致無監督和增量任務的表現下降。由于這些限制，傳統[模式識別]方法的表現在分類準確性和模型概括方面受到限制。 - [基于傳感器的活動識別深度學習：調查](https://www.sciencedirect.com/science/article/pii/S016786551830045X)，2018。 理想情況下，可以使用學習方法自動學習直接從原始數據進行準確預測所需的功能。這將允許快速且廉價地采用新問題，新數據集和新傳感器模態。 最近，深度神經網絡模型已經開始實現其特征學習的承諾，并且正在實現人類活動識別的最新結果。它們能夠從原始傳感器數據執行自動功能學習，并且能夠在手工制作的特定于域的功能上執行優秀的模型。 > [...]，特征提取和模型構建過程通常在深度學習模型中同時執行。這些功能可以通過網絡自動學習，而不是手動設計。此外，深層神經網絡還可以提取深層的高層表示，使其更適合于復雜的活動識別任務。 - [基于傳感器的活動識別深度學習：調查](https://www.sciencedirect.com/science/article/pii/S016786551830045X)，2018。 神經網絡有兩種主要方法適用于時間序列分類，并且已經證明使用來自商品智能手機和健身追蹤設備的傳感器數據在活動識別方面表現良好。 它們是卷積神經網絡模型和循環神經網絡模型。 > 建議 RNN 和 LSTM 識別具有自然順序的短活動，而 CNN 更好地推斷長期重復活動。原因是 RNN 可以利用傳感器讀數之間的時間順序關系，CNN 更能夠學習遞歸模式中包含的深層特征。 - [基于傳感器的活動識別深度學習：調查](https://www.sciencedirect.com/science/article/pii/S016786551830045X)，2018。 ## 監督學習數據表示 在我們深入研究可用于人類活動識別的特定神經網絡之前，我們需要討論數據準備。 適用于時間序列分類的兩種類型的神經網絡都需要以特定方式準備數據以便適合模型。也就是說，在 _ 無監督學習 _'方式中，允許模型將信號數據與活動類相關聯。 一種直接的數據準備方法，既可用于手工制作特征的經典機器學習方法，也可用于神經網絡，包括將輸入信號數據劃分為信號窗口，其中給定窗口可能有一到幾秒的觀察時間數據。這通常被稱為'_ 滑動窗口 _。 > 人類活動識別旨在從傳感器捕獲的一組觀察中推斷出一個或多個人的行為。通常，這是通過遵循用于特征提取的固定長度滑動窗口方法來執行的，其中必須修復兩個參數：窗口的大小和移位。 - [用于活動識別的動態滑動窗口方法](https://link.springer.com/chapter/10.1007/978-3-642-22362-4_19)，2011 每個窗口還與特定活動相關聯。給定的數據窗口可以具有多個變量，例如加速度計傳感器的 x，y 和 z 軸。 讓我們以一個例子來具體化。 我們有 10 分鐘的傳感器數據;可能看起來像： ```py x, y, z, activity 1.1, 2.1, 0.1, 1 1.2, 2.2, 0.2, 1 1.3, 2.3, 0.3, 1 ... ``` 如果數據以 8 Hz 記錄，則意味著執行活動所用的一秒鐘將有八行數據。 我們可以選擇讓一個數據窗口代表一秒鐘的數據;這意味著 8 Hz 傳感器有 8 行數據。如果我們有 x，y 和 z 數據，那意味著我們將有 3 個變量。因此，單個數據窗口將是具有八個時間步長和三個特征的二維陣列。 一個窗口代表一個樣本。一分鐘的數據代表 480 個傳感器數據點，或 60 個 8 個時間步長的窗口。總共 10 分鐘的數據將代表 4,800 個數據點，或 600 個數據窗口。 可以方便地根據樣本或窗口的數量，窗口中的時間步數以及在每個時間步驟觀察到的特征的數量來描述我們準備的傳感器數據的形狀。 ```py [samples, time steps, features] ``` 我們以 8 Hz 記錄的 10 分鐘加速度計數據的示例將被概括為具有以下尺寸的三維陣列： ```py [600, 8, 3] ``` 沒有最佳窗口大小，它實際上取決于所使用的特定模型，收集的傳感器數據的性質以及被分類的活動。 窗戶的大小和模型的大小都有張力。較大的窗戶需要較大的模型，較慢的訓練，而較小的窗戶需要較小的模型，更容易適應。 > 直觀地，減小窗口大小允許更快的活動檢測，以及減少的資源和能量需求。相反，通常考慮使用大數據窗口來識別復雜的活動 - [人類活動識別中的窗口大小影響](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4029702/)，2014 年。 然而，通常使用一到兩秒的傳感器數據以便對活動的當前片段進行分類。 > 從結果來看，減少的窗口（2 秒或更短）被證明可以提供最準確的檢測表現。事實上，對于非常短的窗口（0.25-0.5 秒），可獲得最精確的識別器，從而可以完美識別大多數活動。與通常認為的相反，本研究表明，大窗口尺寸不一定轉化為更好的識別表現。 - [人類活動識別中的窗口大小影響](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4029702/)，2014 年。 將傳感器數據流分成窗口可能會導致窗口錯過一個活動到另一個活動的轉換。因此，傳統上將數據分成具有重疊的窗口是常見的，使得窗口的前半部分包含來自前一窗口的后半部分的觀察，在 50％重疊的情況下。 > [...]不正確的長度可能會截斷活動實例。在許多情況下，當窗口與一個活動的結尾和下一個活動的開頭重疊時，錯誤會出現在活動的開頭或結尾。在其他情況下，窗口長度可能太短而不能為識別過程提供最佳信息。 - [用于活動識別的動態滑動窗口方法](https://link.springer.com/chapter/10.1007/978-3-642-22362-4_19)，2011 目前還不清楚給定問題是否需要具有重疊的窗口。 在采用神經網絡模型時，使用重疊（例如 50％重疊）將使訓練數據的大小加倍，這可能有助于建模較小的數據集，但也可能導致過度擬合訓練數據集的模型。 > 對于某些應用，允許相鄰窗口之間的重疊;但是，這種使用頻率較低。 - [人類活動識別中的窗口大小影響](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4029702/)，2014 年。 ## 卷積神經網絡模型 卷積神經網絡模型（簡稱 CNN）是一種深度神經網絡，它被開發用于圖像數據，例如，如手寫識別。 事實證明，它們在大規模訓練時可以有效地挑戰計算機視覺問題，例如識別和定位圖像中的對象以及自動描述圖像內容。 它們是由兩種主要類型的元素組成的模型：卷積層和池化層。 卷積層使用內核讀取輸入，例如 2D 圖像或 1D 信號，該內核一次讀取小段并跨越整個輸入字段。每次讀取都會生成投影到濾鏡圖上的輸入，并表示輸入的內部解釋。 池化層采用特征圖投影并將其提取到最基本的元素，例如使用信號平均或信號最大化過程。 卷積和合并層可以在深度重復，提供輸入信號的多層抽象。 這些網絡的輸出通常是一個或多個完全連接的層，用于解釋已讀取的內容并將此內部表示映射到類值。 有關卷積神經網絡的更多信息，可以看到帖子： * [用于機器學習的卷積神經網絡的速成課程](https://machinelearningmastery.com/crash-course-convolutional-neural-networks/) CNN 可以應用于人類活動識別數據。 CNN 模型學習將給定的信號數據窗口映射到模型讀取每個數據窗口的活動，并準備窗口的內部表示。 > 當應用于像 HAR 這樣的時間序列分類時，CNN 比其他模型具有兩個優點：局部依賴性和尺度不變性。局部依賴性意味著 HAR 中的附近信號可能是相關的，而尺度不變性是指不同步幅或頻率的尺度不變。 - [基于傳感器的活動識別深度學習：調查](https://www.sciencedirect.com/science/article/pii/S016786551830045X)，2018。 使用 CNN 進行 HAR 的第一項重要工作是 Ming Zeng 等人在他們的 2014 年論文“使用移動傳感器進行人類活動識別的 Co [nvolutional 神經網絡”。](https://ieeexplore.ieee.org/document/7026300/) 在本文中，作者為加速度計數據開發了一個簡單的 CNN 模型，其中加速度計數據的每個軸被饋送到單獨的卷積層，匯集層，然后在被隱藏的完全連接層解釋之前連接。 從紙上得到的圖清楚地顯示了模型的拓撲結構。它提供了一個很好的模板，用于 CNN 如何用于 HAR 問題和一般的時間序列分類。  用于加速度計數據的 CNN 模型的描述 取自“使用移動傳感器進行人類活動識別的卷積神經網絡” 有許多方法可以模擬 CNN 的 HAR 問題。 一個有趣的例子是 Heeryon Cho 和 Sang Min Yoon 在他們的 2018 年論文題為“[基于劃分和征服的 1N CNN 人類活動識別使用測試數據銳化](http://www.mdpi.com/1424-8220/18/4/1055)”。 在其中，他們將活動分為涉及運動的那些，稱為“_ 動態 _”，以及那些主體靜止的，稱為“_ 靜態 _”，然后開發 CNN 模型來區分這兩個主要類別。然后，在每個類中，開發模型以區分該類型的活動，例如動態的“_ 行走 _”和靜態的“_ 坐 _”。  將活動分離為動態或靜態 取自“基于劃分和征服的 1N CNN 人類活動識別使用測試數據銳化” 他們將此稱為兩階段建模方法。 > 我們不是直接使用單個 6 級分類器識別單個活動，而是應用分而治之的方法并構建一個兩階段活動識別過程，其中首先使用 2-來識別抽象活動，即動態和靜態活動。類或二元分類器，然后使用兩個 3 級分類器識別單個活動。 - [基于劃分和征服的 1D CNN 人類活動識別使用測試數據銳化](http://www.mdpi.com/1424-8220/18/4/1055)，2018。 開發了相當大的 CNN 模型，這反過來又使作者能夠在具有挑戰性的標準人類活動識別數據集上獲得最先進的結果。 另一個有趣的方法是由 Wenchao Jiang 和 Zhaozheng Yin 在其 2015 年題為“[深度卷積神經網絡](https://dl.acm.org/citation.cfm?id=2806333)使用可穿戴傳感器的人類活動識別”的論文中提出的。 它們不是在信號數據上使用 1D CNN，而是將信號數據組合在一起以創建“_ 圖像 _”，然后將其饋送到 2D CNN 并作為圖像數據處理，其中信號的時間軸上有卷積，跨信號變量，特別是加速度計和陀螺儀數據。 > 首先，將原始信號逐行堆疊成信號圖像[...]。在信號圖像中，每個信號序列都有機會與每個其他序列相鄰，這使得 DCNN 能夠提取相鄰信號之間的隱藏相關性。然后，將 2D 離散傅里葉變換（DFT）應用于信號圖像，并選擇其幅度作為我們的活動圖像 - [通過深度卷積神經網絡使用可穿戴傳感器進行人類活動識別](https://dl.acm.org/citation.cfm?id=2806333)，2015 年。 下面描述了將原始傳感器數據處理成圖像，然后從圖像處理成“_ 活動圖像 _”，即離散傅立葉變換的結果。  將原始傳感器數據處理成圖像 取自“通過深度卷積神經網絡使用可穿戴傳感器的人類活動識別” 最后，關于這一主題的另一篇優秀論文是 Charissa Ann Ronao 和 Sung-Bae Cho 在 2016 年題為“[使用深度學習神經網絡](https://www.sciencedirect.com/science/article/pii/S0957417416302056)的智能手機傳感器進行人類活動識別”。 仔細研究 CNN 的使用表明，較大的內核大小的信號數據是有用的并且有限的匯集。 > 實驗表明，盡管每個附加層的特征復雜度水平差異減小，但是對于每個附加層，回歸實際上都會得到相關且更復雜的特征。可以利用更寬的時間局部相關時間跨度（1×9-1×14），并且低池化大小（1×2 -1×3）被證明是有益的。 - [使用深度學習神經網絡的智能手機傳感器識別人類活動](https://www.sciencedirect.com/science/article/pii/S0957417416302056)，2016 年。 有用的是，它們還為 CNN 模型提供了完整的超參數配置，可以為新的 HAR 和其他序列分類問題提供有用的起點，總結如下。  CNN 模型超參數配置表 取自“使用深度學習神經網絡的智能手機傳感器識別人體活動”。 ## 循環神經網絡模型 循環神經網絡（簡稱 RNN）是一種神經網絡，旨在從序列數據中學習，例如隨時間觀察的序列，或句子中的單詞序列。 稱為長短期記憶網絡（或簡稱 LSTM）的特定類型的 RNN 可能是最廣泛使用的 RNN，因為其精心設計克服了在序列數據上訓練穩定的 RNN 的一般困難。 LSTM 在大規模訓練手寫識別，語言建模和機器翻譯等任務時已證明對挑戰序列預測問題有效。 LSTM 模型中的一個層由特殊單元組成，這些單元具有控制輸入，輸出和循環連接的門，其權重是學習的。每個 LSTM 單元還具有內部存儲器或狀態，當讀取輸入序列時，該內部存儲器或狀態被累積，并且可以由網絡用作一種局部變量或存儲器寄存器。 有關長期短期內存網絡的更多信息，請參閱帖子： * [深度學習的循環神經網絡崩潰課程](https://machinelearningmastery.com/crash-course-recurrent-neural-networks-deep-learning/) 與可以讀取輸入序列的 CNN 一樣，LSTM 讀取輸入觀察序列并開發其自己的輸入序列的內部表示。與 CNN 不同，LSTM 的訓練方式應特別注意觀察結果和輸入序列中時間步長的預測誤差，稱為反向傳播。 有關隨時間反向傳播的更多信息，請參閱帖子： * [對時間反向傳播的溫和介紹](https://machinelearningmastery.com/gentle-introduction-backpropagation-time/) LSTM 可以應用于人類活動識別的問題。 LSTM 學習將傳感器數據的每個窗口映射到活動，其中一次一個地讀取輸入序列中的觀察，其中每個時間步驟可以包括一個或多個變量（例如，并行序列）。 簡單的 LSTM 模型在 HAR 問題上的應用有限。 其中一個例子是 Abdulmajid Murad 和 Jae-Young Pyun 2017 年題為“[用于人類活動識別的深度循環神經網絡](http://www.mdpi.com/1424-8220/17/11/2556)”的論文。 重要的是，在論文中，他們評論了 CNN 在傳感器數據的固定大小窗口上操作的要求的限制，這是 LSTM 并不嚴格限制的。 > 但是，卷積內核的大小限制了捕獲的數據樣本之間的依賴關系范圍。因此，典型的模型不適用于各種活動識別配置，并且需要固定長度的輸入窗口。 - [用于人類活動識別的深度循環神經網絡](http://www.mdpi.com/1424-8220/17/11/2556)，2017 年。 他們探討了 LSTM 的使用，它們既向前（正常）又向兩個方向處理序列數據（雙向 LSTM）。有趣的是，LSTM 預測傳感器數據的子序列的每個輸入時間步的活動，然后聚合這些活動以便預測窗口的活動。 > 每個時間步驟將有一個分數來預測在時間 t 發生的活動類型。通過將各個得分合并為單個預測來獲得對整個窗口 T 的預測 - [用于人類活動識別的深度循環神經網絡](http://www.mdpi.com/1424-8220/17/11/2556)，2017 年。 下面的圖表提供了 LSTM 模型的描述，后面是完全連接的層，用于解釋原始傳感器數據的內部表示。  用于活動識別的 LSTM RNN 的描述 取自“用于人類活動識別的深度循環神經網絡”。 在 CNN-LSTM 模型或 ConvLSTM 模型中，在 HAR 問題上結合 CNN 使用 LSTM 可能更常見。 這是使用 CNN 模型從原始樣本數據的子序列中提取特征的地方，然后由 LSTM 聚合解釋來自 CNN 的每個子序列的輸出特征。 這方面的一個例子是 Francisco Javier Ordonez 和 Daniel Roggen 的 2016 年論文題為“[用于多模式可穿戴活動識別的深度卷積和 LSTM 循環神經網絡](http://www.mdpi.com/1424-8220/16/1/115/html)”。 > 我們為可穿戴活動識別引入了一個新的 DNN 框架，我們將其稱為 DeepConvLSTM。該架構結合了卷積層和循環層。卷積層充當特征提取器，并在特征映射中提供輸入傳感器數據的抽象表示。循環層模擬特征圖激活的時間動態。 - [用于多模式可穿戴活動識別的深度卷積和 LSTM 循環神經網絡](http://www.mdpi.com/1424-8220/16/1/115/html)，2016。 深度網絡體系結構與四個卷積層一起使用，沒有任何池化層，接著是兩個 LSTM 層，用于在多個時間步驟中解釋提取的特征。 作者聲稱，移除池化層是其模型體系結構的關鍵部分，其中在卷積層之后使用池化層會干擾卷積層學習對原始傳感器數據進行下采樣的能力。 > 在文獻中，CNN 框架通常連續地包括卷積和匯集層，作為降低數據復雜性和引入平移不變特征的措施。然而，這種方法并不是架構的嚴格組成部分，并且在時間序列域中，DeepConvLSTM 不包括池化操作，因為網絡的輸入受到滑動窗口機制的約束[...]，這一事實限制了可能性假設 DeepConvLSTM 需要由循環層處理數據序列，則對數據進行下采樣。然而，在沒有滑動窗口要求的情況下，池化機制可用于覆蓋更深層的不同傳感器數據時間尺度。 - [用于多模式可穿戴活動識別的深度卷積和 LSTM 循環神經網絡](http://www.mdpi.com/1424-8220/16/1/115/html)，2016。 下圖取自紙張，使架構更清晰。請注意，圖像中的層 6 和 7 實際上是 LSTM 層。  用于活動識別的 CNN LSTM 模型的描述 取自“用于多模式可穿戴活動識別的深度卷積和 LSTM 循環神經網絡”。 ## 進一步閱讀 如果您希望深入了解，本節將提供有關該主題的更多資源。 ### 一般 * [基于傳感器的活動識別深度學習：調查](https://www.sciencedirect.com/science/article/pii/S016786551830045X)，2018。 ### 滑動窗戶 * [用于活動識別的動態滑動窗口方法](https://link.springer.com/chapter/10.1007/978-3-642-22362-4_19)，2011。 * [人類活動識別中的窗口大小影響](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4029702/)，2014 年。 ### 細胞神經網絡 * [使用移動傳感器進行人類活動識別的卷積神經網絡](https://ieeexplore.ieee.org/document/7026300/)，2014 年。 * [基于劃分和征服的 1D CNN 人類活動識別使用測試數據銳化](http://www.mdpi.com/1424-8220/18/4/1055)，2018。 * [通過深度卷積神經網絡使用可穿戴傳感器進行人類活動識別](https://dl.acm.org/citation.cfm?id=2806333)，2015 年。 * [使用深度學習神經網絡的智能手機傳感器識別人類活動](https://www.sciencedirect.com/science/article/pii/S0957417416302056)，2016 年。 ### RNNs * [用于人類活動識別的深度循環神經網絡](http://www.mdpi.com/1424-8220/17/11/2556)，2017 年。 * [用于多模式可穿戴活動識別的深度卷積和 LSTM 循環神經網絡](http://www.mdpi.com/1424-8220/16/1/115/html)，2016。 ## 摘要 在這篇文章中，您發現了人類活動識別的問題以及深度學習方法的使用，這些方法在這個問題上實現了最先進的表現。 具體來說，你學到了： * 活動識別是基于傳感器數據（例如智能手機中的加速度計）預測人（通常在室內）的移動的問題。 * 傳感器數據流通常被分成稱為窗口的子序列，并且每個窗口與更廣泛的活動相關聯，稱為滑動窗口方法。 * 卷積神經網絡和長期短期記憶網絡，或許兩者結合在一起，最適合從原始傳感器數據中學習特征并預測相關的運動。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。