# 什么是深度學習？ > 原文： [https://machinelearningmastery.com/what-is-deep-learning/](https://machinelearningmastery.com/what-is-deep-learning/) 深度學習是機器學習的一個子領域，涉及受大腦結構和功能激發的算法，稱為人工神經網絡。 如果你剛剛開始深度學習領域，或者你曾經有過神經網絡的經驗，你可能會感到困惑。我知道我最初很困惑，許多同事和朋友在 20 世紀 90 年代和 21 世紀初學習和使用神經網絡也是如此。 該領域的領導者和專家對深度學習的觀點有所了解，這些具體而細微的觀點為深度學習的內容提供了很多依據。 在這篇文章中，您將通過聽取該領域的一系列專家和領導者的確切了解深度學習的內容。 讓我們潛入。  什么是深度學習？ [Kiran Foster](https://www.flickr.com/photos/rueful/7885846128/) 的照片，保留一些權利。 ## 深度學習是大型神經網絡 [來自百度研究院 Coursera 和首席科學家的 Andrew Ng](https://en.wikipedia.org/wiki/Andrew_Ng) 正式成立了 [Google Brain](https://en.wikipedia.org/wiki/Google_Brain) ，最終導致了大量 Google 服務中深度學習技術的產品化。 他已經說了很多關于深度學習的內容并寫了很多，并且是一個很好的起點。 在深度學習的早期討論中，安德魯描述了傳統人工神經網絡背景下的深度學習。在 2013 年題為“[深度學習，自學習和無監督特征學習](https://www.youtube.com/watch?v=n1ViNeWhC24)”的演講中，他將深度學習的理念描述為： > 使用大腦模擬，希望： > > - 使學習算法更好，更容易使用。 > > - 在機器學習和人工智能方面取得革命性進展。 > > 我相信這是我們邁向真正人工智能的最好機會 后來他的評論變得更加細致入微了。 根據安德魯的深度學習的核心是我們現在擁有足夠快的計算機和足夠的數據來實際訓練大型神經網絡。在討論為什么現在是 2015 年 ExtractConf 在深度學習的時候，題為“[科學家應該了解的關于深度學習](https://www.youtube.com/watch?v=O0VN0pGgBZM)的數據”，他評論說： > 我們現在擁有的非常大的神經網絡......以及我們可以訪問的大量數據 他還評論了關于規模的重要觀點。當我們構建更大的神經網絡并用越來越多的數據訓練它們時，它們的表現會不斷提高。這通常與其他在表現上達到穩定水平的機器學習技術不同。 > 對于舊代學習算法的大多數風格......表現將達到穩定水平。 ......深度學習......是第一類算法......可擴展。 ...隨著您提供更多數據，表現會不斷提高 他在幻燈片中提供了一個漂亮的卡通片：  為何深度學習？ 滑動 [Andrew Ng](http://www.slideshare.net/ExtractConf) ，保留所有權利。 最后，他清楚地指出，我們在實踐中看到的深度學習的好處來自有監督的學習。從 2015 年的 ExtractConf 演講中，他評論道： > 今天深度學習的幾乎所有價值都是通過有監督的學習或從標記數據中學習 早些時候，斯坦福大學在 2014 年的一次題為“[深度學習](https://www.youtube.com/watch?v=W15K9PegQt0)”的演講中，他做了類似的評論： > 深度學習像瘋了一樣起飛的一個原因是因為它在監督學習中很棒 安德魯經常提到我們應該并且會看到更多的好處來自軌道的無人監督的一面，因為該領域已經成熟，可以處理大量未標記的數據。 [Jeff Dean](https://en.wikipedia.org/wiki/Jeff_Dean_(computer_scientist)) 是 Google 的系統和基礎設施小組的向導和谷歌高級研究員，并參與并可能部分負責 Google 內部深度學習的擴展和采用。 Jeff 參與了 Google Brain 項目以及大型深度學習軟件 DistBelief 和后來的 TensorFlow 的開發。 在 2016 年題為“[建立智能計算機系統深度學習](https://www.youtube.com/watch?v=QSaZGT4-6EY)”的演講中，他以類似的方式發表評論，深度學習實際上是關于大型神經網絡的。 > 當你聽到深度學習這個詞的時候，就想想一個大的深度神經網絡。深度指的是典型的層數，因此這種流行術語在印刷機中被采用。我認為它們通常是深度神經網絡。 他已經多次發表過這個演講，并且在[改進的幻燈片中為同一個演講](http://static.googleusercontent.com/media/research.google.com/en//people/jeff/BayLearn2015.pdf)，他強調了神經網絡的可擴展性，表明隨著更多的數據和更大的模型，結果會變得更好更多計算訓練。  結果更好，更多數據，更大型號，更多計算 滑動 [Jeff Dean](http://static.googleusercontent.com/media/research.google.com/en//people/jeff/BayLearn2015.pdf) ，保留所有權利。 ## 深度學習是分層特征學習 除了可擴展性之外，深度學習模型的另一個經常被引用的好處是它們能夠從原始數據執行自動特征提取，也稱為[特征學習](https://en.wikipedia.org/wiki/Feature_learning)。 [Yoshua Bengio](https://en.wikipedia.org/wiki/Yoshua_Bengio) 是深度學習的另一個領導者，盡管他開始對大型神經網絡能夠實現的自動特征學習產生濃厚的興趣。 他描述了使用特征學習發現和學習良好表示的算法能力方面的深度學習。在 2012 年題為“[深度學習無監督和轉移學習的表達](http://www.jmlr.org/proceedings/papers/v27/bengio12a/bengio12a.pdf)”的論文中，他評論道： > 深度學習算法試圖利用輸入分布中的未知結構，以便通常在多個級別上發現良好的表示，并使用較低級別的特征定義更高級別的學習特征 他在 2009 年的技術報告“[為 AI](http://www.iro.umontreal.ca/~lisa/publications2/index.php/publications/show/239) 學習深層架構”中提供了深入學習的詳細視角，其中強調了特征學習中層次結構的重要性。 > 深度學習方法旨在學習具有來自較低級別特征的組成所形成的較高級別的層級的特征的特征層級。在多個抽象級別自動學習功能允許系統學習直接從數據將輸入映射到輸出的復雜功能，而不完全依賴于人工制作的功能。 在即將出版的名為“[深度學習](http://www.deeplearningbook.org)”的書中，他與 Ian Goodfellow 和 Aaron Courville 合著，他們根據模型的架構深度來定義深度學習。 > 概念的層次結構允許計算機通過用簡單的概念構建它們來學習復雜的概念。如果我們繪制一個圖表來顯示這些概念是如何相互構建的，那么圖表很深，有很多層。出于這個原因，我們將這種方法稱為 AI 深度學習。 這是一本重要的書，有可能在一段時間內成為該領域的權威資源。本書繼續描述多層感知器作為深度學習領域中使用的算法，給出了深度學習已包含在人工神經網絡中的觀點。 > 深度學習模型的典型例子是前饋深度網絡或多層感知器（MLP）。 [Peter Norvig](https://en.wikipedia.org/wiki/Peter_Norvig) 是谷歌研究部主任，以其題為“[人工智能：現代方法](http://www.amazon.com/dp/0136042597?tag=inspiredalgor-20)”的人工智能教科書而聞名。 在 2016 年的一次演講中，他給出了題為“[深度學習和可理解性與軟件工程和驗證](https://www.youtube.com/watch?v=X769cyzBNVw)”的內容，他以與 Yoshua 非常相似的方式定義了深度學習，重點關注使用更深層網絡結構所允許的抽象功能。 > 一種學習，你形成的表示有幾個抽象層次，而不是輸出的直接輸入 ## 為什么稱它為“深度學習”？ 為什么不只是“人工神經網絡”？ [Geoffrey Hinton](https://en.wikipedia.org/wiki/Geoffrey_Hinton) 是人工神經網絡領域的先驅，并共同發表了關于[反向傳播](https://en.wikipedia.org/wiki/Backpropagation)算法的第一篇論文，用于訓練多層感知器網絡。 他可能已經開始引入措辭“ _deep_ ”來描述大型人工神經網絡的發展。 他在 2006 年共同撰寫了一篇題為“[深度信念網快速學習算法](http://www.mitpressjournals.org/doi/pdf/10.1162/neco.2006.18.7.1527)”的論文，其中描述了一種訓練“深度”（如在多層網絡中）受限制的 Boltzmann 機器的方法。 > 使用互補先驗，我們推導出一種快速，貪婪的算法，可以一次一層地學習深層定向信念網絡，前提是前兩層形成一個無向聯想記憶。 本文和 Geoff 在一個無向深度網絡上共同撰寫的題為“ [Deep Boltzmann Machines](http://www.jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf) ”的相關論文得到了社區的好評（現已引用數百次），因為它們是貪婪層的成功例子 - 明智的網絡訓練，在前饋網絡中允許更多層。 在科學的一篇題為“[用神經網絡降低數據維度](https://www.cs.toronto.edu/~hinton/science.pdf)”的共同撰寫的文章中，他們堅持使用相同的“深度”描述來描述他們開發網絡的方法，這些網絡的層數比以前更多。 > 我們描述了一種初始化權重的有效方法，它允許深度自動編碼器網絡學習低維度代碼，這些代碼比主成分分析更好地作為減少數據維度的工具。 在同一篇文章中，他們發表了一篇有趣的評論，與 Andrew Ng 關于最近計算能力的提高以及對大型數據集的訪問的評論相互關聯，這些數據集在大規模使用時釋放了神經網絡尚未開發的能力。 > 自 20 世紀 80 年代以來，顯而易見的是，通過深度自動編碼器的反向傳播對于非線性降維是非常有效的，只要計算機足夠快，數據集足夠大，并且初始權重足夠接近良好的解決方案。現在滿足所有這三個條件。 在 2016 年皇家學會題為“[深度學習](https://www.youtube.com/watch?v=VhmE_UXDOGs)”的演講中，Geoff 評論說深度信念網絡是 2006 年深度學習的開始，并且這一新的深度學習浪潮的首次成功應用是 2009 年的語音識別標題為“[聲學建模使用深度信念網絡](http://www.cs.toronto.edu/~asamir/papers/speechDBN_jrnl.pdf)”，實現了最先進的結果。 結果使語音識別和神經網絡社區注意到，使用“深度”作為先前神經網絡技術的差異因素，可能導致名稱改變。 皇家學會談話中對深度學習的描述非常反向傳播，正如您所期望的那樣。有趣的是，他提出了為什么反向傳播（讀“深度學習”）在上世紀 90 年代沒有起飛的 4 個原因。前兩點與安德魯·吳（Andrew Ng）的評論相符，關于數據集太小而計算機太慢。  1986 年背向傳播實際上是錯誤的？ 滑動 [Geoff Hinton](https://www.youtube.com/watch?v=VhmE_UXDOGs) ，保留所有權利。 ## 深度學習作為跨域的可擴展學習 深度學習在輸入（甚至輸出）是模擬的問題域上表現優異。意思是，它們不是表格格式的少量數量，而是像素數據，文本數據文檔或音頻數據文件的圖像。 [Yann LeCun](https://en.wikipedia.org/wiki/Yann_LeCun) 是 Facebook Research 的主管，是網絡架構之父，擅長圖像數據中的對象識別，稱為[卷積神經網絡（CNN）](http://machinelearningmastery.com/crash-course-convolutional-neural-networks/)。這種技術看起來非常成功，因為像多層感知器前饋神經網絡一樣，該技術可以根據數據和模型大小進行擴展，并且可以通過反向傳播進行訓練。 這使他對深度學習的定義偏向于非常大的 CNN 的發展，這些 CNN 在照片中的對象識別方面取得了巨大成功。 在勞倫斯利弗莫爾國家實驗室 2016 年的一次題為“[加速理解：深度學習，智能應用和 GPU](https://www.youtube.com/watch?v=Qk4SqF9FT-M) ”的演講中，他將深度學習描述為學習層次表示，并將其定義為構建對象識別系統的可擴展方法： > 深度學習[是] ...所有可訓練的模塊管道。 ......因為在識別一個物體的過程中有多個階段，所有這些階段都是訓練的一部分“  深度學習=學習等級表示 滑動 [Yann LeCun](https://www.youtube.com/watch?v=Qk4SqF9FT-M) ，保留所有權利。 [Jurgen Schmidhuber](https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber) 是另一種流行算法的父親，它像 MLP 和 CNN 一樣也可以根據模型大小和數據集大小進行擴展，并且可以通過反向傳播進行訓練，而是針對學習序列數據進行定制，稱為 [Long 短期記憶網絡（LSTM）](http://machinelearningmastery.com/crash-course-recurrent-neural-networks-deep-learning/)，一種遞歸神經網絡。 我們確實看到在該領域的措辭中存在一些混淆，即“深度學習”。在 2014 年題為“[神經網絡中的深度學習：概述](http://arxiv.org/pdf/1404.7828v4.pdf)”的論文中，他對該領域的問題命名以及深度與淺層學習的區分進行了評論。他還有趣地描述了問題復雜性的深度，而不是用于解決問題的模型。 > Shallow Learning 在哪個問題深度結束，深度學習開始了？與 DL 專家的討論尚未對這一問題作出結論性回應。 [...]，讓我只為此概述的目的定義：深度問題＆gt; 10 需要非常深度學習。 [Demis Hassabis](https://en.wikipedia.org/wiki/Demis_Hassabis) 是 [DeepMind](https://deepmind.com/) 的創始人，后來被谷歌收購。 DeepMind 突破了將深度學習技術與強化學習相結合，以處理復雜的學習問題，如玩游戲，在玩 Atari 游戲和游戲 Go with Alpha Go 時出類拔萃。 為了與命名保持一致，他們將他們的新技術稱為深度 Q 網絡，將深度學習與 Q-Learning 結合起來。他們還將更廣泛的研究領域命名為“深層強化學習”。 在他們的 2015 年自然論文題為“[通過深度強化學習](http://www.nature.com/nature/journal/v518/n7540/full/nature14236.html)進行人類控制”中，他們評論了深度神經網絡在突破中的重要作用，并強調了對分層抽象的需求。 > 為了實現這一目標，我們開發了一種新型代理，一種深度 Q 網絡（DQN），它能夠將強化學習與一類稱為深度神經網絡的人工神經網絡相結合。值得注意的是，深度神經網絡的最新進展使得人工神經網絡可以直接從原始傳感數據中學習諸如對象類別之類的概念，其中使用若干層節點來逐漸建立數據的抽象表示。 最后，在可能被認為是該領域的定義論文中，Yann LeCun，Yoshua Bengio 和 Geoffrey Hinton 在自然界發表了一篇題為“[深度學習](http://www.nature.com/nature/journal/v521/n7553/full/nature14539.html)”的論文。在其中，他們打開了一個清晰的深度學習定義，突出了多層次的方法。 > 深度學習允許由多個處理層組成的計算模型來學習具有多個抽象級別的數據表示。 后來，在表示學習和抽象方面描述了多層方法。 > 深度學習方法是具有多個表示級別的表示學習方法，通過組合簡單但非線性的模塊獲得，每個模塊將表示在一個級別（從原始輸入開始）轉換為更高，稍微更抽象級別的表示。 [...]深度學習的關鍵方面是這些功能層不是由人類工程師設計的：它們是使用通用學習程序從數據中學習的。 這是一個很好的通用描述，可以很容易地描述大多數人工神經網絡算法。這也是一個很好的結束。 ## 摘要 在這篇文章中，您發現深度學習只是對更多數據的非常大的神經網絡，需要更大的計算機。 雖然 Hinton 和合作者發表的早期方法側重于貪婪的分層訓練和無監督方法，如自動編碼器，但現代最先進的深度學習主要集中在使用反向傳播算法訓練深層（多層）神經網絡模型。最流行的技術是： * 多層感知器網絡。 * 卷積神經網絡。 * 長短期記憶回歸神經網絡。 我希望這已經清除了深層學習的內容以及領導定義如何在一個保護傘下融合在一起。 如果您對深度學習或此帖有任何疑問，請在下面的評論中提出您的問題，我會盡力回答。