# 對自然語言處理的深度學習的承諾 > 原文： [https://machinelearningmastery.com/promise-deep-learning-natural-language-processing/](https://machinelearningmastery.com/promise-deep-learning-natural-language-processing/) 在自然語言處理領域深度學習的承諾是模型的更好表現，這些模型可能需要更多數據但是訓練和操作的語言專業知識更少。 圍繞深度學習方法存在很多炒作和大量宣稱，但除了炒作之外，深度學習方法在挑戰性問題上實現了最先進的結果。特別是在自然語言處理方面。 在這篇文章中，您將發現深度學習方法對解決自然語言處理問題的具體承諾。 閱讀這篇文章后，你會知道： * 深度學習自然語言處理的承諾。 * 關于 NLP 深度學習的承諾，從業者和研究科學家必須說些什么。 * 自然語言處理的關鍵深度學習方法和應用。 讓我們開始吧。  自然語言處理深度學習的承諾 [D. Brandsma](https://www.flickr.com/photos/dbrandsma/5391092818/) 的照片，保留一些權利。 ## 深度學習的承諾 深度學習方法很受歡迎，主要是因為他們兌現了他們的承諾。 這并不是說該技術沒有大肆宣傳，而是炒作是基于非常真實的結果，這些結果正在通過計算機視覺和自然語言處理的一系列非常具有挑戰性的人工智能問題得到證明。 深度學習的第一次大型演示是自然語言處理，特別是語音識別。最近在機器翻譯。 在這篇文章中，我們將討論自然語言處理領域深度學習方法的五個具體承諾。該領域的研究人員和從業人員最近強調了這一承諾，這些人可能比承諾的承諾更平均。 總之，它們是： 1. **直接替換模型的承諾**。也就是說，深度學習方法可以放入現有的自然語言系統中作為可以實現相稱或更好表現的替代模型。 2. **新 NLP 模型的承諾**。也就是說，深度學習方法提供了新的建模方法的機會，以挑戰自然語言問題，如序列到序列預測。 3. **特色學習的承諾**。也就是說，深度學習方法可以從模型所需的自然語言中學習特征，而不是要求專家指定和提取特征。 4. **持續改進的承諾**。也就是說，自然語言處理中的深度學習的表現基于實際結果，并且改進似乎在繼續并且可能加速。 5. **端到端模型的承諾**。也就是說，大型端到端深度學習模型可以適應自然語言問題，提供更通用，表現更好的方法。 我們現在將仔細研究每一個。 對于自然語言處理還有其他深度學習的承諾;這些只是我選擇強調的 5 個。 您認為深度學習對自然語言處理的承諾是什么？ 請在下面的評論中告訴我。 ## 1.直接替換模型的承諾 自然語言處理中深度學習的第一個承諾是能夠用能夠學習和利用非線性關系的表現更好的模型替換現有的線性模型。 Yoav Goldberg 在 NLP 研究人員的神經網絡入門中強調了深度學習方法取得了令人矚目的成果。 > 最近，神經網絡模型也開始應用于文本自然語言信號，同樣具有非常有希望的結果。 - [自然語言處理神經網絡模型入門](https://arxiv.org/abs/1510.00726)，2015。 他繼續強調這些方法易于使用，有時可用于批量替換現有的線性方法。 > 最近，該領域已經在通過密集輸入從稀疏輸入的這種線性模型轉換到非線性神經網絡模型方面取得了一些成功。雖然大多數神經網絡技術易于應用，有時幾乎是舊線性分類器的替代品，但在許多情況下存在強大的進入障礙。 - [自然語言處理神經網絡模型入門](https://arxiv.org/abs/1510.00726)，2015。 ## 2.新 NLP 模型的承諾 另一個承諾是深度學習方法有助于開發全新的模型。 一個強有力的例子是使用能夠在很長的序列上學習和調節輸出的循環神經網絡。該方法的不同之處在于它們允許從業者擺脫傳統的建模假設，從而實現最先進的結果。 Yoav Goldberg 在其關于 NLP 深度學習的書中指出，復雜的神經網絡模型（如循環神經網絡）可以提供全新的 NLP 建模機會。 > 2014 年左右，該領域開始看到在密集輸入上從稀疏輸入的這種線性模型轉換為非線性神經網絡模型取得了一些成功。 ......其他更先進，需要改變思維方式，并提供新的建模機會。特別是，基于循環神經網絡（RNN）的一系列方法減輕了對序列模型中普遍存在的馬爾可夫假設的依賴，允許條件在任意長序列上產生有效的特征提取器。這些進步帶來了語言建模，自動機器翻譯和其他應用的突破。 - 第 xvii 頁，[自然語言處理中的神經網絡方法](http://amzn.to/2eScGtY)，2017。 ## 3.特色學習的承諾 深度學習方法能夠學習特征表示，而不是要求專家手動指定和提取自然語言的特征。 NLP 研究員克里斯·曼寧（Chris Manning）在自然語言處理深度學習課程的第一講中強調了不同的觀點。 他描述了手動定義的輸入功能的局限性，其中機器學習在統計 NLP 中的先前應用確實證明了人類定義功能并且計算機幾乎沒有學習。 克里斯認為深度學習方法的承諾是自動特征學習。他強調，功能學習是自動的而不是手動的，易于適應而不是脆弱，并且可以持續自動地進行改進。 > 一般而言，我們手動設計的功能往往過于規范，不完整，需要很長時間進行設計和驗證，并且只能在一天結束時達到一定的表現水平。學習的功能易于適應，快速訓練，他們可以繼續學習，以便他們達到我們以前能夠達到的更好的表現水平。 - Chris Manning，第 1 講| 2017 年深度學習自然語言處理（[幻燈片](http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture1.pdf)，[視頻](https://www.youtube.com/watch?v=OQQ-W_63UgQ)）。 ## 4.持續改進的承諾 對 NLP 進行深度學習的另一個承諾是繼續并在挑戰性問題上迅速改進。 在關于 NLP 深度學習的初始講座中，克里斯·曼寧繼續描述深度學習方法因其工作而受到自然語言的歡迎。 > 深度學習對大多數人來說如此令人興奮的真正原因是它一直在起作用。 - Chris Manning，第 1 講| 2017 年深度學習自然語言處理（[幻燈片](http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture1.pdf)，[視頻](https://www.youtube.com/watch?v=OQQ-W_63UgQ)）。 他強調，最初的結果令人印象深刻，并且在演講中取得的成果比過去 30 年中的任何其他方法都要好。 克里斯接著提到，這不僅是最先進的成果，而且還有改進的速度。 > ...在過去的 6 到 7 年里，剛剛完全令人驚嘆的是，正是這種驚人的發展方式，深度學習方法一直在不斷改進，并以驚人的速度變得更好。 ......我實際上只是說這是史無前例的，因為看起來這個領域的進展速度非常快，因為它能夠逐月推出更好的辦法。 - Chris Manning，第 1 講| 2017 年深度學習自然語言處理（[幻燈片](http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture1.pdf)，[視頻](https://www.youtube.com/watch?v=OQQ-W_63UgQ)）。 ## 5.端到端模型的承諾 深度學習的最后一個承諾是開發和訓練自然語言問題的端到端模型，而不是開發專門模型的管道。 除了這些模型的改進表現之外，這對于開發的速度和簡單性都是期望的。 神經機器翻譯，或簡稱 NMT，是指試圖學習將一種語言翻譯成另一種語言的大型神經網絡。這是一項傳統上由傳統手工調整模型管道處理的任務，每個模型都需要專業知識。 Chris Manning 在斯坦福大學 NLP 深度學習課程的第 10 講中描述了這一點。 > 神經機器翻譯用于表示我們想要做的是建立一個大的神經網絡，我們可以訓練整個端到端的機器翻譯過程并優化端到端。 > > ... > > 這種從手工定制的分段模型向端到端序列到序列預測模型的轉變一直是語音識別的趨勢。這樣做的系統被稱為 NMT [神經機器翻譯]系統。 - Chris Manning，第 10 講：神經機器翻譯和注意模型，2017 年。（[幻燈片](http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture10.pdf)，[視頻](https://www.youtube.com/watch?v=IxQtK2SjWWM)） 這種趨向于端到端模型而非專用系統的流水線也是語音識別的趨勢。 在斯坦福大學 NLP 課程中的語音識別演示中，現在在 Nvidia 的 NLP 研究員 Navdeep Jaitly 強調語音識別的每個組成部分都可以用神經網絡代替。 自動語音識別流水線的大塊是語音處理，聲學模型，發音模型和語言模型。 問題是，每個子系統的屬性和重要的錯誤是不同的。這促使需要開發一個神經網絡來端到端地學習整個問題。 > 隨著時間的推移，人們開始注意到如果我們使用神經網絡，每個組件都可以做得更好。 ......但是，仍然存在問題。每個組件都有神經網絡，但每個組件中的錯誤都不同，因此它們可能無法很好地協同工作。因此，這是嘗試進入一個過程的基本動機，在這個過程中，您將整個模型作為一個大模型進行訓練。 - Navdeep Jaitly，第 12 講：語音處理的端到端模型，2017 年深度學習的自然語言處理（[幻燈片](http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture12.pdf)，[視頻](https://www.youtube.com/watch?v=3MjIkWxXigM)）。 ## NLP 深度學習網絡的類型 深度學習是一個很大的研究領域，并不是所有這些都與自然語言處理相關。 很容易陷入特定的優化方法或擴展到旨在提升表現的模型類型。 從高層次來看，深度學習有 5 種方法，在自然語言處理中應用最受關注。 他們是： 1. 嵌入層。 2. 多層感知器（MLP）。 3. 卷積神經網絡（CNN）。 4. 循環神經網絡（RNN）。 5. 循環神經網絡（ReNN）。 ## NLP 中的問題類型 深度學習不會解決自然語言處理或人工智能問題。 迄今為止，深度學習方法已經在自然語言處理的更廣泛的問題中進行了評估，并在一小部分上取得了成功，其中成功表明表現或能力達到或高于之前使用其他方法的可能性。 重要的是，那些深度學習方法取得最大成功的領域是一些面向最終用戶，具有挑戰性且可能更有趣的問題。 5 個例子包括： * 詞表示法和意思。 * 文本分類。 * 語言建模。 * 機器翻譯。 * 語音識別。 ## 進一步閱讀 如果您要深入了解，本節將提供有關該主題的更多資源。 * [自然語言處理神經網絡模型入門](https://arxiv.org/abs/1510.00726)，2015。 * [自然語言處理中的神經網絡方法](http://amzn.to/2eScGtY)，2017。 * [Stanford CS224n：深度學習的自然語言處理](http://web.stanford.edu/class/cs224n/)，2017 ## 摘要 在這篇文章中，您發現了深度學習神經網絡對自然語言處理的承諾。 具體來說，你學到了： * 深度學習自然語言處理的承諾。 * 關于 NLP 深度學習的承諾，從業者和研究科學家必須說些什么。 * 自然語言處理的關鍵深度學習方法和應用。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。