深度學習在自然語言處理中的 7 個應用 · Machine Learning Mastery 博客文章翻譯

# 深度學習在自然語言處理中的 7 個應用 > 原文： [https://machinelearningmastery.com/applications-of-deep-learning-for-natural-language-processing/](https://machinelearningmastery.com/applications-of-deep-learning-for-natural-language-processing/) 自然語言處理領域正在從統計方法轉向神經網絡方法。在自然語言中仍有許多具有挑戰性的問題需要解決。然而，深度學習方法正在某些特定語言問題上取得最新成果。在最基本的問題上，最有趣的不僅僅是深度學習模型的表現;事實上，單個模型可以學習單詞意義并執行語言任務，從而無需使用專門的手工制作方法。在這篇文章中，您將發現 7 種有趣的自然語言處理任務，其中深度學習方法正在取得一些進展。讓我們開始吧。 ![7 Applications of Deep Learning for Natural Language Processing](img/e22ba1f973034ee09669593794f429a6.jpg) 7 深度學習在自然語言處理中的應用 [Tim Gorman](https://www.flickr.com/photos/tim_gorman/7529595228/) 的照片，保留一些權利。 ## 概觀在這篇文章中，我們將看看以下 7 種自然語言處理問題。 1. 文本分類 2. 語言建模 3. 語音識別 4. 標題生成 5. 機器翻譯 6. 文件摘要 7. 問題回答我試圖關注你可能感興趣的最終用戶問題的類型，而不是更深入學習的學術或語言子問題，如詞性標注，分塊，命名實體識別，等等。每個示例都提供了問題的描述，示例以及對演示方法和結果的論文的引用。大多數參考文獻都來自 Goldberg 2015 年優秀的 [NLP 研究人員深度學習入門](https://arxiv.org/abs/1510.00726)。您是否有未列出的最喜歡的深度學習 NLP 應用程序？請在下面的評論中告訴我。 ## 1.文本分類給定文本示例，預測預定義的類標簽。 > 文本分類的目標是對文檔的主題或主題進行分類。 - 第 575 頁，[統計自然語言處理基礎](http://amzn.to/2ePBz9t)，1999。一個流行的分類示例是[情感分析](https://en.wikipedia.org/wiki/Sentiment_analysis)，其中類標簽表示源文本的情感基調，例如“_ 陽性 _”或“_ 陰性 _”。以下是另外 3 個例子： * 垃圾郵件過濾，將電子郵件文本分類為垃圾郵件。 * 語言識別，對源文本的語言進行分類。 * 流派分類，對虛構故事的類型進行分類。此外，該問題可以以需要分配給文本的多個類的方式構成，即所謂的多標簽分類。例如預測源推文的多個主題標簽。有關一般主題的更多信息，請參閱： * [Scholarpedia 上的文本分類](http://www.scholarpedia.org/article/Text_categorization) * [維基百科上的文件分類](https://en.wikipedia.org/wiki/Document_classification) 以下是用于文本分類的深度學習論文的 3 個示例： * 腐爛番茄電影評論的情感分析。 * [深度無序構成對象文本分類的句法方法](https://cs.umd.edu/~miyyer/pubs/2015_acl_dan.pdf)，2015。 * 亞馬遜產品評論的情感分析，IMDB 電影評論和新聞文章的主題分類。 * [利用卷積神經網絡有效使用詞序進行文本分類](https://arxiv.org/abs/1412.1058)，2015。 * 電影評論的情感分析，將句子分類為主觀或客觀，分類問題類型，產品評論情感等。 * [用于句子分類的卷積神經網絡](https://arxiv.org/abs/1408.5882)，2014。 ## 2.語言建模語言建模實際上是更有趣的自然語言問題的子任務，特別是那些在其他輸入上調整語言模型的問題。 > ......問題是預測下一個詞給出的前一個詞。該任務是語音或光學字符識別的基礎，也用于拼寫校正，手寫識別和統計機器翻譯。 - 第 191 頁，[統計自然語言處理基礎](http://amzn.to/2ePBz9t)，1999。除了對語言建模的學術興趣之外，它還是許多深度學習自然語言處理架構的關鍵組成部分。語言模型學習單詞之間的概率關系，使得可以生成與源文本在統計上一致的新的單詞序列。單獨的語言模型可用于文本或語音生成;例如： * 生成新文章標題。 * 生成新的句子，段落或文檔。 * 生成建議的句子延續。有關語言建模的更多信息，請參閱： * 維基百科上的[語言模型](https://en.wikipedia.org/wiki/Language_model) * [循環神經網絡的不合理有效性](http://karpathy.github.io/2015/05/21/rnn-effectiveness/)，2015 年。 * [基于生成模型的文本到語音合成](https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%2010%20-%20Text%20to%20Speech.pdf)，第 10 講，牛津，2017 以下是語言建模的深度學習示例（僅限）： * 英語文本，書籍和新聞文章的語言模型。 * [神經概率語言模型](http://www.jmlr.org/papers/v3/bengio03a.html)，2003 ## 3.語音識別語音識別是理解所說內容的問題。 > 語音識別的任務是將包含口頭自然語言話語的聲學信號映射到由說話者預期的相應的單詞序列中。 - 第 458 頁，[深度學習](http://amzn.to/2uE7WvS)，2016 年。給定文本作為音頻數據的話語，模型必須產生人類可讀的文本。鑒于該過程的自動特性，該問題也可稱為自動語音識別（ASR）。語言模型用于創建以音頻數據為條件的文本輸出。一些例子包括： * 抄寫演講。 * 為電影或電視節目創建文字字幕。 * 在駕駛時向收音機發出命令。有關語音識別的更多信息，請參閱： * [維基百科上的語音識別](https://en.wikipedia.org/wiki/Speech_recognition) 以下是語音識別深度學習的 3 個例子。 * 英語演講文本。 * [連接主義時間分類：用循環神經網絡標記未分段的序列數據](http://www.cs.toronto.edu/~graves/icml_2006.pdf)，2006。 * 英語演講文本。 * [深度循環神經網絡語音識別](https://arxiv.org/abs/1303.5778)，2013。 * 英語演講文本。 * [探索用于語音識別的卷積神經網絡結構和優化技術](https://www.microsoft.com/en-us/research/publication/exploring-convolutional-neural-network-structures-and-optimization-techniques-for-speech-recognition/)，2014。 ## 4.標題生成標題生成是描述圖像內容的問題。給定數字圖像（例如照片），生成圖像內容的文本描述。語言模型用于創建以圖像為條件的標題。一些例子包括： * 描述場景的內容。 * 為照片創建標題。 * 描述視頻。這不僅是針對聽力受損者的應用，而且還是為可以搜索的圖像和視頻數據生成人類可讀文本，例如在網絡上。以下是生成字幕的深度學習的 3 個示例： * 生成照片的標題。 * [顯示，參與和講述：視覺注意的神經圖像標題生成](https://arxiv.org/abs/1502.03044)，2016。 * 生成照片的標題。 * [顯示和告訴：神經圖像標題生成器](https://arxiv.org/abs/1411.4555)，2015。 * 為視頻生成字幕。 * [序列到序列 - 視頻到文本](https://arxiv.org/abs/1505.00487)，2015。 ## 5.機器翻譯機器翻譯是將一種語言的源文本轉換為另一種語言的問題。 > 機器翻譯，文本或語音從一種語言到另一種語言的自動翻譯，是 NLP 最重要的應用之一。 - 第 463 頁，[統計自然語言處理基礎](http://amzn.to/2ePBz9t)，1999。鑒于使用深度神經網絡，該領域被稱為神經機器翻譯。 > 在機器翻譯任務中，輸入已經由某種語言的符號序列組成，并且計算機程序必須將其轉換為另一種語言的符號序列。這通常適用于自然語言，例如從英語翻譯成法語。深度學習最近開始對這類任務產生重要影響。 - 第 98 頁，[深度學習](http://amzn.to/2uE7WvS)，2016 年。語言模型用于以源文本為條件輸出第二語言的目標文本。一些例子包括： * 將文本文檔從法語翻譯成英語。 * 將西班牙語音頻翻譯為德語文本。 * 將英文文本翻譯為意大利語音頻。有關神經機器翻譯的更多信息，請參閱： * [維基百科上的神經機器翻譯](https://en.wikipedia.org/wiki/Neural_machine_translation) 以下是機器翻譯深度學習的 3 個例子： * 文本從英語翻譯成法語。 * [用神經網絡進行序列學習的序列](https://arxiv.org/abs/1409.3215)，2014。 * 文本從英語翻譯成法語。 * [通過聯合學習對齊和翻譯的神經機器翻譯](https://arxiv.org/abs/1409.0473)，2014。 * 文本從英語翻譯成法語。 * [聯合語言和翻譯建模與循環神經網絡](https://www.microsoft.com/en-us/research/publication/joint-language-and-translation-modeling-with-recurrent-neural-networks/)，2013。 ## 6.文件摘要文檔摘要是創建文本文檔的簡短描述的任務。如上所述，語言模型用于輸出以完整文檔為條件的摘要。文檔摘要的一些示例包括： * 為文檔創建標題。 * 創建文檔的摘要。有關該主題的更多信息，請參閱： * [維基百科上的自動摘要](https://en.wikipedia.org/wiki/Automatic_summarization)。 * [深度學習是否已應用于自動文本摘要（成功）？](https://www.quora.com/Has-Deep-Learning-been-applied-to-automatic-text-summarization-successfully) 以下是文檔摘要深度學習的 3 個示例： * 新聞文章中句子的總結。 * [抽象概括的神經注意模型](https://arxiv.org/abs/1509.00685)，2015。 * 新聞文章中句子的總結。 * [使用序列到序列 RNN 及其后的抽象文本摘要](https://arxiv.org/abs/1602.06023)，2016。 * 新聞文章中句子的總結。 * [通過提取句子和單詞進行神經總結](https://arxiv.org/abs/1603.07252)，2016。 ## 7.問題回答問題回答是給定主題（例如文本文檔）回答關于主題的特定問題的問題。 > ...通過返回適當的無短語（例如位置，人或日期）來嘗試回答以問題形式表達的用戶查詢的問答系統。例如，為何殺死肯尼迪總統的問題？可能會用名詞短語 Oswald 回答 - 第 377 頁，[統計自然語言處理基礎](http://amzn.to/2ePBz9t)，1999。一些例子包括： * [維基百科上的問題回答](https://en.wikipedia.org/wiki/Question_answering) 有關問題解答的更多信息，請參閱： * 回答有關維基百科文章的問題。 * 回答有關新聞文章的問題。 * 回答有關醫療記錄的問題。以下是 3 個問答的深度學習示例： * 回答有關新聞文章的問題。 * [教學機器閱讀和理解](http://papers.nips.cc/paper/5945-teaching-machines-to-read-and-comprehend)，2015。 * 回答關于 freebase 文章的一般知識問題。 * [使用多列卷積神經網絡回答 Freebase 問題](http://www.aclweb.org/anthology/P15-1026)，2015 年。 * 回答提供特定文件的事實問題。 * [答案句子選擇的深度學習](https://arxiv.org/abs/1412.1632)，2015。 ## 進一步閱讀如果您正在深入研究，本節將為 NLP 的深度學習應用程序提供更多資源。 * [自然語言處理神經網絡模型入門](https://arxiv.org/abs/1510.00726)，2015。 * [自然語言處理（幾乎）來自 Scratch](https://arxiv.org/abs/1103.0398) ，2011。 * [自然語言處理的深度學習](https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%202b%20-%20Overview%20of%20the%20Practicals.pdf)，實用概述，牛津，2017 年 * [哪些 NLP 問題已成功應用深度學習或神經網絡？](https://www.quora.com/What-NLP-problems-has-deep-learning-or-neural-networks-been-applied-to-successfully) * [深度學習可以在自然語言處理方面取得類似的突破，就像它在視覺和視覺方面所做的那樣。言語？](https://www.quora.com/Can-deep-learning-make-similar-breakthroughs-in-natural-language-processing-as-it-did-in-vision-speech) ## 摘要在這篇文章中，您發現了 7 種深度學習應用于自然語言處理任務。您最喜歡的 NLP 深度學習的例子是錯過的嗎？請在評論中告訴我。你有任何問題嗎？在下面的評論中提出您的問題，我會盡力回答。