# 什么是自然語言處理？ > 原文： [https://machinelearningmastery.com/natural-language-processing/](https://machinelearningmastery.com/natural-language-processing/) 自然語言處理（簡稱 NLP）被廣義地定義為通過軟件自動操縱自然語言，如語音和文本。 自然語言處理的研究已經存在了 50 多年，隨著計算機的興起，語言學領域逐漸興起。 在這篇文章中，您將了解自然語言處理是什么以及它為何如此重要。 閱讀這篇文章后，你會知道： * 什么是自然語言以及它與其他類型的數據有何不同。 * 是什么讓使用自然語言如此具有挑戰性。 * NLP 領域的來源以及現代從業者如何定義。 讓我們開始吧。  什么是自然語言處理？ 照片由 pedrik 拍攝，保留一些權利。 ## 自然語言 自然語言是指我們人類彼此溝通的方式。 即，言語和文字。 我們被文字所包圍。 想想你每天看到多少文字： * 跡象 * 菜單 * 電子郵件 * 短信 * 網頁 * _ 等等......_ 名單是無止境的。 現在想想講話。 作為一個物種，我們可以互相交談，而不是寫作。學會說話比寫作更容易。 語音和文字是我們彼此溝通的方式。 鑒于此類數據的重要性，我們必須有方法來理解和推理自然語言，就像我們對其他類型的數據一樣。 ## 自然語言的挑戰 使用自然語言數據尚未解決。 它研究了半個世紀，真的很難。 > 從孩子的角度來看，這是很難的，他們必須花很多年時間學習語言......對于成人語言學習器來說很難，對于試圖對相關現象進行建模的科學家來說很難，對于那些工程師來說很難嘗試構建處理自然語言輸入或輸出的系統。這些任務非常艱巨，圖靈可以正確地用自然語言進行流暢的對話，這是他對情報測試的核心。 - 第 248 頁，[數學語言學](http://amzn.to/2tO1cOO)，2010。 自然語言很難，因為它很混亂。規則很少。 然而，我們可以在大多數時間輕松地相互理解。 > 人類語言非常模糊......它也在不斷變化和發展。人們善于培養語言和理解語言，能夠表達，感知和詮釋非常精細和微妙的含義。與此同時，雖然我們人類是語言的偉大用戶，但我們在正式理解和描述管理語言的規則方面也很差。 - 第 1 頁，[自然語言處理中的神經網絡方法](http://amzn.to/2u0JtPl)，2017。 ## 從語言學到自然語言處理 ### 語言學 [語言學](https://en.wikipedia.org/wiki/Linguistics)是語言的科學研究，包括語法，語義和語音學。 古典語言學涉及設計和評估語言規則。語法和語義的形式化方法取得了很大進展，但在大多數情況下，自然語言理解中的有趣問題抵制了清晰的數學形式。 從廣義上講，語言學家是研究語言的人，但也許更通俗地說，自我定義的語言學家可能更專注于在外地學習。 數學是科學的工具。致力于自然語言的數學家可能將他們的研究稱為數學語言學，專注于使用離散數學形式和自然語言理論（例如形式語言和自動機理論）。 ### 計算語言學 [計算語言學](https://en.wikipedia.org/wiki/Computational_linguistics)是使用計算機科學工具進行語言學的現代研究。昨天的語言學可能是今天的計算語言學家，因為計算工具和思維的使用已經超越了大多數研究領域。 > 計算語言學是用于理解和生成自然語言的計算機系統的研究。 ...計算語言學的一個自然函數是理論語言學家提出的語法測試。 - 第 4-5 頁，[計算語言學：導言](http://amzn.to/2h6U4qY)，1986。 大數據和快速計算機意味著可以通過編寫和運行軟件從大型文本數據集中發現新的和不同的東西。 在 20 世紀 90 年代，統計方法和統計機器學習開始并最終取代了傳統的自上而下的基于規則的語言方法，主要是因為它們具有更好的結果，速度和穩健性。現在，研究自然語言的統計方法在該領域占主導地位;它可以定義該領域。 > 用于自然語言處理的數據驅動方法現在變得如此受歡迎，以至于它們必須被認為是計算語言學的主流方法。 ......這一發展的一個重要因素無疑是可以應用這些方法的可用電子存儲數據的增加量;另一個因素可能是由于觀察到的脆弱性而完全依賴于手工制作的規則的方法的某種祛魅。 - 第 358 頁，[牛津計算語言學手冊](http://amzn.to/2uHeERE)，2005 年。 自然語言的統計方法不僅限于統計本身，還包括用于應用機器學習的高級推理方法。 > ...理解自然語言需要大量關于形態學，語法，語義和語用學的知識以及關于世界的一般知識。獲取和編碼所有這些知識是開發有效和強大的語言系統的基本障礙之一。就像統計方法一樣......機器學習方法有望從注釋或未注釋的語言語料庫中自動獲取這些知識。 - 第 377 頁，[牛津計算語言學手冊](http://amzn.to/2uHeERE)，2005 年。 ### 統計自然語言處理 計算語言學也以自然語言過程（NLP）的名稱而聞名，以反映統計方法的更基于工程師或經驗的方法。 該領域的統計優勢通常也導致 NLP 被描述為統計自然語言處理，或許可以將其與經典計算語言學方法相比較。 > 我認為計算語言學既有科學又有工程方面。計算語言學的工程方面，通常稱為自然語言處理（NLP），主要涉及構建用語言做有用事情的計算工具，例如機器翻譯，摘要，問答等。像任何工程學科一樣，自然語言處理涉及各種不同的科學學科。 - [統計革命如何改變（計算）語言學](http://dl.acm.org/citation.cfm?id=1642041)，2009。 語言學是一個很大的研究課題，雖然 NLP 的統計學方法在某些領域取得了巨大的成功，但是經典的自上而下的方法仍然有很大的空間和巨大的好處。 > 粗略地說，統計 NLP 將概率與在分析話語或文本的過程中遇到的替代方案聯系起來，并將最可能的結果接受為正確的結果。 ......毫不奇怪，那些命名世界上密切相關的現象或我們對它的看法的詞語經常彼此接近，以便關于世界的清晰事實反映在有些模糊的文本事實中。這種觀點有很大的爭論空間。 - Page xix，[牛津計算語言學手冊](http://amzn.to/2uHeERE)，2005。 ## 自然語言處理 作為對使用文本數據感興趣的機器學習從業者，我們關注自然語言處理領域的工具和方法。 我們已經看到了上一節中從語言學到 NLP 的路徑。現在，讓我們來看看現代研究人員和從業者如何定義 NLP 的全部內容。 也許是該領域頂尖研究人員編寫的更廣泛的教科書之一，他們將該主題稱為“_ 語言科學 _”，允許討論經典語言學和現代統計學方法。 > 語言科學的目的是能夠描述和解釋圍??繞我們，談話，寫作和其他媒體的大量語言觀察。其中一部分與人類獲取，產生和理解語言的認知大小有關，其中一部分與理解語言話語與世界之間的關系有關，而其中一部分與理解語言結構有關。哪種語言溝通。 - 第 3 頁，[統計自然語言處理基礎](http://amzn.to/2uzwxDE)，1999。 他們通過在自然語言處理中使用統計方法繼續關注推理。 > 統計 NLP 旨在對自然語言領域進行統計推斷。統計推斷通常包括獲取一些數據（根據一些未知的概率分布生成），然后對此分布進行一些推斷。 - 第 191 頁，[統計自然語言處理基礎](http://amzn.to/2uzwxDE)，1999。 在他們關于應用自然語言處理的文本中，NLP 流行的 [NLTK Python 庫](http://www.nltk.org/)的作者和貢獻者將該領域廣泛地描述為使用計算機來處理自然語言數據。 > 我們將采用自然語言處理 - 或簡稱 NLP - 涵蓋任何類型的自然語言的計算機操作。在一個極端，它可以像計算單詞頻率一樣簡單，以比較不同的寫作風格。在另一個極端，NLP 涉及“理解”完整的人類話語，至少在能夠對它們作出有用的反應的程度上。 - Page ix， [Python 自然語言處理](http://amzn.to/2uZMF27)，2009。 統計 NLP 已經轉向另一個角落，現在強烈關注使用深度學習神經網絡來執行特定任務的推斷和開發強大的端到端系統。 在致力于這一新興主題的第一本教科書中，Yoav Goldberg 簡潔地將 NLP 定義為以自然語言為輸入或以自然語言為輸出的自動方法。 > 自然語言處理（NLP）是指人類語言的自動計算處理的總稱。這包括將人類生成的文本作為輸入的算法，以及生成自然文本作為輸出的算法。 - 第 xvii 頁，[自然語言處理中的神經網絡方法](http://amzn.to/2u0JtPl)，2017。 ## 進一步閱讀 如果您要深入了解，本節將提供有關該主題的更多資源。 ### 圖書 * [數學語言學](http://amzn.to/2tO1cOO)，2010。 * [自然語言處理中的神經網絡方法](http://amzn.to/2u0JtPl)，2017。 * [計算語言學：導言](http://amzn.to/2h6U4qY)，1986。 * [牛津計算語言學手冊](http://amzn.to/2uHeERE)，2005 年。 * [統計自然語言處理基礎](http://amzn.to/2uzwxDE)，1999。 * [Python 自然語言處理](http://amzn.to/2uZMF27)，2009。 ### 維基百科 * 維基百科上的[語言學](https://en.wikipedia.org/wiki/Linguistics) * [維基百科上的計算語言學](https://en.wikipedia.org/wiki/Computational_linguistics) * [維基百科上的自然語言處理](https://en.wikipedia.org/wiki/Natural_language_processing) * [維基百科上的自然語言處理歷史](https://en.wikipedia.org/wiki/History_of_natural_language_processing) * [維基百科上的自然語言處理概要](https://en.wikipedia.org/wiki/Outline_of_natural_language_processing) ## 摘要 在這篇文章中，您發現了自然語言處理的重要性。 具體來說，你學到了： * 什么是自然語言以及它與其他類型的數據有何不同。 * 是什么讓使用自然語言如此具有挑戰性。 * NLP 領域的來源以及現代從業者如何定義。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。