# 概論 自然語言處理（NLP）是計算機科學，人工智能，語言學關注計算機和人類（自然）語言之間的相互作用的領域。 因此，梳理自然語言處理的發展歷程對于我們更好地 了解自然語言處理這一學科有著重要的意義，歷程大概分為三部分。 1. 基于規則 2. 基于統計 3. 基于深度學習  ***** ## 開端 1950 年圖靈提出了著名的“圖靈測試”，這一般被認為是自然語言處理思想的開端， 20 世紀 50 年代到 70 年代自然語言處理主要采用基于規則的方法，研究人員們認為自然語 言處理的過程和人類學習認知一門語言的過程是類似的，所以大量的研究員基于這個觀點來 進行研究，這時的自然語言處理停留在理性主義思潮階段，以基于規則的方法為代表。但是 基于規則的方法具有不可避免的缺點，首先規則不可能覆蓋所有語句，其次這種方法對開發 者的要求極高，開發者不僅要精通計算機還要精通語言學，因此，這一階段雖然解決了一些 簡單的問題，但是無法從根本上將自然語言理解實用化。 ## 發展 70 年代以后隨著互聯網的高速發展，豐富的語料庫成為現實以及硬件不斷更新完善， 自然語言處理思潮由理性主義向經驗主義過渡，基于統計的方法逐漸代替了基于規則的方 法。賈里尼克和他領導的 IBM 華生實驗室是推動這一轉變的關鍵，他們采用基于統計的方 法，將當時的語音識別率從 70%提升到 90%。在這一階段，自然語言處理基于數學模型和統 計的方法取得了實質性的突破，從實驗室走向實際應用。 ## 而今 從 2008 年到現在，在圖像識別和語音識別領域的成果激勵下，人們也逐漸開始引入深 度學習來做自然語言處理研究，由最初的詞向量到 2013 年 word2vec，將深度學習與自然語 言處理的結合推向了高潮，并在機器翻譯、問答系統、閱讀理解等領域取得了一定成功。深 度學習是一個多層的神經網絡，從輸入層開始經過逐層非線性的變化得到輸出。從輸入到輸 出做端到端的訓練。把輸入到輸出對的數據準備好，設計并訓練一個神經網絡，即可執行預 想的任務。RNN 已經是自然語言護理最常用的方法之一，GRU、LSTM 等模型相繼引發了 一輪又一輪的熱潮。 ***** 此后，基于**雙向自編碼的預訓練模型BERT**刷新了NLP各大任務，由此，掀起了預訓練狂潮，其改良版本也如雨后春筍一般浮現。 1. ERINE （加入中文實體信息） 2. RoBERTa （加大語料及參數） 3. ALBERT （降低參數，加大語料） 4. distilBERT （采用模型蒸餾技術，以減小稍許） ... 當然，**基于自回歸的預訓練模型**也取得不錯的成果。 1. XLNET 2. GPT-2 此外，對于**序列到序列任務**，微乳也推出了兩種預訓練方式 1. UniLM 2. Mass