[TOC] ## 注意力機制 Transformer 模型之所以如此強大，是因為它拋棄了之前廣泛采用的循環網絡和卷積網絡，而采用了一種特殊的結構——注意力機制 (Attention) 來建模文本。 ## NLP 神經網絡模型 NLP 神經網絡模型的本質就是對輸入文本進行編碼，常規的做法是首先對句子進行分詞，然后將每個詞語 (token) 都轉化為對應的詞向量 (token embeddings)，這樣文本就轉換為一個由詞語向量組成的矩陣??\=(??1,??2,…,????)，其中????就表示第??個詞語的詞向量，維度為??，故??∈????×?? 在 Transformer 模型提出之前，對 token 序列??的常規編碼方式是通過循環網絡 (RNNs) 和卷積網絡 (CNNs)。 * RNN（例如 LSTM）的方案很簡單，每一個詞語????對應的編碼結果????通過遞歸地計算得到： ????\=??(?????1,????) RNN 的序列建模方式雖然與人類閱讀類似，但是遞歸的結構導致其無法并行計算，因此速度較慢。而且 RNN 本質是一個馬爾科夫決策過程，難以學習到全局的結構信息； * CNN 則通過滑動窗口基于局部上下文來編碼文本，例如核尺寸為 3 的卷積操作就是使用每一個詞自身以及前一個和后一個詞來生成嵌入式表示： ????\=??(?????1,????,????+1) CNN 能夠并行地計算，因此速度很快，但是由于是通過窗口來進行編碼，所以更側重于捕獲局部信息，難以建模長距離的語義依賴。 - Google《Attention is All You Need》提供了第三個方案：**直接使用 Attention 機制編碼整個文本**。相比 RNN 要逐步遞歸才能獲得全局信息（因此一般使用雙向 RNN），而 CNN 實際只能獲取局部信息，需要通過層疊來增大感受野，Attention 機制一步到位獲取了全局信息： ????\=??(????,??,??)