# 詞向量表示 為了從文本數據中學習神經網絡模型的參數，首先，我們必須將文本或自然語言數據轉換為可由神經網絡攝取的格式。神經網絡通常以數字向量的形式攝取文本。將原始文本數據轉換為數字向量的算法稱為字嵌入算法。 一種流行的字嵌入方法是我們在 MNIST 圖像分類中看到的**單熱編碼**。假設我們的文本數據集由 60,000 個字典單詞組成。然后，每個單詞可以由具有 60,000 個元素的單熱編碼向量表示，其中除了表示具有值 1 的該單詞的一個元素之外，所有其他元素具有零值。 然而，單熱編碼方法有其缺點。首先，對于具有大量單詞的詞匯，單熱詞向量的維數變得非常大。其次，人們無法找到與單熱編碼向量的單詞相似性。例如，假設貓和小貓的向量分別為`[1 0 0 0 0 0]`和`[0 0 0 0 0 1]`。這些向量沒有相似之處。 還有其他基于語料庫的方法，用于將基于文本的語料庫轉換為數字向量，例如： * 術語頻率 - 反向文檔頻率（TF-IDF） * 潛在語義分析（LSA） * 主題建模 最近，用數值向量表示單詞的焦點已轉移到基于分布假設的方法，這意味著具有相似語義含義的單詞傾向于出現在類似的上下文中。 兩種最廣泛使用的方法稱為 word2vec 和 GloVe。我們將在本章中使用 word2vec 進行練習。正如我們在前一段中所了解到的，單熱編碼給出了語料庫字典中單詞總數大小的維數。使用 word2vec 創建的單詞向量的維度要低得多。 word2vec 系列模型使用兩種架構構建： * **連續詞匯**：訓練模型以學習給定上下文詞的中心詞的概率分布。因此，給定一組上下文單詞，模型以您在高中語言課程中所做的填空方式預測中心單詞。 CBOW 體系結構最適用于具有較小詞匯表的數據集。 * **Skip-gram** ：訓練模型以學習給定中心詞的上下文詞的概率分布。因此，給定一個中心詞，模型以您在高中語言課程中完成的句子方式預測語境詞。 例如，讓我們考慮一下這句話： ``` Vets2data.org is a non-profit for educating the US Military Veterans Community on Artificial Intelligence and Data Science. ``` 在 CBOW 架構中，給出單詞`Military`和`Community`，模型學習單詞`Veterans`的概率，并在 skip-gram 架構中，給出單詞 `Veterans`，模型學習單詞`Military`和`Community`的概率。 word2vec 模型以無人監督的方式從文本語料庫中學習單詞向量。文本語料庫分為成對的上下文單詞和目標單詞。雖然這些對是真正的對，但是偽對是用隨機配對的上下文詞和上下文詞生成的，因此在數據中產生噪聲。訓練分類器以學習用于區分真對和假對的參數。該分類器的參數成為 word2vec 模型或單詞向量。 關于 word2vec 理論背后的數學和理論的更多信息可以從以下論文中學到： ``` Mikolov, T., I. Sutskever, K. Chen, G. Corrado, and J. Dean. Distributed Representations of Words and Phrases and Their Compositionality.?_Advances in Neural Information Processing Systems_, 2013, pp. 3111–3119. Mikolov, T., K. Chen, G. Corrado, and J. Dean. Efficient Estimation of Word Representations in Vector Space.?_arXiv_, 2013, pp. 1–12. Rong, X. word2vec Parameter Learning Explained.?_arXiv:1411.2738_, 2014, pp. 1–19. Baroni, M., G. Dinu, and G. Kruszewski. Don’t Count, Predict! A Systematic Comparison of Context-Counting vs. Context-Predicting Semantic Vectors. 2014. ``` 您應該使用 GloVe 和 word2vec 練習并應用適用于您的文本數據的方法。 有關 GLoVe 算法的更多信息可以從以下文章中學習： ``` Pennington, J., R. Socher, and C. Manning. GloVe: Global Vectors for Word Representation. 2014. ``` 讓我們通過在 TensorFlow 和 Keras 中創建單詞向量來理解 word2vec 模型。 您可以按照 Jupyter 筆記本中的下幾節的代碼`ch-08a_Embeddings_in_TensorFlow_and_Keras`。