也叫**詞嵌入**（word embedding）。 * 詞嵌入的作用應該是**將人類的語言映射到幾何空間中** * one-hot 編碼得到的向量是二進制的、稀疏的（絕大部分元素都是 0）、維度很高的（維度大小等于詞表中的單詞個數） * 詞嵌入是低維的浮點數向量（即密集向量，與稀疏向量相對） ***** * 在完成主任務（比如文檔分類或情感預測）的同時學習詞嵌入。在這種情況下，一開始是隨機的詞向量，然后對這些詞向量進行學習，其學習方式與學習神經網絡的權重相同。 * 在不同于待解決問題的機器學習任務上預計算好詞嵌入，然后將其加載到模型中。這些詞嵌入叫作**預訓練詞嵌入**（pretrained word embedding）。 * ***** 小結： * 將原始文本轉換為神經網絡能夠處理的格式。 * 使用 Keras 模型的`Embedding`層來學習針對特定任務的標記嵌入。 * 使用預訓練詞嵌入在小型自然語言處理問題上獲得額外的性能提升。