~~~ Dense(16,activation='relu') ~~~ > 傳入Dense層的參數（16）是該層**隱藏單元**的個數。一個隱藏單元（hidden unit）是該層表示空間的一個**維度**。 16個隱藏單元對應的**權重矩陣**W的**形狀**為**(input_dimension,16)**，與W做****點積****相當于將輸入數據****投影****到16維表示空間中（然后再加上偏置向量b并應用relu運算）。 > ``` output = relu(dot(W, input) + b) ``` > `W`和`b`都是張量，均為該層的屬性。它們被稱為該層的**權重**（weight）或**可訓練參數**（trainable parameter），分別對應`kernel`和`bias`屬性。 > **隨機初始化**：初始時`W`和`b`都是隨機的。 **訓練**：根據反饋信號逐漸調節這些權重。這個逐漸調節的過程。**機器學習中的學習** **優化方法**（optimization method）或**優化器**（optimizer）： SGD 還有多種變體，其區別在于計算下一次權重更新時還要考慮上一次權重更新，而不是僅僅考慮當前梯度值，比如帶動量的 SGD、Adagrad、RMSProp 等變體 **動量** **鏈式法則**（chain rule）：`(f(g(x)))' = f'(g(x)) * g'(x)` **反向傳播**（backpropagation，有時也叫**反式微分**，reverse-mode differentiation）:將鏈式法則應用于神經網絡梯度值的計算而得到的算法。 從最終損失值開始，從最頂層反向作用至最底層，利用**鏈式法則**計算每個參數對損失值的貢獻大小。 ***** 使用能夠進行**符號微分**（symbolic differentiation）的現代框架來實現神經網絡，如**TensorFlow** *****