1. 抽取訓練樣本`x`和對應目標`y`組成的數據批量。 2. 在`x`上運行網絡［這一步叫作**前向傳播**（forward pass）］，得到預測值`y_pred`。 3. 計算網絡在這批數據上的損失，用于衡量`y_pred`和`y`之間的距離。 4. **更新網絡的所有權重**，使網絡在這批數據上的損失略微下降。 ***** **小批量隨機梯度下降**（mini-batch stochastic gradient descent，又稱為小批量 SGD） ***** 難點在于：更新網絡的權重，利用網絡中所有運算都是**可微**（differentiable）的這一事實，計算損失相對于網絡系數的**梯度**（gradient），然后向梯度的反方向改變系數，從而使損失降低。 ***** **導數：** 略 **張量運算的導數：梯度** * 導數這一概念向**多元函數**導數的推廣 * **多元函數**是以**張量**作為輸入的**函數**