**構建網絡** 通過疊加`Dense`層來構建網絡： `keras.layers.Dense(512, activation='relu')` = 這個**層**（layers）就是一個函數 層的**權重**。權重是利用隨機梯度下降學到的一個或多個張量，其中包含網絡的**知識**。 **逐元素運算**（element-wise）：該運算獨立地應用于張量中的每個元素 ``` #relu運算 def naive_relu(x): assert len(x.shape) == 2 x = x.copy() for i in range(x.shape[0]): for j in range(x.shape[1]): x[i, j] = max(x[i, j], 0) return x #加法 def naive_add(x, y): assert len(x.shape) == 2 assert x.shape == y.shape x = x.copy() for i in range(x.shape[0]): for j in range(x.shape[1]): x[i, j] += y[i, j] return x ``` **廣播**（broadcast）：（只出現在算法中，而沒有發生在內存中） 兩個形狀不同的張量相加，較小的張量會被**廣播**： 1. 向較小的張量添加軸（叫作**廣播軸**），使其`ndim`與較大的張量相同。 2. 將較小的張量沿著新軸重復，使其形狀與較大的張量相同。 ***** **張量積**（tensor produc，點積運算）：~~‘*’逐元素乘積~~ `dot`運算符，實現點積 （只有元素個數相同的向量之間才能做點積） ~~~ np.dot(x, y) <=> x.y ~~~ **張量變形**（tensor reshaping）：改變張量的行和列，以得到想要的形狀 **轉置**（transposition）：將行和列互換