對于前面用過的Dense層的堆疊，每層**只能**訪問**上一層**輸出的信息。 如果某一層**丟失**了與分類問題相關的一些信息，那么這些信息無法被后面的層找回，也就是說，**每一層都可能成為信息瓶頸**。 上一個例子使用了16維的中間層，但對這個例子來說16維空間可能太小了，無法學會區分46個不同的類別。 這種維度較小的層可能成為信息瓶頸，永久地丟失相關信息。 出于這個原因，**下面將使用維度更大的層**，包含64個單元。 ***** ~~~ model.add(layers.Dense(64, activation='relu', input_shape=(10000,))) model.add(layers.Dense(64, activation='relu')) model.add(layers.Dense(46, activation='softmax')) ~~~ ***** * 網絡的最后一層是大小為 46 的`Dense`層。這意味著，對于每個輸入樣本，網絡**都會輸出**一個 46 維向量。這個向量的每個元素（即每個維度）代表不同的輸出類別。 * **最后一層使用了`softmax`激活**。你在 MNIST 例子中見過這種用法。網絡將輸出在 46 個不同輸出類別上的**概率分布**——對于每一個輸入樣本，網絡都會輸出一個 46 維向量，其中`output[i]`是樣本屬于第`i`個類別的**概率**。 * **46 個概率的總和為 1**。 * ***** `categorical_crossentropy`（分類交叉熵）：衡量兩個**概率分布**之間的**距離**，這里兩個概率分布分別是**網絡輸出**的概率分布和標簽的**真實**分布。~~將這兩個分布的距離最小化~~