給定一些訓練數據和一種網絡架構，很多組權重值（即很多**模型**）都可以解釋這些數據。 **簡單模型**比復雜模型更不容易過擬合。 ***** ## **權重正則化**（weight regularization）： **簡單模型**（simple model）是指參數值分布的熵更小的模型 強制讓模型權重只能取較小的值，從而限制模型的復雜度，這使得權重值的分布更加**規則** * 向網絡損失函數中添加與較大權重值相關的**成本**（cost） **成本**（cost）： * **L1 正則化**（L1 regularization）：添加的成本與**權重系數的絕對值**［權重的**L1 范數**（norm）］成正比。 * **L2 正則化**（L2 regularization）：添加的成本與**權重系數的平方**（權重的**L2 范數**）成正比，又稱**權重衰減**（weight decay） 在Keras中使用：添加權重正則化的方法是向層傳遞**權重正則化項實例**（weight regularizer instance）作為關鍵字參數 ~~~ model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001), activation='relu', input_shape=(10000,))) ~~~ kernel_regularizer=regularizers.l2(0.001)： `l2(0.001)`的意思是該層權重矩陣的每個系數都會使網絡總損失增加`0.001 * weight_coefficient_value`