# 正則化回歸 在線性回歸中，我們訓練的模型返回訓練數據的最佳擬合參數。但是，在訓練數據上找到最合適的參數可能會導致過擬合。 **過擬合**意味著模型最適合訓練數據，但會給測試數據帶來更大的誤差。因此，我們通常在模型中添加懲罰項以獲得更簡單的模型。 該懲罰項稱為**正則化**項，由此獲得的回歸模型稱為正則化回歸模型。正則化模型有三種主要類型： * **套索回歸**：在套索正則化中，也稱為 L1 正則化，正則化項是套索參數`α`乘以權重`w`絕對值之和。因此，損失函數如下：  * **嶺回歸**：在脊正則化中，也稱為 L2 正則化，正則化項是脊參數`α`乘以`i-th`權重`w`的平方和。因此，損失函數如下：  * **ElasticNet 回歸**：當我們添加套索和脊正則化項時，得到的正則化稱為 ElasticNet 正則化。因此，損失函數如下： Refer to the following resources on the internet for further details on regularization: [http://www.statisticshowto.com/regularization/](http://www.statisticshowto.com/regularization/). 一個簡單的經驗法則是當我們想要刪除某些特征時使用 L1 或 Lasso，從而減少計算時間，但代價是降低了準確性。 現在讓我們看看在 TensorFlow 中實現的這些正則化損失函數。我們將繼續使用前面示例中使用的 Boston 數據集。