## 5.4 模型是否太好？ 錯誤聽起來像是一件壞事，通常我們更喜歡誤差較低的模型，而不是誤差較高的模型。然而，我們在上面提到，在模型精確地適應當前數據集的能力和它概括為新數據集的能力之間存在著一種張力，并且結果表明，誤差最小的模型在概括為新數據集時往往更糟糕！ 為了看到這一點，讓我們再次生成一些數據，以便我們知道變量之間的真正關系。我們將創建兩個模擬數據集，它們以完全相同的方式生成——它們只是添加了不同的隨機噪聲。  圖 5.6 過擬合示例。兩個數據集都是使用相同的模型生成的，每個數據集都添加了不同的隨機噪聲。左面板顯示了用于擬合模型的數據，簡單的藍色線性擬合和復雜的（8 階多項式）紅色擬合。每個模型的均方根誤差值如圖所示；在這種情況下，復雜模型的 RMSE 比簡單模型低。右面板顯示了第二個數據集，上面覆蓋了相同的模型，并且使用從第一個數據集獲得的模型計算了 RMSE 值。在這里，我們看到更簡單的模型實際上比更復雜的模型更適合新的數據集，后者過度適合第一個數據集。 圖[5.6](#fig:Overfitting)中的左面板顯示，更復雜的模型（紅色）比簡單的模型（藍色）更適合數據。然而，當相同的模型應用于以相同方式生成的新數據集時，我們看到了相反的情況——這里我們看到，較簡單的模型比較復雜的模型更適合新數據。從直觀上看，較復雜的模型受第一個數據集中特定數據點的影響較大；由于這些數據點的確切位置受隨機噪聲的驅動，導致較復雜的模型很難適應新的數據集。這是一個我們稱之為 _ 過擬合 _ 的現象，我們將在本課程中反復討論。稍后，我們將學習一些技術，我們可以使用這些技術來防止過度擬合，同時仍然對數據結構敏感。現在，重要的是要記住，我們的模型適合需要是好的，但不是太好。正如阿爾伯特愛因斯坦（1933）所說：“幾乎不能否認，所有理論的最高目標是使不可約的基本要素盡可能簡單和少，而不必放棄對單一經驗數據的充分表示。”這通常被解釋為：“一切應該盡可能簡單，但不能簡單。”