## **簡單的留出驗證、*K*折驗證，以及帶有打亂數據的重復*K*折驗證**： ### **簡單的留出驗證**： * 留出一定比例的數據作為測試集 * 在剩余的數據上訓練模型 * 在測試集上評估模型 * 保留一個驗證集  #### **缺點**： 可用的數據很少，那么可能驗證集和測試集包含的樣本就太少，從而無法在統計學上代表數據 ***** ### ***K*折驗證**： 如果模型性能的變化很大，那么這種方法很有用 * 將數據劃分為**大小相同**的*K*個分區 * 對于每個分區`i`，在剩余的*K*\- 1 個分區上訓練模型 * 在分區`i`上評估模型 * 最終分數等于*K*個分數的**平均值** * 需要**獨立的驗證集**進行模型校正  ***** ### **帶有打亂數據的重復*K*折驗證**（iterated*K*\-fold validation with shuffling）： * 可用的數據相對較**少**，需要**盡可能精確**地評估模型 * 具體做法是多次使用*K*折驗證，在每次將數據劃分為*K*個分區之前都先將數據打亂。最終分數是每次*K*折驗證分數的平均值 * 這種方法一共要訓練和評估*P*×*K*個模型（*P*是重復次數），**計算代價很大** *****