## 分類模型評估指標 ### 混淆矩陣系指標 #### 混淆矩陣 - TP: True Positives - TN: True Negatives - FP: FALSE Positives - FN: FALSE Negatives #### 準確率: Accuracy `$ Accuracy=\frac{TP+FN}{TP+TN+FP+FN} $` #### 精確率和召回率 精確率：Precision `$ Precision = \frac{TP}{TP+FP} $` 反饋率：Recall `$ Recall = \frac{TP}{TP+TN} $` #### 多分類的指標 ### 評估曲線 #### ROC曲線 Receiver Operating Characteristic X軸: 1-特異性，(1 - Specificity) Y軸: 靈敏度，Sensitivity #### AUC指標 ### Kappa統計 `$ kappa = \frac{\rho_0-\rho_e}{1-\rho_e} $` Kappa統計是比較兩個或多個觀測者對同一事物，或觀測者對同一事物的兩次或多次觀測結果是否一致，以由機遇造成的一致性和實際觀測的一致性之間的差別大小作為評價基礎的統計指標 Kappa統計量和加權Kappa統計量不僅可以用于無序和有序分類變量資料的一致性、重現性檢驗，而且能給出一個反映一致性大小的量值。 Kappa取值在[-1, 1]，不同取值有不同意義： - Kappa = 1: 說明兩次判斷完全一致 - Kappa = -1: 完全不一致 - Kappa = 0: 說明兩次判斷結果是機遇造成 - Kappa < 0: 說明一致程度比機遇造成的還差，兩次結果很不一致，在實際應用中無意義 - Kappa > 0: 此時說明有意義，數值越大，說明一致性越好 - Kappa >= 0.75: 說明已經取得相當滿意的一致程度 - Kappa < 0.4: 說明一致程度不夠 來自百度： 但通常kappa是落在 0~1 間，可分為五組來表示不同級別的一致性： - 0.0~0.20極低的一致性(slight) - 0.21~0.40一般的一致性(fair) - 0.41~0.60 中等的一致性(moderate) - 0.61~0.80 高度的一致性(substantial) - 0.81~1幾乎完全一致(almost perfect) ## 回歸模型評估指標 ### MAE: 平均絕對誤差 `$ MAE:mean\_absolute\_error=\frac{1}{n}\sum^n_{i=1}|y_i-y\_pred_i| $` ### 中位絕對誤差 `$ median\_absolute\_error=median(|y_i-y\_pred_i|) $` ### MSE: 均方差誤差 `$ MSE:mean\_squared\_error=\frac{1}{n}\sum^n_{i=1}(y_i-y\_pred_i)^2 $` ### RMSE: 均方根差誤差 代表預測值的離散程度，也叫標準誤差 `$ RMSE:root\_mean\_squared\_error=\sqrt{\frac{1}{n}\sum^n_{i=1}(y_i-y\_pred_i)^2} $` ### MAPE: 平均絕對百分誤差 `$ MAPE= \frac{1}{n}\sum^n_{i=1}|\frac{y_i-y\_pred_i}{y_i}| $` 一般認為MAPE小于10時，預測精度較高 ### R方 `$ SSE=\sum^n_{i=1}(y_i-y\_pred_i)^2 $` `$ SST=\sum^n_{i=1}(y_i-y\_mean)^2 $` `$ r^2=1-\frac{SSE}{SST} $`