>最近開始了模式識別的學習，對模式和模式類的概念有一個基本的了解，并使用MATLAB實現一些模式類的生成。而接下來如何對這些模式進行分類成為了學習的第二個重點。我們都知道，一個典型的模式識別系統是由特征提取和模式分類兩個階段組成的，而其中模式分類器(Classifier)的性能直接影響整個識別系統的性能。 >因此有必要探討一下如何評價分類器的性能，這是一個長期探索的過程. ##一、敏感性和特異性 以下例子假定x是一個連續隨機變量，對于類別狀態?和?的x的概率密度函數如圖所示：  這里假設先驗概率已知，對于一個二分類問題，可以定義以下四個統計值：  可以將實例分成正類（Positive）或負類（Negative）。這樣會出現四種分類結果： TP（True Positive）：正確的正例，一個實例是正類并且也被判定成正類；? FN（False Negative）：錯誤的反例，漏報，本為正類但判定為假類；? FP（False Positive）：錯誤的正例，誤報，本為假類但判定為正類；? TN（True Negative）：正確的反例，一個實例是假類并且也被判定成假類； 根據以上四種情況，引出以下公式： 敏感性，又稱真正類率(true positive rate ,TPR)，它表示了分類器所識別出的正實例占所有正實例的比例。計算公式為：  特異性，又稱負正類率(False positive rate, FPR)，它表示的是分類器錯認為正類的負實例占所有負實例的比例。計算公式為：  除此之外，還有真負類率（True Negative Rate，TNR），計算公式為：  負負類率？（False Negative Rate，FNR），計算公式為：  這兩個公式用于F score性能評價。 ##二、ROC曲線 接收機工作特征曲線 （receiver operating characteristic curve，簡稱ROC曲線），又稱為感受性曲線（sensitivity curve）。ROC曲線是根據一系列不同的二分類方式，將TPR定義為X軸，將FPR定義為Y軸而繪制的曲線。曲線下面積越大，分類的準確性就越高。在ROC曲線上，最靠近坐標圖左上方的點為靈敏性和特異性均較高的臨界值。 ROC曲線上各點反映著相同的感受性，它們都是對同一信號刺激的反應，只不過是在幾種不同的判定標準下所得的結果而已。接受者操作特性曲線就是以虛報概率為橫軸，擊中概率為縱軸所組成的坐標圖，和被試在特定刺激條件下由于采用不同的判斷標準得出的不同結果畫出的曲線。 ROC曲線最初源于20世紀70年代的信號檢測理論，它反映了FPR與TPR之間權衡的情況，通俗地來說，即在TPR隨著FPR遞增的情況下，誰增長得更快，快多少的問題。TPR增長得越快，曲線越往上屈，AUC就越大，反映了模型的分類性能就越好。當正負樣本不平衡時，這種模型評價方式比起一般的精確度評價方式的好處尤其顯著。一個典型的ROC曲線下圖所示：  更多關于ROC曲線的經典例子可參考：[http://blog.csdn.net/abcjennifer/article/details/7359370](http://blog.csdn.net/abcjennifer/article/details/7359370) ##三、混淆矩陣 混淆矩陣(Confusion matrix)，在人工智能領域中，就是用于總結有監督學習的分類結果的矩陣。沿著主對角線上的項表示正確分類的總數，其他非主對角線的項表示分類的錯誤數，如下表所示。二分問題存在“錯誤接受”和“錯誤拒絕”兩種不同類型的錯誤。若將二分問題的混淆矩陣歸一化，就是一個關于0和1二值的離散變量的聯合分布概率。對于二分類問題來說，混淆矩陣可以用下面的形式表示：  ##四、F score 由于分類準確率有時并不能很好地突出樣本集的特點以及判斷一個分類器的性能，對于二分類問題，可以使用?和?這兩個參數來評價分類器的性能。F Score的定義可參照一篇名為：Mining Comparative Sentences and Relations的論文。其中TNR和FNR分別用precision, recall來代替。 一般認為，F評分越高則分類器對于正樣本是分類效果越好。需要注意的是，TNR和FNR會互相影響，因此，單獨使用一個參數來評價分類器的性能，并不能全面的評價一個分類器。。