# 16（完結） -- Finale 上節課我們主要介紹了Matrix Factorization。通過電影推薦系統的例子，介紹Matrix Factorization其實是一個提取用戶特征，關于電影的線性模型。反過來也可以看出是關于用戶的線性模型。然后，我們使用SGD對模型進行最佳化。本節課我們將對機器學習技法課程介紹過的所有內容做個總結，分成三個部分：Feature Exploitation Techniques，Error Optimization Techniques和Overfitting Elimination Techniques。 ### **Feature Exploitation Techniques** 我們在本系列課程中介紹的第一個特征提取的方法就是kernel。Kernel運算將特征轉換和計算內積這兩個步驟合二為一，提高了計算效率。我們介紹過的kernel有：Polynormial Kernel、Gaussian Kernel、Stump Kernel等。另外，我們可以將不同的kernels相加（transform union）或者相乘（transform combination），得到不同的kernels的結合形式，讓模型更加復雜。值得一提的是，要成為kernel，必須滿足Mercer Condition。不同的kernel可以搭配不同的kernel模型，比如：SVM、SVR和probabilistic SVM等，還包括一些不太常用的模型：kernel ridge regression、kernel logistic regression。使用這些kernel模型就可以將線性模型擴展到非線性模型，kernel就是實現一種特征轉換，從而能夠處理非常復雜的非線性模型。順便提一下，因為PCA、k-Means等算法都包含了內積運算，所以它們都對應有相應的kernel版本。  Kernel是我們利用特征轉換的第一種方法，那利用特征轉換的第二種方法就是Aggregation。我們之前介紹的所有的hypothesis都可以看成是一種特征轉換，然后再由這些g組合成G。我們介紹過的分類模型（hypothesis）包括：Decision Stump、Decision Tree和Gaussian RBF等。如果所有的g是已知的，就可以進行blending，例如Uniform、Non-Uniform和Conditional等方式進行aggregation。如果所有的g是未知的，可以使用例如Bagging、AdaBoost和Decision Tree的方法來建立模型。除此之外，還有probabilistic SVM模型。值得一提的是，機器學習中很多模型都是類似的，我們在設計一個機器學習模型時，應該融會貫通。  除此之外，我們還介紹了利用提取的方式，找出潛藏的特征（Hidden Features）。一般通過unsupervised learning的方法，從原始數據中提取出隱藏特征，使用權重表征。相應的模型包括：Neural Network、RBF Network、Matrix Factorization等。這些模型使用的unsupervised learning方法包括：AdaBoost、k-Means和Autoencoder、PCA等。  另外，還有一種非常有用的特征轉換方法是維度壓縮，即將高維度的數據降低（投影）到低維度的數據。我們介紹過的維度壓縮模型包括：Decision Stump、Random Forest Tree Branching、Autoencoder、PCA和Matrix Factorization等。這些從高緯度到低緯度的特征轉換在實際應用中作用很大。  ### **Error Optimization Techniques** 接下來我們將總結一下本系列課程中介紹過哪些優化技巧。首先，第一個數值優化技巧就是梯度下降（Gradient Descent），即讓變量沿著其梯度反方向變化，不斷接近最優解。例如我們介紹過的SGD、Steepest Descent和Functional GD都是利用了梯度下降的技巧。  而對于一些更復雜的最佳化問題，無法直接利用梯度下降方法來做，往往需要一些數學上的推導來得到最優解。最典型的例子是Dual SVM，還包括Kernel LogReg、Kernel RidgeReg和PCA等等。這些模型本身包含了很多數學上的一些知識，例如線性代數等等。除此之外，還有一些boosting和kernel模型，雖然本課程中沒有提到，但是都會用到類似的數學推導和轉換技巧。  如果原始問題比較復雜，求解比較困難，我們可以將原始問題拆分為子問題以簡化計算。也就是將問題劃分為多個步驟進行求解，即Multi-Stage。例如probabilistic SVM、linear blending、RBF Network等。還可以使用交叉迭代優化的方法，即Alternating Optim。例如k-Means、alternating LeastSqr等。除此之外，還可以采樣分而治之的方法，即Divide & Conquer。例如decision tree。  ### **Overfitting Elimination Techniques** Feature Exploitation Techniques和Error Optimization Techniques都是為了優化復雜模型，減小。但是太小有很可能會造成過擬合overfitting。因此，機器學習中，Overfitting Elimination尤為重要。 首先，可以使用Regularization來避免過擬合現象發生。我們介紹過的方法包括：large-margin、L2、voting/averaging等等。  除了Regularization之外，還可以使用Validation來消除Overfitting。我們介紹過的Validation包括：SV、OOB和Internal Validation等。  ### **Machine Learning in Action** 本小節介紹了林軒田老師所在的臺大團隊在近幾年的KDDCup國際競賽上的表現和使用的各種機器算法。融合了我們在本系列課程中所介紹的很多機器學習技法和模型。這里不再一一贅述，將相應的圖片貼出來，讀者自己看看吧。     ICDM在2006年的時候發布了排名前十的數據挖掘算法，如下圖所示。其中大部分的算法我們在本系列的課程中都有過介紹。值得一提的是Naive Bayes算法本課程中沒有涉及，貝葉斯模型在實際中應用還是挺廣泛的，后續可能還需要深入學習一下。  最后，我們將所有介紹過的機器學習算法和模型列舉出來：  ### **總結** 本節課主要從三個方面來對機器學習技法課程做個總結：Feature Exploitation Techniques，Error Optimization Techniques和Overfitting Elimination Techniques。最后介紹了林軒田老師帶領的臺大團隊是如何在歷屆KDDCup中將很多機器學習算法模型融合起來，并獲得了良好的成績。  **_注明：_** 文章中所有的圖片均來自臺灣大學林軒田《機器學習技法》課程、 ### **寫在最后的話** 歷時近4個月，終于將臺灣大學林軒田老師的《機器學習基石》和《機器學習技法》這兩門課程學完了。突然的想法，開始寫博客記錄下學習歷程，通過筆記的形式加深鞏固了自己的理解。如果能對讀者有些許幫助的話，那便是一大快事。筆者資歷尚淺，博客中難免有疏漏和錯誤，歡迎各位批評指正。另外，鄙人不才，建立了一個QQ群，以便討論與該課程相關或者其它的機器學習和深度學習問題。有興趣的朋友可以加一下，QQ群號碼是223490966（紅色石頭機器學習小站）。后續，筆者根據學習情況，可能還會推出一些課程筆記的博客。 積跬步以致千里，積小流以成江海！ 最后，特別感謝林軒田老師！您的教學風格我很喜歡，深入淺出、寓教于樂。非常有幸能夠學到您的課程！再次感謝！