# 機器學習算法之旅 > 原文： [https://machinelearningmastery.com/a-tour-of-machine-learning-algorithms/](https://machinelearningmastery.com/a-tour-of-machine-learning-algorithms/) 在這篇文章中，我們將介紹最流行的機器學習算法。 在現場瀏覽主要算法以了解可用的方法很有用。 有許多算法可用，當算法名稱被拋出時，它可能會感到壓倒性的，并且您應該只知道它們是什么以及它們適合的位置。 我想給你兩種方法來思考和分類你可能在現場遇到的算法。 * 第一個是**學習風格**的算法分組。 * 第二種是通過**相似性**在形式或功能上的一組算法（如將相似的動物組合在一起）。 這兩種方法都很有用，但我們將重點關注通過相似性對算法進行分組，并繼續瀏覽各種不同的算法類型。 閱讀本文后，您將更好地了解最受歡迎的監督學習機器學習算法及其相關性。  最合適的線條集合的一個很酷的例子。弱成員是灰色的，組合預測是紅色的。 維基百科的情節，在公共領域獲得許可。 ## 學習風格分組的算法 算法可以基于與體驗或環境的交互或我們想要調用輸入數據的任何內容來對問題進行建模。 在機器學習和人工智能教科書中首先考慮算法可以采用的學習風格。 算法可以有一些主要的學習風格或學習模型，我們將在這里介紹它們適合的算法和問題類型的幾個例子。 這種分類法或組織機器學習算法的方法很有用，因為它會強制您考慮輸入數據和模型準備過程的角色，并選擇最適合您的問題的方法以獲得最佳結果。 讓我們來看看機器學習算法中的三種不同學習方式： ### **1.監督學習** 輸入數據稱為訓練數據，并且具有已知的標簽或結果，例如垃圾郵件/非垃圾郵件或一次的股票價格。 通過訓練過程準備模型，其中需要進行預測并在這些預測錯誤時進行校正。訓練過程繼續，直到模型在訓練數據上達到所需的準確度。 示例問題是分類和回歸。 示例算法包括Logistic回歸和Back Propagation神經網絡。 ### **2.無監督學習** 輸入數據未標記，并且沒有已知結果。 通過推導輸入數據中存在的結構來準備模型。這可能是提取一般規則。可以通過數學過程系統地減少冗余，或者可以通過相似性來組織數據。 示例問題是聚類，降維和關聯規則學習。 示例算法包括：Apriori算法和k-Means。 ### **3.半監督學習** [](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2013/11/Semi-supervised-Learning-Algorithms.png) 輸入數據是標記和未標記示例的混合。 存在期望的預測問題，但模型必須學習組織數據以及進行預測的結構。 Example problems are classification and regression. 示例算法是對其他靈活方法的擴展，這些方法對如何對未標記數據建模進行假設。 ### 概觀 在處理數據以模擬業務決策時，您通常使用有監督和無監督的學習方法。 目前的一個熱門話題是在圖像分類等領域中的半監督學習方法，其中存在具有極少數標記示例的大型數據集。 ## 獲取免費算法思維導圖  方便的機器學習算法思維導圖的樣本。 我已經創建了一個由類型組織的60多種算法的方便思維導圖。 下載，打印并使用它。 ## 由相似性分組的算法 算法通常根據其功能（它們如何工作）的相似性進行分組。例如，基于樹的方法和神經網絡啟發的方法。 我認為這是分組算法最有用的方法，這是我們將在這里使用的方法。 這是一種有用的分組方法，但并不完美。還有一些算法可以很容易地融入多個類別，例如學習向量量化，它既是神經網絡啟發方法，也是基于實例的方法。還有一些類別具有描述問題的相同名稱和算法類，例如回歸和聚類。 我們可以通過兩次列出算法或選擇主觀上“最佳”擬合的組來處理這些情況。我喜歡后一種不重復算法來保持簡單的方法。 在本節中，我列出了許多流行的機器學習算法，這些算法按照我認為最直觀的方式進行分組。該列表在組或算法中并非詳盡無遺，但我認為它具有代表性，對您了解土地的位置非常有用。 **請注意**：對于用于分類和回歸的算法存在強烈偏見，這是您將遇到的兩種最常見的監督機器學習問題。 如果您知道未列出的算法或一組算法，請將其放在評論中并與我們分享。讓我們潛入。 ### 回歸算法 回歸涉及對變量之間的關系進行建模，這些變量使用模型預測中的誤差度量進行迭代求精。 回歸方法是統計學的主力，并已被納入統計機器學習。這可能會令人困惑，因為我們可以使用回歸來指代問題類和算法類。實際上，回歸是一個過程。 最流行的回歸算法是： * 普通最小二乘回歸（OLSR） * 線性回歸 * Logistic回歸 * 逐步回歸 * 多元自適應回歸樣條（MARS） * 局部估計的散點圖平滑（LOESS） ### 基于實例的算法 基于實例的學習模型是一個決策問題，其中包含被認為對模型重要或需要的訓練數據的實例或示例。 這些方法通常建立示例數據的數據庫，并使用相似性度量將新數據與數據庫進行比較，以便找到最佳匹配并進行預測。出于這個原因，基于實例的方法也稱為贏者通吃方法和基于記憶的學習。重點放在實例之間使用的存儲實例和相似性度量的表示上。 最流行的基于實例的算法是： * k-最近鄰（kNN） * 學習向量量化（LVQ） * 自組織地圖（SOM） * 本地加權學習（LWL） ### 正則化算法 對另一種方法（通常是回歸方法）的擴展，根據其復雜性懲罰模型，有利于更簡單的模型，這些模型也更好地推廣。 我在這里單獨列出了正則化算法，因為它們是流行的，強大的，并且通常對其他方法進行簡單的修改。 最流行的正則化算法是： * 嶺回歸 * 最小絕對收縮和選擇算子（LASSO） * 彈性網 * 最小角度回歸（LARS） ### 決策樹算法 決策樹方法構建基于數據中屬性的實際值做出的決策模型。 決策在樹結構中進行分叉，直到對給定記錄做出預測決定。針對分類和回歸問題的數據訓練決策樹。決策樹通常快速準確，是機器學習的最佳選擇。 最流行的決策樹算法是： * 分類和回歸樹（CART） * 迭代Dichotomiser 3（ID3） * C4.5和C5.0（強大方法的不同版本） * 卡方自動交互檢測（CHAID） * 決策樹樁 * M5 * 條件決策樹 ### 貝葉斯算法 貝葉斯方法是那些明確將貝葉斯定理應用于分類和回歸等問題的方法。 最流行的貝葉斯算法是： * 樸素貝葉斯 * 高斯樸素貝葉斯 * 多項樸素貝葉斯 * 平均一依賴估計（AODE） * 貝葉斯信念網絡（BBN） * 貝葉斯網絡（BN） ### 聚類算法 聚類與回歸一樣，描述了問題的類和方法的類。 聚類方法通常由建模方法組織，例如基于質心和層級。所有方法都涉及使用數據中的固有結構來最好地將數據組織成具有最大共性的組。 最流行的聚類算法是： * K-均值 * K-中位數 * 期望最大化（EM） * 分層聚類 ### 關聯規則學習算法 關聯規則學習方法提取最能解釋數據中變量之間觀察到的關系的規則。 這些規則可以發現可以被組織利用的大型多維數據集中的重要且商業上有用的關聯。 最流行的關聯規則學習算法是： * Apriori算法 * Eclat算法 ### 人工神經網絡算法 人工神經網絡是受生物神經網絡的結構和/或功能啟發的模型。 它們是一類模式匹配，通常用于回歸和分類問題，但實際上是一個龐大的子字段，由各種問題類型的數百種算法和變體組成。 請注意，由于該領域的大量增長和普及，我已將深度學習與神經網絡分開。在這里，我們關注更經典的方法。 最流行的人工神經網絡算法是： * 感知 * 反向傳播 * Hopfield網絡 * 徑向基函數網絡（RBFN） ### 深度學習算法 深度學習方法是人工神經網絡的一種現代更新，利用豐富的廉價計算。 他們關注構建更大更復雜的神經網絡，如上所述，許多方法都涉及半監督學習問題，其中大數據集包含非常少的標記數據。 最流行的深度學習算法是： * 深玻爾茲曼機（DBM） * 深信仰網絡（DBN） * 卷積神經網絡（CNN） * 堆疊式自動編碼器 ### 降維算法 與聚類方法一樣，維數減少尋求并利用數據中的固有結構，但在這種情況下以無監督的方式或使用較少信息來匯總或描述數據。 這對于可視化維度數據或簡化數據是有用的，然后可以在監督學習方法中使用這些數據。許多這些方法可以適用于分類和回歸。 * 主成分分析（PCA） * 主成分回歸（PCR） * 偏最小二乘回歸（PLSR） * Sammon Mapping * 多維縮放（MDS） * 投射追蹤 * 線性判別分析（LDA） * 混合判別分析（MDA） * 二次判別分析（QDA） * 靈敏判別分析（FDA） ### 樂團算法 集合方法是由多個較弱的模型組成的模型，這些模型是獨立訓練的，其預測以某種方式組合以進行整體預測。 要將哪些類型的弱學習器結合起來以及將它們結合起來的方式付出了很多努力。這是一種非常強大的技術，因此非常受歡迎。 * 推進 * 自舉聚合（套袋） * AdaBoost的 * 堆疊泛化（混合） * 梯度增壓機（GBM） * 梯度升壓回歸樹（GBRT） * 隨機森林 ### 其他算法 許多算法都沒有涵蓋。 例如，支持向量機會進入哪個組？它自己的？ 我沒有在機器學習過程中涵蓋專業任務的算法，例如： * 特征選擇算法 * 算法精度評估 * 績效衡量標準 我也沒有涵蓋機器學習專業子領域的算法，例如： * 計算智能（進化算法等） * 計算機視覺（CV） * 自然語言處理（NLP） * 推薦系統 * 強化學習 * 圖形模型 * 和更多… 這些可能會在未來的帖子中出現 ## 進一步閱讀 這次機器學習算法之旅旨在向您概述那里的內容以及如何將算法相互關聯的一些想法。 我收集了一些資源供您繼續閱讀算法。如果您有具體問題，請發表評論。 ### 其他算法列表 如果您有興趣，還有其他很棒的算法列表。以下是幾個手工選擇的例子。 * [機器學習算法列表](http://en.wikipedia.org/wiki/List_of_machine_learning_algorithms)：在維基百科上。雖然很廣泛，但我沒有發現這個列表或算法的組織特別有用。 * [機器學習算法類別](http://en.wikipedia.org/wiki/Category:Machine_learning_algorithms)：也在維基百科上，比上面的維基百科上面的列表稍微有用。它按字母順序組織算法。 * [CRAN任務視圖：機器學習＆amp;統計學習](http://cran.r-project.org/web/views/MachineLearning.html)：R中每個機器學習包支持的所有包和所有算法的列表。讓您有一種基礎的感覺，即每天的內容以及人們用于分析的內容。 * [數據挖掘中的十大算法](http://www.cs.uvm.edu/~icdm/algorithms/index.shtml)：[已發表文章](http://link.springer.com/article/10.1007/s10115-007-0114-2)，現在是[書籍](http://www.amazon.com/dp/1420089641?tag=inspiredalgor-20)（Affiliate Link）關于最流行的數據挖掘算法。另一種基礎和不那么壓倒性的方法，你可以去深入學習。 ### 如何研究機器學習算法 算法是機器學習的重要組成部分。這是我熱衷的主題，并在這個博客上寫了很多。以下是您可能感興趣的一些手工選擇的帖子以供進一步閱讀。 * [如何學習任何機器學習算法](http://machinelearningmastery.com/how-to-learn-a-machine-learning-algorithm/)：一種系統方法，您可以使用“算法描述模板”來研究和理解任何機器學習算法（我用這種方法編寫[我的第一本書](http://cleveralgorithms.com/nature-inspired/index.html) ]）。 * [如何創建機器學習算法的目標列表](http://machinelearningmastery.com/create-lists-of-machine-learning-algorithms/)：如何創建自己的機器學習算法系統列表，以便開始研究下一個機器學習問題。 * [如何研究機器學習算法](http://machinelearningmastery.com/how-to-research-a-machine-learning-algorithm/)：一種系統方法，可用于研究機器學習算法（與上面列出的模板方法協同工作）。 * [如何調查機器學習算法行為](http://machinelearningmastery.com/how-to-investigate-machine-learning-algorithm-behavior/)：一種方法，您可以通過創建和執行非常小的研究來了解機器學習算法的工作原理。研究不僅僅適用于學者！ * [如何實現機器學習算法](http://machinelearningmastery.com/how-to-implement-a-machine-learning-algorithm/)：從頭開始實現機器學習算法的過程和提示和技巧。 ### 如何運行機器學習算法 有時你只想潛入代碼。下面是一些可用于運行機器學習算法的鏈接，使用標準庫對其進行編碼或從頭開始實現。 * [如何開始使用R中的機器學習算法](http://machinelearningmastery.com/how-to-get-started-with-machine-learning-algorithms-in-r/)：鏈接到該站點上的大量代碼示例，演示了R中的機器學習算法。 * [機器學習算法scikit-learn中的秘籍](http://machinelearningmastery.com/get-your-hands-dirty-with-scikit-learn-now/)：Python代碼示例的集合，演示了如何使用scikit-learn創建預測模型。 * [如何在Weka中運行您的第一個分類器](http://machinelearningmastery.com/how-to-run-your-first-classifier-in-weka/)：在Weka中運行您的第一個分類器的教程（**無需代碼！**）。 ## 最后的話 我希望你發現這次旅行很有用。 如果您對如何改進算法之旅有任何疑問或想法，請發表評論。 **更新＃1** ：繼續關于HackerNews 和 [reddit](http://www.reddit.com/r/programming/comments/267zmd/a_tour_of_machine_learning_algorithms/) 的[討論。](https://news.ycombinator.com/item?id=7783550) **更新＃2** ：我添加了更多資源和更多算法。我還添加了一個方便的思維導圖，您可以下載（見上文）。