# 應用機器學習作為一個搜索問題的溫和介紹 > 原文： [https://machinelearningmastery.com/applied-machine-learning-as-a-search-problem/](https://machinelearningmastery.com/applied-machine-learning-as-a-search-problem/) 應用機器學習具有挑戰性，因為針對給定問題設計完美的學習系統是棘手的。 沒有針對您的問題的最佳訓練數據或最佳算法，只有您能發現的最佳。 考慮到給定項目可用的知識和資源，機器學習的應用最好被認為是輸入到輸出的最佳映射的搜索問題。 在這篇文章中，您將發現應用機器學習作為搜索問題的概念化。 閱讀這篇文章后，你會知道： * 應用機器學習是從輸入到輸出近似未知底層映射函數的問題。 * 諸如數據選擇和算法選擇之類的設計決策會縮小您最終可能選擇的可能映射函數的范圍。 * 將機器學習概念化為搜索有助于合理化集合的使用，算法的現場檢查以及對算法學習時發生的事情的理解。 讓我們開始吧。  應用機器學習作為一個搜索問題的溫和介紹 照片由 [tonko43](https://www.flickr.com/photos/tonko43/5999483355/) ，保留一些權利。 ## 概觀 這篇文章分為5部分;他們是： 1. 函數逼近問題 2. 函數逼近作為搜索 3. 數據選擇 4. 算法選擇 5. 機器學習作為搜索的意義 ## 函數逼近問題 應用機器學習是開發學習系統以解決特定的學習問題。 學習問題的特征在于觀察包括輸入數據和輸出數據以及兩者之間的一些未知但一致的關系。 學習系統的目標是學習輸入和輸出數據之間的通用映射，以便可以對從輸出變量未知的域中提取的新實例進行熟練的預測。 在統計學習中，從機器學習的統計角度來看，該問題被定義為給定輸入數據（ _X_ ）和相關輸出數據（_的映射函數（ _f_ ）的學習。 ]_ ）。 ```py y = f(X) ``` 我們有 _X_ 和 _y_ 的樣本，并盡力提出近似 _f_ 的函數，例如 _fprime_ ，這樣我們可以在未來給出新的例子（ _Xhat_ ）進行預測（ _yhat_ ）。 ```py yhat = fprime(Xhat) ``` 因此，應用的機器學習可以被認為是函數逼近的問題。  機器學習作為從輸入到輸出的映射 學習的映射將是不完美的。 設計和開發學習系統的問題是學習將輸入變量映射到輸出變量的未知底層函數的有用近似的問題。 我們不知道函數的形式，因為如果我們這樣做，我們就不需要學習系統;我們可以直接指定解決方案。 因為我們不知道真正的潛在功能，所以我們必須對其進行近似，這意味著我們不知道并且可能永遠不知道學習系統與真實映射的近似程度有多接近。 ## 函數逼近作為搜索 我們必須尋找對我們的目的足夠好的真正基礎函數的近似值。 有許多噪聲源會在學習過程中引入錯誤，這會使過程更具挑戰性，從而導致映射不太有用。例如： * 選擇學習問題的框架。 * 選擇用于訓練系統的觀察結果。 * 選擇如何準備訓練數據。 * 選擇預測模型的表示形式。 * 選擇學習算法以使模型適合訓練數據。 * 用于評估預測技能的績效指標的選擇。 還有更多。 您可以看到學習系統的開發中有許多決策點，并且事先都不知道答案。 您可以將學習問題的所有可能學習系統視為一個巨大的搜索空間，每個決策點都會縮小搜索范圍。  搜索從輸入到輸出的所有可能映射函數的空間 例如，如果學習問題是預測花的種類，數百萬可能的學習系統之一可以縮小如下： * 選擇將問題框定為預測物種類標簽，例如分類。 * 選擇給定物種及其相關亞種的花的測量值。 * 選擇一個特定托兒所中的鮮花進行測量，以收集訓練數據。 * 選擇決策樹模型表示，以便可以向利益相關者解釋預測。 * 選擇CART算法以適合決策樹模型。 * 選擇分類準確度來評估模型的技能。 等等。 您還可以看到，開發學習系統所涉及的許多決策可能存在自然的層次結構，每個決策都會進一步縮小我們可以構建的可能學習系統的空間。 這種縮小引入了有用的偏見，故意選擇一個可能的學習系統子集而不是另一個子集，目的是更接近我們可以在實踐中使用的有用映射。這種偏差既適用于問題框架的最高層，也適用于低層，例如機器學習算法或算法配置的選擇。 ## 數據選擇 選擇的學習問題框架和用于訓練系統的數據是學習系統發展的一個重要杠桿。 您無權訪問所有數據：即所有輸入和輸出對。如果你這樣做，你就不需要預測模型來為新的輸入觀察做出輸出預測。 你確實有一些歷史輸入 - 輸出對。如果沒有，您將無法獲得用于訓練預測模型的任何數據。 但也許你有很多數據，你只需要選擇一些數據進行訓練。或者，您可以隨意自由生成數據，并受到生成或收集的數據和數據的挑戰。 您選擇對您的學習系統進行建模的數據必須充分捕獲您可用數據的輸入和輸出數據之間的關系，以及該模型預期將來預測的數據。  從問題的所有數據的宇宙中選擇訓練數據 ## 算法選擇 您必須選擇模型的表示和用于使模型適合訓練數據的算法。這再次成為學習系統發展的另一個重要杠桿。  從所有算法的宇宙中選擇算法來解決問題 雖然項目利益相關者對項目施加約束是很常見的，但是這種決策通常會簡化為選擇算法，例如模型能夠解釋預測，而預測又會對最終模型表示的形式施加約束。反過來你可以搜索的映射范圍。  選擇從輸入到輸出的近似映射的效果 ## 機器學習作為搜索的意義 將開發學習系統作為搜索問題的概念化有助于在應用機器學習中明確許多相關問題。 本節將介紹幾個。 ### 迭代學習的算法 用于學習映射的算法將施加進一步的約束，并且它與所選擇的算法配置一起將控制在模型適合時如何導航可能的候選映射的空間（例如，用于迭代學習的機器學習算法）。 在這里，我們可以看到通過機器學習算法從訓練數據中學習的行為實際上導航了學習系統的可能映射的空間，希望從差的映射轉移到更好的映射（例如爬山）。  迭代訓練學習算法對數據的影響 這為優化算法在機器學習算法的核心中的作用提供了概念上的基本原理，以充分利用特定訓練數據的模型表示。 ### 合奏的基本原理 我們還可以看到，不同的模型表示將占據所有可能的函數映射的空間中的完全不同的位置，并且在進行預測時又具有完全不同的行為（例如，不相關的預測誤差）。 這為集合方法的作用提供了概念上的理論基礎，這些方法結合了來自不同但技巧嫻熟的預測模型的預測。  解釋組合多個最終模型的預測 ### 現場檢查的基本原理 具有不同表示的不同算法可以在可能的函數映射的空間中的不同位置處開始，并且將以不同方式導航空間。 如果這些算法導航的約束空間由適當的框架和良好的數據很好地指定，那么大多數算法可能會發現良好和類似的映射函數。 我們還可以看到一個好的框架和仔細選擇的訓練數據如何打開一個候選映射的空間，可以通過一套現代強大的機器學習算法找到。 這為在給定的機器學習問題上對一套算法進行抽查，并在顯示最有希望的算法上加倍，或者選擇最簡約的解決方案（例如Occam的剃刀）提供了理由。 ## 進一步閱讀 如果您希望深入了解，本節將提供有關該主題的更多資源。 * [第2章，機器學習](http://amzn.to/2yclAGZ)，1997。 * [作為搜索的泛化](http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.121.5764&rep=rep1&type=pdf)，1982。 * [第1章，數據挖掘：實用機器學習工具和技術](http://amzn.to/2wvHUPq)，2016。 * [關于算法選擇，應用于組合搜索問題](https://research-repository.st-andrews.ac.uk/handle/10023/2841)，2012。 * 維基百科上的[算法選擇](https://en.wikipedia.org/wiki/Algorithm_Selection) ## 摘要 在這篇文章中，您發現了應用機器學習作為搜索問題的概念化。 具體來說，你學到了： * 應用機器學習是從輸入到輸出近似未知底層映射函數的問題。 * 諸如數據選擇和算法選擇之類的設計決策會縮小您最終可能選擇的可能映射函數的范圍。 * 將機器學習概念化為搜索有助于合理化集合的使用，算法的現場檢查以及對算法學習時發生的事情的理解。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。