# 機器學習很重要 > 原文： [https://machinelearningmastery.com/machine-learning-that-matters/](https://machinelearningmastery.com/machine-learning-that-matters/) 閱讀引導機器學習，路易斯提到了一篇我不得不去閱讀的論文。該論文的標題是來自 JPL 的 [Kiri Wagstaff](http://www.wkiri.com/) 的[機器學習](http://icml.cc/2012/papers/298.pdf)（PDF），并于 2012 年出版。 [](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/05/machine-learning-that-matters.png) 機器學習很重要 Kiri 的論點是機器學習研究社區已經迷失了方向。她建議大部分機器學習都是為了機器學習而做的。她指出了三個關鍵問題： * **過度關注基準數據**：關注 UCI 存儲庫中的數據集，但很少有人在正在解決的域中產生影響。她指出缺乏實驗可重復性的標準，這使得標準數據集的使用無效以及回歸和分類問題的偏差。她評論說使用 UCI 存儲庫比使用合成 daa 更糟糕，因為我們甚至無法控制數據的創建方式。 * **過度關注抽象度量標準**：強烈關注算法競爭或烘焙以及使用 RMSE 和 F-measure 等通用指標，這些指標在域中沒有直接意義。 * **缺乏跟進**：在 Weka 中下載數據集和運行算法非常簡單。很難解釋結果并將它們與域相關聯，但這是產生影響所需要的。 問題的關鍵在于她將機器學習描述為三類活動，而“機器學習貢獻”則側重于算法選擇和忽略問題定義和結果解釋的實驗。 ## 心態的變化 Kiri 建議研究界需要改變其制定，攻擊和評估機器學習研究項目的方式。她評論了三個要解決的問題： * **有意義的評估方法**：測量機器學習系統在域中的直接影響。例如，節省了美元，保留了生命，節省了時間或減少了工作量。選擇直接影響測量將對實驗設計和數據選擇產生影響。 * **外部世界的參與**：讓域專家參與定義問題和數據，更重要的是使用它們來解釋域中結果的重要性。這是為了停止解決意義不大的問題（虹膜植物分類），并開發出足夠可靠和有用的系統，以便在實踐中采用。 * **關注獎項**：選擇研究問題的影響。考慮問題域中的現狀，并將結果描述為高于該現狀的改進水平。吸引社區并激勵采用。 ## 開放挑戰 Kiri 拋出了挑戰并提出了 6 個問題作為研究項目的例子，其中機器學習可以產生影響： 1. 法律通過或法律決定依賴于 ML 分析的結果。 2. 通過改進 ML 系統提供的決策，節省了 1 億美元。 3. 國家之間的沖突通過 ML 系統提供的高質量翻譯得以避免。 4. 通過 ML 防御將網絡安全入侵率降低 50％。 5. 通過 ML 系統推薦的診斷或干預節省人的生命。 6. 一個國家的人類發展指數（HDI）增加 10％，歸因于 ML 系統。 她特意留下問題，以避免提出單一的問題或技術能力。真正的挑戰很難。這些示例旨在激發而不是詳盡無遺的優先級問題清單。 最后，Kiri 最后評論了可能阻礙有效解決重要研究問題的障礙。 * **術語**：過度使用機器學習術語，這是該領域的一個有用的速記，但基本上是不可穿透的領域。針對更廣泛的受眾時，需要更通用的語言。 * **風險**：當機器學習系統做出后果決定時，誰在犯錯誤時犯罪？誰維護系統前進？ （我不禁覺得土木工程和安全關鍵制造業已經解決了類似的問題） * **復雜性**：機器學習方法仍然不是一成不變的，而博士仍然需要理解和使用這些方法。我們需要更好的工具。 （我認為商品化的機器學習正在快速發展）。 我認為這是一篇很好的論文，可以激勵年輕的研究從競賽算法轉向更有影響力的工作。它讓我想起 O'reilly 對武器的呼喚“[對重要事項](http://radar.oreilly.com/2009/01/work-on-stuff-that-matters-fir.html)的工作”。我會喜歡一些更具體的例子，可能不那么理想化，更像商業，如 [IBM 的 Watson](http://www.ibm.com/smarterplanet/us/en/ibmwatson/) ， [Siri](http://en.wikipedia.org/wiki/Siri) 和[大規模圖像分類](http://googleblog.blogspot.com.au/2012/06/using-large-scale-brain-simulations-for.html)。 我也不禁感到有一些問題，初學者可以取得進步并獲得直接的個人利益。就像分類他們自己的照片，組織他們的文件或在股票市場交易。