# 什么是數據挖掘和KDD > 原文： [https://machinelearningmastery.com/what-is-data-mining-and-kdd/](https://machinelearningmastery.com/what-is-data-mining-and-kdd/) 我對流程很感興趣。我想知道做事的好方法，即使是最好的辦法，如果可能的話。即使您沒有技能或深刻理解，過程也可以幫到您。它可以引領方式，技能和深刻的理解可以遵循。至少，我用它來推動我的大部分工作。 我認為研究數據挖掘是有用的，因為它是一個從數據中發現的過程。在這篇文章中，您將從教科書和論文中探索“數據挖掘”的權威定義。由于數據挖掘是一個過程，因此定義將包括對過程的許多解釋。 [](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/01/Gold-Mine.jpg) 金礦 照片來源 [GSofV](http://www.flickr.com/photos/gsofv/8554085816/sizes/l/) ，保留一些權利 ## 權威教材 在本節中，我們將從該領域的兩本權威教科書中查看“數據挖掘”的定義。 ### 數據挖掘：實用的機器學習工具和技術 [](http://www.amazon.com/dp/0123748569?tag=inspiredalgor-20) 這是Ian Witten和Eibe Frank的教科書。 作者在前言中評論道： > “數據挖掘是從數據中提取隱含的，以前未知的，可能有用的信息。我們的想法是構建自動篩選數據庫，尋求規律或模式的計算機程序。如果找到強有力的模式，可能會推廣以對未來數據做出準確的預測。 ...機器學習為數據挖掘提供了技術基礎。它用于從數據庫中的原始數據中提取信息......“ 在本書的第1章中，作者寫道： > “數據挖掘被定義為發現數據模式的過程。該過程必須是自動的（或更常見的）半自動的。發現的模式必須有意義，因為它會帶來一些優勢，通常是經濟優勢。數據總是大量存在。“ 我在進入該領域的早期就讀過這本書，這個數據挖掘的定義及其與機器學習的關系一直困擾著我。當我應用機器學習方法時，我應用一個看起來像數據挖掘過程的過程，除了我不是試圖發現模式本身，而是我試圖為一個定義良好的問題找到一個“足夠好”的解決方案。 ### 數據挖掘：概念和技術 [](http://www.amazon.com/dp/0123814790?tag=inspiredalgor-20) 這是Jiawei Han和Micheline Kamber的教科書。 在作者的序言中寫道： > “數據挖掘，通常也被稱為數據知識發現（KDD），是自動或方便地提取模式，表示在大型數據庫，數據倉庫，Web，其他海量信息庫或數據流中隱式存儲或捕獲的知識。” 這是KDD略有不同的定義，我認為這是該領域的標準。我相信KDD的首選定義是數據庫中的知識發現。 在第1章中，作者總結了KDD過程（第7頁和第8頁）： 1. **數據清理**，以消除噪音和不一致的數據。 2. **數據集成**，可以組合多個數據源。 3. **數據選擇**，從數據庫中檢索與分析任務相關的數據。 4. **數據轉換**，通過預先形成匯總或匯總操作，將數據轉換并合并為適合挖掘的形式。 5. **數據挖掘**，這是一個將智能方法應用于提取數據模式的基本過程。 6. **模式評估**根據有趣的測量來識別代表知識的真正有趣的模式。 7. **知識展示**，其中可視化和知??識表示技術用于向用戶呈現挖掘的知識。 在本書中，作者評論說數據挖掘更常見的是從數據過程中引用整個知識發現，可能是因為它是一個較短的術語。 ## 權威文章 在本節中，我們將在該領域的權威文章中探索數據庫中的知識發現（KDD）的過程。這些都是可重復技術的macgainze文章，而不是同行評審的期刊文章。然而，較不正式的語氣允許對這一高級主題進行有益的討論。 ### 從數據挖掘到數據庫中的知識發現 這是1996年由Usama Fayyad，Gregory Piatetsky-Shapiro和Padhraic Smyth撰寫的AI雜志上的一篇文章。 他們將KDD定義為數據庫中的知識發現，這是我更熟悉的定義： > “...... KDD領域關注的是開發用于理解數據的方法和技術。 ......該過程的核心是應用特定的數據挖掘方法進行模式發現和提取。“ 和 > “... KDD是指從數據中發現有用知識的整個過程，而數據挖掘是指此過程中的特定步驟。數據挖掘是特定算法的應用，用于從數據中提取模式。“ 作者在圖片中提供了有用的KDD摘要，其中包含框中的實體和將框連接為實體上的變換的過程。該描述總結如下。我很勉強重現圖像，對不起，正式出版物在這方面可能很難。 * **第1步**：選擇（數據到目標數據） * **第2步**：預處理（將目標數據轉換為已處理數據） * **第3步**：轉換（將處理后的數據轉換為轉換后的數據） * **第4步**：數據挖掘（將數據轉換為模式） * **第5步**：將解釋和/或評估模式轉化為知識） 這個過程很簡單，它是我在處理問題時喜歡使用的模型。 ### 從數據量中提取有用知識的KDD過程 這是1996年由Usama Fayyad，Gregory Piatetsky-Shapiro和Padhraic Smyth在ACM通訊中的一篇文章。 在本文中，作者給出了KDD過程的更詳細的總結。這個更詳細的版本在上面的“From Data Mining ...”文章中，但我感覺不太清楚。下面將更詳細地概述KDD過程。 1. 了解應用程序域和過程的目標 2. 創建目標數據集作為所有可用數據的子集 3. 數據清理和預處理，以消除噪音，處理丟失的數據和異常值 4. 數據縮減和投影，以便專注于與問題相關的功能 5. 將進程的目標與數據挖掘方法相匹配。確定模型的目的，例如摘要或分類。 6. 選擇數據挖掘算法以匹配模型的目的（從步驟5開始） 7. 數據挖掘，即運行數據算法。 8. 解釋挖掘的模式以使用戶可以理解，例如摘要和可視化。 9. 根據發現的知識，例如報告或做出決定。 我喜歡這個過程中的細節。它確實說明了理解過程目標的必要性，并且持久選擇的算法與這些目標相匹配。 ## 摘要 在這篇文章中，您了解到數據挖掘是從數據中發現模式。您了解到，這是一個由許多步驟組成的過程，包括數據準備，算法運行和結果表示。 您了解到機器學習是數據挖掘中使用的工具，數據挖掘實際上是數據庫或KDD中知識發現過程中的一個步驟，并且它已經成為術語的同義詞，因為它更容易說。 您了解到，當您從事機器學習項目時，您可能正在執行某種形式的KDD流程，其具體目標是解決問題而不是進行發現。 ## 資源 如果您想深入了解，可以閱讀下面這篇文章的研究中使用的更多信息。 * [數據挖掘：實用機器學習工具和技術](http://www.amazon.com/dp/0123748569?tag=inspiredalgor-20)（會員鏈接） * [數據挖掘：概念與技術](http://www.amazon.com/dp/0123814790?tag=inspiredalgor-20)（會員鏈接） * [從數據挖掘到數據庫中的知識發現](http://scholar.google.com/scholar?q=From+Data+Mining+to+Knowledge+Discovery+in+Databases)（谷歌學者），1996年 * [從數據量中提取有用知識的KDD過程](http://scholar.google.com/scholar?q=The+KDD+Process+for+Extracting+Useful+Knowledge+from+Volumes+of+Data)（谷歌學者），1996年 您如何理解數據挖掘以及機器學習如何適應？發表評論并分享您的經驗。