本文主要討論 Apache Spark 的設計與實現，重點關注其設計思想、運行原理、實現架構及性能調優，附帶討論與 Hadoop MapReduce 在設計與實現上的區別。不喜歡將該文檔稱之為“源碼分析”，因為本文的主要目的不是去解讀實現代碼，而是盡量有邏輯地，從設計與實現原理的角度，來理解 job 從產生到執行完成的整個過程，進而去理解整個系統。 討論系統的設計與實現有很多方法，本文選擇?**問題驅動**?的方式，一開始引入問題，然后分問題逐步深入。從一個典型的 job 例子入手，逐漸討論 job 生成及執行過程中所需要的系統功能支持，然后有選擇地深入討論一些功能模塊的設計原理與實現方式。也許這樣的方式比一開始就分模塊討論更有主線。 本文檔面向的是希望對 Spark 設計與實現機制，以及大數據分布式處理框架深入了解的 Geeks。 因為 Spark 社區很活躍，更新速度很快，本文檔也會盡量保持同步，文檔號的命名與 Spark 版本一致，只是多了一位，最后一位表示文檔的版本號。 由于技術水平、實驗條件、經驗等限制，當前只討論 Spark core standalone 版本中的核心功能，而不是全部功能。誠邀各位小伙伴們加入進來，豐富和完善文檔。 關于學術方面的一些討論可以參閱相關的論文以及 Matei 的博士論文，也可以看看我之前寫的這篇?[blog](http://www.cnblogs.com/jerrylead/archive/2013/04/27/Spark.html)。 好久沒有寫這么完整的文檔了，上次寫還是三年前在學 Ng 的 ML 課程的時候，當年好有激情啊。這次的撰寫花了 20+ days，從暑假寫到現在，大部分時間花在 debug、畫圖和琢磨怎么寫上，希望文檔能對大家和自己都有所幫助。