1. 序列化 （1）Java序列化，Spark默認方式。 （2）Kryo序列化，比Java序列化快約10倍，但不支持所有可序列化類型。 ```scala val conf:SparkConf = new SparkConf() .setMaster("local[4]") .setAppName(this.getClass.getName) // 注冊需要Kryo序列化的類 conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") conf.registerKryoClasses(Array(classOf[MyClass1], classOf[MyClass2])) ``` 如果沒有注冊需要序列化的class，Kyro依然可以照常工作，但會存儲每個對象的全類名(full class name)，這樣往往比默認的 Java serialization 更浪費空間。 2. 使用對象數組（Array）、原始類型代替Java、Scala集合類（如HashMap）。 3. 避免嵌套結構，如盡量避免List(List(List(Map)))類似的嵌套。 4. 盡量使用數字作為Key，而非字符串。。 5. 以較大的RDD使用持久化級別為MEMORY_ONLY_SER。 6. 加載CSV、JSON時，僅加載所需字段。 7. 僅在需要時持久化中間結果（RDD/DS/DF）。 8. 避免不必要的中間結果（RDD/DS/DF）的生成，避免必要的shuffle產生。 9. DF的執行速度比DS快約3倍。 10. 自定義RDD分區與`spark.default.parallelism`，該參數用于設置每個stage的默認task數量。 11. 將大變量廣播出去，而不是直接使用。 12. 嘗試處理本地數據并最小化跨工作節點的數據傳輸。 13. 表連接（join操作）。 （1）包含所有表的謂詞（predicate） 。 ```sql select * from t1 join t2 on t1.name = t2.full_name where t1.name = 'mike' and t2.full_name = 'mike' ``` （2）最大的表放在第一位。 （3）廣播最小的表。 （4）最小化表join的數量。