[TOC] # 流程 1. 創建項目 2. 到pom.xml文件中 3. 創建scala類 ~~~ import org.apache.spark.SparkContext //一切任務的起源,所有計算的開頭 import org.apache.spark.SparkConf //spark的配置信息,相當于mr當中的那個conf,他會覆蓋掉默認的配置文件(如果你進行了配置),他的主要作用,app的名字,設置運行時本地模式還是集群模式 ~~~ 4. 寫代碼(參考官方文檔) 如果是在windows上運行,設置setMaster('local[n]') 如果是線上運行,把setMaster('local[n]')去掉,或者setMaster('spark://master')(不建議,因為寫死了) 注意兩個關鍵詞:transformation,action # spark中saveAsTextFile如何最終生成一個文件 在默認textfile中,如果從hdfs中讀取文件,源碼中默認的分區數是2,如果想改變分區數,可以在textfile中設置第二個參數"分區數" 一般而言.saveAsTextFile會按照執行task的多少生成多少個文件,比如part-00000一直到part-0000n,n自然就是task的個數,也就是最后的stage的分區數 在RDD上調用coalesce(1, true).saveAsTextFile(),意味著做完計算之后將數據匯集到一個分區,然后再執行保存的動作.顯然,一個分區,spark自然只起一個task來執行保存的動作.也就只有一個文件產生了,又或者可以調用repartition(1),它其實是coalesce的一個包裝,默認第二個參數為true. 雖然可以這么做,但是代價是巨大的.因為spark面對的是大量的數據,并且是并行執行的.如果強行要求最后只有一個分區,必然會導致大量的磁盤IO和網絡IO產生,并且最終執行reduce操作的節點的內存也會承受很大考驗.spark會很慢,甚至會死掉 saveAsTextFile要求保存的目錄之前是沒有的,否則會報錯.所以先判斷一下 # shell 打jar包,去掉setMaster ~~~ spark-submit \ --master spark://master:7077 \ --executor-memory 512M \ --total-executor-cores 2 \ --class org.apache.spark.WordCount \ xxx.jar \ in \ out \ ~~~