# 獨立應用程序 現在假設我們想要使用 Spark API 寫一個獨立的應用程序。我們將通過使用 Scala(用 SBT)，Java(用 Maven) 和 Python 寫一個簡單的應用程序來學習。 我們用 Scala 創建一個非常簡單的 Spark 應用程序。如此簡單，事實上它的名字叫 `SimpleApp.scala`： ~~~ /* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object SimpleApp { def main(args: Array[String]) { val logFile = "YOUR_SPARK_HOME/README.md" // 應該是你系統上的某些文件 val conf = new SparkConf().setAppName("Simple Application") val sc = new SparkContext(conf) val logData = sc.textFile(logFile, 2).cache() val numAs = logData.filter(line => line.contains("a")).count() val numBs = logData.filter(line => line.contains("b")).count() println("Lines with a: %s, Lines with b: %s".format(numAs, numBs)) } } ~~~ 這個程序僅僅是在 Spark README 中計算行里面包含 'a' 和包含 'b' 的次數。你需要注意將 `YOUR_SPARK_HOME` 替換成你已經安裝 Spark 的路徑。不像之前的 Spark Shell 例子，這里初始化了自己的 SparkContext，我們把 SparkContext 初始化作為程序的一部分。 我們通過 SparkContext 的構造函數參入 [SparkConf](https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.SparkConf) 對象，這個對象包含了一些關于我們程序的信息。 我們的程序依賴于 Spark API，所以我們需要包含一個 sbt 文件文件，`simple.sbt` 解釋了 Spark 是一個依賴。這個文件還要補充 Spark 依賴于一個 repository： ~~~ name := "Simple Project" version := "1.0" scalaVersion := "2.10.4" libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.0" ~~~ 要讓 sbt 正確工作，我們需要把 `SimpleApp.scala` 和 `simple.sbt` 按照標準的文件目錄結構布局。上面的做好之后，我們可以把程序的代碼創建成一個 JAR 包。然后使用 `spark-submit` 來運行我們的程序。 ~~~ # Your directory layout should look like this $ find . . ./simple.sbt ./src ./src/main ./src/main/scala ./src/main/scala/SimpleApp.scala # Package a jar containing your application $ sbt package ... [info] Packaging {..}/{..}/target/scala-2.10/simple-project_2.10-1.0.jar # Use spark-submit to run your application $ YOUR_SPARK_HOME/bin/spark-submit \ --class "SimpleApp" \ --master local[4] \ target/scala-2.10/simple-project_2.10-1.0.jar ... Lines with a: 46, Lines with b: 23 ~~~