# Spark standalone on Kubernetes 該項目是基于 Spark standalone 模式，對資源的分配調度還有作業狀態查詢的功能實在有限，對于讓 spark 使用真正原生的 kubernetes 資源調度推薦大家嘗試 https://github.com/apache-spark-on-k8s/ 本文中使用的鏡像我已編譯好上傳到了時速云上，大家可以直接下載。 ``` index.tenxcloud.com/jimmy/spark:1.5.2_v1 index.tenxcloud.com/jimmy/zeppelin:0.7.1 ``` 代碼和使用文檔見Github地址：https://github.com/rootsongjc/spark-on-kubernetes 本文中用到的 yaml 文件可以在 `manifests/spark-standalone` 目錄下找到，也可以在上面的 https://github.com/rootsongjc/spark-on-kubernetes/ 項目的 manifests 目錄下找到。 **注意**：時速云上本來已經提供的鏡像 `index.tenxcloud.com/google_containers/spark:1.5.2_v1` ，但是該鏡像似乎有問題，下載總是失敗。 ## 在Kubernetes上啟動spark 創建名為spark-cluster的namespace，所有操作都在該namespace中進行。 所有yaml文件都在`manifests`目錄下。 ``` $ kubectl create -f manifests/ ``` 將會啟動一個擁有三個worker的spark集群和zeppelin。 同時在該namespace中增加ingress配置，將spark的UI和zeppelin頁面都暴露出來，可以在集群外部訪問。 該ingress后端使用traefik。 ## 訪問spark 通過上面對ingress的配置暴露服務，需要修改本機的/etc/hosts文件，增加以下配置，使其能夠解析到上述service。 ``` 172.20.0.119 zeppelin.traefik.io 172.20.0.119 spark.traefik.io ``` 172.20.0.119是我設置的VIP地址，VIP的設置和traefik的配置請查看[kubernetes-handbook](https://github.com/rootsongjc/kubernetes-handbook)。 **spark ui** 訪問 `http://spark.traefik.io`  **zeppelin ui** 訪問 `http://zepellin.treafik.io`