[TOC] # 簡介  master節點主要運行集群管理器的中心化部分,所承載的作用是分配Application到Worker節點,維護Worker節點,Driver,Application的狀態 Worker節點負責具體的業務運行 # 配置spark(standalone) spark部署模式有Local,Local-Cluster,Standalone,Yarn,Mesos 我們選擇最具有代表性的standalone集群部署模式 進入到spark安裝目錄 ~~~ cd ./spark-2.1.1-bin-hadoop2.7/conf ~~~ 將slaves.template復制為slaves 添加內容 ~~~ slave1 slave2 ~~~ 將`spark-env.sh.template`復制為`spark-env.sh` 添加內容 ~~~ export HADOOP_CONF_DIR=/root/tools/hadoop-2.7.2 # 指定spark老大master的ip地址,如果是HA,這樣不配置,配了ip就是單機,不配ip就要配高可用 export SPARK_MASTER_IP=master # 指定可用的cpu內核數量(默認: 所有可用) #export SPARK_WORKER_CORES=1 # 作業可使用的內存容量,默認格式為1000m或者2g(默認:所有RAM去掉給操作系統用的1GB) #export SPARK_WORKER_MEMORY=500m # 機器上的worker數量(默認:1).當你有一個非常強大的計算機時可啟動多個worker進程 #export SPARK_WORKER_INSTANCES=1 export SPARK_MASTER_PORT=7077 export JAVA_HOME=/usr/jdk8 #(可選)配置兩個spark master實現高可靠(首先要配置zookeeper集群,在spark-env.sh添加SPARK_DAEMON_JAVA_OPTS) #export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/spark" ~~~ # 啟動 在sbin目錄下 ~~~ ./start-all.sh ~~~ 日志 ~~~ starting org.apache.spark.deploy.master.Master, logging to /root/tools/spark-1.6.2-bin-hadoop2.6/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out slave2: starting org.apache.spark.deploy.worker.Worker, logging to /root/tools/spark-1.6.2-bin-hadoop2.6/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave2.out slave1: starting org.apache.spark.deploy.worker.Worker, logging to /root/tools/spark-1.6.2-bin-hadoop2.6/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave1.out ~~~ 在web上訪問`master:8080` 停止 ~~~ ./stop-all.sh ~~~ # 高可用 spark-env.sh修改下 ~~~ export HADOOP_CONF_DIR=/root/tools/hadoop-2.7.2 # 指定spark老大master的ip地址,如果是HA,這樣不配置,配了ip就是單機,不配ip就要配高可用 #export SPARK_MASTER_IP=master # 指定可用的cpu內核數量(默認: 所有可用) #export SPARK_WORKER_CORES=1 # 作業可使用的內存容量,默認格式為1000m或者2g(默認:所有RAM去掉給操作系統用的1GB) #export SPARK_WORKER_MEMORY=500m # 機器上的worker數量(默認:1).當你有一個非常強大的計算機時可啟動多個worker進程 #export SPARK_WORKER_INSTANCES=1 export SPARK_MASTER_PORT=7077 export JAVA_HOME=/usr/jdk8 #(可選)配置兩個spark master實現高可靠(首先要配置zookeeper集群,在spark-env.sh添加SPARK_DAEMON_JAVA_OPTS) export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/spark" ~~~ **然后把配置文件分發到各個機器上** 然后啟動 ~~~ ./start-all.sh ~~~ web上看到狀態是Status: RECOVERING 如果想啟動多個master,在其他機器上 ~~~ ./start-master.sh ~~~ # 運行spark-shell 兩種方式運行 1. 直接運行`spark-shell`,他是單機通過多線程跑任務,只運行一個進程叫submit 2. 運行`spark-shell --master spark://master:7077`,將任務運行在集群中,運行submit在master上,運行executor在worker上 還可以這樣 ~~~ spark-shell --master spark://master:7077 --executor-memory 512M --total-executor-cores 2 ~~~ 指定master機器并且指定內存大小并且指定核數是2核