安裝 · 大數據

[TOC] # 準備工作 Azkaban Web服務器 azkaban-web-server-2.5.0.tar.gz Azkaban執行服務器? azkaban-executor-server-2.5.0.tar.gz MySQL 目前azkaban只支持?mysql,需安裝mysql服務器,本文檔中默認已安裝好mysql服務器,并建立了?root用戶,密碼?root. ? 下載地址:`http://azkaban.github.io/downloads.html` # 安裝將安裝文件上傳到集群,最好上傳到安裝?hive、sqoop的機器上,方便命令的執行在當前用戶目錄下新建?azkabantools目錄,用于存放源安裝文件.新建azkaban目錄,用于存放azkaban運行程序 ## azkaban web服務器安裝解壓azkaban-web-server-2.5.0.tar.gz 命令: tar –zxvf azkaban-web-server-2.5.0.tar.gz 將解壓后的azkaban-web-server-2.5.0?移動到?azkaban目錄中,并重新命名?webserver 命令: ~~~ mv azkaban-web-server-2.5.0 ../azkaban cd ../azkaban mv azkaban-web-server-2.5.0 server ~~~ ## azkaban?執行服器安裝解壓azkaban-executor-server-2.5.0.tar.gz 命令:`tar –zxvf azkaban-executor-server-2.5.0.tar.gz` 將解壓后的azkaban-executor-server-2.5.0?移動到?azkaban目錄中,并重新命名?executor 命令: ~~~ mv azkaban-executor-server-2.5.0 ?../azkaban cd ../azkaban mv azkaban-executor-server-2.5.0 ?executor ~~~ azkaban腳本導入解壓:?azkaban-sql-script-2.5.0.tar.gz 命令:`tar –zxvf?azkaban-sql-script-2.5.0.tar.gz` 將解壓后的mysql?腳本,導入到mysql中: 進入mysql ~~~ mysql> create database azkaban; mysql> use azkaban; Database changed mysql> source /root/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql; ~~~ # 創建SSL配置參考地址: `http://docs.codehaus.org/display/JETTY/How+to+configure+SSL` 命令:?`keytool -keystore keystore -alias jetty -genkey -keyalg RSA` 運行此命令后,會提示輸入當前生成?keystore的密碼及相應信息,輸入的密碼請勞記,信息如下: ? ~~~ 輸入keystore密碼：? 再次輸入新密碼: 120*** 您的名字與姓氏是什么？ ? [Unknown]：? 您的組織單位名稱是什么？ ? [Unknown]：? 您的組織名稱是什么？ ? [Unknown]：? 您所在的城市或區域名稱是什么？ ? [Unknown]：? 您所在的州或省份名稱是什么？ ? [Unknown]：? 該單位的兩字母國家代碼是什么 ? [Unknown]：? CN CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN?正確嗎？ ? [否]：? y ? 輸入<jetty>的主密碼 ????????（如果和?keystore?密碼相同，按回車）：? 再次輸入新密碼: ~~~ 完成上述工作后,將在當前目錄生成?keystore?證書文件,將keystore?考貝到?azkaban web服務器根目錄中.如: ~~~ cp keystore azkaban/webserver ~~~ # 配置文件注：先配置好服務器節點上的時區 1. 先生成時區配置文件Asia/Shanghai，用交互式命令 tzselect 即可 2. 拷貝該時區文件，覆蓋系統本地時區配置 ~~~ cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime ~~~ ## azkaban web服務器配置進入azkaban web服務器安裝目錄?conf目錄修改azkaban.properties文件命令`vi azkaban.properties` 內容說明如下: ~~~ #Azkaban Personalization Settings azkaban.name=Test?????????????????????????? #服務器UI名稱,用于服務器上方顯示的名字 azkaban.label=My Local Azkaban?????????????????????????????? #描述 azkaban.color=#FF3601???????????????????????????????????????????????? #UI顏色 azkaban.default.servlet.path=/index???????????????????????? # web.resource.dir=web/???????????????????? ??????????????????????????? #默認根web目錄 default.timezone.id=Asia/Shanghai?????????????????????????? #默認時區,已改為亞洲/上海?默認為美國 ? #Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager?? #用戶權限管理默認類 user.manager.xml.file=conf/azkaban-users.xml????????????? #用戶配置,具體配置參加下文 ? #Loader for projects executor.global.properties=conf/global.properties??? # global配置文件所在位置 azkaban.project.dir=projects??????????????????????????????????????????????? # ? database.type=mysql????????????????????????????????????????????????????????????? #數據庫類型 mysql.port=3306?????????????????????????????????????????????????????????????????????? #端口號 mysql.host=localhost ????????????????????????????????????????????????? #數據庫連接IP mysql.database=azkaban?????????????????????????????????????????????????????? #數據庫實例名 mysql.user=root ??????? ??????????????????????????????????????????????????????? #數據庫用戶名 mysql.password=root????????????????????????????????????????????????????????? #數據庫密碼 mysql.numconnections=100????????????????????????????????????????????????? #最大連接數 ? # Velocity dev mode velocity.dev.mode=false # Jetty服務器屬性. jetty.maxThreads=25?????????????????????????????????????????????????????????????? #最大線程數 jetty.ssl.port=8443?????????????????????????????????????????????????????????????????? #Jetty SSL端口 jetty.port=8081???????????????????????????????????????????????????????????????????????? #Jetty端口 jetty.keystore=keystore????????????????????????????????????????????????????????? #SSL文件名 jetty.password=120***???????????????????????????????????????????????????????????? #SSL文件密碼 jetty.keypassword=120***????????????????????????????????????????????????????? #Jetty主密碼?與?keystore文件相同 jetty.truststore=keystore??????????????????????????????????????????????????????????????? #SSL文件名 jetty.trustpassword=120***?????????????????????????????????????????????????? # SSL文件密碼 ? #?執行服務器屬性 executor.port=12321?????????????????????????????????????????????????????????????? #執行服務器端口 ? #?郵件設置 mail.sender=xxxxxxxx@163.com?????????????????????????????????????? #發送郵箱 mail.host=smtp.163.com?????????????????????????????????????????????????????? #發送郵箱smtp地址 mail.user=xxxxxxxx ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? #發送郵件時顯示的名稱 mail.password=**********???????????????????????????????????????????????? #郵箱密碼 job.failure.email=xxxxxxxx@163.com????????????????????????????? #任務失敗時發送郵件的地址 job.success.email=xxxxxxxx@163.com??????????????????????????? #任務成功時發送郵件的地址 lockdown.create.projects=false?????????????????????????????????????????? # cache.directory=cache??????????????????????????????????????????????????????????? #緩存目錄 ~~~ ? ## azkaban?執行服務器配置進入執行服務器安裝目錄conf,修改azkaban.properties vi azkaban.properties ~~~ #Azkaban default.timezone.id=Asia/Shanghai????????????????????????????????????????????? #時區 ? # Azkaban JobTypes?插件配置 azkaban.jobtype.plugin.dir=plugins/jobtypes?????????????????? #jobtype?插件所在位置 ? #Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects ? #數據庫設置 database.type=mysql?????????????????????????????????????????????????????????????????????? #數據庫類型(目前只支持mysql) mysql.port=3306??????????????????????????????????????????????????????????????????????????????? #數據庫端口號 mysql.host=itcast01 ????????????????????????????????????????????????? ???????????????#數據庫IP地址 mysql.database=azkaban??????????????????????????????????????????????????????????????? #數據庫實例名 mysql.user=root???????????????????????????????????????????????????????????????????????? #數據庫用戶名 mysql.password=root123?????????????????????????????????????????????????????????????????? #數據庫密碼 mysql.numconnections=100?????????????????????????????????????????????????????????? #最大連接數 ? #?執行服務器配置 executor.maxThreads=50??????????????????????????????????????????????????????????????? #最大線程數 executor.port=12321?????????????????????????????????????????????????????????????? #端口號(如修改,請與web服務中一致) executor.flow.threads=30??????????????????????????????????????????????????????????????? #線程數 ~~~ ## 用戶配置進入azkaban web服務器conf目錄,修改azkaban-users.xml vi azkaban-users.xml?增加?管理員用戶 ~~~ <azkaban-users> ??????? <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" /> ??????? <user username="metrics" password="metrics" roles="metrics"/> ????????<user username="admin" password="admin" roles="admin,metrics" /> ??????? <role name="admin" permissions="ADMIN" /> ??????? <role name="metrics" permissions="METRICS"/> </azkaban-users> ~~~ # 啟動 ## web服務器在azkaban web服務器目錄下執行啟動命令 ~~~ bin/azkaban-web-start.sh ~~~ 注:在web服務器根目錄運行,不這樣的話,會報conf下面的配置文件找不到,因為他配置文件是設置的相對目錄 ## 執行服務器在執行服務器目錄下執行啟動命令 ~~~ bin/azkaban-executor-start.sh ./ ~~~ 注:只能要執行服務器根目錄運行 ? 啟動完成后,在瀏覽器(建議使用谷歌瀏覽器)中輸入(需要加https)`https://服務器IP地址:8443` ,即可訪問azkaban服務了.在登錄中輸入剛才新的戶用名及密碼,點擊?login. ## azkaban界面元素菜單說明 1. projects：azkaban最重要的一部分，創建一個工程，將所有的工作流放在工程中執行 2. scheduling：定時調度任務用的 3. executing: 顯示當前運行的任務 4. History : 顯示歷史運行任務一個project有3個按鈕： 1. Flows：一個工作流，由多個job組成 2. Permissions:權限管理 3. Project Logs：工程日志信息