安裝 · JAVA · 看云

[TOC] # 簡介一個基于工作流引擎的開源框架.需要部署到java servlet容器中運行.主要用于定時調度任務,多任務可以按照執行的邏輯順序調度. # 功能模塊介紹 ## 模塊 **workflow** 順序執行流程節點,支持fork(分支多個節點),join(合并多個節點為一個) **coordinator** 定時器,定時觸發workflow **bundle job** 綁定多個coordinator,相當于序列化的map集合 ## 常用節點 **控制流節點(ControlFlow Nodes)** 控制流節點一般都是定義在工作流開始或者結束的位置,比如start,end,kill等.以及提供工作流的執行路徑機制,如decision,fork,join等 **動作節點(Action Nodes)** 負責執行具體動作的節點.比如:拷貝文件,執行某個shell腳本等 # 安裝 **解壓** ~~~ tar -zxf oozie-4.0.0-cdh5.3.6.tar.gz ~~~ **修改hadoop配置** oozie是有用戶的，默認用戶就是oozie core-site.xml ~~~  ## 允許哪些框架被oozie 代理用戶去操作hadoop,修改成自己的用戶名 <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property>  ## 允許oozie 代理用戶去操作hadoop,修改成自己的用戶名 <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> ~~~ mapred-site.xml ~~~ 使用oozie框架，一定要配置jobhistory server  <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property>  <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> ~~~ yarn-site.xml ~~~  <property> <name>yarn.log.server.url</name> <value>http://hadoop102:19888/jobhistory/logs/</value> </property> ~~~ scp同步到其他機器節點重啟hadoop,順便開啟job history **在oozie根目錄下，解壓hadooplibs** ~~~ tar -xzvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz -C ./ ~~~ 完成后Oozie目錄下會出現oozie-4.0.0-cdh5.3.6目錄。目的是把解壓后oozie-4.0.0-cdh5.3.6的hadooplibs文件夾，放到oozie目錄下 **在Oozie目錄下創建libext目錄** ~~~ mkdir libext/ ~~~ **拷貝一些依賴的Jar包** 將hadooplibs里面的jar包，拷貝到libext目錄下 ~~~ cp -ra hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/ ~~~ **拷貝Mysql驅動包到libext目錄下** oozie 的元數據保存在mysql 中，默認derby ~~~ cp -a mysql-connector-java-5.1.27-bin.jar libext/ ~~~ **修改Oozie配置文件** oozie-site.xml ~~~ vim conf/oozie-site.xml <property> <name>oozie.service.JPAService.jdbc.driver</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>oozie.service.JPAService.jdbc.url</name> <value>jdbc:mysql://hadoop102:3306/oozie</value> </property> <property> <name>oozie.service.JPAService.jdbc.username</name> <value>root</value> </property> <property> <name>oozie.service.JPAService.jdbc.password</name> <value>000000</value> </property> <property> <name>oozie.service.HadoopAccessorService.hadoop.configurations</name> <value>*=/opt/module/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop</value> <description>讓Oozie引用Hadoop的配置文件“*=”不能刪</description> </property> ~~~ **在Mysql中創建Oozie的數據庫** ~~~ create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; ~~~ **初始化Oozie** 上傳Oozie目錄下的yarn.tar.gz文件到HDFS ~~~ bin/oozie-setup.sh sharelib create -fs hdfs://master:9000 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz ~~~