oozie总结

发表于 | 分类于
字数统计: 3,933 | 阅读时长 ≈ 19

一、Oozie简介

Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。

二、Oozie的功能模块介绍

2.1、模块

1) Workflow

顺序执行流程节点，支持fork（分支多个节点），join（合并多个节点为一个）

2) Coordinator

定时触发workflow

3) Bundle Job

绑定多个Coordinator

2.2、常用节点

1) 控制流节点（Control Flow Nodes**）**

控制流节点一般都是定义在工作流开始或者结束的位置，比如start,end,kill等。以及提供工作流的执行路径机制，如decision，fork，join等。

2) 动作节点（Action Nodes**）**

负责执行具体动作的节点，比如：拷贝文件，执行某个Shell脚本等等。

三、Oozie的部署

3.1、部署

3.1.1、解压Oozie

$ tar -zxf ~/softwares/installations/cdh/oozie-4.0.0-cdh5.3.6.tar.gz -C ./

3.1.2、修改Hadoop配置(原来学习的基础上添加如下内容)

我们知道在使用命令行操作hdfs的时候，linux默认使用的是当前登录用户。但是当我们使用oozie去操作hdfs的时候，那么它使用的用户是oozie自己创建的。但是我们知道hdfs相关的目录只有kingge这个用户（此用户是自己创建）才有权限操作，那么oozie想要操作hdfs就需要一个代理，代理kingge这个用户去操作hdfs。下面的两个配置就是这样的作用

core-site.xml

<!-- Oozie Server的Hostname -->
<property> //允许被用户所代理
	<name>hadoop.proxyuser.admin.hosts</name>
	<value>*</value>
</property>
<!-- 允许被Oozie代理的用户组 -->
<property>
	<name>hadoop.proxyuser.admin.groups</name>
 	<value>*</value>
</property>

尖叫提示：*hadoop.proxyuser.admin.hosts**类似属性中的admin**用户替换成你的hadoop**用户。***

mapred-site.xml

<!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>linux01:10020</value>
</property>
<!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>linux01:19888</value>
</property>

yarn-site.xml

<!-- 任务历史服务 -->
<property> 
	<name>yarn.log.server.url</name> 
	<value>http://linux01:19888/jobhistory/logs/</value> 
</property>

完成后：记得scp同步到其他机器节点

3.1.3、重启Hadoop集群

$ sh ~/start-cluster.sh //这个是自定义的脚本 如果没有。那么需要手动执行 start-dfs.sh 和start-yarn.sh

尖叫提示：需要开启JobHistoryServer, 最好执行一个MR任务进行测试。

sbin/mr-jobhistory-daemon.sh start historyserver

3.1.4、在oozie根目录下解压hadooplibs

$ tar -zxf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz -C ../ –注意这里是 两个点 ..

完成后Oozie目录下会出现hadooplibs目录。

3.1.5、在Oozie根目录下创建libext目录 – 名字必须是 libext

$ mkdir libext/

3.1.6、拷贝一些依赖的Jar包

1) 将hadooplibs**里面的jar包，拷贝到libext目录下：**

$ cp -ra hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/

2) 拷贝Mysql**驱动包到libext**目录下：

$ cp -a ~/softwares/installations/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar libext/

3.1.7、将ext-2.2.zip拷贝到libext/目录下

ext是一个js框架，用于展示oozie前端页面：

$ cp -a ~/softwares/installations/cdh/ext-2.2.zip libext/

3.1.8、修改Oozie配置文件

oozie-site.xml

属性：oozie.service.JPAService.jdbc.driver
属性值：com.mysql.jdbc.Driver
解释：JDBC的驱动
属性：oozie.service.JPAService.jdbc.url
属性值：jdbc:mysql://linux01:3306/oozie
解释：oozie所需的数据库地址
属性：oozie.service.JPAService.jdbc.username
属性值：root
解释：数据库用户名
属性：oozie.service.JPAService.jdbc.password
属性值：123456
解释：数据库密码
属性：oozie.service.HadoopAccessorService.hadoop.configurations
属性值：*=/home/admin/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop
解释：让Oozie引用Hadoop的配置文件

3.1.9、在Mysql中创建Oozie的数据库

进入Mysql并创建oozie数据库：

$ mysql -uroot -p123456 mysql> create database oozie;

3.1.10、初始化Oozie

1) 上传Oozie**目录下的yarn.tar.gz文件到HDFS：**

尖叫提示：yarn.tar.gz文件会自行解压

$ bin/oozie-setup.sh sharelib create -fs hdfs://linux01:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

执行成功之后，去50070检查对应目录有没有文件生成。

存储oozie和各个框架的依赖的jar包

img

2) 创建oozie.sql**文件**

$ bin/oozie-setup.sh db create -run -sqlfile oozie.sql

3) 打包项目，生成war**包**

$ bin/oozie-setup.sh prepare-war

3.1.11、启动Oozie服务（附关闭Oozie服务）

$ bin/oozied.sh start 启动成功后生成 Bootstrap 进程 如需正常关闭Oozie服务，请使用： $ bin/oozied.sh stop

3.1.12、访问Oozie的Web页面

http://linux01:11000/oozie

四、Oozie的使用

4.1、案例一：Oozie调度shell脚本

目标：使用Oozie调度Shell脚本

分步实现：

1) 解压官方案例模板

$ tar -zxf oozie-examples.tar.gz

2) 创建工作目录

$ mkdir oozie-apps/

3) 拷贝任务模板到oozie-apps/**目录**

$ cp -r examples/apps/shell/ oozie-apps/

4) 随意编写一个脚本p1.sh

$ vi oozie-apps/shell/p1.sh
内容如下：
#!/bin/bash
/sbin/ifconfig > /opt/module/p1.log

5) 修改job.properties**和workflow.xml**文件

job.properties

#HDFS地址
nameNode=hdfs://linux01:8020
#ResourceManager地址
jobTracker=linux02:8032
#队列名称
queueName=default
examplesRoot=oozie-apps
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell
EXEC=p1.sh

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
<start to="shell-node"/>
<action name="shell-node">
    <shell xmlns="uri:oozie:shell-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>${queueName}</value>
            </property>
        </configuration>
        <exec>${EXEC}</exec>
        <!-- <argument>my_output=Hello Oozie</argument> -->
        <file>/user/admin/oozie-apps/shell/${EXEC}#${EXEC}</file>
        <capture-output/>
    </shell>
    <ok to="end"/>
    <error to="fail"/>
</action>
<decision name="check-output">
    <switch>
        <case to="end">
            ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}
        </case>
        <default to="fail-output"/>
    </switch>
</decision>
<kill name="fail">
    <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<kill name="fail-output">
    <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>
</kill>
<end name="end"/>
</workflow-app>

6) 上传任务配置

$ ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/ /user/admin

7) 执行任务

img

$ bin/oozie job -oozie http://linux01:11000/oozie -config oozie-apps/shell/job.properties -run

执行成功后：

去oozie**浏览器端查看即可**

8) 杀死某个任务

$ bin/oozie job -oozie http://linux01:11000/oozie -kill 0000004-170425105153692-oozie-z-W

4.2、案例二：Oozie逻辑调度执行多个Job

目标：使用Oozie执行多个Job调度

分步执行：

1) 解压官方案例模板

$ tar -zxf oozie-examples.tar.gz

2) 编写脚本

$ vi oozie-apps/shell/p2.sh 内容如下： #!/bin/bash /bin/date > /tmp/p2.log

3) 修改job.properties**和workflow.xml**文件

job.properties

nameNode=hdfs://linux01:8020
jobTracker=linux02:8032
queueName=default
examplesRoot=oozie-apps
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell
EXEC1=p1.sh
EXEC2=p2.sh

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    <start to="p1-shell-node"/>
    <action name="p1-shell-node">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <exec>${EXEC1}</exec>
            <file>/user/admin/oozie-apps/shell/${EXEC1}#${EXEC1}</file>
            <!-- <argument>my_output=Hello Oozie</argument>-->
            <capture-output/>
        </shell>
        <ok to="p2-shell-node"/>
        <error to="fail"/>
    </action>
    <action name="p2-shell-node">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <exec>${EXEC2}</exec>
            <file>/user/admin/oozie-apps/shell/${EXEC2}#${EXEC2}</file>
            <!-- <argument>my_output=Hello Oozie</argument>-->
            <capture-output/>
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <decision name="check-output">
        <switch>
            <case to="end">
                ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}
            </case>
            <default to="fail-output"/>
        </switch>
    </decision>
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <kill name="fail-output">
        <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

4) 上传任务配置

$ ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -rmr /user/admin/oozie-apps/

$ ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/ /user/admin

5) 执行任务

$ bin/oozie job -oozie http://linux01:11000/oozie -config oozie-apps/shell/job.properties -run

4.3、案例三：Oozie调度MapReduce任务

目标：使用Oozie调度MapReduce任务

分步执行：

1) 找到一个可以运行的mapreduce**任务的jar**包（可以用官方的，也可以是自己写的）

2) 拷贝官方模板到oozie-apps

$ cp -r examples/apps/map-reduce/ oozie-apps/

3) 测试一下wordcount**在yarn**中的运行

$ ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /input/ /output/

4) 配置map-reduce**任务的job.properties**以及workflow.xml

job.properties

nameNode=hdfs://linux01:8020
jobTracker=linux02:8032
queueName=default
examplesRoot=oozie-apps
#hdfs://linux01:8020/user/admin/oozie-apps/map-reduce/workflow.xml
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/map-reduce/workflow.xml
outputDir=map-reduce

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.2" name="map-reduce-wf">
    <start to="mr-node"/>
    <action name="mr-node">
        <map-reduce>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <prepare> //在执行某个命令之前，准备工作，删除某个目录
                <delete path="${nameNode}/output/"/>
            </prepare>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <!-- 配置调度MR任务时，使用新的API -->
                <property>
                    <name>mapred.mapper.new-api</name>
                    <value>true</value>
                </property>
                <property>
                    <name>mapred.reducer.new-api</name>
                    <value>true</value>
                </property>
                <!-- 指定Job Key输出类型 -->
                <property>
                    <name>mapreduce.job.output.key.class</name>
                    <value>org.apache.hadoop.io.Text</value>
                </property>
                <!-- 指定Job Value输出类型 -->
                <property>
                    <name>mapreduce.job.output.value.class</name>
                    <value>org.apache.hadoop.io.IntWritable</value>
                </property>
                <!-- 指定输入路径 -->
                <property>
                    <name>mapred.input.dir</name>
                    <value>/input/</value>
                </property>
                <!-- 指定输出路径 -->
                <property>
                    <name>mapred.output.dir</name>
                    <value>/output/</value>
                </property>
                <!-- 指定Map类 -->
                <property>
                    <name>mapreduce.job.map.class</name>
                    <value>org.apache.hadoop.examples.WordCount$TokenizerMapper</value>
                </property>
                <!-- 指定Reduce类 -->
                <property>
                    <name>mapreduce.job.reduce.class</name>
                    <value>org.apache.hadoop.examples.WordCount$IntSumReducer</value>
                </property>
                <property>
                    <name>mapred.map.tasks</name>
                    <value>1</value>
                </property>
            </configuration>
        </map-reduce>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

5) 拷贝待执行的jar**包到map-reduce的lib目录下**

$ cp -a ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar oozie-apps/map-reduce/lib

6) 上传配置好的app**文件夹到HDFS**

$ ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/map-reduce/ /user/admin/oozie-apps

7) 执行任务

$ bin/oozie job -oozie http://linux01:11000/oozie -config oozie-apps/map-reduce/job.properties -run

4.4、案例四：Oozie定时任务/循环任务

目标：Coordinator周期性调度任务

分步实现：

1) 配置Linux**时区以及时间服务器**

检查系统当前时区： # date -R

注意这里，如果显示的时区不是+0800，你可以删除localtime文件夹后，再关联一个正确时区的链接过去，命令如下：

rm -rf /etc/localtime # ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

同步时间：

ntpdate pool.ntp.org

修改NTP配置文件：

# vi /etc/ntp.conf
去掉下面这行前面的# ,并把网段修改成自己的网段：
restrict 192.168.122.0 mask 255.255.255.0 nomodify notrap
注释掉以下几行：
#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
把下面两行前面的#号去掉,如果没有这两行内容,需要手动添加
server  127.127.1.0    # local clock
fudge  127.127.1.0 stratum 10

重启NTP服务：

# systemctl start ntpd.service，
注意，如果是centOS7以下的版本，使用命令：service ntpd start
# systemctl enable ntpd.service，
注意，如果是centOS7以下的版本，使用命令：chkconfig ntpd on

集群其他节点去同步这台时间服务器时间：

首先需要关闭这两台计算机的ntp服务
# systemctl stop ntpd.service，
centOS7以下，则：service ntpd stop
# systemctl disable ntpd.service，
centOS7以下，则：chkconfig ntpd off
# systemctl status ntpd，查看ntp服务状态
# pgrep ntpd，查看ntp服务进程id
同步第一台服务器linux01的时间：
# ntpdate linux01

使用root用户制定计划任务,周期性同步时间：

crontab -e /10 * /usr/sbin/ntpdate linux01

重启定时任务：

systemctl restart crond.service， centOS7以下使用：service crond restart，

其他台机器的配置同理。

2) 配置oozie-site.xml**文件**

属性：oozie.processing.timezone 属性值：GMT+0800 解释：修改时区为东八区区时

尖叫提示：该属性去oozie-default.xml中找到即可

3) 修改js**框架中的关于时间设置的代码**

$ vi ~/modules/cdh/oozie-4.0.0-cdh5.3.6/oozie-server/webapps/oozie/oozie-console.js 修改如下： function getTimeZone() { Ext.state.Manager.setProvider(new Ext.state.CookieProvider()); return Ext.state.Manager.get(“TimezoneId”,”GMT+0800”); }

4) 重启oozie**服务，并重启浏览器（一定要注意清除缓存）**

$ bin/oozied.sh stop $ bin/oozied.sh start

5) 拷贝官方模板配置定时任务

$ cp -r examples/apps/cron/ oozie-apps/

6) 修改模板job.properties**和coordinator.xml**以及workflow.xml

job.properties

nameNode=hdfs://linux01:8020
jobTracker=linux02:8032
queueName=default
examplesRoot=oozie-apps
oozie.coord.application.path=${nameNode}/user/${user.name}/${examplesRoot}/cron
#start：必须设置为未来时间，否则任务失败
start=2017-07-29T17:00+0800
end=2017-07-30T17:00+0800
workflowAppUri=${nameNode}/user/${user.name}/${examplesRoot}/cron
EXEC1=p1.sh
EXEC2=p2.sh

coordinator.xml

<coordinator-app name="cron-coord" frequency="${coord:minutes(5)}" start="${start}" end="${end}" timezone="GMT+0800" xmlns="uri:oozie:coordinator:0.2">
<action>
	<workflow>
	    <app-path>${workflowAppUri}</app-path>
	    <configuration>
	        <property>
	            <name>jobTracker</name>
	            <value>${jobTracker}</value>
	        </property>
	        <property>
	            <name>nameNode</name>
	            <value>${nameNode}</value>
	        </property>
	        <property>
	            <name>queueName</name>
	            <value>${queueName}</value>
	        </property>
	    </configuration>
	</workflow>
</action>
</coordinator-app>

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.5" name="one-op-wf">
<start to="p3-shell-node"/>
  <action name="p3-shell-node">
      <shell xmlns="uri:oozie:shell-action:0.2">
          <job-tracker>${jobTracker}</job-tracker>
          <name-node>${nameNode}</name-node>
          <configuration>
              <property>
                  <name>mapred.job.queue.name</name>
                  <value>${queueName}</value>
              </property>
          </configuration>
          <exec>${EXEC3}</exec>
          <file>/user/admin/oozie-apps/cron/${EXEC3}#${EXEC3}</file>
          <!-- <argument>my_output=Hello Oozie</argument>-->
          <capture-output/>
      </shell>
      <ok to="end"/>
      <error to="fail"/>
  </action>
<kill name="fail">
    <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<kill name="fail-output">
    <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>
</kill>
<end name="end"/>
</workflow-app>

7) 上传配置

$ ~/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/cron/ /user/admin/oozie-apps

8) 启动任务

$ bin/oozie job -oozie http://linux01:11000/oozie -config oozie-apps/cron/job.properties -run

尖叫提示：oozie允许的最小执行任务的频率是5分钟

五、可能遇到的问题总结

1) Mysql**权限配置**

授权所有主机可以使用root用户操作所有数据库和数据表

mysql> grant all on . to root@’%’ identified by ‘123456’; mysql> flush privileges; mysql> exit;

2) workflow.xml**配置的时候不要忽略file**属性

3) jps**查看进程时，注意有没有bootstrap**

4) 关闭oozie

如果bin/oozied.sh stop无法关闭，则可以使用kill -9 [pid]，之后oozie根目录下的oozie-server/temp/xxx.pid文件一定要删除。

5) Oozie**重新打包时，一定要注意先关闭进程，删除对应文件夹下面的pid文件。（可以参考第4条目）**

6) 配置文件一定要生效

起始标签和结束标签无对应则不生效，配置文件的属性写错了，那么则执行默认的属性。

7) libext**下边的jar存放于某个文件夹中，导致share/lib创建不成功。**

8) 调度任务时，找不到指定的脚本，可能是oozie-site.xml**里面的Hadoop**配置文件没有关联上。

9) 修改Hadoop**配置文件，需要重启集群。一定要记得scp**到其他节点。

10) JobHistoryServer**必须开启，集群要重启的。**

11) Mysql**配置如果没有生效的话，默认使用derby**数据库。

12) 在本地修改完成的job**配置，必须重新上传到HDFS**。

13) 将HDFS**中上传的oozie**配置文件下载下来查看是否有错误。

14) Linux**用户名和Hadoop**的用户名不一致。

15**）sharelib**找不到，包括重新初始化oozie

如果部署oozie**出错，修复执行，初始化oozie**：

1**、停止oozie（要通过jps检查bootstrap**进程是否已经不存在）

2**、删除oozie-server/temp/***

3**、删除HDFS上的sharelib文件夹**

4**、删除oozie.sql文件，删除Mysql中删除oozie**库，重新创建

5**、重新按照顺序执行文档中“初始化oozie”**这个步骤

16**）*因为*oozie**的任务是放在yarn**上执行的，那么实际上就是调度nodemanager**来执行oozie**任务，那么有可能机会存在一个问题。你oozie**脚本操作的是集群中hadoop101**这台服务器的某个文件，但是因为hadoop101**的nodemanager**没有空闲时间处理当前oozie**任务，那就就会交给其他服务器的nodemanager**执行，那么在执行脚本的时候，发现找不到需要的文件，可能就会报错。因为文件是存储在hadoop101**中**

如果你感觉文章对你又些许感悟，你可以支持我！！
-------------本文结束感谢您的阅读-------------
分享到： 收藏夹 复制网址 邮件 微信 QQ空间 腾讯微薄 豆瓣 一键分享 更多