Oozie--安装配置及注意事项
简单介绍一下,oozie
。oozie就是一个workflow协调系统,主要用来管理Hadoop作业(job)
。属于web应用程序,由oozie client和oozie server两个组件构成。oozie server运行于java servlet容器(tomcat)中的web程序。
OOZIE
- Oozie定义了
控制流节点
(Control Flow Nodes)和动作节点
(Action Nodes) - 控制流节点定义了流程的开始和结束,以及控制流程的执行路径(Execution Path),如decision、fork、join等;
- 动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。
Oozie 安装
- 我就不讲解具体安装步骤了,有下面两种安装方式:
- 手动安装Oozie:可以查看该博客 http://blog.csdn.net/teddeyang/article/details/16339533
- 通过CM进行oozie组件添加(安装之前需要有mapreduce)
Oozie 配置
- 安装完Oozie后,对常用的几个配置的修改和查看:
- 节点内存配置,该配置给
Oozie Server
使用,如果Oozie 调度任务比较大可以设置大一点,512M或者1G。 - oozie.service.callablequeueservice.callable.concurrency (节点并发),同时并发最大执行Oozie 调度任务。
- oozie.service.callablequeueservice.queue.size(队列大小),这个默认10000,足够了。
- oozie元数据更改,默认为
PostgreSQL
,一般来讲我们修改为MySQL
,不建议使用Derby。修改元数据库要注意以下几点:
4.1. 首先要创建第三方元数据库
4.2. 添加数据库驱动,(/opt/cloudera/parcels/CDH/lib/oozi目录下的 libserver目录和libtools目录)
4.3. 安装共享库,修改完数据库之后记得点一下“安装 Oozie 共享库”,想当于初始化了一下,和这两个目录有关:/opt/cloudera/parcels/CDH/lib/oozie/oozie-sharelib-mr1(如果 CDH MR 资源调度服务为mapreduce)
/opt/cloudera/parcels/CDH/lib/oozie/oozie-sharelib-yarn(如果 CDH MR 资源调度服务为yarn)注
:MySQL驱动包不需要版本号,即 mysql-connector-java.jar
Oozie 插件安装
ext2.2添加
将ext-2.2.tar.gz解压放到
/opt/cloudera/parcels/CDH/lib/oozie/libext
目录下即可
注意:在界面setting里面可以设置一下时区,只对插件界面显示有效参考资料
- https://oozie.apache.org/
- http://blog.cloudera.com/blog/category/oozie/