Oozie--安装配置及注意事项

  简单介绍一下,oozieoozie就是一个workflow协调系统,主要用来管理Hadoop作业(job)。属于web应用程序,由oozie clientoozie server两个组件构成。oozie server运行于java servlet容器(tomcat)中的web程序。

OOZIE

  1. Oozie定义了控制流节点(Control Flow Nodes)和动作节点(Action Nodes)
  2. 控制流节点定义了流程的开始和结束,以及控制流程的执行路径(Execution Path),如decision、fork、join等;
  3. 动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。

Oozie 安装

  • 我就不讲解具体安装步骤了,有下面两种安装方式:
  1. 手动安装Oozie:可以查看该博客 http://blog.csdn.net/teddeyang/article/details/16339533
  2. 通过CM进行oozie组件添加(安装之前需要有mapreduce)

Oozie 配置

  • 安装完Oozie后,对常用的几个配置的修改和查看
  1. 节点内存配置,该配置给Oozie Server 使用,如果Oozie 调度任务比较大可以设置大一点,512M或者1G。
  2. oozie.service.callablequeueservice.callable.concurrency (节点并发),同时并发最大执行Oozie 调度任务。
  3. oozie.service.callablequeueservice.queue.size(队列大小),这个默认10000,足够了。
  4. oozie元数据更改,默认为PostgreSQL,一般来讲我们修改为MySQL,不建议使用Derby。修改元数据库要注意以下几点:
    4.1. 首先要创建第三方元数据库
    4.2. 添加数据库驱动,(/opt/cloudera/parcels/CDH/lib/oozi目录下的 libserver目录和libtools目录)
    4.3. 安装共享库,修改完数据库之后记得点一下“安装 Oozie 共享库”,想当于初始化了一下,和这两个目录有关:

    /opt/cloudera/parcels/CDH/lib/oozie/oozie-sharelib-mr1(如果 CDH MR 资源调度服务为mapreduce)
    /opt/cloudera/parcels/CDH/lib/oozie/oozie-sharelib-yarn(如果 CDH MR 资源调度服务为yarn)


    :MySQL驱动包不需要版本号,即 mysql-connector-java.jar

Oozie 插件安装

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器