Oozie--安装配置及注意事项

  简单介绍一下,oozieoozie就是一个workflow协调系统,主要用来管理Hadoop作业(job)。属于web应用程序,由oozie clientoozie server两个组件构成。oozie server运行于java servlet容器(tomcat)中的web程序。

OOZIE

  1. Oozie定义了控制流节点(Control Flow Nodes)和动作节点(Action Nodes)
  2. 控制流节点定义了流程的开始和结束,以及控制流程的执行路径(Execution Path),如decision、fork、join等;
  3. 动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。

Sentry--通过Cloudera Manager配置Sentry

  本篇博客讲解一下通过Cloudera Manager配置Sentry的一个过程,如果对Sentry不够了解的可以查看这篇博客http://blog.javachen.com/2015/04/29/apache-sentry-architecture.html。添加Sentry服务,以及Cloudera Manager的界面配置这些都很简单,我就做一些简要说明,重点会说明我实际在Sentry配置过程中遇到的一些坑吧。其他配置方式可以参考博客http://blog.csdn.net/shenliang1985/article/details/50463432,说明:本博客CDH版本5.5.1,CDH版本5.8.0也同样适用。

添加Sentry服务

  • 添加Sentry很简单,下一步下一步即可,选择sentry服务也只需要一台主机。
    通过Cloudera Manager界面添加Sentry服务

SBT--入门并在IDEA中使用

SBT简介

  SBT(Simple Build Tool),对于SBT官网是这样介绍的”The interactive build tool,Use Scala to define your tasks. Then run them in parallel from the shell.“。即是一个现代构建工具,它是用Scala编写的,对编译Scala、Spark项目提供了不错的支持。和Maven一样它也是一个通用的构建工具。

SBT安装

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器