Sentry--通过Cloudera Manager配置Sentry

  本篇博客讲解一下通过Cloudera Manager配置Sentry的一个过程,如果对Sentry不够了解的可以查看这篇博客http://blog.javachen.com/2015/04/29/apache-sentry-architecture.html。添加Sentry服务,以及Cloudera Manager的界面配置这些都很简单,我就做一些简要说明,重点会说明我实际在Sentry配置过程中遇到的一些坑吧。其他配置方式可以参考博客http://blog.csdn.net/shenliang1985/article/details/50463432,说明:本博客CDH版本5.5.1,CDH版本5.8.0也同样适用。

添加Sentry服务

  • 添加Sentry很简单,下一步下一步即可,选择sentry服务也只需要一台主机。
    通过Cloudera Manager界面添加Sentry服务

SBT--入门并在IDEA中使用

SBT简介

  SBT(Simple Build Tool),对于SBT官网是这样介绍的”The interactive build tool,Use Scala to define your tasks. Then run them in parallel from the shell.“。即是一个现代构建工具,它是用Scala编写的,对编译Scala、Spark项目提供了不错的支持。和Maven一样它也是一个通用的构建工具。

SBT安装

Cloudera--CDH5.x.x集群IP更改

  我想,对于Cloudera CDH5集群中ip的更改,虽然发生的几率小,但是还是有的,之前公司就由于某种原因,需要更改集群IP地址(网段)。今天同样遇到了这样的需求,由于自己通过虚拟机搭建了CDH5.5.1集群,在之前使用的是NET模式只能本机访问,现在有一个需求就是让同网段下的其他电脑也能访问,于是就更改为桥接模式。下面就以此为例记录一下整个集群更改IP的过程,注意:我这里演示的是一个节点,对于集群中的多个节点同样适用。

第一步更改IP映射

  1. 首先,我们修改所有节点ip地址,我这里从192.168.33.77改为192.168.1.77
    修改ip和网关

  2. 修改集群hosts映射文件/etc/hosts(如果改了hostsname需要做免密码登录)
    /etc/hosts文件

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器