SBT--入门并在IDEA中使用

SBT简介

  SBT(Simple Build Tool),对于SBT官网是这样介绍的”The interactive build tool,Use Scala to define your tasks. Then run them in parallel from the shell.“。即是一个现代构建工具,它是用Scala编写的,对编译Scala、Spark项目提供了不错的支持。和Maven一样它也是一个通用的构建工具。

SBT安装

Cloudera--CDH5.x.x集群IP更改

  我想,对于Cloudera CDH5集群中ip的更改,虽然发生的几率小,但是还是有的,之前公司就由于某种原因,需要更改集群IP地址(网段)。今天同样遇到了这样的需求,由于自己通过虚拟机搭建了CDH5.5.1集群,在之前使用的是NET模式只能本机访问,现在有一个需求就是让同网段下的其他电脑也能访问,于是就更改为桥接模式。下面就以此为例记录一下整个集群更改IP的过程,注意:我这里演示的是一个节点,对于集群中的多个节点同样适用。

第一步更改IP映射

  1. 首先,我们修改所有节点ip地址,我这里从192.168.33.77改为192.168.1.77
    修改ip和网关

  2. 修改集群hosts映射文件/etc/hosts(如果改了hostsname需要做免密码登录)
    /etc/hosts文件

Hive--执行流程和源码解析

  Hive,在工作中使用相对较多,并且比较简单便捷,今天在家闲着没事,就写一遍博客来对hive的执行流程做一些分析,还有阅读一下它的源码,看看这个hive是怎么编译这个HiveQL,怎么去解析,怎么和我们hdfs上的数据关联,在mapreduce阶段怎么进行计算的。由于这个源码比较多,不是很好截图,有时候我会一部分一部分的截取。最主要的还是你们自己按照这个流程去看几遍,可以看看具体的细节。

  • 下面我们来看一张经典的图,本博客也是围绕这张图展开的讲解:
  • Hive与Hadoop的调用关系图:

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器