Hadoop--快速搭建大数据开发环境

Hadoop Kafka HBase Hive Spark Mysql Redis
  1. 背景
  2. 准备
  3. 安装linux
  4. 环境准备
  5. 安装Hadoop
  6. 安装zookeeper
  7. 安装HBase
  8. 安装MySQL
  9. 安装Hive
  10. 安装Kafka
  11. 安装Redis
  12. 安装Spark
  13. 附录

背景

　　最近自己电脑的磁盘坏了，导致数据也没了。安装好系统之后就是各种弄环境了，之前的博客也写过Hadoop环境搭建 Hadoop，Hive，HBase，Kafka，Spark，MySQL，Redis等等一系列的。
之前记录的目的也是为了方便自己吧，但整个流程下来还是的花费几个小时。从前面的博客找到从虚拟机的网络配置，下载软件上传在修改配置挺麻烦的。这里再次做个汇总，以后做这个过程或者升级就更加方便（主要便捷是后面会给出一个Virtual Box的包直接导入就有这些所有环境了）。

准备

  • 软件下载(可以通过该链接自己下载，同时我在附录中也提供了百度云下载地址)
  1. https://www.virtualbox.org/wiki/Downloads virtual box 使用了5.0.40版本
  2. http://vault.centos.org/6.5/isos/x86_64/ box 使用CentOS-6.5-x86_64-minimal.iso
  3. http://archive.apache.org/dist/hadoop/common 使用 hadoop-2.7.2
  4. http://archive.apache.org/dist/hbase/ 使用 hbase-1.3.1-bin.tar.gz
  5. http://archive.apache.org/dist/hive/ 使用apache-hive-1.2.1-bin.tar.gz
  6. http://archive.apache.org/dist/kafka/ 使用 kafka_2.11-0.11.0.0.tgz
  7. http://archive.apache.org/dist/zookeeper/ 使用 zookeeper-3.4.9.tar.gz
  8. http://archive.apache.org/dist/spark/ 使用 spark-2.0.0-bin-hadoop2.7.tgz
  9. http://www.oracle.com/technetwork/java/javase/downloads/index.html 使用 jdk-8u144-linux-x64.tar.gz
  10. https://redis.io/download 使用 redis-3.0.6.tar.gz
  11. https://dev.mysql.com/downloads/mysql/5.5.html?os=31&version=5.1 使用 mysql-5.7.9-1.el6.x86_64.rpm-bundle.tar

安装linux

  1. 安装virtual box（略，这个没什么好说的，一直下一步就ok！）
    https://img.xiaoxiaomo.com/blog/img/hadoopstack1.png
  2. 安装Linux虚拟机注意（选择第一个）
    https://img.xiaoxiaomo.com/blog/img/hadoopstack2.png
  3. 添加虚拟机后网络配置

环境准备

  • 规划
  1. 创建一个data目录所有东西都放在那儿：mkdir /data
  2. 再在data目录下创建一个data目录用来保存一些数据，比如hdfs,kafka等：mkdir /data/data

  • 上传软件
    https://img.xiaoxiaomo.com/blog/img/hadoopstack3.png

  • 准备

  1. 关闭防火墙：

    1
    2
    [root@xiaoxiaomo ~]# service iptables stop 
    [root@xiaoxiaomo ~]# chkconfig --list | grep iptables

  2. 修改主机名：修改

    1
    2
    3
    [root@xiaoxiaomo ~]# vi /etc/sysconfig/network
    ## 修改为：
    HOSTNAME=xiaoxiaomo

  3. 绑定hosts Name：

    1
    2
    3
    [root@xiaoxiaomo ~]# vi /etc/hosts
    ## 添加 
    192.168.56.102 xiaoxiaomo

  4. 设置ssh：

    1
    2
    3
    [root@xiaoxiaomo ~]# ssh-keygen -t rsa  #生成rsa格式的ssh私钥和公钥
    [root@xiaoxiaomo ~]# ssh-copy-id -i xiaoxiaomo #把公钥复制到对方节点(这里我复制到自己的主机xiaoxiaomo01上)
    [root@xiaoxiaomo ~]# ssh xiaoxiaomo01 #验证

  5. 安装国内的yum镜像
    参考：
    http://blog.xiaoxiaomo.com/2016/02/11/Linux-Yum%E6%BA%90%E7%A0%81%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE/

  6. 安装JDK 参考，这里我们安装jdk1.8：
    1
    2
    3
    4
    5
    6
    7
    ##解压到/data && 修改名称
    [root@xiaoxiaomo ~]# tar -zxvf /opt/jdk-8u144-linux-x64.tar.gz -C /data
    [root@xiaoxiaomo ~]# mv /data/jdk1.8.0_144/ /data/jdk
    ##配置环境变量 
    [root@xiaoxiaomo ~]# vi /etc/profile
    export JAVA_HOME=/data/jdk
    export PATH=.:$JAVA_HOME/bin:$PATH

参考：
http://blog.xiaoxiaomo.com/2016/04/09/Hadoop-%E5%AE%89%E8%A3%85%E5%89%8D%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87/

安装Hadoop

  • 解压&&重命名&&配置环境变量

    1
    2
    3
    4
    5
    6
    7
    8
    [root@xiaoxiaomo ~]# tar -zxvf /opt/hadoop-2.7.2.tar.gz -C /data/
    [root@xiaoxiaomo ~]# mv /data/hadoop-2.7.2/ /data/hadoop
    [root@xiaoxiaomo ~]# mkdir -p /data/data/hdfs/name ##需要创建一个目录不然启动会报错
    [root@xiaoxiaomo ~]# vim /etc/profile ##添加如下
    export HADOOP_HOME=/data/hadoop
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

    ## 【**备注后面的环境变量就略了，参考附录中的环境变量**】

  • 配置

  1. 配置core-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://xiaoxiaomo:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/data/data/hdfs/tmp</value>
            </property>

            <!-- 垃圾回收站
        <property>
            <name>fs.trash.interval</name>
            <value>1440</value>
        </property>
            -->
    </configuration>

  2. 配置hadoop-env.sh

    1
    2
    export JAVA_HOME=/data/jdk
    export HADOOP_LOG_DIR=/data/data/hdfs/logs

  3. 配置hdfs-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    <configuration>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:///data/data/hdfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:///data/data/hdfs/data</value>
        </property>
            <property>
              <name>dfs.namenode.checkpoint.dir</name>
              <value>file:///data/data/hdfs/namesecondary</value>
            </property>
            <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>xiaoxiaomo:9001</value>
        </property>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.webhdfs.enabled</name>
            <value>true</value>
        </property>
            <property>
            <name>dfs.permissions</name>
            <value>false</value>
        </property>
            <!--
            <property>
                    <name>dfs.hosts</name>
                    <value>/data/hadoop/etc/hadoop/datanode-allow</value>
            </property>
            <property>
                    <name>dfs.hosts.exclude</name>
                    <value>/data/hadoop/etc/hadoop/datanode-deny</value>
            </property>
            -->
    </configuration>

  4. 配置log4j.properties

    1
    hadoop.log.dir=/data/data/hdfs/logs

  5. 配置log4j.properties

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.address</name>
            <value>xiaoxiaomo:10020</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>xiaoxiaomo:19888</value>
        </property>
        <property>
            <name>yarn.app.mapreduce.am.staging-dir</name>
            <value>/history</value>
        </property>
            <property>
            <name>mapreduce.jobhistory.done-dir</name>
            <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.intermediate-done-dir</name>
            <value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>
        </property>
            <property>
                    <name>mapreduce.map.log.level</name>
                    <value>DEBUG</value>
            </property>
            <property>
                    <name>mapreduce.reduce.log.level</name>
                    <value>DEBUG</value>
            </property>
    </configuration>

  6. 配置slaves

    1
    2
    ##localtion修改为
    xiaoxiaomo

  7. yarn-env.sh

    1
    2
    3
    export JAVA_HOME=/data/jdk
    export YARN_LOG_DIR=/data/data/hdfs/logs
    export YARN_ROOT_LOGGER=DEBUG,DRFA

  8. 配置yarn-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
            <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>xiaoxiaomo</value>
            </property>
            <property>
            <name>yarn.resourcemanager.address</name>
            <value>xiaoxiaomo:8032</value>
        </property>
        <property>
            <name>yarn.resourcemanager.scheduler.address</name>
            <value>xiaoxiaomo:8030</value>
        </property>
        <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
            <value>xiaoxiaomo:8031</value>
        </property>
        <property>
            <name>yarn.resourcemanager.admin.address</name>
            <value>xiaoxiaomo:8033</value>
        </property>
        <property>
            <name>yarn.resourcemanager.webapp.address</name>
            <value>xiaoxiaomo:8088</value>
        </property>
            <property>
                    <name>yarn.log-aggregation-enable</name>
                    <value>true</value>
            </property>
    </configuration>
  • 启动测试
    1
    2
    3
    4
    5
    6
    ## 格式化数据目录
    [root@xiaoxiaomo ~]# hdfs namenode -format
    ## 启动hdfs
    [root@xiaoxiaomo ~]# start-dfs.sh ##访问：http://xiaoxiaomo:50070
    ## 启动yarn
    [root@xiaoxiaomo ~]# start-yarn.sh ##访问：http://xiaoxiaomo:8088

参考：
http://blog.xiaoxiaomo.com/2016/05/08/Hadoop-2-0%E4%BC%AA%E5%88%86%E5%B8%83%E5%BC%8F%E5%AE%89%E8%A3%85/

安装zookeeper

1
2
3
4
5
6
7
8
9
10
[root@xiaoxiaomo ~]# tar -zxvf /opt/zookeeper-3.4.9.tar.gz -C /data/
[root@xiaoxiaomo ~]# mv /data/zookeeper-3.4.9/ /data/zookeeper
## 配置环境变量略
[root@xiaoxiaomo ~]# vi /etc/profile ## 添加：export ZK_HOME=/data/zookeeper
[root@xiaoxiaomo ~]# cd $ZK_HOME/conf
[root@xiaoxiaomo conf]# mv zoo_sample.cfg zoo.cfg
[root@xiaoxiaomo conf]# vi zoo.cfg ##修改：dataDir=/data/data/zookeeper
[root@xiaoxiaomo conf]# vi log4j.properties  ##修改：zookeeper.log.dir=/data/data/zookeeper/logs
##启动
[root@xiaoxiaomo conf]# zkServer.sh start

参考：
http://blog.xiaoxiaomo.com/2016/05/05/Zookeeper-%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA/

安装HBase

1
2
[root@xiaoxiaomo ~]# tar -zxvf hbase-1.3.1-bin.tar.gz -C /data/
[root@xiaoxiaomo ~]# mv /data/hbase-1.3.1/ /data/hbase
  • 修改配置

  1. vi $HBASE_HOME/conf/hbase-env.sh

    1
    2
    3
    export JAVA_HOME=/data/jdk
    export HBASE_LOG_DIR=/data/data/hbase/logs
    export HBASE_ROOT_LOGGER=INFO,DRFA

  2. vi $HBASE_HOME/conf/hbase-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    <property>
      <name>hbase.tmp.dir</name>
      <value>/data/data/hbase/tmp</value>
    </property>
    <property>
      <name>hbase.rootdir</name>
    <value>hdfs://xiaoxiaomo:9000/hbase</value>
    </property>
    <property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>
    </property>
    <!--zk -->
    <property>
      <name>hbase.zookeeper.quorum</name>
      <value>xiaoxiaomo</value>
    </property>
    <property> 
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/data/data/hbase/zk</value>
    </property>

  3. vi $HBASE_HOME/conf/log4j.propertie

    1
    hbase.log.dir=/data/data/hbase/logs ##修改为统一目录

  4. 启动

    1
    2
    ## 启动hbase
    [root@xiaoxiaomo ~]# start-hbase.sh

参考：
http://blog.xiaoxiaomo.com/2016/06/04/HBase-%E4%BC%AA%E5%88%86%E5%B8%83%E5%92%8C%E9%9B%86%E7%BE%A4%E6%A8%A1%E5%BC%8F/

安装MySQL

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@xiaoxiaomo opt]# rpm -qa|grep mysql #如有就卸载
[root@xiaoxiaomo opt]# tar -xvf mysql-5.7.9-1.el6.x86_64.rpm-bundle.tar 
[root@xiaoxiaomo opt]# rpm -ivh mysql-community-common-5.7.9-1.el6.x86_64.rpm 
[root@xiaoxiaomo opt]# rpm -ivh mysql-community-libs-5.7.9-1.el6.x86_64.rpm 
[root@xiaoxiaomo opt]# rpm -ivh mysql-community-client-5.7.9-1.el6.x86_64.rpm 
[root@xiaoxiaomo opt]# yum install -y mysql-community-server-5.7.9-1.el6.x86_64.rpm 
[root@xiaoxiaomo opt]# mysqld --initialize #初始化
[root@xiaoxiaomo opt]# cat /var/log/mysqld.log #可以获取初始密码
[root@xiaoxiaomo opt]# chown -R mysql:mysql /var/lib/mysql #授权
[root@xiaoxiaomo opt]# /etc/init.d/mysqld start #启动
[root@xiaoxiaomo opt]# mysql -uroot -p #登录（通过默认的初始密码）

##登录进去后要重设密码
mysql> SET PASSWORD = PASSWORD('root');

##mysql启动&&停止
[root@xiaoxiaomo opt]# /etc/init.d/mysqld start ##启动服务
[root@xiaoxiaomo opt]# service mysqld start ##启动服务
[root@xiaoxiaomo opt]# /etc/init.d/mysqld stop ##启停止服务
[root@xiaoxiaomo opt]# service mysqld stop ##停止服务

参考：
http://blog.xiaoxiaomo.com/2016/02/22/Linux-%E8%BD%AF%E4%BB%B6%E5%AE%89%E8%A3%85%E4%B9%8BMysql/

安装Hive

1
2
3
4
5
6
[root@xiaoxiaomo opt]# tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /data/
[root@xiaoxiaomo opt]# mv /data/apache-hive-1.2.1-bin/ /data/hive
## 配置环境变量略
[root@xiaoxiaomo opt]# cd $HIVE_HOME
[root@xiaoxiaomo hive]# cp conf/hive-env.sh.template conf/hive-env.sh
[root@xiaoxiaomo hive]# cp conf/hive-default.xml.template conf/hive-site.xml
  • 修改配置

  1. hive-env.sh

    1
    2
    3
    4
    [root@xiaoxiaomo hive]# vim conf/hive-env.sh ##添加如下配置
    export JAVA_HOME=/data/jdk
    export HIVE_HOME=/data/hive
    export HADOOP_HOME=/data/hadoop

  2. hive-env.sh

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    [root@xiaoxiaomo hive]# vim conf/hive-env.sh ##修改如下配置
    <property>
      <name>hive.querylog.location</name>
      <value>/data/data/hive/tmp</value>
    </property>

    <property>
      <name>hive.exec.local.scratchdir</name>
      <value>/data/data/hive/tmp</value>
    </property>

    <property>
      <name>hive.downloaded.resources.dir</name>
      <value>/data/data/hive/tmp</value>
    </property>

    <!-- 修改metadata为mysql -->
    <property>
    	<name>javax.jdo.option.ConnectionURL</name>
    	<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    </property>
    <property>
    	<name>javax.jdo.option.ConnectionDriverName</name>
    	<value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
    	<name>javax.jdo.option.ConnectionUserName</name>
    	<value>root</value>
    </property>
    <property>
    	<name>javax.jdo.option.ConnectionPassword</name>
    	<value>root</value>
    </property>

  3. 复制mysql驱动jar包到$HIVE_HOME/lib/目录下

  4. 启动。查看mysql数据库 ##[root@xiaoxiaomo hive]# hive

参考：
http://blog.xiaoxiaomo.com/2016/05/27/Hive-%E6%A6%82%E8%BF%B0%E4%B8%8E%E4%BD%BF%E7%94%A8/

安装Kafka

  1. 解压 && 配置

    1
    2
    3
    4
    5
    6
    7
    [root@xiaoxiaomo opt]# tar -zxvf kafka_2.11-0.11.0.0.tgz -C /data
    [root@xiaoxiaomo opt]# mv /data/kafka_2.11-0.11.0.0/ /data/kafka
    ## 配置环境变量 && 修改配置文件
    cd $KAFKA_HOME
    log.dirs=/data/data/kafka/logs
    zookeeper.connect=xiaoxiaomo:2181
    [root@xiaoxiaomo kafka]# mkdir -p /data/data/kafka/logs

  2. 启动 && 测试

    1
    2
    3
    4
    5
    ## 启动
    [root@xiaoxiaomo kafka]# nohup /data/kafka/bin/kafka-server-start.sh /data/kafka/config/server.properties >>/data/data/kafka/logs/kafka-server.log 2>&1 &
    ## 测试
    [root@xiaoxiaomo kafka]# bin/kafka-topics.sh --create --zookeeper xiaoxiaomo:2181 --replication-factor 1 --partitions 1  --topic hello
    [root@xiaoxiaomo kafka]# bin/kafka-topics.sh --describe --zookeeper xiaoxiaomo:2181   --topic hello

参考：
http://blog.xiaoxiaomo.com/2016/05/14/Kafka-%E9%9B%86%E7%BE%A4%E5%8F%8AAPI%E6%93%8D%E4%BD%9C/

安装Redis

  1. 解压编译

    1
    2
    3
    4
    [root@xiaoxiaomo ~]# yum -y install gcc #依赖于gcc
    [root@xiaoxiaomo ~]# tar -zxvf /opt/redis-3.0.6.tar.gz -C /data
    [root@xiaoxiaomo ~]# cd /data/redis-3.0.6/
    [root@xiaoxiaomo ~]# make PREFIX=/data/redis install　　　#安装到指定目录

  2. 将redis做成服务

    1
    2
    3
    ####将redis_init_script复制到/etc/rc.d/init.d/同时改名为redis
    [root@xiaoxiaomo redis-3.0.6]# cp /opt/redis-3.0.6/utils/redis_init_script /etc/rc.d/init.d/redis
    [root@xiaoxiaomo redis-3.0.6]# vim /etc/rc.d/init.d/redis

  3. 配置

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    ####修改下面4行
    > #chkconfig: 2345 80 90   ##注意：这个在上面蓝色字体第二行
    > EXEC=/data/redis/bin/redis-server　　##第七行
    > CLIEXEC=/data/redis/bin/redis-cli　　##第八行
    > $EXEC $CONF &　　　　##第二十行


    ## 配置环境变量 && 修改配置文件
    cd $REDIS_HOME
    ###配置文件拷贝到/etc/redis/${REDISPORT}.conf 
    [root@xiaoxiaomo redis-3.0.6]# mkdir /etc/redis   
    [root@xiaoxiaomo redis-3.0.6]# cp /opt/redis-3.0.6/redis.conf /etc/redis/6379.conf

  4. 注册服务 && 启动 && 停止

    1
    2
    3
    4
    5
    6
    ## 注册redis服务：
    [root@xiaoxiaomo redis-3.0.6]# vim /etc/redis/6379.conf
    [root@xiaoxiaomo redis-3.0.6]# service redis start ##启动
    [root@xiaoxiaomo redis-3.0.6]# service redis stop ##停止
    [root@xiaoxiaomo redis-3.0.6]# redis-cli
    127.0.0.1:6379> shutdown ##停止

参考：
http://blog.xiaoxiaomo.com/2016/02/23/Linux-%E8%BD%AF%E4%BB%B6%E5%AE%89%E8%A3%85%E4%B9%8BRedis/
http://blog.xiaoxiaomo.com/2016/04/28/Redis-%E9%9B%86%E7%BE%A4/

安装Spark

  1. 安装 && 配置

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    [root@xiaoxiaomo opt]# tar -zxvf spark-2.0.0-bin-hadoop2.7.tgz -C /data/
    [root@xiaoxiaomo opt]# mv /data/spark-2.0.0-bin-hadoop2.7/ /data/spark
    ## 配置环境变量
    [root@xiaoxiaomo conf]# cd $SPARK_HOME/conf
    [root@xiaoxiaomo conf]# mv spark-env.sh.template spark-env.sh
    [root@xiaoxiaomo conf]# mv slaves.template slaves
    [root@xiaoxiaomo conf]# vi spark-env.sh  
    ## 添加下面两项
    SPARK_MASTER_IP=xiaoxiaomo
    export JAVA_HOME=/data/jdk

  2. 启动 && 访问

    1
    2
    3
    4
    5
    ## 启动
    [root@xiaoxiaomo conf]# $SPARK_HOME/sbin/start-master.sh 
    [root@xiaoxiaomo conf]# $SPARK_HOME/sbin/start-slave.sh 
    ## 访问
    http://xiaoxiaomo:8080/

附录

  1. 环境变量

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    export JAVA_HOME=/data/jdk
    export JRE_HOME=$JAVA_HOME/jre
    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

    export HADOOP_HOME=/data/hadoop
    export HIVE_HOME=/data/hive
    export HBASE_HOME=/data/hbase
    export ZK_HOME=/data/zookeeper
    export KAFKA_HOME=/data/kafka
    export REDIS_HOME=/data/redis
    export SPARK_HOME=/data/spark

    export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:${HADOOP_HOME}/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin:$REDIS_HOME/bin:$SPARK_HOME/bin:$PATH

  2. 软件下载(百度云下载地址)

    本博客所用到的所有软件（除了Virtual Box因为自己的电脑是linux系统直接就安装了没单独下再）http://pan.baidu.com/s/1ge9cHiV

  3. 搭建好的虚拟机下载，下载后直接导入就可以使用

    1. 本博客中讲到的所有环境已经搭建好的虚拟机下载(root密码123456)：http://pan.baidu.com/s/1slsd9iH
    2. 另外一个类似的已经搭建好的虚拟机下载(不同只是版本低一点root密码bd745127)：使用java1.7 + hadoop2.6 + hive0.14 + hbase0.98 + spark1.4.1 + kafka_2.11-0.8.2.2 + zk3.5.6 + redis3.0.6

当前网速较慢或者你使用的浏览器不支持博客特定功能，请尝试刷新或换用Chrome、Firefox等现代浏览器