Ganglia 是 UC Berkeley 发起的一个开源监视项目,设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据(如处理器速度、内存使用量等)的名为 gmond 的守护进程,gmond 带来的系统负载非常少,不会影响用户性能。
Ganglia简介
- Ganglia 监控套件包括三个主要部分:gmetad,gmond,和网页接口(ganglia-web)。
- Gmetad :也是一个守护进程,他定期检查gmonds,从那里拉取数据,并将他们的指标存储在RRD存储引擎中。他可以查询多个集群并聚合指标。
- Gmond :是一个守护进程,他运行在每一个需要监测的节点上,发送和接受在同一个组播或单播通道上的统计信息 。
发送
-收集基本指标,比如系统负载、CPU利用率等。接收者
-聚合所有从别的主机上发来的指标,并把它们都保存在内存缓冲区中。 - Ganglia-web :安装在有
gmetad
运行的机器上,以便读取RRD文件。 - 一般集群中每个节点需要一个接收的gmond,每个网站需要一个gmetad。
本篇博客主要讲解Hadoop2.0集群
的安装配置(以hadoop-2.6.0.tar.gz
为例),使用centsos6.5,jdk使用1.7。由于前面几篇博客已经讲解hadoop1.0、hadoop2.0的伪分布式安装了,所以该篇博文就不一一贴步骤了(会省略基本的环境准备)。
注意:对基本的环境还不了解的可以查看博客Hadoop-安装前环境准备。
该博客省略基本环境搭建
- 设置ip地址
- 关闭防火墙
- 设置主机名
- 绑定Hostname
- 设置ssh
- 安装JDK
- 上传hadoop-2.6.0.tar.gz
本篇博客主要讲解Hadoop2.0伪分布式
的安装配置(以hadoop-2.6.0.tar.gz
为例),使用centsos6.5,jdk使用1.7。安装环境比较简单我就直接贴步骤了。如想安装1.0
可查看博客http://blog.xiaoxiaomo.com/2016/04/09/Hadoop-1-0伪分布式安装/
准备
一、使用root用户,jdk-7u79-linux-x64.tar.gz和hadoop-2.6.0.tar.gz,安装在/usr/local/目录下。
二、准备环境
可查看博客:Hadoop-安装前环境准备
1.2.1. 设置ip地址
1.2.2. 关闭防火墙
1.2.3. 设置主机名
1.2.4. 绑定Hostname
1.2.5. 设置ssh
1.2.6. 安装JDK(这里我们使用了1.7替换成1.7的jdk版本即可)
Zookeeper 是 Hadoop
的分布式协调服务,起源于Google的Chubby。分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper 可以保证数据在Zookeeper 集群之间的数据的事务性一致。
总体概述
- 组成: ZooKeeper集群即多个Server节点,其中有一个Leader的节点,和多个Follower组成。
- 写请求: 当客户端Client执行写请求时,会发送到Leader节点上,然后Leader节点上数据变更会同步到集群中其他的Follower节点。Leader节点在接收到数据变更请求后,首先将变更写入本地磁盘,以作恢复之用。当所有的写请求持久化到磁盘以后,才会将变更应用到内存中。
- 协议: ZooKeeper使用了一种自定义的原子消息协议,在消息层的这种原子特性,保证了整个协调系统中的节点数据或状态的一致性和本地的ZooKeeper数据与Leader节点同步。
- 选举: 当Leader节点发生故障,消息层负责重新选举出Leader,继续作为协调服务集群的中心,处理客户端写请求。
当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器