OWL--监控系统实战五二次开发

  二次开发? 当然就是修改源代码了。
  为什么进行二次开发? 当然就是有新需求了。

  • 需求的来由

    因为,我们做的是一个多租户的平台,需要实现用户资源的隔离。
    在资源隔离这一块,选择了对yarn的改造,我们知道在yarn的这一块已经对cpu和内存进行了隔离,但是还没有网络IO和磁盘IO资源的隔离。
    然后我们就想着在监控系统采集这一层,去采集到用户维度的磁盘IO和网络IO。
    所以,采集用户维度的资源(网络,磁盘,内存,cpu),不仅仅有利于我们下一步对yarn的二次开发,而且也有益于我们更细维度的监控。

监控系统实战六二次开发

OWL--监控系统实战四认识OpenTSDB

  本篇博客主要简单介绍一下OpenTSDB,看完后应该可以了解到以下内容

  1. OpenTSDB到底是个什么东西,还有那些类似的数据库
  2. OpenTSDB里面的一些结构,对应HBase来看一下
  3. 通过Java API调用OpenTSDB

OpenTSDB介绍

简单介绍一下

  • OpenTSDB:一个开源的基于HBase的分布式,可扩展的时间序列数据库。
    • 第一开源JAVA写的,
    • 第二是基于HBase的,作者想和HBase社区保持一致性,作为HBase生态的一种补充
    • 第三分布式可扩展的,当然就有集群了
    • 第四它是一个时间序列数据库。

OWL--监控系统实战二搭建梳理

  本篇博客不会讲具体的怎么搭建owl,而只是对一些遇到的问题进行梳理。因为已经有文档讲的非常清楚了,可以去github:https://github.com/TalkingData/owl 上指定的QQ群里面获取(所以,如果参考QQ群上面的文档安装没有什么问题可跳过该篇博客)。

整个环境搭建的梳理

  • 开始准备安装软件
    • 搭建OWL之前,需要安装OpenTSDBMySQLHBaseNginxJDKGO语言环境
    • 安装HBase、MySQL、Nginx、JDK这些就不在这里介绍了,可以参考我之前的博客。
    • 所以下面就介绍一下OpenTSDB、GO语言环境、OWL的搭建

OWL--监控系统实战一平台概述

  接下来的几篇博客是一个连续的部分,主要讲解OWL监控系统实战与二次开发OWL-是 TalkingData 推出的一款开源分布式监控系统。本篇是该系列的第一遍博客,将总体的介绍一下背景目的,好让读者有一个整体的概念:

该系列博客所设计到的代码也会开源出来,后面会贴出github地址
所以,在实战五和六中有一部分是伪代码(用// …… 省略)

一、目录

  1. OWL–监控系统实战一平台概述,讲解背景目的以及监控平台概述
  2. OWL–监控系统实战二搭建梳理,整个环境搭建的梳理
  3. OWL–监控系统实战三源码阅读,OWL的介绍,一起来看看具体的源码
  4. OWL–监控系统实战四认识OpenTSDB,认识一下OpenTSDB
  5. OWL–监控系统实战五二次开发,Linux用户级别的Metrics收集
  6. OWL–监控系统实战六插件开发,插件收集Hadoop平台Metrics信息(做一个自己的Cloudera Manager)
  7. OWL–监控系统实战七上线运行,上线运行的事情,可以当作一个参考

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器