Cloudera Manager--Yarn用户资源隔离配置

  Yarn用户资源隔离配置,主要使用 Yarn动态资源池(dynamic resource pool) 对YARN应用程序进行资源和策略分配的池。(Impala资源也可以动态管理)
动态资源池允许安排和分配用户访问特定池,用来执行YARN应用程序。如果一个池的资源未被使用,它可以被占用(preempted)并分配给其他池。否则,就根据各个池的权重来共享资源。访问控制列表(Access control lists (ACLs)) 对提交访问和管理访问进行限制。

  • 下面主要以下几个步骤来实际的操作:
    1. 资源隔离前:看看默认的组,以及为什么我们要去从新划分
    2. 规划用户组:举例本例中分配的组,以及我们线上环境一般怎么分配的
    3. HDFS和Yarn设置:需要修改的一些配置
    4. 资源池设置:主要是资源池设置以及配置相应的规则
    5. 示例展示:截图说明一下修改后的一些运行效果

Cloudera Manager--升级Kafka

  之前使用的kafka版本0.10.0.0,因为一个项目用到了kafka streaming流计算中最新的API,要求从0.10.0.0->0.11.0.0,所以不得不去进行升级。
其实总的流程和Cloudera Manager中安装kafka差不多,记录下来,方便以后查询(只要是在Cloudera Manager中升级Kafka流程是一样的)。

检查 Kafka CSD

  1. 查看cloudera manager server服务所在节点的csd是否最新(节点上csd默认地址:/opt/cloudera/csd/
    否就去http://archive.cloudera.com/csds/kafka/下载最新的jar。

Linux--gcc/g++离线安装

  由于线上服务器没办法访问外网,于是很多软件都没办法在线安装gcc/g++ 是我们在编译软件时经常需要的软件,gcc/g++依赖的包还有点多。
具体安装一般是在网上搜一下按照流程安装就行了,自己这两三年来感觉搜索安装了好几次!!!决定还是把这个小小的流程记录下来吧,以便下次方便。

查看并下载对应版本

  • 常见异常configure: error: no accepttable C compiler found in $PATH 就是缺少gcc导致,如下图编译安装python时发现缺少gcc:
    linux-gcc

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器