Cloudera Manager--升级Kafka

  之前使用的kafka版本0.10.0.0,因为一个项目用到了kafka streaming流计算中最新的API,要求从0.10.0.0->0.11.0.0,所以不得不去进行升级。
其实总的流程和Cloudera Manager中安装kafka差不多,记录下来,方便以后查询(只要是在Cloudera Manager中升级Kafka流程是一样的)。

检查 Kafka CSD

  1. 查看cloudera manager server服务所在节点的csd是否最新(节点上csd默认地址:/opt/cloudera/csd/
    否就去http://archive.cloudera.com/csds/kafka/下载最新的jar。

Linux--gcc/g++离线安装

  由于线上服务器没办法访问外网,于是很多软件都没办法在线安装gcc/g++ 是我们在编译软件时经常需要的软件,gcc/g++依赖的包还有点多。
具体安装一般是在网上搜一下按照流程安装就行了,自己这两三年来感觉搜索安装了好几次!!!决定还是把这个小小的流程记录下来吧,以便下次方便。

查看并下载对应版本

  • 常见异常configure: error: no accepttable C compiler found in $PATH 就是缺少gcc导致,如下图编译安装python时发现缺少gcc:
    linux-gcc

Cassandra--用户密码设置

  Cassandra 用户名密码设置,我使用的cassandra版本为3.11.1。本篇博客不仅仅演示Cassandra 用户密码的设置,还包括Cassandra 用户的一些更新删除的操作。下面一起来看看:

修改配置文件

  1. 默认cassandra是不需要账号密码的,授权信息默认如下配置

    1
    2
    authenticator: AllowAllAuthenticator
    authorizer: AllowAllAuthorizer
  2. 修改conf/cassandra.yaml配置文件,然后重启

    1
    2
    authenticator: PasswordAuthenticator
    authorizer: CassandraAuthorizer

Cassandra--Java API

  前面已经说了一种访问Cassandra的一种方式CQL,本篇博客还讲解一下其他的方式访问,主要是以Java API的方式,当然它是支持很多语言的,看看下图就知道了:

Cassandra--CQL

  本篇博客主要讲Cassandra的基本操作,主要是通过cqlsh客户端命令。这个也是我们常用的基本操作,后面再会讲解一下通过java api的方式操作Cassandra。
下面让我们一起来熟悉吧!

启动cqlsh

  • 启动cqlsh,如果rpc_address不是设置为0.0.0.0,直接输入cqlsh是会拒绝连接的
    Connection error: (‘Unable to connect to any servers’, {‘127.0.0.1’: error(111, “Tried connecting to [(‘127.0.0.1’, 9042)]. Last error: Connection refused”)})

  • 需要指定ip,具体操作如下图(我们上篇博客设置为节点的ip)

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器