前提条件
- 当安装客户端节点为集群外节点时,该节点必须能够与集群内节点网络互通,否则安装会失败。
- 待安装客户端节点必须启用NTP服务,并保持与服务端的时间一致,否则安装会失败。
- 在节点上安装客户端,可以使用root用户或任意操作系统用户进行操作,要求该用户对客户端文件存放目录和安装目录具有操作权限,两个目录的权限为 775 。
- 需要允许用户使用密码方式登录Linux弹性云服务器(SSH方式)。
安装客户端
- 请先在服务器上配置时间同步服务(ntpd或chronyd),并确认同步状态正常。
ps aux | grep 'ntpd\|chronyd'
- 服务器上需要安装好Kerberos客户端相关rpm包(krb5-workstation或krb5-client),如有sudo权限但未安装会自动进行安装。
说明如果使用root用户执行安装脚本,则不需要再安装了,会自行安装。
- 服务器上需要安装好jdk,并新建/usr/jdk64/目录,然后将/usr/jdk64/current软链到${JAVA_HOME}。
执行java -version确认是否已经安装jdk。如果使用的是天翼云的jdk,已经做好软链,不需要额外操作。
如何判断是否是天翼云的jdk?可以执行下面语句,如果能匹配出带有ccdp的内容则代表是天翼云的jdk;否则需要自己软链(下图表示不是天翼云的jdk)。
配置环境变量:sudo vim /etc/profile
软链:ln -sf {JAVA_HOME} /usr/jdk64/current
- /etc/hosts内需要写入server端服务器的IP和主机名。
- 将下载的client_config.tar.gz和CCDP--client.tar.gz两个安装包以及keytab文件放在同一目录。
- tar zxvf CCDP--client.tar.gz解压,进入CCDP--client目录,目录下有md5文件和安装包,可用md5文件进行校验, 例子:md5sum -c CCDP-3.3.3-x86_64-client.tar.gz.md5。
- 再次tar zxvf CCDP--client.tar.gz解压,进入CCDP--client目录,可看到安装脚本install.sh与各组件目录。
- 进入二次解压后的CCDP-*-client目录,执行sh install.sh安装客户端。可以直接用root用户安装。
- krb5.conf配置文件拷贝需要root或有sudo权限的用户。若安装用户没有权限,则需提前使用root权限将krb5.conf拷贝到/etc/目录,随后使用安装用户执行sh install.sh -s跳过krb5.conf配置,直接安装大数据客户端。
- 安装运行的日志保存在/tmp/emr_bigdata_client_install.log中。
- 使用客户端前需要执行source bigdata_env获取环境变量(要在同一个窗口,不能多个窗口)。source每次重新登录都要执行。
- 集群默认启用Kerberos认证,执行以下命令认证当前用户。请用实际的keytab文件的路径替换/path/to/username.keytab。
kinit -kt /path/to/username.keytab `klist -kt /path/to/username.keytab |sed -n 4p |awk '{print $NF}'`
- 直接执行组件的客户端命令。
例如:使用HDFS客户端命令查看HDFS根目录文件,执行 hdfs dfs -ls /
- 客户端安装完成后,可参考“各组件客户端使用实践”使用客户端。
说明
操作步骤可参考软件包目录下的README.txt。
如需卸载客户端,可直接删除安装目录。