专栏
天翼云开发者社区

一键自动部署hadoop客户端及Kerberos认证

2023-08-02 16:44:44 15阅读

一、场景

针对主机新增组件或者单独新增主机,下发hadoop客户端自动部署及认证组件,支持新增组件或主机上访问hadoop集群;例
:云翼平台在订购产品的时候,发现对应产品组件需要访问hadoop集群,但是对应的主机上没有Hadoop客户端,此时如果需要专业人员部署,会增加组件订购的难度、人力成本、时间成本,为了保证在订购产品能一键式处理,在订购该产品时候,默认勾选对应的hadoop客户端自动部署及认证组件,可实现同时订购和部署,增加用户的体验感,同时可以节约人力成本和时间成本。

二、解决问题

1、解决新增组件依赖hadoop集群短时间不可用的问题,做到一键自动部署及认证;

2、解决新增主机自动支持访问hadoop集群的问题,即任何主机可单独自动部署及认证;

3、解决现有新增主机需要专业的人员部署hadoop客户端,提升效率。

三、流程

1、系统部署图:

1.1 订购平台:用户通过订购平台发起订购需求。

1.2 Linux主机:负责接收客户端 的订购请求,并向hadoop服务器主机发起获取依赖库和配置请求。

1.3 Hadoop服务器主机:获取并返回依赖库、 kerberos认证文件以及配置数据包。

1.4 数据包:包含了访问hadoop集群的依赖库、java配置、集群配置,同时也提供C语言访问hadoop的头文件和库、java包和接口等。 

 

2、流程图:

 

主要流程:

平台发起订购请求之后,linux主机接收到请求,判断主机是否安装有expect交互命令,如未安装则自动安装,通过expect与hadoop服务端交互获取hadoop数据包,同时生成Kerberos认证文件并获取认证文件,客户端设置hadoop集群信息和环境变量、安装kerberos认证命令以及自动认证,最后安装定时任务,防止隔天认证失效。

  • 0
  • 0
  • 0
0 评论
0/1000
评论(0) 发表评论
康****彬

康****彬

7 篇文章 0 粉丝
关注

一键自动部署hadoop客户端及Kerberos认证

2023-08-02 16:44:44 15阅读

一、场景

针对主机新增组件或者单独新增主机,下发hadoop客户端自动部署及认证组件,支持新增组件或主机上访问hadoop集群;例
:云翼平台在订购产品的时候,发现对应产品组件需要访问hadoop集群,但是对应的主机上没有Hadoop客户端,此时如果需要专业人员部署,会增加组件订购的难度、人力成本、时间成本,为了保证在订购产品能一键式处理,在订购该产品时候,默认勾选对应的hadoop客户端自动部署及认证组件,可实现同时订购和部署,增加用户的体验感,同时可以节约人力成本和时间成本。

二、解决问题

1、解决新增组件依赖hadoop集群短时间不可用的问题,做到一键自动部署及认证;

2、解决新增主机自动支持访问hadoop集群的问题,即任何主机可单独自动部署及认证;

3、解决现有新增主机需要专业的人员部署hadoop客户端,提升效率。

三、流程

1、系统部署图:

1.1 订购平台:用户通过订购平台发起订购需求。

1.2 Linux主机:负责接收客户端 的订购请求,并向hadoop服务器主机发起获取依赖库和配置请求。

1.3 Hadoop服务器主机:获取并返回依赖库、 kerberos认证文件以及配置数据包。

1.4 数据包:包含了访问hadoop集群的依赖库、java配置、集群配置,同时也提供C语言访问hadoop的头文件和库、java包和接口等。 

 

2、流程图:

 

主要流程:

平台发起订购请求之后,linux主机接收到请求,判断主机是否安装有expect交互命令,如未安装则自动安装,通过expect与hadoop服务端交互获取hadoop数据包,同时生成Kerberos认证文件并获取认证文件,客户端设置hadoop集群信息和环境变量、安装kerberos认证命令以及自动认证,最后安装定时任务,防止隔天认证失效。

文章来自专栏

大数据-存储

1 篇文章 1 订阅
0 评论
0/1000
评论(0) 发表评论
  • 0
    点赞
  • 0
    收藏
  • 0
    评论