管理MRS数据源 更新MRS数据源配置 操作场景 MRS的HDFS集群参数配置变更时,可能造成DWS集群无法从HDFS集群导入数据。使用HDFS集群导入数据前,需要执行MRS数据源配置的更新操作。 前提条件 DWS集群已创建MRS数据源连接。 对系统的影响 更新MRS数据源连接时,DWS集群会自动重启并无法提供服务。 操作步骤 1. 在DWS管理管制台,选择“集群 > 专属集群”。 2. 在集群列表,单击指定集群的名称,然后单击“MRS数据源”。 3. 在MRS数据源列表中,选中需要更新的MRS数据源,在“操作”列中,单击“更新配置”。 更新当前连接的“MRS集群状态”和“配置状态”。在更新配置时,无法创建新的连接,且会检查安全组规则是否正常并自助修复。参数说明如下所示: 参数说明 参数名 参数解释 dfs.client.read.shortcircuit 是否开启本地读。 dfs.client.read.shortcircuit.skip.checksum 本地读时是否跳过数据校验。 dfs.client.block.write.replacedatanodeonfailure.enable 向HDFS写数据块发生失败时,是否替换新的节点作为副本存储位置。 dfs.encrypt.data.transfer 是否开启数据加密。设置为“true”表示加密,默认不加密。 说明 l 此参数仅对启用Kerberos认证的集群有效。 l 仅当hadoop.rpc.protection设置为privacy时使用。 dfs.encrypt.data.transfer.algorithm 指定密钥传输的加密解密算法。 只有在dfs.encrypt.data.transfer配置项设置为“true”,此参数才会生效。 默认值为“3des”,表示采用3DES算法进行加密。 dfs.encrypt.data.transfer.cipher.suites 指定实际存储数据传输的加密解密算法。 如果不指定此参数,则使用“dfs.encrypt.data.transfer.algorithm”参数指定的加密算法进行数据加密。默认值为“AES/CTR/NoPadding”。 dfs.replication 默认数据副本个数。 dfs.blocksiz 默认数据块大小。 hadoop.security.authentication 安全认证模式。 hadoop.rpc.protection RPC通信保护模式。 默认值:安全模式(启用Kerberos认证):privacy 普通模式(未启用Kerberos认证):authentication 须知 “authentication”:只进行认证,不加密。 “integrity”:进行认证和一致性校验。 “privacy”:进行认证、一致性校验、加密。 dfs.domain.socket.path 本地使用的Domain socket路径。