本章节主要介绍翼MapReduce从零开始使用Kerberos认证集群。 本章节提供从零开始使用安全集群并执行MapReduce程序、Spark程序和Hive程序的操作指导。 本指导的基本内容如下所示： 1. 创建集群。 2. 创建用户。 3. 执行MapReduce程序。 4. 执行Spark程序。 5. 执行Hive程序。 创建集群 1. 创建数据湖、数据服务或实时数据流集群，“Kerberos身份认证”默认开启，且不支持关闭，详见创建集群相关内容。 2. 登录翼MR管理控制台页面。 3. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 创建用户 1. 登录翼MapReduce管理控制台页面。 2. 单击“用户权限”，进入到用户管理页面。 3. 单击“添加用户”，输入相关信息，单击“确定”即可。 执行MapReduce程序 本小结提供执行MapReduce程序的操作指导，旨在指导用户在安全集群模式下运行程序。 前提条件 已编译好待运行的程序及对应的数据文件，如mapreduceexamples1.0.jar、inputdata1.txt。 操作步骤 1. 采用远程登录软件，通过ssh登录到集群的master节点。 2. 登录成功后分别执行如下命令，在/opt/client目录下创建test文件夹。 cd /opt/client mkdir test 3. 分发keytab文件到/opt/client目录，例如test.keytab。 4. 执行如下命令认证已创建的用户，例如test。 kinit kt /opt/client/test.keytab test 5. 执行如下命令将数据导入到HDFS中。 cd test hdfs dfs mkdir /tmp/input hdfs dfs put intputdata1.txt /tmp/input 6. 执行如下命令运行程序。 yarn jar mapreduceexamples1.0.jar WordCount /tmp/input /tmp/output 其中： /tmp/output指HDFS文件系统中output的路径，该目录必须不存在，否则会报错。 执行Spark程序 本小结提供执行Spark程序的操作指导，旨在指导用户在安全集群模式下运行程序。

实施步骤 1. 安装宝塔面板。 1. 登录云主机。 2. 执行以下命令，下载并安装宝塔面板。 plaintext yum install y wget && wget O install.sh && sh install.sh 待命令执行完毕。在执行过程中，会提示是否将磁盘挂载到/www，如下图所示： 输入小写y字母确认挂载。 安装完成后，会提示安装成功，并显示面板URL、端口号、“username”、“password”等参数值。 说明 请妥善记录回显信息中URL、端口号、“username”、“password”等参数值，于后续步骤中使用。 2. 修改云主机所在安全组规则。 为云主机所在安全组添加安全组规则，规则如下表所示，具体步骤参见添加安全组规则。 方向 协议 端口/范围 源地址 入方向 TCP 回显信息中的端口号（本示例中为23240） 0.0.0.0/0 3. 登录宝塔面板。 1. 在浏览器地址栏中输入回显信息中的URL地址，例如： 2. 输入安装步骤中记录的账户和密码，勾选宝塔用户协议，绑定宝塔账号后，进入宝塔管理界面。 3. 根据业务需要可以通过面板安装相关的套件并部署网站。

为保障您的天翼云弹性云主机系统时间精准统一,避免因时钟偏差引发业务异常、日志时序错乱、合规审计不达标等问题,推荐您配置天翼云内网 NTP 时间同步服务。本文为您介绍内网 NTP 时间同步的核心作用,以及红帽系、Debian 系 Linux 操作系统的标准化配置方法。 一、内网 NTP 时间同步核心作用 保障业务稳定运行：确保分布式集群、数据库主从同步、交易订单等业务的时序一致性，避免因时钟偏差引发数据错乱、服务异常。 提升运维排障效率：统一全量云主机系统时间，保障日志时序准确，便于故障溯源与问题定位。 满足合规审计要求：符合网络安全等级保护等监管规范对系统时间统一、日志可追溯的硬性要求。 低延迟高可靠：使用天翼云内网 NTP 专用地址，无需占用公网带宽，同步链路稳定、精度更高。 二、前置说明 适用范围：天翼云弹性云主机，涵盖红帽系（RHEL 7/8/9、CentOS 7/Stream、Rocky Linux、AlmaLinux 等）、Debian 系（Debian 10/11/12、Ubuntu 18.04+）Linux 操作系统。 天翼云内网 NTP 服务器地址：169.254.169.254。 三、配置步骤 红帽系操作系统配置（chronyd） 红帽系操作系统官方推荐使用 chronyd 服务实现时间同步，RHEL 8/9 系列默认预装并启用，配置步骤如下： 1. 备份原始配置文件（便于异常回滚） plaintext cp /etc/chrony.conf /etc/chrony.conf.bak 2. 写入天翼云内网 NTP 配置 清理原有NTP源配置 plaintext sed i E '/^(poolserver)/d' /etc/chrony.conf 新增内网NTP同步配置 plaintext cat >> /etc/chrony.conf << EOF server 169.254.169.254 iburst prefer EOF 3. 重启服务并配置开机自启 plaintext systemctl restart chronyd systemctl enable now chronyd

本文主要介绍 磁盘模式及使用方法 什么是磁盘模式 根据是否支持高级的SCSI命令来划分磁盘模式，分为VBD(虚拟块存储设备 , Virtual Block Device)类型和SCSI (小型计算机系统接口, Small Computer System Interface) 类型。 VBD类型：磁盘模式默认为VBD类型。VBD类型的磁盘只支持简单的SCSI读写命令。 SCSI类型：SCSI类型的磁盘支持SCSI指令透传，允许云主机操作系统直接访问底层存储介质。除了简单的SCSI读写命令，SCSI类型的磁盘还可以支持更高级的SCSI命令。 磁盘模式在购买磁盘时配置，购买完成后无法修改。 SCSI磁盘的常见使用场景和建议 SCSI磁盘：物理机仅支持使用SCSI磁盘，用作系统盘和数据盘。 SCSI共享盘：当您使用共享盘时，需要结合分布式文件系统或者集群软件使用。由于多数常见集群需要使用SCSI锁，例如Windows MSCS集群、Veritas VCS集群和CFS集群，因此建议您结合SCSI使用共享盘。 如果将SCSI共享盘挂载至ECS时，需要结合云主机组的反亲和性一同使用，SCSI锁才会生效，关于更多共享盘的内容，请参见共享磁盘及使用方法。 使用SCSI类型磁盘需要安装驱动吗 使用SCSI的磁盘时，需要为某些云主机操作系统安装驱动，具体如下： DPS（物理机） 物理机的Windows和Linux镜像操作系统中已经预安装了使用SCSI磁盘所需的驱动，即SDI卡驱动，因此无需再安装。 KVM ECS 当您使用SCSI磁盘时，推荐您配合虚拟化类型为KVM的ECS一同使用。因为KVM ECS的Linux操作系统内核中已经包含了驱动，Windows操作系统中也包含了驱动，无需您再额外安装驱动，使用便捷。 说明 ECS的虚拟化类型分为KVM和XEN，想了解您所使用的ECS虚拟化类型，请参见“弹性云主机用户指南 > 产品介绍 > 实例规格（X86）”。 XEN ECS 由于驱动和操作系统支持的限制，不建议您一同使用SCSI磁盘与虚拟化类型为XEN的ECS。 然而，当前有一部分Windows和Linux操作系统支持SCSI磁盘，详情请参见下表。 说明 当XEN ECS的操作系统已满足SCSI磁盘的要求时，需要根据以下情况判断是否安装SCSI驱动。 Windows公共镜像的操作系统中已经预安装Paravirtual SCSI (PVSCSI) 驱动，无需再安装。 Windows私有镜像的操作系统中未安装PVSCSI驱动，请您自行下载并安装驱动。 具体方法请参见“镜像服务用户指南”中的“快速入门优化私有镜像（Windows）”小节。 Linux操作系统中未安装PVSCSI驱动，请在 表 SCSI磁盘支持的操作系统 虚拟机化类型 操作系统 XEN Windows 请参见“公共镜像”中的Window操作系统。 查看方法：登录管理控制台，选择“镜像服务 > 公共镜像 > ECS镜像 > Windows”，即可查看操作系统列表。 XEN Linux SUSE Linux Enterprise Server 11 SP4 64bit (内核版本号为3.0.10168default or 3.0.10180default) SUSE Linux Enterprise Server 12 64bit (内核版本号为3.12.5152.31default) SUSE Linux Enterprise Server 12 SP1 64bit (内核版本号为3.12.6760.64.24default) SUSE Linux Enterprise Server 12 SP2 64bit (内核版本号为4.4.7492.35.1default)

收集故障信息 7.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选“Controller”、“OmmServer”、“OmmCore”和“Tomcat”，单击“确定”。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无

收集故障信息 11. 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 12. 在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS 13. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 14. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本文向您介绍如何安装、升级与使用CTCCL库。 镜像安装 训推服务部分官方镜像默认安装CTCCL，使用以下官方镜像时，无需自己安装CTCCL。 pytorch2.2.0ctccl0.3.0cuda12.3ubuntu20.04amd64 llama2trainingctccl0.3.0cuda12.1pytorch2.2.1megatron0.2.0deepspeed0.14.1ubuntu20.04amd64 手动安装 1.确认原本nccl/ctccl安装位置 如果使用的深度学习框架自带NCCL，配置的NCCL目录可能不是默认路径，可以用以下命令查找。 find / name "libnccl.so.2" 获得$NCCLPATH 2.确认使用的CUDA版本 使用以下命令，查看当前环境依赖的CUDA版本，输出结果如下图所示。 nvdiasmi 3.下载CUDA版本对应的CTCCL 用户根据操作系统和安装的CUDA版本下载对应的CTCCL独立安装包，安装并使用。 4.使用下载的CTCCL替换环境中原有的libnccl。 CTCCL 依赖环境 下载地址 v0.4.0 Ubuntu 20.04 + CUDA12.2 cp libnccl.so.2 $NCCLPATH 如果没有查找到libnccl.so.2文件，可以直接使用cp命令复制到/usr/lib64。

操作步骤 1. 登录控制中心。 2. 单击“左侧导航栏>服务列表”，选择“计算 > 物理机”。 3. 在物理机列表页，单击右上角的“导出”，在弹出的确认框中单击“确定”。系统会将您帐号下，当前区域的所有物理机信息自动导出，并下载至本地。 4. 在本地计算机的下载路径，可以获取到导出的物理机列表信息。

本章节主要介绍翼MapReduce的入服与退服实例操作。 操作场景 部分角色实例以分布式并行工作的方式对外部业务提供服务，服务会单独保存每个实例是否可以使用的信息，所以需要使用FusionInsight Manager为这些实例执行入服或退服的操作，变更实例的业务可用状态方式。 不支持该此功能的实例，默认无法执行任务。 说明 当前支持退服和入服操作的角色有：HDFS的DataNode、Yarn的NodeManager、HBase的RegionServer。 当DataNode数量少于或等于HDFS的副本数时，不能执行退服操作。若HDFS副本数为3时，则系统中少于4个DataNode，将无法执行退服，Manager在执行退服操作时会等待30分钟后报错并退出执行。 由于Mapreduce任务执行时，会生成一些副本数为10的文件，此时若DataNode实例数少于10时，将无法进行退服操作。 如果退服前，DataNode节点的机架数（机架数由各DataNode节点所配置的“机架”的名称数量决定）大于1；而退服部分DataNode后，剩余的DataNode节点的机架数变为1，则此次退服将会失败。所以需要在退服前评估退服操作对机架数的影响，以调整退服的DataNode节点。 在退服多个DataNode时，如果每个DataNode存储的数据量较大，如果执行选择多个DataNode同时退服，则很有可能会因超时而退服失败。为了避免这种情况，建议每次退服仅退服1个DataNode，进行多次退服操作。 操作步骤 1. DataNode节点退服前需要进行健康检查，步骤如下： 使用客户端用户登录客户端安装节点，并切换到客户端安装目录。 如果是安全集群，需要使用hdfs用户进行权限认证。 source bigdataenv

本章主要介绍共享私有镜像 操作场景 镜像上传后，您可以共享私有镜像给其他帐号，并授予下载该镜像的权限。 被共享的用户需要登录容器镜像服务控制台，在“我的镜像 > 他人共享”页面查看共享的镜像。被共享的用户单击镜像名称，可进入镜像详情页面查看镜像版本、下载指令等。 约束与限制 仅具备该私有镜像管理权限的IAM用户才能共享镜像，被共享者只有只读权限，只能下载镜像。 镜像共享功能只能在同一区域内使用，不支持在不同区域间镜像共享。 一个私有镜像最多可以共享给500个租户。 操作步骤 步骤 1 登录容器镜像服务控制台。 步骤 2 在左侧导航栏选择“我的镜像”，单击右侧镜像的名称。 步骤 3 在镜像详情页面选择“共享”页签。 步骤 4 单击“共享镜像”，根据下表填写相关参数，然后单击“确定”。 图 共享镜像 表 共享镜像 参数 说明 共享给 输入帐号名称。 截止日期 选择共享截止日期。如勾选“永久有效”，则共享永久有效。 描述 输入描述，01000个字符。 权限 当前仅支持“下载”权限。 步骤 5 共享完成后，您可以在“我的镜像 > 自有镜像”中，勾选“我共享的镜像”，查看所有共享的镜像。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”框中勾选待操作集群的“Ranger”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 6. 在“服务”中勾选待操作集群的“Spark2x”。 7. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 8. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”框中勾选待操作集群的“Flume”。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 9.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 10.在“服务”中勾选待操作集群的Flume。 11.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 12.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”框中勾选待操作集群的“Ranger”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 9.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 10.在“服务”中勾选待操作集群的“NodeManager”。 11.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 12.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”框中勾选待操作集群的“Ranger”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”框中勾选待操作集群的“Ranger”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”框中勾选待操作集群的“Ranger”。 6. 单击右上角的 设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 3. 在“服务”框中勾选待操作集群的“Ranger”。 4. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 5. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 9.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 10.在“服务”中勾选待操作集群的“HBase”。 11.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 12.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 12.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 13.在“服务”中勾选待操作集群的如下服务。 ZooKeeper HDFS 14.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 15.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 4. 在“服务”中勾选待操作集群的“ClickHouse”。 5. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 6. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”框中勾选待操作集群的“Ranger”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 15.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 16.在“服务”中勾选待操作集群的“LdapClient”。 17.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 18.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 9.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 10.在“服务”中勾选待操作集群的MonitorServer。 11.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 12.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 15.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 16.在“服务”中勾选待操作集群的“LdapServer”和“OmsLdapServer”。 17.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 18.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 10.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 11.在“服务”中勾选待操作集群的MonitorServer。 12.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 13.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 4. 在“服务”中勾选操作OMS下面的“NodeAgent”、“NodeMetricAgent”、“OmmServer”、“OmmAgent”。 5. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 6. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 4. 在“服务”中勾选操作OMS下面的“NodeAgent”、“NodeMetricAgent”、“OmmServer”、“OmmAgent”。 5. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 6. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 4. 在“服务”中勾选操作OMS下面的“NodeAgent”、“NodeMetricAgent”、“OmmServer”、“OmmAgent”。 5. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。 6. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 6. 在“服务”中勾选待操作集群的“Spark2x”。 7. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 8. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。