本章节主要介绍翼MapReduce如何获取Spark Jar包。 1、获取非Spark依赖 从maven中央仓库/华为云仓库等 获取Spark运行所需要的依赖 ，可以从Spark Apache官网获取Spark相关的客户端。 Spark客户端中jars目录包含Spark运行依赖。 Spark 客户端下载地址参考Spark Apache官网。 2、获取Sparkcore等Spark依赖 除了通过Spark Apache官网下载客户端获取和maven中央仓库获取有时也可以通过源码打包以获取。 可根据如下命令进行Spark源码打包： 整体打包命令： ./build/mvn Pyarn Phive Phivethriftserver DskipTests clean package 单模块打包命令： ./build/mvn pl :sparkstreaming2.12 clean install

MRS数据源使用概述 MRS集群简介 翼MapReduce（MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。有关MRS服务的详细信息，请参考《翼MapReduce服务用户操作指南》。 用户可以将海量业务数据，存储在MRS的分析集群，即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。DWS支持在相同网络中，配置一个DWS集群连接到MRS集群，然后将数据从HDFS中的文件读取到DWS。 使用流程 从MRS导入数据到集群流程如下： 1. 前提条件 a. 创建一个MRS集群，具体操作步骤请参见《MapReduce服务用户操作指南》中“购买自定义集群”章节。 b. 创建一个HDFS外表，外表通过外部服务器的接口，从MRS集群查询数据。 具体操作步骤请参见《数据仓库服务数据库开发指南》中“导入数据 > 从MRS导入数据到集群”章节。 说明 同一个网络下可以有多个MRS数据源， 但是DWS集群每次只能和一个MRS集群建立连接。 2. 在DWS集群创建一个MRS数据源连接，具体操作步骤请参见下文 创建MRS数据源连接。 3. 使用MRS数据源导入数据到集群，具体操作步骤请参见《数据仓库服务数据库开发指南》中的“导入数据 > 从MRS导入数据到集群”章节。 4. （可选）当MRS集群的HDFS配置发生变更时，在DWS服务中，需要执行MRS数据源配置的更新操作，详情请参见下文 更新MRS数据源配置。

在云应用引擎中部署应用后，您可以通过添加公网ELB实现公网访问应用，也可以添加私网ELB实现同VPC内所有应用间互相访问。 功能入口 1. 在云应用引擎控制台左侧导航栏选择应用管理 > 应用列表 2. 在应用列表页面，单击目标应用名称，进入应用基础信息页 3. 在应用信息区域下方的应用访问设置进行配置 应用访问设置配置指引 添加私网ELB访问 在云应用引擎部署应用后，在VPC内部虽然可以通过实例的私网IP访问应用，但应用变更或重启会导致实例的私网IP发生变化。为解决上述问题，您可以为应用绑定私网ELB，实现通过一个固定的私网IP访问应用，并实现应用实例间的负载均衡。 1. 在应用访问设置区域中，选择基于ELB访问。 2. 单击添加私网ELB访问。 3. 为应用绑定私网ELB实例：您可以新建ELB实例或绑定已有ELB实例。 4. 参考以下说明，至少配置一个监听。如果您需要添加多条监听，请单击添加下一条监听。 配置项 说明 示例值 HTTP协议 HTTP端口：提供私网访问应用的ELB端口，取值范围为[1,65535]。 容器端口：进程监听端口，由程序定义。 HTTP端口 ：80 容器端口 ：8080（Web服务的默认端口） HTTPS协议 HTTPS端口：提供私网访问应用的ELB端口，取值范围为[1,65535]。 SSL证书：SSL协议证书，在下拉列表中选择已创建的SSL证书。 容器端口：进程监听端口，由程序定义。 HTTPS端口 ：443 SSL证书：在下拉列表中选择已创建的SSL证书。 容器端口 ：8080（Web服务的默认端口） TCP协议 CLB端口：提供私网访问应用的ELB端口，取值范围为[1,65535]。 容器端口：进程监听端口，由程序定义。 ELB端口 ：21 容器端口 ：8080（Web服务的默认端口） UDP协议 CLB端口：提供私网访问应用的ELB端口，取值范围为[1,65535]。 容器端口：进程监听端口，由程序定义。 ELB端口 ：49152 容器端口 ：8080（Web服务的默认端口） 5. 完成配置后，单击确定。 6. 等待ELB绑定完成，在私网访问地址区域，可以查看应用的IP地址和端口。

本节介绍了容器镜像服务:通过内网域名跨地域或从IDC环境访问容器镜像服务。 操作场景 当您需要跨地域或从IDC环境通过内网域名访问容器镜像服务时，可按以下步骤操作。 操作步骤 1.参考 内网访问 创建容器镜像服务的VPCE和对象存储的VPCE（容器镜像文件存储再对象存储，拉取镜像需要访问对象存储） 示例说明（域名和IP仅用来说明，请以实际为准）： 在华东1的VPC中为容器镜像服务创建VPCE，内网域名testregistryhuadong1.crsinternal.ctyun.cn解析至VPCE IP 192.168.0.11 为对象存储创建VPCE，内网域名huadong1internal.zos.ctyun.cn解析至VPCE IP 192.168.0.21 2.使用云间高速或云专线等产品打通网络，确保源资源池或者IDC环境能访问目标资源池的容器镜像服务 VPCE IP和对象存储的VPCE IP。注意：拉取镜像和访问对象存储都是使用域名，需要确保在访问侧可以解析容器镜像和对象存储的内网域名。 通过专线/VPN打通与华东1 VPC的网络 配置本地DNS，将容器镜像服务内网域名指向192.168.0.11，对象存储内网域名指向192.168.0.21 3.验证与使用 执行nslookup testregistryhuadong1.crsinternal.ctyun.cn确认域名解析正确 在Docker配置中指定内网镜像地址即可正常拉取镜像

本节介绍了从Oracle迁移到云数据库GaussDB 的场景说明、架构图、迁移原理、以及所解决的问题。 场景描述 本实践使用DRS的实时同步功能将本地Oracle数据库实时迁移至云数据库GaussDB 。通过全量+增量同步，实现源数据库Oracle和目标数据库GaussDB 的数据长期同步。 解决问题 企业业务高速发展，传统数据库扩容性差，迫切需要分布式化改造。 传统数据库需要自购并安装服务器、系统、数据库等软件，运维成本高、难度大。 传统数据库性能瓶颈问题，复杂查询性能较差。 如何不中断业务并且平滑的实现数据迁移。 迁移架构图 迁移原理 本次实践使用全量+增量同步功能，原理如下： 1. 全量同步阶段，先进行结构迁移，例如表、主键、唯一键的迁移。 2. 结构迁移完成后，启动增量数据抽取，以确保全量数据同步期间的增量数据完整的抽取到DRS实例。 3. 启动全量迁移任务。 4. 全量迁移完成后自动进入增量同步，从全量迁移开始抽取的位点开始回放。 5. 当增量回放全部完成后，启动比对任务进行一致性检查，支持实时比对。 6. 实时比对数据一致时，可以启动业务割接。 服务列表 虚拟私有云VPC 云数据库GaussDB 数据复制服务DRS 数据管理服务DAS

产品优势 快速构建多VPC互通网络 可以把同地域或者不同地域的VPC按需加入到一个边边网络中，快速构建多VPC间的内网互通网络。 精确路由控制 针对添加到边边网络中的VPC，可以根据网络规划需求把对应的子网在边边网络中开启路由发布。 使用限制 限制 说明 目的地址 在同一个EEN组网中所有互通的CIDR地址不能有重叠或者包含冲突，若不同VPC之间的CIDR有冲突，需要确保发布到EEN的互通CIDR之间不冲突。 EEN支持关联的网络实例类型 EEN当前只支持关联VPC网络实例。 VPC关联EEN数量 一个VPC只能关联一个EEN。 EEN的数量 一个账号下最多支持创建10个EEN。 自助开通 EEN暂未开放自助开通，如需使用，请联系您的客户经理。

PyTorch框架+IB网络 与 MPI（如 OpenMPI、MPICH 等实现）相比，PyTorch 的分布式通信默认采用 TCP 协议，其通信过程不依赖 SSH 服务端；而在大规模训练场景中，借助 InfiniBand（IB）网络，PyTorch 的节点间 AllReduce 可显著提升吞吐量。 因此，在使用 PyTorch 执行多机多卡任务时，若需借助 IB 网络优化通信性能，可预先安装 IB 相关依赖。 您可直接使用科研助手预置的 PyTorch+IB 网络运行环境镜像，简化配置流程： python ehubbc.ctcdn.cn/esxbatchcom/jupyterpytorch2.3.1cuda12.1cudnn8:ib 如需手动部署环境，可执行以下步骤安装 IB 基础依赖： python aptget update && aptget install y reinstall libibverbs1 ibverbsproviders rdmacore ibverbsutils libibverbsdev libibumaddev

属性编码 属性名称 允许值 默认值 支持在线加载 updatedRowsInTransactionThreshold 异常情况下，某一个SQL在事务中如果产生了多少行数据以上则不对此连接进行销毁，单位：行。 12147483647 1000 是 systemProtect 当性能指标达到限制时，是否打开系统过载保护。 true/false false 是 rejectAllWhenException 异常情况拒绝并销毁连接请求。 true/false false 是 requestMaxCost SQL请求最大耗时，单位：毫秒。 17200000 5000 是 requestMaxConcurrents DBProxy到MySQL间的最大并发执行请求数。 12147483647 7000 是 killConnectionsPerSecond 开启rejectAllWhenException后，每秒销毁DBProxy到存储节点最耗时连接数。 12147483647 1 是 exceptionCostThreshold 开启rejectAllWhenException后，当SQL请求的耗时在阈值以上的时候，会对其进行拦截或销毁，单位：毫秒。 17200000 200 是

前提条件 1. 已创建虚拟私有云和子网。 2. 已申请弹性云公网IP。 创建NAT网关步骤如下 1. 登录NAT网关控制台，单击“创建NAT网关”。 2. 在NAT网关创建页面，输入相关信息，选择已创建的虚拟私有云及子网（此处以vpc01为例），在确认规格信息后提交，完成创建。 3. 创建完成后，单击NAT网关名称进入详情页面，选择“添加SNAT规则”，单击“确定”完成配置。 网络限制 默认NAT访问限制：当前函数默认的NAT访问带宽在多个租户间共享，带宽小，仅适合小量调用的测试业务场景使用；如果对带宽、性能、可靠性有高要求的生产业务场景，需开启函数访问VPC，在VPC内添加NAT网关并绑定EIP，分配独占的外网访问带宽 。

计费方式变更 包周期队列暂未上线，暂不涉及与按需队列间的相互转换。 到期欠费 服务到期 • 按需计费的方式，没有期限的限制。 欠费和续费 说明 “按需计费”计费模式按小时扣费，余额不足时，无法对上一个小时的费用进行扣费，会导致欠费，系统将自动提醒用户续费。 欠费后用户不能在数据湖探索服务中提交作业，包括SQL作业，Spark作业和Flink作业。 数据湖探索服务会为用户保留其相关资源一段时间（7天）。保留期内用户续费可继续正常使用。如果在保留期内用户没有续费，数据湖探索将在保留期结束后终止服务，释放资源。 说明 在保留期中进行的续费，将先扣除所欠费用 。

本文带您熟悉创建存储库的操作步骤,帮助您快速创建存储库。 操作场景 在创建备份之前，您需要先创建一个存储库来存放备份数据，并可根据需要，访问存储库，管理和检索备份数据。 约束与限制 单个资源池节点可创建的存储库数量为10个。 单个存储库的容量为100GB 1024000GB。 操作步骤 1. 点击天翼云门户首页的“控制中心”，输入登录的用户名和密码，进入控制中心页面。 2. 在管理控制台上方点击图标，选择所需的资源池节点，以下操作选择华东华东1。 3. 在系统首页，选择“存储>云主机备份”。 4. 在控制台左侧导航栏，选择“存储库管理”。 5. 在“云主机备份”页签，点击“创建存储库”按钮。 6. 可在页面左上角切换地域，不同地域的资源之间内网不互通，请选择靠近您客户的区域，也可以降低网络时延，提高访问速度。 7. 选择是否配置云主机或暂不配置。 1. “暂不配置”表示暂时不配置云主机，可在存储库创建后再绑定。 2. “立即配置”表示立即配置云主机，需从云主机列表中选择要备份的云主机并添加至右侧的已选云主机列表中。 8. 若选择立即绑定云主机，还需至少选择一种备份方式： 1. 自动备份：将选择的云主机绑定到备份策略中，按照备份策略进行自动备份。备份策略创建详情请参考创建备份策略。 2. 立即备份：选择的云主机将立即进行手动一次性备份。 9. 在存储库页面选择付费方式。 包年/包月（预付费模式）：按照订单的购买周期进行计费，适用于能够预估资源使用周期的场景。您可以提前支付一定周期的费用，来获取额外的优惠价格。这种模式适合有长期稳定需求的用户。 按需计费（后付费模式）：根据资源实际使用时长计费，灵活性更高。您只需按照资源实际使用时长付费，费用会从您的账户余额中直接扣除。按需计费更适合资源使用时长可能有较大波动或临时性需求的用户。 10. 输入存储库名称并选择存储库容量。 存储库名称：只能由数字、字母、组成，不能以数字和开头、且不能以结尾。 存储库容量：取值范围为100GB 1024000GB，您需要提前规划存储库容量，存储库的容量不能小于备份云主机的大小。 11. 选择是否编辑标签。标签用于标识资源，可通过标签管理功能对存储库进行分类和筛选。勾选后需要输入或选择现有标签键和标签值，后续您可通过标签功能统一管理资源，具体操作可参考标签功能概述。 12. 选择企业项目。 13. 若选择包年/包月计费方式，您还需要选择创建时长和是否自动续订。 创建时长：存储库的创建时长（范围为1个月到3年）。 自动续订：若启用自动续订，则按月购买自动续订周期为1个月；按年购买自动续订周期为1年。 14. 配置完成后，点击“下一步”，进入存储库配置确认页面。 15. 如确认无误，勾选“我已阅读并同意相关协议 《 天翼云云主机备份服务协议 》”，点击“确认下单”，完成存储库创建。 16. 创建完成后，您可查看“存储库”列表，等待存储库状态变为“可用”，即完成存储库的创建。

本文为您介绍半托管模式迁移任务的创建与管理。 操作场景 通过对象存储迁移服务的控制台，创建半托管模式的迁移任务，并对半托管模式的迁移任务进行管理操作。 前提条件 您已经创建完成代理，并完成代理的部署，存在至少一个代理为“已连接”状态。 您的源端存在待迁移的数据，您已经在天翼云对象存储ZOS开通Bucket。 请确保您的业务处于空闲阶段或非高峰期，避免迁移执行时影响您的业务。 请确保您的源端数据已经解冻，并在迁移完成前保持解冻状态，避免因源端数据未解冻迁移失败。 创建半托管模式迁移任务 1. 进入“对象存储>对象存储迁移服务>迁移任务 ”控制台，选择“迁移任务列表”分页进入迁移任务列表页面，点击“创建迁移任务 ”。 注意 使用对象存储迁移服务会获取您的AK/SK等认证信息，为确保您一定知情，创建任务时会有使用提示弹窗，需要您阅读并手动勾选服务协议，进行确认。您有权不勾选服务协议，并不使用该服务，请您知悉。 2. 在创建迁移任务的页面，迁移任务模式选择“半托管迁移”，并选择执行任务的代理。填写其他任务相关参数后，点击“下一步：确认任务 ”即可。参数说明如下表： 参数 说明 任务信息 任务名称 输入自定义的任务名称。 说明： 命名规则：必须为大小写字母、数字、横线或下划线，长度在432个字符之间；自定义的任务名称不能与您已存在的任务名称重复。 迁移模式 迁移任务运行模式 选择创建迁移任务的模式，支持全托管模式和半托管模式。 说明： 全托管模式：迁移任务将在服务端执行，适合数据量在10TB以内，或对迁移耗时没有紧急诉求的客户。 半托管模式：迁移任务将运行在客户自己的设备上，客户可通过提供更高的网络带宽和更多的迁移设备，实现更高速的迁移，适合数据量在10TB以上，或对迁移耗时有明确诉求的客户。 注意： 半托管迁移模式依赖您已经部署完成代理，代理设备与迁移服务服务端连通，否则无法创建半托管模式的迁移任务。 迁移模式 选择执行本任务的代理设备 选择执行本任务的代理设备，迁移任务将会下发给指定的代理设备用于执行迁移。 说明： 仅能选择“已连接”状态的代理。 选择源端 源端 选择源端数据的服务提供方。 说明： 目前支持的源端： 支持阿里云（OSS）、华为云（OBS）、腾讯云（COS）迁移至ZOS。 支持天翼云对象存储（ZOS）、天翼云（OOS）迁移至ZOS。 支持AWS（S3）和其他遵循标准S3协议的对象存储服务迁移至ZOS。 选择源端 EndPoint Endpoint支持输入IP地址或域名。 若使用非默认端口，请输入端口号，格式为IP:Port。 注意： 腾讯云COS的Endpoint较为特殊，仅需填写region即可，例如：apbeijing、apshanghai。 选择源端 Access Key 输入您源端的Access Key。 选择源端 Secret Key 输入您源端的Secret Key。 选择源端 存储桶 输入您源端的对象存储桶名称。 选择源端 迁移方式 选择源端数据的迁移方式，支持：指定存储桶、指定文件夹、指定对象、指定前缀。 说明： 指定存储桶 ：选择“指定存储桶”时，将会迁移存储桶内的全部对象。 指定文件夹 ：选择“指定文件夹”时，将会迁移选中文件夹下的所有对象。仅支持单个文件夹。 指定对象 ：选择“指定对象”时，将会迁移选中的对象。最大支持指定100个对象。 指定前缀 ：选择“指定前缀”时，将会迁移桶中所有以该前缀开头的对象。仅支持单个前缀。 选择源端 迁移晚于起始时间的对象 选择该选项时，用户可配置“起始时间 ”，任务将仅迁移最后修改时间晚于该“起始时间 ”的对象。 选择源端 迁移早于终止时间的对象 选择该选项时，用户可配置“终止时间 ”，任务将仅迁移最后修改时间早于该“终止时间 ”的对象。 注意： 若您同时设定“起始时间 ”和“终止时间 ”，限制“终止时间 ”需晚于（不包含等于）“起始时间 ”。 选择目的端 目的端 指定为天翼云对象存储ZOS。 选择目的端 EndPoint Endpoint支持输入IP地址或域名。 若使用非默认端口，请输入端口号，格式为IP:Port。 说明： 目的端为ZOS，您可在对象存储ZOS的bucket“概览域名信息”中找到终端节点（Endpoint）信息。 选择目的端 Access Key 输入您目的端的Access Key。 选择目的端 Secret Key 输入您目的端的Secret Key。 选择目的端 存储桶 输入您目的端的对象存储桶名称。 选择目的端 目的端指定前缀 是否在目的端指定前缀： 关闭 目的端指定前缀，则会将源端数据按原有目录结构迁移至目的端存储桶。 开启 目的端指定前缀，可为迁移至目的端的对象（或文件夹）增加指定的前缀，可分为“增加前缀”和“增加前缀目录”。 说明： 增加前缀 ：若您输入的前缀不为目录，则为迁移的对象（或文件夹）增加该部分前缀。例如：指定源端桶 bucketA 的文件夹 bucketA/a/folder1 进行迁移，目的端桶为 bucketB，目的端指定前缀为 Test，则迁移至目的端后为 bucketB/Testa/folder1 。 增加前缀目录 ：若您输入的前缀为目录，则为迁移的对象（或文件夹）增加该部分前缀目录，实现将对象迁移至指定的目录下的效果。例如：指定源端桶bucketA的对象 bucketA/a/fileA.png 和 bucketA/b/fileB.png 进行迁移，目的端桶为 bucketB，目的端指定前缀为 Test/，则迁移至目的端后为 bucketB/Test/a/fileA.png 和 bucketB/Test/b/fileB.png 。 选择目的端 存储类型 选择迁移数据在目的端的存储类型，支持：匹配源端、标准存储、低频存储、归档存储。 说明： 匹配源端 ：会自动匹配源端存储类型，与源端存储类型保持一致。但仅能自动匹配源端的“标准”和“低频”类型，匹配源端的“归档”或“深度归档”类型，请您务必提前对源端归档数据进行手动解冻，并确保迁移任务完成前数据保持解冻状态，否则该部分数据会迁移失败。 标准存储 ：将会存储为标准类型。 低频存储 ：将会存储为低频类型。 归档存储 ：将会存储为归档类型。 不同地域的对象存储ZOS bucket所支持的存储类型不一致，若您此处选择的存储类型，在您的目的端bucket所在地域并不支持，则迁移会失败。您可参考对象存储ZOS产品能力地图，以便确定您的目的端对不同存储类型的支持情况。 选择目的端 ACL配置 选择迁移数据在目的端的ACL配置，支持：匹配源端、私有、公共读。 说明： 匹配源端 ：会自动匹配源端的ACL配置，与源端保持一致。 私有 ：会将目的端ACL配置为私有。 公共读 ：会将目的端ACL配置为公共读。 高级选项 同名文件是否覆盖 选择迁移的同名文件处理策略，支持：同名文件不覆盖、同名文件全覆盖、按最后修改时间判断。 说明： 不覆盖 ：对同名文件，不进行任何判断，一律执行跳过。 全覆盖 ：对于同名文件，不进行任何判断，一律执行覆盖。 按最后修改时间 ：对于同名文件，优先判断二者的Lastmodified（即最后修改时间），仅当源端文件相较目的端修改时间更新时，进行覆盖。若源端与目的端文件最后修改时间一致，则判断两者的文件大小，大小一致则执行跳过，大小不一致则执行覆盖。 注意： 选择“全覆盖 ”将会覆盖您目的端的同名文件，被覆盖的文件无法被恢复，请您配置时慎重评估是否全覆盖，避免不必要的损失。 注意 创建迁移任务的参数涉及您源端存储数据的相关信息，需要您自行在源端获取，部分信息涉及您的隐私，请注意保密。 3. 在确认任务页面，您可以再次检查填写的任务参数，确定无误后，点击“创建任务 ”，这里需要您进行二次确认，确认后即可创建任务。回到迁移任务列表页面，该任务会在列表中展示。 说明 针对半托管模式的迁移任务，创建任务后，迁移服务依赖您的代理对源端进行连通性检查，存在一定的等待时间，若创建任务失败，任务状态会变为“创建失败 请重新创建任务 ”，您可选择该状态后方的问号图标，鼠标悬停查看创建失败的具体错误信息，以帮助您检查配置参数是否有误。 4. 若迁移任务参数校验均通过，则会自动启动任务并变为“启动中 ”状态，启动成功的任务会变为“排队中 ”状态，排队等待您的代理执行任务，无需您再手动执行任务。 注意 若自动启动任务失败，您的任务会变为“已创建”状态，您依旧可以手动开始该任务。

本章主要介绍翼MapReduce的日志维护建议。 利用日志记录来帮助发现非法操作、非法登录用户等异常情况。系统对于重要业务的操作需要记录日志。通过日志文件来定位异常。 定期检查日志 定期查看系统日志，若发现有非法操作、非法登录用户等异常情况，应根据异常情况进行相应的处理。 定期备份日志 FusionInsight Manager和集群提供的审计日志记录了用户活动信息和操作信息，可通过FusionInsight Manager导出审计日志。当系统中的审计日志过多时，可通过配置转储参数，将审计日志转储到指定服务器，避免引起集群节点磁盘空间不足。 维护责任人 网络监控工程师、系统维护工程师。

操作场景 为了满足对健康检查结果的进一步具体分析，您可以在翼MR中查看以及导出健康检查的结果。 操作说明 平台健康检查的范围包含Manager服务级别的健康检查。 集群健康检查可以包含三方面检查项：各检查对象的服务状态、告警信息、以及每个组件差异化的相关指标。 前提条件 已执行健康检查。 操作步骤 1. 在集群服务页，点击健康检查报告Tab页面。 2. 在健康检查的报告面板上单击“导出报告”导出健康检查报告，下载后可本地查看检查项的完整信息，集群与主机健康检查报告导出格式均为CSV。

1、准备好资源、环境与应用 1.1、资源开通 应用容灾多活是构建在已有应用之上的管控，协同其他云产品，但不负责其他云产品的生命周期，需要您提前规划与创建。 您可以根据规划的物理架构，在指定区域或可用区提前开通与创建应用部署所需的资源与服务，例如虚拟私有云VPC 、微服务云应用平台MSAP 和弹性云主机ECS等。 1.2、网络互通 数据双活架构可能存在跨数据中心调用的场景，需要您提前打通两个数据中心之间的网络。 您可以根据选定的物理架构，选择合适粒度的网络连通方案，例如连通两个区域的云间高速 产品和连通两个VPC的对等连接产品等。 1.3、应用准备 在这个示例中，对应用的部署方式没有强制要求，可以开通弹性云主机ECS实例 自行部署应用服务，也可以开通微服务云应用平台MSAP 进行应用部署管理，本示例使用微服务云应用平台MSAP 。 还需要您开通： 关系型数据库MySQL版 实例，并结合数据传输服务DTS进行业务数据跨中心同步。 微服务引擎注册配置中心用于注册中心和管控通道。 微服务引擎云原生网关用于前端服务转发。 本示例将以上应用进行单元化改造，改造后云上部署架构如下。 图 部署架构

CTCCLSlowdetect是天翼云自研的用于大模型训练中慢节点检测的工具套件,需配合CTCCL0.4.0及以上使用。 功能介绍 CTCCLSlowdetect1.0.0工具套件架构如图所示，包括三个模块。 · ctccm：跨节点的集中式慢节点诊断工具。部署在和所有训练任务节点网络互通的节点上，每个大模型训练任务只需部署一个ctccm服务。负责收集汇总和集中发现与定位慢节点问题。 · ctcclprofilercomm：通信域级别集合通信信息统计工具。在每个训练任务所在的节点/容器内安装ctcclprofilercomm插件，在训练任务的脚本中import相关库并调用API接口使用，负责获得训练任务的通信域任务拓扑，以及收集通信域级别的超时集合通信操作事件，提供给ctccm进行慢节点分析诊断。 · ctcclprofilernet：机间通信边缘诊断工具。在每个训练任务所在的节点/容器内部署ctcclprofilernet服务，每个训练任务节点都需要部署1个独享的ctcclprofilernet服务。负责在边缘处理与初步诊断机间通信数据。 在大模型训练任务中使用CTCCLSlowdetect1.0.0工具套件，能够实现大模型训练过程中通信原因与非通信原因的慢节点检测。在发现集群中慢节点存在时，自动化开启全量集合通信操作事件监控，进一步分析定位慢节点。

本章节介绍应用服务网格CSM产品定义 什么是应用服务网格CSM？ 天翼云应用服务网格（CSM）提供基于Sidecar技术的无侵入式服务治理能力，兼容开源istio服务网格，并基于开源实现做了功能增强，提供了丰富的流量治理、安全管控和观测能力，满足多语言、技术栈应用统一治理的需求，降低业务接入门槛。 核心功能 网格全生命周期管理：一键创建、销毁网格实例、网格规格扩容，支持日志、链路、指标等自动化配置；实现Sidecar定制化配置，支持Sidecar注入策略及Sidecar代理配置能力。 流量治理能力：支持原生的istio流量治理能力，并提供了本地限流、流量打标、全链路灰度等高阶治理能力；无缝对接云容器引擎，实现多集群统一治理。 可观测及安全策略：支持数据面指标监控，提供控制面和数据面日志及链路追踪能力；支持全链路加密通信，请求认证授权，集成外部授权服务和OPA策略引擎，支持控制台API操作审计。 应用服务网格CSM的核心功能说明如下。更多信息，请参见用户指南。 功能项 说明 相关文档 网格管理 网格可观测、OPA配置等配置能力，全局命名空间管理。 网格管理 sidecar管理 sidecar注入策略配置，sidecar代理配置。 sidecar管理 集群与工作负载管理 ServiceEntry管理，多集群管理。 集群与工作负载 流量治理 提供多集群治理能力，支持基于istio CRD的流量治理，以及扩展的高阶治理能力。 流量管理中心 安全策略 一键开启mTLS安全链路，支持丰富的请求认证和授权策略，支持使用外部授权服务对网格内的服务进行访问授权，支持一键集成OPA策略引擎。 网格安全中心 可观测管理 指标监控，数据面、控制面日志监控能力。 可观测管理中心 网格优化 sidecar资源管理，服务发现范围配置以及自适应配置分发配置。 网格优化中心 网关 ingress、egress网关生命周期管理。 网关

此章节为您介绍数据库审计用户管理相关的功能。 用户管理主要是指对用户权限及用户认证等进行管理。包括用户管理、远程认证配置、角色管理、用户安全配置以及授权数据库。 角色管理 角色可以看作是具有相同权限的用户的集合。系统将权限分配给角色，然后为用户指定角色。配置用户时通过设定用户所属角色，限制用户的操作权限范围。 用户的操作权限包括菜单显示和功能权限。只有赋予操作权限，用户才能进行相应的操作。 创建角色操作步骤 1.在菜单栏选择“系统管理 > 用户管理”，选择“角色管理”页签，进入“角色管理”页面。 2.单击“添加”进入“新增角色”页面，编辑名称（必须为中文字符、字母、数字、下划线“”、点“.”或短横“”，长度不超过64字符），选择权限后，单击“保存”。 用户管理 添加角色后即可增加该角色的用户。 系统内置了以下四个默认用户： 说明 admin初始密码请联系天翼云技术支持获取。 admin：超级管理员，具备系统所有权限。系统只有一个超级管理员。 security：具备安全管理员权限，可配置数据库与规则、查看各类告警报告、管理安全员。 system：具备系统管理员权限，进行系统权限的配置和维护。 audit：具备审计管理员权限，查看其他用户的操作日志、管理审计员。 添加用户操作步骤 1.在左侧菜单栏选择“系统管理 > 用户管理”进入“用户管理”页面，单击“添加用户”。 2.进入添加用户页面，编辑相关信息，完成后单击“保存”。 配置项 说明 用户名 必须为中文字符、字母、数字、下划线“”、点“.”或短横“”，最大长度64字符。 启用 单击“启用”后的开关，设置添加用户后是否立即启用用户。 角色 指定用户角色，包括内置角色和用户自定义角色，必填。 密码/确认密码 创建并确认新建用户的登录密码。密码长度6~64位，当启用强密码功能后需符合密码强度要求。修改密码时新旧密码不能相同。 手机号 设置用户的手机号。 邮箱 设置用户的邮件地址。 认证方式 用户登录系统时的认证方式。 登录IP/MAC限制 对用户登录系统时使用的IP/MAC进行限制。包括不限制、黑名单和白名单三种模式。 登录时间限制 限制用户登录系统的时间。

本文介绍访问URL重定向功能及其配置说明。 功能介绍 当客户源站的内容存放路径发生了变更，全站加速节点上的内容存放路径也发生了变更，但是用户请求URL里面包含的内容路径没有变更时，需要全站加速节点改写用户请求里面的内容路径。技术实现方式是通过响应302状态码重定向的方式，让客户端取302响应里面的Location的新URL，重新向全站加速节点发起访问，确保用户能获得正确的内容。例如：文件a.mp4原先存放在目录“/stream/”下，现在变更为“/vod/”，此时可通过天翼云全站加速的访问URL重定向功能，实现用户访问 注意事项 该功能依赖客户端支持访问跳转后的内容。 配置说明 1. 登录客户控制台。 2. 单击左侧导航栏【域名管理】【域名列表】。 3. 在【域名列表】页面，找到目标域名，单击【操作】列的【编辑】。 4. 单击右侧【高级配置】。 5. 在【访问URL重定向】模块，单击【增加规则】，根据需求填写配置。 6. 单击【保存】，完成配置。 参数名 配置值 说明 类型 后缀名/目录/首页/全部文件/全路径文件 需要配置的文件类型。 内容 指定类型的具体内容 类型选择后缀名、目录、全路径文件时，需配置具体内容；例如类型为后缀名时，需在内容处指明具体的文件后缀；如类型为目录时，需在内容处指明具体的目录内容。 待改写PATH 以/开头的PATH，不含 例如：^/qpdxv/(.) 目标PATH 以协议://域名开头的PATH，其中协议可为http/https（scheme），支持PCRE正则表达式 比如常用$1,$2来捕获待改写PATH中圆括号内的字符串，目标PATH值可设置为例如：$scheme://ctyun.cn/videos/$1 跳转状态码 301/302 响应301或者302状态码 优先级 数字 配置的优先级，存在多条设置时，相同文件类型及内容，执行优先级高的规则。

本文介绍可以支持客户自定义的回源场景和配置方法。 功能介绍 源站配置模块支持客户自定义源站。支持IP或域名，支持配置天翼云媒体存储和天翼云对象存储作为源站；支持配置多个源站地址，多源站场景下，支持设置源站的主备优先级和权重，实现负载均衡。 回源场景 功能简介 配置入口 多层级主备及权重回源 客户有多个源站时，支持多主多备，及按不同权重回源。 客户控制台域名管理域名列表回源配置源站配置。 动态回源策略 如果您的加速域名有多个源站，可以配置合适的回源策略来实现不同的效果。动态回源策略支持择优回源、按权重回源、保持登录三种回源方式。 详见：动态回源策略 区分地区、运营商回源 支持分地区、运营商回源。 通过提交工单，由天翼云客服人工配置。 区分IPv4/IPv6协议回源 支持分IPv4/IPv6协议回源。 通过提交工单，由天翼云客服人工配置。 配置说明 1. 登录客户控制台。 2. 单击左侧导航栏【域名管理】【域名列表】。 3. 在【域名列表】页面，找到目标域名，单击【操作】列的【编辑】。 4. 单击右侧【回源配置】。 5. 在【源站】模块，单击【添加源站】。 6. 根据需求填写配置。 7. 单击【保存】，完成配置。 参数名 说明 源站类型 可选择IP或域名/媒体存储源站/对象存储源站。媒体存储源站和对象存储源站不可同时配置，且只能配置一个媒体存储源站/对象存储源站。 源站 即源站地址，支持IP或域名。 层级 支持主或备。 权重 即回该源站的权重值。 指定源站回源HOST 回源HOST决定了回源请求访问到源站的哪个站点。当不同源站使用不同回源HOST时，需通过“指定源站回源HOST”进行设定。 操作 可删除源站配置。

本章节将介绍mongodump和mongorestore工具的使用方法 mongodump和mongorestore是MongoDB客户端自带的备份恢复工具。您可以在本地设备或ECS中安装MongoDB客户端，通过mongodump和mongorestore工具将自建MongoDB数据库或其他云数据库MongoDB迁移至天翼云DDS实例。 使用须知 mongodump和mongorestore工具仅支持全量数据迁移。为保障数据一致性，迁移操作开始前请停止源数据库的相关业务，并停止数据写入。 建议您尽量选择在业务低峰期迁移数据，避免在迁移过程中对业务造成影响。 不支持迁移系统库admin和local。 确保源库中系统库admin和local没有创建业务集合，如果已经有业务集合，必须在迁移前将这些业务集合从admin和local库中迁移出来。 导入数据之前，确保源端有必要的索引，即在迁移前删除不需要的索引，创建好必要的索引。 如果选择迁移分片集群，必须在目标库创建好要分片的集合，并配置数据分片。同时，迁移前必须要创建好索引。 如果使用mongodump工具备份失败（示例：备份进度至97%时报错），建议您尝试增大虚拟机磁盘空间，预留部分冗余空间，再重新执行备份。 客户侧使用的是rwuser帐号，仅支持操作客户业务库表。所以，在使用时建议指定库和表，仅对业务数据执行导入导出。不指定库表，全量进行导入导出，可能会遇到权限不足的问题。 前提条件 准备弹性云服务器或可访问DDS的设备。 − 通过内网连接文档数据库实例，需要创建并登录弹性云服务器，请参见创建弹性云服务器和登录弹性云服务器。 − 通过公网地址连接文档数据库实例，需具备以下条件。 为实例中的节点绑定公网地址，保证本地设备可以访问文档数据库绑定的公网地址。 在已准备的弹性云服务器或可访问DDS的设备上，安装数据迁移工具。 安装数据迁移工具，请参见如何安装MongoDB客户端。 说明 MongoDB客户端会自带mongodump和mongorestore工具。 MongoDB客户端版本须和实例相匹配，若版本不匹配则会有兼容性问题出现。

参数 说明 备份周期 自动备份频率。可设置为每周的某一天或者某几天，按实际需要适当增加备份频率。 保留天数 备份数据保存期限。保存天数可选1~7，超过期限后，备份数据将被永久删除，无法用来恢复实例。 开始时间 自动备份任务执行时间。时间格式：00:0023:00间的任意整点时间。 每小时检查一次备份策略，如果符合备份策略设置的开始时间，则执行备份操作。 说明 实例备份大约耗时530分钟，备份期间发生的数据新增或修改记录，将不会保存到备份数据中。为了尽量减少备份对业务的影响，备份开始时间建议设置在业务交易较少的时间段。实例只有处于“运行中”状态时，系统才对其执行数据备份。

本节主要介绍分布式缓存服务Redis的数据保护技术 天翼云分布式缓存服务Redis通过多种数据保护手段和措施，保障您在Redis实例上的数据的安全性。 容灾 您在创建Redis缓存实例时，可根据对数据与服务的不同可靠性要求，选择部署在单可用区内（单机房），或者跨可用区（同城灾备）。目前跨可用区在华东1、华南2支持跨可用区部署。具体请参考容灾策略。 副本冗余 当您创建标主备、集群主备、Cluster主备Redis实例后，实例将会采用主备节点的部署方式，副节点通过增量数据同步的方式来保持缓存数据一致，当网络发生异常或节点故障时，通过主备自动故障切换满足服务连续性，并且故障恢复后进行一次全量同步，保持数据一致性。具体请参考主备介绍、集群主备介绍、Cluster主备介绍。 数据持久化 在日常业务系统运行中，可能会发生一些小概率异常事件。对于那些对可靠性要求极高的业务系统而言，除了需要确保缓存实例的高可用性外，还要求对缓存数据进行安全保护、可恢复性处理，甚至要求永久保存数据备份。这样在缓存实例出现异常情况时，可以使用备份数据进行恢复，从而确保业务的正常运行。天翼云分布式缓存Redis深度优化持久化内核机制，提供 RDB+AOF 快照流水的持久化落盘方式，在提供高速数据读写能力的同时满足数据持久化需求。数据自动备份，数据容灾能力强，支持一键备份和恢复。具体备份与还原操作请参考实例备份恢复管理。

本章节主要介绍翼MapReduce的创建恢复任务操作。 操作场景 FusionInsight Manager支持在界面上创建恢复任务，运行恢复任务将把指定的备份数据恢复到集群中。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“运维 > 备份恢复 > 恢复管理 > 创建”。 3. 设置“任务名称”。 4. 设置“恢复对象”为“OMS”或需要恢复数据的集群。 5. 在“恢复配置”指定需要恢复的数据。 支持恢复元数据和业务数据。 各组件不同数据的恢复任务操作请参考备份恢复管理。 6. 单击“确定”保存。 7. 在恢复任务列表，可以查看刚创建的恢复任务。 在指定的恢复任务“操作”列，单击“执行”，可以立即运行恢复任务。

本章节主要介绍翼MapReduce的登录管理系统操作。 操作场景 该任务指导用户在Manager安装完成后使用帐号登录FusionInsight Manager。 操作步骤 1. 获取FusionInsight Manager的网络地址。 2. 打开页面后，输入系统用户和密码。 3. 新用户登录需要修改密码。 用户密码策略： 密码字符长度必须为8～64个字符。 至少需要包含大写字母、小写字母、数字、空格、特殊字符~!@$%^&()+[{}];', /?中的4种类型字符。 不可和用户名相同或用户名的倒序字符相同。 不可与当前密码相同。 4. 将光标移动到FusionInsight Manager右上角的，在弹出窗口中单击“注销”，单击“确定”后可退出当前登录用户。

本节介绍在翼加密客户端的脱密审批流程 有脱密申请审批权限的用户，客户端首页会有脱密审批入口。并且，当审批人接收到新的脱密申请时，右下角消息中心将会弹出提示。审批人点击消息可以快速打开脱密审批详情页进行审批处理。 审批人打开打开审批详情页，可下载查看申请脱密的文件，进行脱密审批。

本章节主要介绍翼MapReduce的查询FusionInsight Manager版本号操作。 管理员通过查看FusionInsight Manager版本号，可以进行下一步的系统升级及日常维护操作。 界面方式 登录FusionInsight Manager，在主页界面，单击右上角的，在下拉框中单击“关于”，在弹框中查看FusionInsight Manager版本号。 命令方式 a. 以root用户登录FusionInsight Manager主管理节点。 b. 执行如下命令，查看FusionInsight Manager的版本号及平台信息。 su omm cd ${BIGDATAHOME}/omserver/om/sbin/pack ./queryManager.sh 显示如下： Version Package Cputype FusionInsightManager x8664 说明 表示版本号，具体以实际查询的版本号为准。

高安全性 利用SASL机制对用户身份进行认证，并利用SSL对通道进行加密传输，确保数据在传输过程中不被窃取或篡改，保证您的数据安全。还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 Kafka是一个分布式流处理平台，为了保证数据的高安全性，它提供了以下几个方面的功能和特性： 认证与授权：Kafka支持基于SSL认证，可以验证客户端和服务器之间的身份。同时也支持基于ACL（访问控制列表）的细粒度授权，可以控制哪些用户可以读写指定的topic。 SSL加密传输：Kafka可以通过SSL对消息进行加密传输，确保数据在网络传输过程中的机密性和完整性。 完全控制数据的访问：对于每个topic，可以定义不同的ACL，限制不同用户或者用户组的读写权限。这样可以确保只有授权的用户能够访问指定的数据。 可靠性 Kafka通过持久化存储、复制机制、可配置的数据保留策略、故障检测和自动恢复、缓存机制以及节点间数据同步等功能，提供了高度可靠的消息传递和存储机制。 持久化存储：Kafka使用日志数据结构来存储消息，并将消息写入磁盘上的文件中。这种持久化存储方式确保了消息在发生故障或崩溃时不会丢失。一份消息多份落盘存储，允许海量消息堆积。 复制机制：Kafka通过复制机制提供高可用性和容错能力。它使用主题分区的副本来在多个服务器上复制消息。当其中一个服务器出现故障时，副本可以继续为消费者提供服务。 可配置的数据保留策略：Kafka允许根据特定的需求配置数据保留策略。您可以设置消息在特定时间段或特定大小后删除，或者保留所有消息。这使得您可以根据存储资源和业务需求来管理数据。 故障检测和自动恢复：Kafka具有内置的故障检测和自动恢复机制。当发生故障时，Kafka可以自动检测到并尝试重新连接断开的节点，确保整个集群的正常运行。 缓存机制：Kafka使用缓存来提高读写性能。消息首先被写入内存中的缓存，然后批量写入磁盘。这种缓存机制可以提高吞吐量，并减少对磁盘的频繁访问。 节点间数据同步：Kafka使用分布式的数据同步协议来保证消息在副本之间的一致性。这确保了在故障和服务恢复期间的数据完整性。

本章节介绍故障演练服务中创建VPC终端节点相关功能。 概述 在为弹性云主机 和云容器引擎 安装探针之前，需要先建立故障演练服务控制面与目标实例间的网络连通性，具体是通过创建VPC终端节点实现。 创建步骤 1. 登录VPC终端节点控制台。 2. 单击左侧菜单栏终端节点 ，点击页面右上角创建终端节点。 3. 服务类型 选择按服务实例ID查找服务。 4. 可用服务 中，填入故障演练专属服务实例ID （见下表），点击验证。 5. 虚拟私有云 选择目标故障演练资源所属VPC ，子网选择目标资源相关的子网。 6. 点击下一步确认订单 ，开通VPC终端节点。 服务列表 资源池 服务实例ID 服务实例名称 华东1 endpserjraeobv2mr vpcectgchaosserverhd1 西南1 endpserh1ti3dqy70 vpcectgchaosserverxn1 华北2 endpser1k6c0s0fdc vpcectgchaosserverhb2 西安7 endpserq2im8cy7tj vpcectgchaosserverxa7

服务名称 交互功能 虚拟私有云（Virtual Private Cloud, VPC） 您可以将VPC接入企业路由器，快速打通云上网络，尤其对于多个VPC互通的组网，免去大量的对等连接配置。 统一身份认证服务（Identity and Access Management, IAM） 针对位于公有云上的企业路由器资源，您可以通过IAM进行精细的权限管理，即为不同的用户设置不同的使用权限，权限管理有助于实现资源的安全管控。 云监控（Cloud Eye） 使用云监控可以监控企业路由器实例以及企业路由器连接的网络情况，并对异常进行报警，保证业务的顺畅运行。 云审计服务（Cloud Trace Service, CTS） 使用云审计服务可以记录与企业路由器相关的操作事件，便于日后的查询、审计和回溯。 云防火墙（Cloud Firewall，CFW） 您可以通过企业路由器、虚拟私有云VPC和云防火墙构建组网，实现云上VPC间的流量防护。

本节主要介绍概述 一次完整的实时同步，是通过创建实时同步任务，以同步任务作为导向，依次进行同步进度观察、同步日志分析、同步数据一致性对比等多项操作。通过多项指标和数据的对比分析，可以帮助您实现不同业务系统间的数据实时同步。 一次完整的实时同步包含如下过程： 图 实时同步流程 步骤一：创建同步任务。根据需要，选择源和目标数据库，创建同步任务。 步骤二：查询同步进度。同步过程中，可以通过查看同步进度了解实时同步的完成情况。 步骤三：查看同步日志。同步日志包含告警、错误和提示等类型的信息，可根据此类信息分析系统存在的问题。 步骤四：对比同步项。实时同步提供对比功能，可根据需要查看对象级对比、数据级对比等，来确保源和目标数据库的数据一致性。

参数 描述 虚拟私有云 文档数据库实例所在的虚拟专用网络，可对不同业务进行网络隔离，方便地管理、配置内部网络，进行安全、快捷的网络变更。您需要创建或选择所需的虚拟私有云。说明： 实例创建完成后不支持切换虚拟私有云，请谨慎选择所属虚拟私有云。 子网 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 实例创建成功后，可以修改子网分配的内网地址，具体请参见 安全组 安全组限制安全访问规则，加强文档数据库服务与其它服务间的安全访问。 说明 请确保所选取的安全组允许客户端访问数据库实例（如协议选择为TCP，方向选择为入方向，端口设置为8635，源地址设置为实例所属子网或所属安全组）。