本节主要介绍OOS与其他服务的关系。 云存储网关 用户可以使用云存储网关将本地数据上传到OOS，云存储网关通过标准 iSCSI 协议提供块存储服务，帮助用户将全量数据自动同步到OOS中，实现存储空间的弹性扩展。 CDN OOS提供低成本的存储，CDN可以将网站、视频和应用等文件内容分发至用户附近的节点，使用户可以快速和安全地获取所需内容。将数据存放在OOS中然后通过配置CDN加速，可以帮助降低存储成本，同时提高用户体验。

本节介绍了云数据库TaurusDB的权限管理。 IAM权限管理 如果帐号已经能满足您的要求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用TaurusDB的其他功能。 如果您需要对购买的TaurusDB资源，为企业中的员工设置不同的访问权限，为达到不同员工之间的权限隔离，您可以使用统一身份认证服务 （Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制资源的访问。 通过IAM，您可以在帐号中给员工创建IAM用户，并授权控制员工对资源的访问范围。例如您的员工中有负责软件开发的人员，您希望开发人员拥有TaurusDB的使用权限，但是不希望拥有删除TaurusDB等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用TaurusDB，但是不允许删除TaurusDB的权限，控制开发人员对TaurusDB资源的使用范围。 IAM是提供权限管理的基础服务，无需付费即可使用，您只需要为您帐号中的资源进行付费。 TaurusDB权限 默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 TaurusDB部署时通过物理区域划分，为项目级服务。授权时，“作用范围”需要选择“区域级项目”，然后在指定区域对应的项目中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问TaurusDB时，需要先切换至授权区域。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对云数据库TaurusDB，管理员能够控制IAM用户仅能对某一类数据库资源进行指定的管理操作。 如下表所示，包括了云数据库TaurusDB的所有系统权限。 表 TaurusDB系统权限 策略名称 描述 类别 GaussDB FullAccess 云数据库TaurusDB服务的所有执行权限。 系统策略 GaussDB ReadOnlyAccess 云数据库TaurusDB服务的只读访问权限。 系统策略 下表列出了云数据库TaurusDB常用操作与系统权限的授权关系，您可以参照该表选择合适的系统权限。 表 常用操作与系统权限的关系 操作 GaussDB FullAccess GaussDB ReadOnlyAccess 创建TaurusDB实例 支持 不支持 删除TaurusDB实例 支持 不支持 查询TaurusDB实例列表 支持 支持 表 常用操作与对应授权项 操作名称 授权项 备注 修改参数模板 gaussdb:param:modify 变更数据库实例的规格 gaussdb:instance:modifySpec 创建数据库实例 gaussdb:instance:create 界面选择VPC、子网、安全组需要配置：vpc:vpcs:listvpc:vpcs:getvpc:subnets:getvpc:securityGroups:get创建加密实例需要在项目上配置KMS Administrator权限。创建包周期实例需要配置CBC权限：bss:renewal:viewbss:renewal:updatebss:balance:viewbss:order:view 创建手动备份 gaussdb:backup:create 查询备份列表 gaussdb:backup:list 查询错误日志 gaussdb:log:list 重启实例 gaussdb:instance:restart 查询数据库实例列表 gaussdb:instance:list 创建参数模板 gaussdb:param:create 删除参数模板 gaussdb:param:delete 修改备份策略 gaussdb:instance:modifyBackupPolicy 查看参数模板 gaussdb:param:list 删除实例 gaussdb:instance:delete 删除手动备份 gaussdb:backup:delete 查询项目标签 gaussdb:tag:list 应用参数模板 gaussdb:param:apply 批量添加删除项目标签 gaussdb:instance:dealTag 变更配额 gaussdb:quota:modify 升级数据库实例版本 gaussdb:instance:upgrade 只读升主 gaussdb:instance:switchover 修改数据库端口 gaussdb:instance:modifyPort 修改实例安全组 gaussdb:instance:modifySecurityGroup 修改读写内网地址 gaussdb:instance:modifyIp 界面选择ip需要配置：vpc:vpcs:listvpc:vpcs:get 开启、关闭SSL gaussdb:instance:modifySSL 修改实例名称 gaussdb:instance:rename 添加只读节点 gaussdb:instance:addNodes 删除只读节点 gaussdb:instance:deleteNodes 修改存储空间 gaussdb:instance:modifyStorageSize 修改数据库实例密码 gaussdb:instance:modifyPassword 绑定公网IP gaussdb:instance:bindPublicIp 界面列出公网IP需要配置：vpc:publicIps:getvpc:publicIps:list 解绑公网IP gaussdb:instance:unbindPublicIp 修改监控策略 gaussdb:instance:modifyMonitorPolicy 修改节点倒换优先级 gaussdb:instance:modifySwitchoverPriority 修改可维护时间窗 gaussdb:instance:modifyMaintenanceWindow 节点隔离 gaussdb:instance:isolateNodes 创建数据库用户 gaussdb:user:create 删除数据库用户 gaussdb:user:delete 修改数据库用户密码 gaussdb:user:modify 查询数据库用户 gaussdb:user:list 数据库用户授权 gaussdb:user:grantPrivilege 回收数据库用户权限 gaussdb:user:revokePrivilege 创建数据库 gaussdb:database:create 删除数据库 gaussdb:database:delete 查询数据库列表 gaussdb:database:list

参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 基本参数 自动创表 只有当源端为关系数据库时，才有该参数。表示写入表数据时，用户选择的操作： 不自动创建：不自动建表。 不存在时创建：当目的端的数据库没有“表名”参数中指定的表时，CDM会自动创建该表。如果“表名”参数配置的表已存在，则不创建，数据写入到已存在的表中。 先删除后创建：CDM先删除“表名”参数中指定的表，然后再重新创建该表。 当选择在DWS端自动创表时，DWS的表与源表的字段类型映射关系见在DWS端自动建表时的字段类型映射。 不自动创建 基本参数 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 table 基本参数 是否压缩 导入数据到DWS且选择自动创表时，用户可以指定是否压缩存储。 否 基本参数 存储模式 导入数据到DWS且选择自动创表时，用户可以指定存储模式： 行模式：表的数据将以行式存储，适用于点查询（返回记录少，基于索引的简单查询），或者增删改比较多的场景。 列模式：表的数据将以列式存储，适用于统计分析类查询（group、join多的场景），或者即席查询（查询条件不确定，行模式表扫描难以使用索引）的场景。 行模式 基本参数 导入模式 导入数据到DWS时，用户可以指定导入模式： COPY模式，源数据经过管理节点后，复制到DWS的DataNode节点。 UPSERT模式，数据发生主键或唯一约束冲突时，更新除了主键和唯一约束列的其他列数据。 COPY 基本参数 导入开始前 导入数据前，选择是否清除目的表的数据： 不清除：写入数据前不清除目标表中数据，数据追加写入。 清除全部数据：写入数据前会清除目标表中数据。 清除部分数据：需要配置“where条件”参数，CDM根据条件选择性删除目标表的数据。 清除部分数据 基本参数 where条件 “导入开始前”参数选择为“清除部分数据”时配置，配置后导入前根据where条件删除目的表的数据。 age > 18 and age < 60 基本参数 约束冲突处理 当迁移数据出现冲突时的处理方式。 insert into：当存在主键、唯一性索引冲突时，数据无法写入并将以脏数据的形式存在。 replace into：当存在主键、唯一性索引冲突时，会先删除原有行、再插入新行，替换原有行的所有字段。 on duplicate key update，当存在主键、唯一性索引冲突时，目的表中约束冲突的行除开唯一约束列的其他数据列将被更新。 insert into 基本参数 loader线程数 每个loader内部启动的线程数，可以提升写入并发数。 说明 不支持“约束冲突处理”策略为“replace into”或“on duplicate key update”的并发场景。 1 高级参数 先导入阶段表 如果选择“是”，则启用事务模式迁移，CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中，导入失败则将目的表回滚到作业开始之前的状态。 默认为“否”，CDM直接将数据导入到目的表。这种情况下如果作业执行失败，已经导入到目标表中的数据不会自动回滚。 说明 如果“导入开始前”选择“清除部分数据”或“清除全部数据”，CDM的事务模式不会回滚已经删除的数据。 否 高级参数 扩大字符字段长度 选择自动创表时，迁移过程中可将字符类型的字段长度扩大为原来的3倍，再写入到目的表中。如果源端数据库与目的端数据库字符编码不一样，但目的表字符类型字段与源表一样，在迁移数据时，可能会有出现长度不足的错误。 应用场景主要是将有中文内容的字符字段导入到DWS时，需要自动将字符长度放大3倍。 在导入中文内容的字符到DWS时，如果作业执行失败，且日志中出现类似“value too long for type character varying”的错误，则可以通过启用该功能解决。 说明 当启动该功能时，也会导致部分字段消耗用户相应的3倍存储空间。 否 高级参数 使用非空约束 当选择自动创建目的表时，如果选择使用非空约束，则目的表字段的是否非空约束，与原表具有相应非空约束的字段保持一致。 是 高级参数 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create temp table 高级参数 导入后完成语句 执行任务之后执行的SQL语句，目前仅允许执行一条SQL语句。 merge into

本文介绍了RDSPostgreSQL设置跨域备份策略。 RDSPostgreSQL提供了跨域备份功能，可以自动将数据备份到另一个地域，用于容灾恢复。 注意 跨域备份默认关闭，需要您手动开启。 只有在备份空间类型为对象存储的实例才支持跨域备份。 跨域备份不影响默认备份，两者同时存在（本地备份复制到另一个地域上）。 开启跨域备份之后，默认备份完成后就会触发跨域备份，即将本地备份数据转存到另一个地域上。 跨域备份保留时间为7365天，默认7天，此保留时间和默认备份的保留时间相互独立。 开启跨域备份 1. 点击控制中心，进入控制中心后，选择目标资源池。 2. 在产品列表页面中找到【数据库】→【关系数据库PostgreSQL版】，点击进入控制台。 3. 在左侧菜单中点击【PostgreSQL】→【实例管理】，点击进入产品实例管理页。 4. 在【实例管理】的实例列表中选择目标实例，点击指定的实例，进入单个实例管理详情页。 5. 点击“备份恢复”页签，进入备份恢复功能页面。 6. 点击“备份策略”页签，点击“跨域备份”旁边的“编辑”，进行跨域备份策略设置。 7. 根据您的需求，选择目标地域和跨域备份保留时长。 参数介绍 参数 说明 跨域备份 是否开启跨域备份。 备份地域 存储备份数据的目标地域。 备份保留时长 目标地域保留备份数据的时间，取值：7365天。 跨地域日志备份 是否同步wal日志，默认关闭，用于跨域基于时间点恢复（跨域基于时间点恢复功能暂不支持）。 注意 不同资源池因IaaS资源能力等原因，加载版本有所差异，操作步骤有细微差异，请以实际界面为准，功能加载情况详见 如需使用跨域备份功能，请提交工单申请。

本章节主要介绍DataArts Studio的开发一个DLI Spark作业流程。 在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时，大部分时间会使用SQL对数据进行分析处理，有时候处理的逻辑特别复杂，无法通过SQL处理，那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何在数据开发模块中提交一个Spark作业。 操作流程如下： 1. 创建DLI集群，通过DLI集群的物理资源来运行Spark作业。 2. 获取Spark作业的演示JAR包，并在数据开发模块中关联到此JAR包。 3. 创建数据开发模块作业，通过DLI Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS，并创建桶，例如“obs://dlfexample”，用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI，并创建Spark集群“sparkcluster”，为Spark作业提供运行所需的物理资源。 获取Spark作业代码 本示例使用的Spark作业代码来自maven库，此Spark作业是计算π的近似值。 1. 获取Spark作业代码JAR包后，将JAR包上传到OBS桶中，存储路径为“obs://dlfexample/sparkexamples2.101.1.1.jar”。 2. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 选择数据开发 3. 在数据开发主界面的左侧导航栏，选择“配置管理 > 资源管理”。单击“新建资源”，在数据开发模块中创建一个资源关联到步骤1的JAR包，资源名称为“sparkexample”。 创建资源

本章主要介绍翼MapReduce的备份HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HBase任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 HBase的“fs.defaultFS”配置参数需要与Yarn、HDFS的配置保持一致。 如果HBase数据存储在本地HDFS，支持将HBase元数据备份到OBS。如果HBase数据存储在OBS，则不支持数据备份。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。

本节介绍了全量数据恢复：恢复到指定时间点的操作场景、约束限制、操作步骤等相关内容。 操作场景 关系型数据库服务支持使用已有的自动备份，恢复实例数据到指定时间点。 实例恢复到指定时间点，会从OBS备份空间中选择一个该时间点最近的全量备份下载到实例上进行全量恢复，再重放增量备份到指定时间点，恢复时长和实例的数据量有关，平均恢复速率为80MB/s。 功能说明 类别 说明 恢复范围 恢复整个实例。 恢复后实例数据 恢复后实例数据与用于恢复的“全备文件+增备文件”中的数据一致。 恢复到新实例会为用户重新创建一个和该时间点数据相同的实例。 恢复的时间点 可以恢复到全量备份保留时间内，最早的一个全量备份之后的任意时间点内的数据。 恢复类型 恢复到新实例 恢复到新实例各配置项 新实例的数据库引擎和数据库版本，自动与原实例相同。 其他参数需要重新配置。 恢复时长 恢复时长和实例的数据量有关，平均恢复速率为80MB/s。 约束限制 请勿在RDS for MySQL实例的生命周期内执行“reset master”命令，以免造成恢复到指定时间点功能异常。 恢复到新实例时，原实例备份存在大事务有可能会导致恢复失败，如果恢复失败请提交工单处理。 如果实例启用了“SQL限流”功能，不同恢复场景的限制如下： − 恢复到新实例：5.7版本原有的SQL限流规则都会失效，5.6和8.0会保留原实例的限流规则。 − 恢复到当前实例：当前实例的SQL限流规则都会恢复到备份所在的时间点。 − 恢复到已有实例：5.7版本目标实例的SQL限流规则全部失效，5.6和8.0原实例的规则会覆盖目标实例规则。

本节主要介绍云存储网关的产品优势。 易用即装即用 高度优化的压缩安装包，只需3个命令即可安装在Linux操作系统上，从安装包解压到集群初始化不超过3分钟。云存储网关与通用64位x86服务器和ARM服务器上的主流Linux操作系统兼容。 成本利用率高 兼容主流Linux操作系统，支持和其他应用混合部署，支持异构硬件部署，支持自动精简配置，显著提高了资源利用率，降低使用成本。 安全稳定可靠 支持多副本和纠删码数据冗余保护机制，多种异常情况下确保数据不丢，并且保持数据一致性，可以承载企业核心业务数据；通过传输加密、监控告警、配置备份等最大程度实现安全保障。 高可用业务永续 可达秒级故障切换速度，实现不中断会话的故障转移，媲美传统高端存储，单节点故障不影响可用性，确保企业核心应用724永续。 快速读写延迟低 采用分布式双控架构，提升读写性能，延迟极低。同时优化了数据重建流程，避免性能瓶颈，快速响应企业的核心应用。 上云弹性扩展 可作为本地与云端存储之间的桥梁，利用天翼云对象存储（经典版）I型（ObjectOriented Storage，OOS）提供的PB级弹性存储空间能力，实现大规模横向扩展，将全量数据自动同步到OOS中，本地仅保留热数据以节省本地存储空间，或者保留全量数据以保障本地I/O性能，实现混合云存储。

约束与限制 文件存储与主机须归属相同的VPC及子网。文件存储绑定VPC及子网操作参考上一步的“绑定、解绑VPC子网”。 并行文件存储需要安装专用客户端。 操作步骤 1. 登录主机。以物理机为例，具体参考"裸金属"的登录操作。 2. 安装专用客户端。 客户端存储在机器的内网中，需要下载安装。不同内核版本（可通过uname r命令查看内核版本）的操作系统，对应客户端及下载地址不一样，具体如下： 类型 操作系统 内核版本 架构 安装包 裸金属 Ctyunos 23.1.2 5.10.0136.12.0.88.ct13.x86 64 amd yrfsclient7.2.0.4.d2b88de2kernel.5.10.0136.12.0.88.ctl3.x8664.oe22.noarch.rpm 裸金属 Ctyunos 23.1.2 5.10.0136.12.0.88.ctl3.aarch64 arm yrfsclient7.2.0.4.d2b88de2kernel.5.10.0136.12.0.88.ctl3.aarch64.oe22.noarch.rpm 裸金属 Ubuntu 20.04.6 5.4.0144generic amd yrfsclient7.2.0.4.d2b88dedebiankernel5.4.0144genericamd64.deb 裸金属 Ubuntu 20.04.5 5.4.0125generic arm yrfsclient7.2.0.4.d2b88dedebiankernel5.4.0125genericarm64.deb 裸金属 Ubuntu 22.04.5 5.15.0119generic amd yrfsclient7.2.0.4.d2b88dedebiankernel5.15.0119genericamd64.deb 裸金属 Ubuntu 22.04.5 5.15.0119generic arm yrfsclient7.2.0.4.d2b88dedebiankernel5.15.0119genericarm64.deb 云主机 Ubuntu 22.04.3 5.15.082generic amd yrfsclient7.2.0.4.d2b88dedebiankernel5.15.082genericamd64.deb 说明 客户端下载地址是内网地址，需要在资源池内云主机或裸金属机器上下载。 确认客户端版本后，下载客户端到机器上，以操作系统Ctyunos 23.1.2、内核版本5.10.0136.12.0.88.ct13.x86 64、架构amd，并通过wget下载为例，执行以下命令： plaintext wget 下载完成后，即可安装客户端，安装时注意不同操作系统执行命令不同。 CTyunOS系统下，执行以下命令： plaintext rpm ivh yrfsclient7.2.0.4.d2b88de2kernel.5.10.0136.12.0.88.ctl3.x8664.oe22.noarch.rpm Ubuntu系统下，执行以下命令： plaintext dpkg i yrfsclient7.2.0.4.d2b88dedebiankernel5.15.082genericamd64.deb 安装完成可以通过以下命令查询安装情况： plaintext ls /etc/yrfs/ systemctl status yrfsclient.service 3. 挂载前网络验证。 进入并行文件存储详情页面，通过“挂载信息”查看挂载命令中的存储节点信息，可通过ping命令验证机器与存储的网络是否已通，如： plaintext ping 10.230.2.2 4. 修改客户端配置 plaintext vim /etc/yrfs/yrfsclient.conf 在clusteraddr及connsubnetfilter中分别填入挂载信息中的存储节点及存储网关地址： plaintext vim /etc/yrfs/yrfsmounts.conf 在/etc/yrfs/yrfsmounts.conf后面填入挂载信息中的挂载目录： 4. 挂载并行文件存储。执行以下命令进行挂载： plaintext systemctl start yrfsclient systemctl status yrfsclient.service 4. 挂载之后执行 df h命令查看物理机空间使用情况，列表尾部应有已挂载的文件存储。 5. 解除挂载。可通以下命令解除挂载： plaintext systemctl stop yrfsclient

本节介绍了热补丁升级的相关内容。 操作场景 云数据库GaussDB提供了热补丁升级方式，仅用于产品问题修复。热补丁可以在业务不中断的情况下加载补丁，在不影响业务的前提下，在线解决一部分数据库内核的紧急问题。热补丁升级方式支持手动回退操作。 注意事项 升级涉及热补丁包的下载及解压流程，会占用一定的磁盘空间，建议DN磁盘使用率不得高于设置磁盘使用率阈值减去10%的值。 说明 DN磁盘使用率可以通过管理控制台监控指标查看。 磁盘使用率阈值可以联系技术支持人员获取。 实例节点状态异常，不支持版本升级。 热补丁如果和备份是冲突的，热补丁升级过程中会停止实例的差备和全备。 版本升级/回退过程中不支持磁盘扩容、规格变更、备份、重置密码、重启实例、删除实例等操作。 建议在业务较小的时候执行版本升级操作，以确保CPU，磁盘，内存使用率等都有较大的空闲。 热补丁升级操作须有可以升级的热补丁，当没有可以升级的热补丁时，不显示热补丁升级。 热补丁升级和回退支持单个实例不同补丁版本的批量操作，升级时按版本号从小到大依次升级，回退时按版本号从大到小依次回退。 如果升级过程中出现异常导致升级失败，系统会自动对实例进行回退，您可以联系技术支持，由工程师给出分析评估后重新执行升级。 升级完成后，支持手动回退操作。 批量版本升级时，最多可批量升级30个实例。

创建DWS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 2.连接器类型选择“数据仓库服务（DWS）”后单击“下一步”配置DWS连接参数，必填参数如下表“DWS连接参数”所示，可选参数保持默认即可。 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 dbdemo 用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择连接Agent中已创建的Agent。 导入模式 COPY模式：将源数据经过DWS管理节点后拷贝到数据节点。如果需要通过Internet访问DWS，只能使用COPY模式。 COPY 3.单击“保存”完成创建连接。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从Oracle导出数据到DWS的任务。 详见下图：创建Oracle到DWS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建Oracle连接中的“oraclelink”。 −模式或表空间：待迁移数据的数据库名称。 −表名：待迁移数据的表名。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称：选择上述 创建DWS连接中的连接“dwslink”。 −模式或表空间：选择待写入数据的DWS数据库。 −自动创表：只有当源端和目的端都为关系数据库时，才有该参数。 −表名：待写入数据的表名，可以手动输入一个不存在表名，CDM会在DWS中自动创建该表。 −存储模式：可以根据具体应用场景，建表的时候选择行存储还是列存储表。一般情况下，如果表的字段比较多（大宽表），查询中涉及到的列不多的情况下，适合列存储。如果表的字段个数比较少，查询大部分字段，那么选择行存储比较好。 −扩大字符字段长度：当目的端和源端数据编码格式不一样时，自动建表的字符字段长度可能不够用，配置此选项后CDM自动建表时会将字符字段扩大3倍。 −导入前清空数据：任务启动前，是否清除目的表中数据，用户可根据实际需要选择。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如下图“表到表的字段映射”所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 单击，可批量映射字段。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。 说明 如遇目的端写太久导致迁移超时，请减少Oracle连接器中“一次请求行数”参数值的设置。

在采集日志时，日志服务会将采集时间、日志类型、主机IP等信息以KeyValue对的形式添加到日志中，这些字段是云日志服务的内置字段。 说明 使用API写入日志数据或添加ICAgent配置时，请不要将字段名称设置为内置保留字段，否则可能会造成字段名称重复、查询不精确等问题。 用户自定义日志字段名称中不能使用双下划线，否则无法配置索引。 日志示例 如下是一条CCE日志，content字段值是日志原文，其他字段是常见的一些内置保留字段。 { "hostName":"epstestxx518", "hostIP":"192.168.0.31", "clusterId":"c7f3f4a5xxxx11eda4ec0255ac100b07", "pathFile":"stdout.log", "content":"levelerror ts20230419T09:21:21.333895559Z", "podIp":"10.0.0.145", "containerName":"configreloader", "clusterName":"epstest", "nameSpace":"monitoring", "hostIPv6":"", "collectTime":"1681896081334", "appName":"alertmanageralertmanager", "hostId":"318c02fexxxx4c91b5bb6923513b6c34", "lineNum":"1681896081333991900", "podName":"alertmanageralertmanager54d7xxxxwnfsh", "time":"1681896081334", "serviceID":"cf5b453xxxad61d4c483b50da3fad5ad", "category":"LTS" } 内置保留字段说明 表 1 内置保留字段说明 内置保留字段 数据格式 索引与统计设置 说明 collectTime 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为collectTime创建字段索引，索引数据类型为long类型。查询时输入collectTime : xxx。 采集时间，指日志被采集器ICAgent采集时的时间。示例中的"collectTime":"1681896081334"，转换成标准时间是20230419 17:21:21 time 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为time创建字段索引，索引数据类型为long类型。该字段不支持查询。 日志时间，指的是日志在控制台页面展示的日志时间。例如示例中的"time":"1681896081334"，转换成标准时间是20230419 17:21:21日志时间默认使用采集时间，也支持自定义日志时间。 lineNum 整型 索引设置：开启索引后，日志服务默认为lineNum创建字段索引，索引数据类型为long类型。 行号（偏移量），用来排序日志。非高精度日志会根据collectTime生成，默认是collectTime 1000000 + 1，高精度日志就是用户上报的纳秒值。例如示例中的"lineNum":"1681896081333991900"。 category 字符串 索引设置：开启索引后，日志服务默认为category创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入category: xxx。 日志类型，表示该日志的来源。例如ICAgent采集的日志该字段为LTS，某云服务例如DCS上报的日志该字段为DCS。 clusterName 字符串 索引设置：开启索引后，日志服务默认为clusterName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入clusterName: xxx。 集群名称，k8s场景下集群名称。例如示例中的"clusterName":"epstest"。 clusterId 字符串 索引设置：开启索引后，日志服务默认为clusterId创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入clusterId: xxx。 集群ID，k8s场景下集群ID。例如示例中的"clusterId":"c7f3f4a5xxxx11eda4ec0255ac100b07"。 nameSpace 字符串 索引设置：开启索引后，日志服务默认为nameSpace创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入nameSpace: xxx。 命名空间，k8s场景下命名空间。例如示例中的"nameSpace":"monitoring"。 appName 字符串 索引设置：开启索引后，日志服务默认为appName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入appName: xxx。 组件名称，k8s场景下工作负载的名称。例如示例中的"appName":"alertmanageralertmanager"。 serviceID 字符串 索引设置：开启索引后，日志服务默认为serviceID创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入serviceID: xxx。 工作负载ID，k8s场景下工作负载ID。例如示例中的"serviceID":"cf5b453xxxad61d4c483b50da3fad5ad"。 podName 字符串 索引设置：开启索引后，日志服务默认为podName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入podName: xxx。 POD名称，k8s场景下POD名称。例如示例中的"podName":"alertmanageralertmanager0"。 podIp 字符串 索引设置：开启索引后，日志服务默认为podIp创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入podIp: xxx。 pod的ip，k8s场景下pod的IP地址。例如示例中的"podIp":"10.0.0.145"。 containerName 字符串 索引设置：开启索引后，日志服务默认为containerName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入containerName: xxx。 容器名称，k8s场景下容器名称。例如示例中的"containerName":"configreloader"。 hostName 字符串 索引设置：开启索引后，日志服务默认为hostName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostName: xxx。 主机名称，ICAgent所在主机的名称。例如示例中的"hostName":"epstestxx518"。 hostId 字符串 索引设置：开启索引后，日志服务默认为hostId创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostId: xxx。 主机ID，ICAgent所在主机的id，该id由ICAgent生成。例如示例中的"hostId":"318c02fexxxx4c91b5bb6923513b6c34"。 hostIP 字符串 索引设置：开启索引后，日志服务默认为hostIP创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostIP: xxx。 主机IP，日志采集器所在主机的ip（适用于ipv4场景）例如示例中的"hostIP":"192.168.0.31"。 hostIPv6 字符串 索引设置：开启索引后，日志服务默认为hostIPv6创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostIPv6: xxx。 主机IP，日志采集器所在主机的ip（适用于ipv6场景）例如示例中的"hostIPv6":""。 pathFile 字符串 索引设置：开启索引后，日志服务默认为pathFile创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入pathFile: xxx。 文件路径，采集的日志文件的路径。例如示例中的"pathFile":"stdout.log"。 content 字符串 索引设置：开启全文索引后，会使用全文索引定义的分词符对content字段的value进行分词；不支持将content字段配置到字段索引中。 日志原文例如示例中的"content":"levelerror ts20230419T09:21:21.333895559Z" logContent 字符串 不支持将logContent字段配置到字段索引中。 不涉及。 logContentSize 整型 不支持将logContentSize字段配置到字段索引中。 不涉及。 logIndexSize 整型 不支持将logIndexSize字段配置到字段索引中。 不涉及。 groupName 字符串 不支持将groupName字段配置到字段索引中。 不涉及。 logStream 字符串 不支持将logStream字段配置到字段索引中。 不涉及。 receivetime 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为receivetime创建字段索引，索引数据类型为long类型。 上报日志的服务端时间，相当于LTS采集端接收到日志的时间。 clienttime 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为clienttime创建字段索引，索引数据类型为long类型。 端侧日志的客户端上报时间。 contentparsefail 字符串 索引设置：开启索引后，日志服务默认为contentparsefail创建字段索引，索引数据类型为string类型，分词字符为默认分词符。查询时输入contentparsefail: xxx。 上报日志解析失败的日志内容。 savetime 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为savetime创建字段索引，索引数据类型为long类型。 日志流引擎的时间字段，根据此时间拉取对应时间段内的日志数据。 time 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为time创建字段索引，索引数据类型为date类型。 采集时间，用于兼容可视化查询。

Kafka支持减少分区数吗？ Kafka不支持减少分区数，您可以通过删除原先的Topic，然后创建新Topic，重新设置分区数。 Kafka实例创建Topic失败 可能原因：已创建的Topic，分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同，具体请参考产品规格。 解决方案：对Kafka实例扩容，或者删除不需要的Topic。 Kafka实例支持批量导入Topic功能么？或者是自动生成Topic功能？ 支持自动生成Topic功能，但不支持Topic批量导入功能，仅支持批量导出Topic功能。 通过以下任意一种方法，开启自动生成Topic功能： 创建实例时，开启Kafka自动创建Topic。 创建实例后，在实例详情页开启Kafka自动创建Topic。 为什么删除Topic不生效？删除后该Topic仍然存在 可能原因：您开启了自动创建Topic功能，且有消费者正在连接该Topic。所以，如果没有停止您的业务，删除了Topic后，还会有消息生产行为，并自动创建Topic。 解决办法：需要关闭自动创建Topic功能，才可以正常删除Topic。 Kafka实例是否支持查看单个Topic占用磁盘空间？ 支持。通过以下任意一种方法，查看单个Topic占用磁盘空间大小。 在Kafka实例名称后，单击，跳转到云监控页面。在“队列”页签中，“队列”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。 单击Kafka实例名称，进入实例详情页。在左侧导航栏单击“监控”，进入监控页面。在“主题”页签中，“主题”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。

本文介绍直播录制的计费规则。 视频直播过程中，可通过直播录制实现对直播流进行录制并存储到云存储中。 天翼云视频直播仅支持对接收到的源直播流进行录制，暂不支持录制直播转码流。 直播录制包含录制服务费和存储空间费用。 直播录制费用以当月直播录制并发路数峰值为结算标准，详细信息请参见：直播录制。 存储计费规则请参见：媒体存储计费说明。

Kubernetes 1.30 版本Changelog 1. Pod 调度就绪机制（GA），通过 spec.schedulingGates 字段，允许用户在 Pod 创建后动态控制其调度时机。例如，当存储卷或网络策略未准备好时，Pod 可被标记为 “未就绪”，避免无效调度导致的资源浪费。 2. Pod 拓扑分布最小域（GA），在 PodTopologySpread 中新增 minDomains 参数，要求 Pod 至少分布在指定数量的拓扑域（如可用区）。若当前域不足，Pod 将暂停调度，触发自动缩放器创建新节点，确保高可用性。 3. 基于索引的 Job 回退机制（Beta），支持为索引 Job 的每个任务索引单独配置重试策略（.spec.backoffLimitPerIndex），避免因单个索引失败导致整个 Job 终止。适用于分布式训练等需细粒度控制的场景。 4. 基于容器资源的 HPA（GA），Horizontal Pod Autoscaler 可根据 Pod 内单个容器的 CPU / 内存使用情况进行扩缩容，而非依赖 Pod 整体指标。例如，优先对关键容器（如数据库主节点）设置更严格的扩缩容阈值。 5. 负载均衡器 IP 模式（Beta）， LoadBalancer 类型的 Service 新增 .status.loadBalancer.ingress.ipMode 字段，用于指定负载均衡器IP的转发行为。该字段仅在指定了.status.loadBalancer.ingress.ip字段时才能被指定。 6. 多服务 CIDR 支持（Alpha），允许为集群配置多个 Service ClusterIP 地址段（通过 ServiceCIDR 资源），扩展服务 IP 地址空间，满足复杂网络拓扑需求。 7. 基于 CEL 的准入控制（GA），该特性支持通过CEL表达式声明资源的验证准入策略。 8. ImageMaximumGCAge（Beta），允许kubelet配置对未使用镜像被垃圾回收前的最大存活时间，即在达到指定时间后若镜像仍然未被使用，那么镜像将可被垃圾收集机制清理。默认值为"0s"，即不设置时间限制）。 更多信息请参考：Kubernetes 1.30 Changelog

案例四 数据库密码忘记的问题 plaintext [root@zs ~] mysql uroot p Enter password: ERROR 1045 (28000): Access denied for user ‘root’@’localhost’ (using password: YES) [root@zs ~] mysql uroot p Enter password: ERROR 1045 (28000): Access denied for user ‘root’@’localhost’ (using password: YES) 解决思路： 目前是进入不了数据库的情况，所以我们要考虑是不是可以跳过权限。因为在数据库中，MySQL 数据库中 user 表记录着我们用户的信息。 解决方法：启动 MySQL 数据库的过程中，可以这样执行： plaintext /usr/local/mysql/bin/mysqldsafe –defaultsfile/etc/my.cnf –skipgranttables & 这样启动，就可以不用输入密码，直接进入 MySQL 数据库了。然后在修改你自己想要改的 root 密码即可。 plaintext update mysql.user set passwordpassword(‘root123′) where user’root’; 案例五 truncate 删除数据，导致自动清空自增 ID，前端返回报错 not found这个问题的出现，就要考虑下 truncate 和 delete 的区别了，看下实验演练： 首先先创建一张表： plaintext CREATE TABLE t ( a int(11) NOT NULL AUTOINCREMENT, b varchar(20) DEFAULT NULL, PRIMARY KEY (a), KEY b (b) ) ENGINEInnoDB AUTOINCREMENT300 DEFAULT CHARSETutf8 插入三条数据： plaintext mysql> insert into t (b) values (‘aa’); Query OK, 1 row affected (0.00 sec) mysql> insert into t (b) values (‘bb’); Query OK, 1 row affected (0.00 sec) mysql> insert into t (b) values (‘cc’); Query OK, 1 row affected (0.00 sec) mysql> select from t; —–+——+ a b —–+——+ 300 aa 301 bb 302 cc —–+——+ 3 rows in set (0.00 sec) 先用 delete 进行删除全表信息，再插入新值。 结果发现 truncate 把自增初始值重置了，自增属性从 1 开始记录了。当前端用主键 id 进行查询时，就会报没有这条数据的错误。 个人建议不要使用 truncate 对表进行删除操作，虽然可以回收表空间，但是会涉及自增属性问题。这些坑，我们不要轻易钻进去。

本文介绍如何使用ZOS静态存储卷。 使用对象存储静态存储卷，即使用预先在对象存储控制台已创建Bucket，通过手动创建PV指定已有Bucket，创建PVC时使用已有PV的方式，实现容器内挂载对象存储。 该模式下需要用户自建对象存储Bucket及PV资源，一定程度上增加操作和管理复杂性。 前提条件 确保您已经创建Serverless集群，具体操作请参阅创建Serverless集群。若已有Serverless集群，无需重复操作。 已在插件市场安装存储插件cstorcsi，且插件正常运行。 容器集群所在资源池已开通对象存储服务。 已在对象存储控制台创建Bucket。 确保kubectl工具已经连接目标集群。 使用对象存储静态存储卷（kubectl） 步骤一：创建保密字典 1. 创建示例yaml文件zostest.yaml： shell apiVersion: v1 data: AK: xxxxxxxxxxxx 填写base64编码后的AK SK: xxxxxxxxxxxx 填写base64编码后的SK kind: Secret metadata: name: zostest namespace: default type: Opaque 2. 执行以下命令，创建secret： plaintext kubectl apply f zostest.yaml 步骤二：创建持久卷（PV） 1. 创建示例yaml文件pvstaticzos.yaml： shell apiVersion: v1 kind: PersistentVolume metadata: annotations: pv.kubernetes.io/provisionedby: zos.csi.cstor.com name: pvc{PVNAME} pv名称，以pvc开头 spec: accessModes: ReadWriteOnce 访问模式 capacity: storage: 5Gi 容量 csi: driver: zos.csi.cstor.com nodePublishSecretRef: name: {SECRETNAME} 保密字典名称 namespace: {SECRETNAMESPACE} 保密字典命名空间 volumeAttributes: bucket: {BUCKETNAME} bucket名称 mountEndpoint: 挂载地址，在存储控制台可查 driverType: zos.csi.cstor.com type: STANDARD 产品类型 volumeHandle: 0105{PVNAMELENTH}{PVNAME} PVNAMELENTH为PVNAME长度的十六进制表示，比如PVNAME是"pvstaticzos"，则PVNAMELENTH为0D volumeMode: Filesystem 2. 执行以下命令，创建pv： plaintext kubectl apply f pvstaticzos.yaml

以按需方式开通弹性文件服务后就开始计费吗？ 弹性文件服务购买成功后，按照购买的容量开始收费。与是否挂载云主机、是否使用全部存储空间无关。 如果弹性文件服务不再使用，请删除弹性文件服务。删除弹性文件服务后，将不会再对该弹性文件服务收取费用。具体请参见删除按量付费文件系统。 如何查看账户是否欠费？ 您可在“费用中心总览”或“费用中心资金管理余额明细”查看欠费金额。欠费可能导致您账户下的按需产品服务无法正常使用，资源冻结将影响业务读写。欠费15天之内进行充值可以解冻资源，若15天内未进行充值，已冻结的按需资源将会被销毁。 您可以在“费用中心总览”自行设置可用额度预警，当余额低于预警阈值时，系统将发送短信提醒。账户欠费将影响资源正常访问，请及时充值避免造成业务损失。 包年包月支持7天无理由退订，该退订是否扣费？ 7天无理由退订有次数限制，每个账号享有3次7天无理由退订机会。新购资源7天内退订不扣费，但期间不能进行续订、扩容、变更等操作，否则按非七天无理由退订处理，需要收取相应的使用费用和退订手续费，且不退还代金券及优惠券，具体参见退订规则说明。

本节介绍如何创建多机训练任务。 创建训练任务 1. 在集群列表页，选择指定集群 2. 在左侧导航栏，选择“智算套件/AI应用列表” 3. 智算控制台页面选择“离线训练”，单击“创建AI应用”。 2. 在创建详情页根据需要修改任务基本的信息，比如任务名、任务类型（PyTorch/TensorFlow/MinSpore）、命名空间等配置。 3. 选择多机训练任务。 4. 选择框架，这里会根据选择的任务类型筛选出所有对应的框架镜像。 说明 这里使用nvidiapytorchexample框架，此框架内置了用于演示的Mnist训练数据集和代码。 5. 选择框架镜像版本，如下所示此演示镜像支持多架构。 6. 选择队列，队列用于限制一组任务所使用的资源。 说明 若没有队列则单击去创建，并设置各类资源配额。 7. 配置Master资源及启动参数等信息，如果需要使用RDMA加速训练则将RDMA资源通过自定义方式进行挂载。 8. 配置Worker资源及启动参数等信息，如果需要使用RDMA加速训练则将RDMA资源通过自定义方式进行挂载。 9. 启动参数及环境变量说明。 启动命令如下：可调整对应训练轮次参数，若使用 GPU， backend 建议设置为 nccl。 shell python3 /opt/mnist/src/mnist.py epochs5 backendnccl PyTorch任务环境变量设置 shell PROTOCOLBUFFERSPYTHONIMPLEMENTATION:python 设置完成后单击确认创建训练任务。

{Job.getParam("jobparamname")} ，因为此表达式只能直接获取当前作业里配置的参数的value，并不能获取到父作业传递过来的参数值，也不能获取到工作空间里面配置的全局变量，作用域仅为本作业。 而表达式${jobparamname}，既可以获取到父作业传递过来的参数值，也可以获取到全局配置的变量。 详见下图：循环执行子作业 配置完成SQL语句后，在子作业中配置作业参数。此处仅需要配置参数名，用于主作业ForeachDemomaster中的For Each节点识别子作业参数；参数值无需填写。 详见下图：配置子作业参数 配置完成后保存作业。 4. 创建For Each算子所在的主作业ForeachDemomaster。 进入DataArts Studio数据开发模块选择“作业开发”页面，新建数据开发主作业ForeachDemomaster。选择DLI SQL节点和For Each节点，选中连线图标并拖动，编排下图所示的作业。 详见下图：编排作业 配置DLI SQL节点属性，此处配置为SQL语句，语句内容如下所示。DLI SQL节点负责读取DLI表TableList中的内容作为数据集。 SELECT FROM TableList; 详见下图：DLI SQL节点配置 配置For Each节点属性。 − 子作业：子作业选择步骤2已经开发完成的子作业“ForeachDemo”。 − 数据集：数据集就是DLI SQL节点的Select语句的执行结果。使用EL表达式

本章节主要介绍新建一个业务场景的操作。 场景说明 业务场景用于监控业务指标。本例以新建一个业务场景为例，介绍如何使用业务指标监控功能。 操作步骤 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 详见下图：选择数据质量 2.新建业务指标。 a.单击左侧导航“指标管理”。 b.单击页面上方的“新建”，如下图所示。 c.单击“试跑”，查看试跑运行成功的结果。 d.单击“确定”，完成指标的创建。 3.新建规则。 a.单击左侧导航“规则管理”。 b.单击页面上方的“新建”，创建第一条规则。 c.输入参数值，如下图所示。 d.单击“确定”。 e.单击页面上方的“新建”，创建第二条规则。 f.输入参数值，如下图所示。 g.单击“保存”。 4.新建业务场景。 a.单击左侧导航“业务场景管理”。 b.单击页面上方的“新建”，输入场景的基本配置参数，如下图所示。 c.单击“下一步”，输入规则组的配置参数，如下图所示 d.单击“下一步”，配置订阅信息，如下图所示。 e.单击“下一步”，配置调度信息，如下图所示。 f.单击“提交”，完成作业场景的创建。 5.在业务场景管理列表中，单击操作列的“运行”，跳转到运维管理模块。 a.单击右上角的刷新按钮，可以查看业务场景的运行状态为成功。 b.单击运行结果，可查看具体的坪效结果。

本章节主要介绍通知管理的管理通知。 用户可以通过通知管理功能配置作业通知任务，当作业运行异常或成功时向相关人员发送通知。 配置通知 为作业配置通知前： 已开通消息通知服务并配置主题。 作业已提交，且不是“未启动”状态。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“运维调度 > 通知管理”。 3. 在页面右侧的“通知管理”页签，单击“通知配置”，弹出“通知配置”页面，配置如下表所示的参数。 通知参数 参数 是否必选 说明 通知范围 是 选择通知的范围： 单个作业：对单个作业发送通知。 所有作业：对所有作业发送通知。 作业名称 是 选择作业。 通知类型 是 选择通知类型： 单个作业： − 运行异常/失败：作业的状态为“运行异常”或“失败”时，发送通知。 − 运行成功：作业的状态为“成功”时，发送通知。 − 未完成：该功能仅支持按天调度的作业配置。如果作业执行时间超过设置的未完成时间，则发送通知。 − 资源繁忙：如果执行作业时，资源繁忙，则发送通知。 所有作业： − 运行异常/失败：作业的状态为“运行异常”或“失败”时，发送通知。 − 资源繁忙：如果执行作业时，资源繁忙，则发送通知。 说明 实时作业只支持状态为运行异常/失败时发送通知，批处理作业在状态为运行成功和运行异常/失败时都能发送通知。 选择主题 是 选择通知的消息主题。 说明 当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 开关 是 是否开启通知，默认开启。 4. 单击“确定”，为作业配置通知。

重跑作业实例 您可以对运行成功或失败的作业实例设置重跑，配置重跑开始位置。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“运维调度 > 实例监控”。 3. 选择作业名称，在作业的“操作”列，单击“重跑”设置重跑作业实例；或单击作业名称左边的复选框，再选择“重跑”按钮设置作业实例重跑。 详见下图：设置作业重跑 参数说明 参数 说明 重跑类型 选择需要重跑的实例。 重跑当前实例 重跑当前作业以及上下游作业实例： 开始时间 重跑用户设置的时间段内的实例。 重跑作业实例列表 选择需要重跑的上下游作业，支持多选。 重跑开始位置 选择作业实例重跑的开始位置： 从错误节点开始重跑：作业实例执行失败时，从实例执行失败的错误节点开始重跑。 从第一个节点开始重跑：从作业实例的第一个节点开始重跑。 从指定的节点开始重跑：从作业实例中指定的节点开始重跑。仅当“重跑类型”为“重跑当前实例”时有此选项。 说明 以下两种情况，系统运行会从第一个节点开始重跑。 如果作业中节点个数或者名称发生变化，从第一个节点开始重跑。 如果重跑成功状态的作业实例，从第一个节点开始重跑。 处理并发数 选择作业实例并行处理的数量。

参数名 说明 取值样例 表名 写入数据的HBase表名。如果是创建新HBase表，支持从源端拷贝字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 TBL2 导入前清空数据 选择目的端表中数据的处理方式： 是：任务启动前会清除目标表中数据。 否：导入前不清空目标表中的数据，如果选“否”且表中有数据，则数据会追加到已有的表中。 是 Row key拼接分隔符 可选参数，用于多列合并作为rowkey，默认为空格。 , Rowkey冗余 可选参数，是否将选做Rowkey的数据同时写入HBase的列，默认值“否”。 否 压缩算法 可选参数，创建新HBase表时采用的压缩算法，默认为值“NONE”。 NONE：不压缩。 SNAPPY：压缩为Snappy格式。 GZ：压缩为GZ格式。 NONE WAL开关 选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是：源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据，会转换为Byte[]数组（二进制）写入HBase，其他类型的按字符串写入。 如果这几种类型中，有合并做rowkey的，则依然当字符串写入。 该功能作用是：降低存储占用空间，存储更高效；特定场景下rowkey分布更均匀。 否：源端数据库中所有类型的数据，都会按照字符串写入HBase。 否

本页介绍了分布式融合数据库HTAP的创建实例流程。 详细的创建实例过程能够帮助您更好的开始使用天翼云分布式融合数据库HTAP产品。 操作场景 本节将介绍分布式融合数据库HTAP的创建实例过程。 分布式融合数据库HTAP支持“包年/包月”和“按需计费”购买，您可以根据业务需要定制相应计算能力和存储空间的数据库实例。 注意事项 分布式融合数据库HTAP的性能，取决于用户订购分布式融合数据库HTAP时所选择的配置。可供用户选择的硬件配置为性能规格、存储类型以及存储空间等。 操作步骤 1. 登陆天翼云官网。 2. 选择“产品 > 数据库 > 分布式融合数据库HTAP”，进入分布式融合数据库HTAP 产品详情页面，点击【立即开通】。 3. 进入开通页面，选择或输入实例的相关配置信息。 其中基础配置包括计费模式、区域、引擎类型、版本和可用区，可用区可以选择1个或者3个。 实例规格包括配置模板、性能类型、各节点规格及数量。 配置模板给出了入门配置和标准配置两种建议，您也可以自定义配置。 性能类型有三种，通用型、计算增强型、内存优化型，并可以搭配六代机和七代机使用。 计算节点至少1个，行存节点至少3个，列存节点可以为0个，管理节点固定为3个，监控节点固定为1个。计算节点、行存节点、列存节点可根据需求自定义数量，最大数量不超过50个。 数据备份默认开启，开启数据备份后，至少要添加一个同步节点。若不开启数据备份，则不用添加同步节点。 网络配置包括虚拟私有云、子网、安全组。 数据库设置可以设置实例名称，如果批量订购多个实例，从第二个实例开始，实例名称1，第三个实例名称2。 购买量包括购买时长、购买数量、是否自动续订，最多可以批量购买50个实例。 最后阅读相关产品协议，确认协议内容，同意则勾选协议。 4. 点击【确认订单】跳转到支付页面，可以看到所需开通实例的配置信息，包括开通页面中所选则的配置信息、购买量、资源池及购买时长，确认支付费用，确认无误后点击【立即支付】。 5. 支付成功后返回订单列表页面，能看到实例状态为 “开通中”。稍等一会后，刷新页面，待实例状态显示“已完成”，创建实例成功。

约束与限制 移除节点、删除节点、重置节点和缩容节点会导致与节点关联的本地持久存储卷类型的PVC/PV数据丢失，无法恢复，且PVC/PV无法再正常使用。移除节点、删除节点、重置节点和缩容节点时使用了本地持久存储卷的Pod会从待删除、重置的节点上驱逐，并重新创建Pod，Pod会一直处于pending状态，因为Pod使用的PVC带有节点标签，由于冲突无法调度成功。节点重置完成后，Pod可能调度到重置好的节点上，此时Pod会一直处于creating状态，因为PVC对应的底层逻辑卷已经不存在了。 持久存储卷或临时存储卷创建后，请勿在节点上手动删除对应的存储池或卸载数据盘，否则会导致数据丢失等异常情况。 如果要使用临时存储卷，请确保节点上Pod不要挂载/var/lib/kubelet/pods/目录，否则可能会导致使用了临时存储卷的Pod无法正常删除。 添加持久存储卷或临时存储卷 有两种方法可以添加持久存储卷或临时存储卷。 在创建节点时，可以为节点添加数据盘作为持久存储卷或临时存储卷。 如果创建节点时没有添加持久存储卷或临时存储卷，或当前存储卷容量不够，可以去ECS中为节点添加磁盘，然后在CCE的存储池中导入，导入时可以选择写入模式。 说明 条带化模式的存储池不支持扩容，条带化扩容后可能造成碎片空间，无法使用。 存储池不支持缩容和删除。 如果删除节点上存储池的磁盘，会导致存储池异常。

本文介绍DMS助手功能，包括智能问答和对话管理。 功能介绍 DMS助手是一款专为数据库领域定制的智能问答机器人，旨在提供即时、精准的技术支持。它不仅内置了MySQL、PostgreSQL等主流数据库的知识库，还集成了DMS文档资源，能够高效响应您在使用数据库及DMS时可能遇到的各类问题： 数据库知识解答：对于数据库中的基础知识或专业术语，DMS助手能够提供全面而详尽的解释。例如，您可以提问：“数据库事务是什么？” 数据库参数说明：当您想要了解数据库中某项参数的具体详情时，DMS助手可以为您提供相关信息。例如，您可以提问：“MySQL中optimizersearchdepth默认值是什么？” 数据库操作指导：在您进行数据库操作遇到问题或需要指导时，DMS助手可以为您提供相关帮助和建议。例如，您可以提问：“我想创建一张student表，sql怎么写？” DMS使用帮助：当您想要了解DMS的特定功能或概念，或在使用DMS过程中遇到困难时，DMS助手可以为您提供解释和指导。例如，您可以提问：“DMS中的团队是什么意思？” 为了便于您核实答案的准确性，DMS助手在提供解答的同时，会附带官方文档的参考链接。这不仅方便您进行信息核实，也有助于您对相关主题进行更深入的学习和探索。 前提条件 用户已登录数据管理服务。 注意事项 请避免过于频繁发送消息，系统对消息的发送频率有限制。 每个对话允许的消息数量最多为100条。一旦达到上限，您将无法在当前对话中继续发送消息。如需继续提问，请新建一个对话。 您可以保留的历史对话数量上限为500条。如果达到这个限制，您将无法创建新的对话。在这种情况下，请考虑删除一些不再需要的旧对话，以释放空间供新的对话使用。

本章节主要介绍新建一个质量作业的操作。 场景说明 开发质量作业是为了监控数据质量。本章以新建一个质量作业为例，介绍如何开发质量作业。 操作步骤 1.在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 2.创建规则模板。 a.单击左侧导航“规则模板”，默认展示系统自定义的规则。数据质量的规则包含6个维度，分别是：完整性、唯一性、及时性、有效性、准确性、一致性。 b.可选 : 单击“新建”，可自定义创建规则。 说明 本例使用系统自定义的规则即可。 3.创建质量作业。 a.单击左侧导航“质量作业”。 b.单击“新建”，配置质量作业的基本信息，如下图所示。 c.单击“下一步”，进入规则配置页面。您需要单击规则卡片中的，然后配置规则信息，如下图所示。 d.单击“下一步”，配置告警信息，如下图所示。 e.单击“下一步”，配置订阅信息，如下图所示。 f.单击“下一步”，配置调度信息，如下图所示。 g.单击“提交”，完成质量作业的创建。 4.在质量作业表中，单击操作列的“运行”，跳转到运维管理模块。 a.待质量作业运行成功后，单击左侧导航菜单的“质量报告”。 b.默认展示技术报告，如下图所示。 c.单击“业务报告”页签，查看业务报告，如下图所示。

功能集 功能 功能描述 参考文档 应用生命周期管理 创建/部署/更新/查看/启动/停止/删除应用 创建/部署/更新/查看/启动/停止/删除应用。 微服务治理 无损上线 在应用启动过程中，无损上线为应用提供服务延迟注册、服务就绪检查和服务小流量预热的保护能力 微服务治理 无损下线 在应用执行部署、停止、回滚、缩容和重置时，通过无损下线来保证应用正常关闭 微服务治理 金丝雀灰度 对于部署在 CAE 的 Spring Cloud 或 Dubbo 微服务应用，为了确保升级操作的安全性，您可以通过启用灰度发布（即金丝雀发布）的灰度规则进行小规模验证，验证通过后再全量升级 微服务治理 限流降级 CAE 支持使用微服务引擎 MSE 实现应用的限流降级，全面保障应用的可用性 微服务注册中心 使用 CAE 内置注册中心 CAE 为用户提供免费的内置 Nacos 注册中心，在无需购买或自建注册中心的情况下即可部署微服务应用到 CAE 平台 微服务注册中心 使用自建 Nacos 注册中心 CAE 支持使用自建 Nacos 注册中心实现服务的注册与发现功能 运维管理 基础监控 CAE 对应用所运行设备的 CPU、负载、内存、网络和磁盘进行数据采集与分析，并以动态图的方式展示，方便实时、直观地了解应用所运行设备地状态 运维管理 应用监控 CAE 为多种语言和框架提供无侵入的应用监控能力 运维管理 一键启停 CAE 为应用提供了一键启停按钮，方便用户进行运维操作，同时还支持批量启停操作 运维管理 日志管理 日志管理提供应用实时日志查询功能。 弹性伸缩 手动扩缩 在应用的实例负载过高时以手动方式添加新应用实例，在应用闲置时减少应用实例，能够高效利用应用资源、降低成本 弹性伸缩 自动扩缩 在分布式应用管理中，弹性伸缩能够感知应用内各个实例的状态，并根据实例状态自动增加或减少实例数量，即扩容或缩容 应用访问 基于 ELB 实现应用公网及私网访问 在 CAE 中部署应用后，可以通过添加公网 ELB 实现公网访问应用，也可以添加私网 ELB 实现同 VPC 内私网访问应用 配置管理 配置项（ConfigMap） 配置项是一种存储应用所需配置信息地资源类型，它可以作为容器运行环境中的环境变量，便于应用部署后灵活变更容器配置，也可以通过挂载配置文件的方式向容器中注入配置信息 配置管理 保密字典（Secret） 保密字典是一种用于存储和管理密钥、证书等敏感信息的资源类型。为避免敏感数据暴露到镜像或应用与任务部署参数中，推荐您使用 CAE 命名空间级别的保密字典 高级设置 设置启动命令 CAE 会根据预设的启动参数来启动容器 高级设置 设置环境变量 应用在系统中运行更需要配置特定的环境变量 高级设置 设置 Hosts 绑定 CAE 支持应用级别的实例，通过绑定 Hosts 对主机名进行解析，方便应用实例通过主机名进行访问 高级设置 设置持久化日志 CAE 集成了云日志服务的日志收集功能，支持将业务文件日志（容器内日志文件）、容器标准输出日志（stdio）无限制行数地收集至 ALS，便于您聚合分析。 高级设置 设置 NAS 存储 将 NAS 挂载至 CAE 应用实例，可以有效解决应用数据地持久化存储需求，并实现应用实例之间地数据共享 高级设置 设置 OSS 存储 OSS 适用于读多写少地场景，例如挂载配置文件或者前端静态文件等 高级设置 设置应用生命周期管理 如果您精通 K8s，且需要在应用容器启动前或者关闭前执行相关操作，例如运行前部署资源或者停止前优雅下线应用，可以设置应用生命周期管理 高级设置 设置配置项 配置项能够将环境配置信息和容器镜像解耦，方便您修改应用配置 版本管理 版本回退 应用修改配置并部署后，会自动生成一个基于时间点的应用版本，您可以查看对应时间点应用版本的配置，也可以操作版本回退到指定时间点的应用版本

本章节主要介绍如何创建Logstash集群。 操作步骤 1.登录云搜索服务管理控制台。 2.在“总览”页面单击右上角的“创建集群”，进入“创建集群”页面。 或者左侧导航栏单击“集群管理>Logstash”，单击右上角的“创建集群”，进入“创建集群”页面。 3.单击“创建集群”，进入“创建集群”页面。 4.选择“计费模式”和“订购周期”。 计费模式参数说明 参数 说明 计费模式 集群支持包年/包月和按需计费两种模式。 包年/包月：根据集群购买时长，一次性支付集群费用。最短时长为1个月，最长时长为3年。如果购买时长超过9个月，建议包年购买，价格更优惠。一年计费为购买10个月得12个月。 按需计费：按实际使用时长计费，计费周期为一小时，不足一小时按一小时计费。 订购周期 选择包年/包月模式后，需要选择购买时长。 您可以根据需求，选择是否需要自动续费。 5.选择“当前区域”和“可用区”。 区域和可用区参数说明 参数 说明 当前区域 集群工作区域在右侧下拉框中选择。 可用区 选择集群工作区域下关联的可用区。 6.指定集群基本信息，选择“集群版本”，并输入“集群名称”。 基本参数说明 参数 说明 集群类型 选择集群的类型。目前支持Logstash、Elasticsearch两种类型。 如果选择Logstash类型，请参考如下步骤进行配置。 如果选择Elasticsearch类型，请参考Elasticsearch章节中的“创建并接入集群”。 集群版本 当前支持7.10.0。 集群名称 自定义的集群名称，可输入的字符范围为4～32个字符，只能包含数字、字母、中划线和下划线，且必须以字母开头。 说明 当集群创建成功后，您可以根据需求修改集群名称。单击需要修改的集群名称，进入集群基本信息页面，单击“集群名称”后面的，修改完成后，单击，进行保存。如果需要取消修改，可单击进行取消。 基本信息配置 7.指定集群的主机规格相关参数。 参数说明 参数 说明 节点数量 集群中的节点个数。 CPU架构 目前Logstash集群支持“x86计算”类型。具体支持类型由实际区域环境决定。 节点规格 集群中的节点规格。 您可以选择任一系列，然后从对应系列中根据需要选择一个规格。您不能选择已售罄的CPU和内存资源。 节点存储 目前只支持普通I/O、高I/O、超高I/O。 说明 如果当前局点的存储类型售罄或者不支持，则界面不显示。 节点存储容量 存储空间大小。 8.设置集群的企业项目。 如果您开通了“企业项目”，在创建集群时，可以给集群绑定一个企业项目。您可以在右侧下拉框中选择当前用户下已创建的企业项目，也可以通过单击“查看项目管理”按钮，前往“企业项目管理”管理控制台，新建企业项目和查看已有的企业项目。 9.单击“下一步，网络配置”，设置集群的网络配置。 参数说明 参数 说明 虚拟私有云 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 选择创建集群需要的VPC，单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC，需要创建一个新的VPC。 说明 此处您选择的VPC必须包含网段（CIDR），否则集群将无法创建成功。新建的VPC默认包含网段（CIDR）。 子网 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 选择创建集群需要的子网，可进入VPC服务查看VPC下已创建的子网名称和ID。 安全组 安全组是一个逻辑上的分组，为同一个VPC内具有相同安全保护需求并相互信任的弹性云主机提供访问策略。单击“查看安全组”可了解安全组详情。 说明 请确保安全组的“端口范围/ICMP类型”为“Any”或者包含端口9200的端口范围。 10.单击下一步：确认配置，确认完成后单击“立即创建”开始创建集群。 11.单击“返回集群列表”，系统将跳转到“集群管理”页面。您创建的集群将展现在集群列表中，且集群状态为“创建中”，创建成功后集群状态会变为“可用”。 如果集群创建失败，请根据界面提示，重新创建集群。

场景 描述 参考链接 动静态资源加速 智能分离动静态内容，静态内容通过配置缓存提升命中率；动态内容通过动态加速配置多种回源策略（择优回源、轮询回源、保持登录回源等）实现优质路径提速回源。 HTTPS配置 HTTPS是以安全为目标的HTTP通道，实现客户端和全站加速之间请求的HTTPS加密，保障数据传输的安全性。 IPv6 开启IPv6功能后，当您的用户处于IPv6环境时，客户端可以通过IPv6协议访问天翼云全站加速节点。 海外加速 开启海外加速，可满足出海企业本地化CDN节点覆盖当地用户的迫切需求，保障跨国网络访问的高速、稳定和安全，助力企业拓展全球化业务。 性能优化 开启页面优化功能后，可有效去除页面的冗余信息，缩小文件体积，提高加速分发效率，同时也可以提升页面的可阅读性。 开启压缩功能后，能够带来两个明显的好处，一是减少存储空间，二是通过网络传输文件时，可以减少传输的时间。

场景 描述 相关链接 动静态资源加速 智能分离动静态内容，静态内容通过配置缓存提升命中率；动态内容通过动态加速配置多种回源策略（择优回源、轮询回源、保持登录回源等）实现最优路径提速回源。 HTTPS配置 HTTPS是以安全为目标的HTTP通道，实现客户端和全站加速节点之间请求的HTTPS加密，保障数据传输的安全性。 IPv6 开启IPv6功能后，当您的用户处于IPv6环境时，客户端可以通过IPv6协议访问天翼云全站加速节点。 海外加速 开启海外加速，可满足出海企业本地化cdn节点覆盖当地用户的迫切需求，保障跨国网络访问的高速、稳定和安全，助力企业拓展全球化业务。 性能优化 开启页面优化功能后，可有效去除页面的冗余信息，缩小文件体积，提高加速分发效率，同时也可以提升页面的可阅读性。 开启压缩功能后，能够带来两个明显的好处，一是减少存储空间，二是通过网络传输文件时，可以减少传输的时间。