迁移规则须知 暂不支持同步包含TTL（Time To Live）索引的集合。若待同步的数据库中包含TTL索引，则可能会由于源库和目标库时区、时钟等的不一致，导致数据不一致。 不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。 针对副本集迁移到分片集的场景没有唯一索引的情况下，会使用id作为分片键。 没有唯一索引的情况下，会使用id作为分片键。 有一个唯一索引的情况下，会使用唯一索引作为分片键。 有多个唯一索引的情况下，由于mongo分片集只允许单一唯一键，会在预检查中告警，在迁移过程中会选择一个唯一键进行迁移，请用户确认是否删除唯一键，或继续迁移。如果继续迁移，内核会选择迁移单个唯一键，并在此唯一键上建立分片键。 有多个唯一索引的情况下，由于mongo分片集只允许单一唯一键，会选择迁移单个唯一键，并使用此唯一键作为分片键。 副本集允许先插入数据再建唯一索引并视为唯一索引值为null，但是分片集插入时不允许无分片键的数据。因此此类特殊数据会出现不一致。 副本集中不包含分片键的数据，不会迁移到分片集中。 操作须知 源库须开启Oplog日志。 源端、目标端实例的运行状态、复制状态必须正常。 在迁移时，如果源库、目标库进行主备切换，将会导致任务异常。 选择表级对象迁移时，增量迁移过程中不允许对表进行重命名操作。 如迁移对象为表级别，则单次迁移任务仅支持迁移最多1000张表。当超出数量限制，任务可能会报错。如果遇到这种情形，建议您拆分待迁移的表，分批配置成多个任务，或者配置为整库迁移。 在DTS迁移期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。 目标库若已存在行数据，DTS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在迁移前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。 在磁盘空间允许的情况下，建议源数据库oplog保存大小或时间越大越好。否则DTS在增量迁移时可能因无法获取oplog而导致任务失败。如果由于您所设置的oplog日志保存策略低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。 迁移过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 全量初始化会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。建议目标库的存储空间比源库大10%以上。 建议源和目标库的MongoDB的数据库版本保持一致，或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本，可能存在数据库兼容性问题。 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步，否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。

本章节介绍如何将DRDS同步到DRDS。 支持的源和目标数据库 表 支持的数据库 源数据库 目标数据库 DRDS实例 DRDS实例 前提条件 已登录数据复制服务控制台。 满足实时同步支持的数据库类型和版本，详情请参见实时同步。 使用建议 注意 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 DRS并发读取数据库，会占用大约610个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

本节为您介绍云迁移服务CMS中数据库迁移全量、增量及稽核修复相关内容。 能够在以下配置界面对迁移任务进行配置，在“迁移选择”选项，点击“全量”、“增量”或者”稽核修复”即为选择全量、增量迁移或者稽核修复。选择全量迁移时：仅迁移任务发起所处时间点的数据，不会对迁移过程中源库数据发生的变更进行同步；选择增量迁移时：在完成任务发起所处时间的数据后，会对迁移过程中源库发生的数据变更进行迁移；选择稽核修复时：在迁移完成后，会对数据进行一致性校验，并对不一致的数据进行修复。 说明 1. 为保障数据一致性，迁移期间请勿在源库中写入新的数据。如需实现不停机迁移，您需要在配置数据迁移任务时，同时选择全量数据迁移和增量数据迁移。 2. 增量数据迁移会保持同步的状态，所以迁移任务不会自动结束，您需要手动结束迁移任务。 3. 为保障数据一致性，稽核修复期间请勿在源库或目标库写入新数据。

本文主要介绍插入变量 添加请求信息时，在输入框内输入“$”，支持插入变量。 “变量类型”为“自定义变量”时，需要设置如下参数： 变量范围：选择变量范围。 变量名称：自定义变量名称。自定义变量名称为添加变量时为变量取的名称。 “变量类型”为“系统变量”时，需要选择函数名称： 身份证号：随机生成一个身份证号。 手机号：随机生成一个手机号。 区间随机数：根据用户输入区间，随机生成区间内的任一整数。 随机字符串：根据用户输入的位数（132），随机生成小写字母和数字混合的字符串。 时间戳：根据用户选择（秒（s）/毫秒（ms）），生成执行时当前时间戳（秒（s）对应10位，毫秒（ms）对应13位）。 UUID：随机生成一个32位的字符串。 “变量类型”为“加密函数”时，需要选择加密类型和变量插入的位置，加密类型如下： MD5：对val数据进行md5加密，返回加密后的数据字符串。 MD5BASE64：对val数据进行MD5BASE64编码，返回编码后的数据字符串。 SHA1：对输入的数据进行SHA1加密，返回加密后的数据字符串。 SHA224：对输入的数据进行SHA224加密，返回加密后的数据字符串。 SHA256：对输入的数据进行SHA256加密，返回加密后的数据字符串。 SHA384：对输入的数据进行SHA384加密，返回加密后的数据字符串。 SHA512：对输入的数据进行SHA512加密，返回加密后的数据字符串。 BASE64编码：对输入的数据进行BASE64编码，返回编码后的数据字符串。 BASE64解码：对输入的数据进行BASE64解码，返回解码后的数据字符串。

恢复操作步骤 1. 登入++天翼云ClickHouse 控制台++，在实例列表选择对应的实例，进入实例详情页面单击备份恢复。 2. 进入备份任务，选择相应的备份任务，在操作中单击恢复，选择相应的目标进行恢复。选中了目标实例，会根据备份库表所在节点的top结构自动匹配目标实例下对应的恢复top节点，如果分片和副本top没有匹配，将无法支持恢复任务。 3. 创建恢复任务后，会在源备份和目标恢复实例的恢复任务列表下都显示此次恢复任务。为了数据安全，数据恢复操作会先把数据恢复到目标集群临时库下，通过后台和人工check，由用户自主确定是否做临时库的数据切换。 4. 数据检查可通过恢复任务里的详情来check源目标节点相应表下的数据是否一致。 说明 因为对象存储中表备份数据还有一个额外文件，所以会比目标备份节点实际临时表数据多100多KB数据。 5. 人工核对恢复数据没有问题，可点击数据切换 按钮，会秒级把数据从临时表切换到正式表里。如果核对数据有问题，也可以点击取消按钮，暂停并删除此次目标集群的恢复任务。 注意 无论元数据还是数据恢复操作，都会把目标集群下相应恢复表的数据删除（如果有），请谨慎操作。

不可以。 若用户主密钥被彻底删除，KMS将不再保留任何该密钥的数据，使用该密钥加密的数据将无法解密；若用户主密钥没有被彻底删除，则可以通过KMS界面取消删除用户主密钥。 若用户主密钥是通过KMS导入的密钥，且仅删除了密钥材料，则可以将本地备份的密钥材料再次导入原来的空密钥，回收用户数据。若密钥材料没有在本地备份，则无法回收用户数据。

本文罗列了使用数据管理服务时可能遇到的一些问题。 实例列表怎么使用？ 数据管理服务DMS为了让用户更迅速、轻松地管理数据库实例，推出了实例列表功能，此列表将帮助用户快速访问所需的数据库实例。 您可以点击菜单实例列表查看您当前拥有权限的所有实例，也可以点击实例列表中的收藏标签查看您已经收藏的实例。 可通过收藏实例的路径有以下几种： 点击菜单实例列表，在实例列表页点击右上角添加实例按钮。 点击菜单数据资产 >实例管理，在实例列表页点击列表中的/，对实例进行收藏或取消收藏。 用户如何查看/使用实例？ 用户可以在以下几个页面中查看当前可查看/使用的实例： 点击菜单数据资产 >实例管理查看/使用实例。 点击菜单实例列表查看/使用实例。 点击菜单安全协作>团队管理，切换团队实例管理标签页，查看/使用实例。 点击个人中心>我的团队，切换团队实例标签页，查看/使用实例。 需要注意的是，数据管理服务DMS为了保障数据安全，进行了资源权限的控制，这包括了组织资源隔离、团队资源隔离，用户获取查看/使用某个实例权限的方法有以下几种： 加入实例所在的组织，并且加入实例所在的团队。 获得某个实例的数据授权。此操作需要实例所在组织/团队的管理员/团队管理员在数据资产 >实例管理页面，点击实例列表中的数据权限管理按钮进行操作。

本文为您介绍直接同步/同步主机同步的相关功能。 概要 文件存储数据灾备是针对NAS（Network Attached Storage，网络附属存储）共享存储实现海量数据灾备的高性能软件。从数据安全管理的角度看，从NAS共享存储上复制文件是困难的事情。如果使用NAS厂商的复制功能，就需要同构设备，依赖性和成本非常高；从数据复制效率的角度看，NAS共享存储灾备面临文件数据量大、文件容量达上百TB级别的问题。文件存储数据灾备主要为用户提供由 NAS 存储至目标端的数据复制服务，实现数据和NAS设备的解耦， 进行跨异构 NAS 设备之间的数据复制，通过技术创新，解决了NAS设备本身无法安装客户端、非实时同步等问题。 直接同步 前提条件 至少有一台装有drnode节点的工作机，并以节点的形式添加进控制台，工作机节点需要有文件存储数据灾备许可。 工作机之间需挂载相同的共享文件夹。 装有drnode节点的灾备机，并以节点的形式添加进控制台，灾备机节点需要有文件存储数据灾备许可。 注意：工作机的操作系统为Windows OS时，需要将drnode节点的运行模式改为“以应用方式运行”。 新建规则 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入[多活容灾服务控制台](

本页介绍天翼云TeleDB数据库如何对实例数据授权。 操作场景 由于目前PaaS平台和组件控制台的数据权限未统一，可能会出现两边查询的实例列表情况不一致的情况，基于此目的新增了数据权限查询接口。 操作步骤 1. 进入控制台，在左侧导航树选择我的租户 > 数据权限管理 ，进入数据权限授权页面。 2. 单击按角色 页签，勾选实例授权给相应用户。 3. 授权后，该用户可以查看该实例信息。 4. 取消授权，用户无法查看该实例信息。

参数 配置说明 重删存储名称 用户自定义的重删存储名称，重删存储名称只能以英文字母开头，可包含数字，不能包含中文及特殊字符。 存储类型 指存储类型本地存储和对象存储。 备份服务器 选择备份至该重删存储的备份服务器。 数据地址 填写备份服务器的IP地址，如果备份服务器有多个网卡，可通过该网卡IP进行数据传输。 对象存储 填写选择已经创建好的对象存储。 对象桶 选择该对象存储下为重删存储创建的对象桶，需要全新创建的空对象桶作为底层存储。 元数据存储位置 默认推荐为对象存储，也可以选择本地存储。 元数据服务端口 默认为26331，建议采用默认值。 指纹服务端口 默认为26332，不可编辑，随元数据端口递增显示。 数据块服务端口 默认为26333，不可编辑，随指纹服务端口递增显示。 指纹库目录 指纹库目录需要为空目录，建议使用SSD或NVMe硬盘作为存储路径。 数据块目录 本地存储类型可以选择数据块存储目录，用于备份数据分块处理。对象存储类型则没有该选项。 存储空间回收策略 支持设置按周、按月回收策略定期检查并清理无需的指纹数据。 描述 可自定义填写当前重删存储的描述信息。

本页详细介绍如何配置迁移实例。 基本流程 用户在成功购买天翼云DTS迁移实例之后，实例默认是“待配置”状态，需要完成实例的配置，才可以真正实现数据的迁移。 前置条件 1. 准备好待迁移的数据库实例。 2. 已成功订购天翼云DTS实例。 3. 其他合理且必要的条件。 具体步骤 1、登录天翼云官网门户，进入数据传输服务DTS控制台。 登录天翼云 在天翼云门户首页顶部菜单栏，点击“控制中心”进入【控制中心】页面。 在【控制中心】页面顶部的资源池下拉列表框中选择相应资源池（目前支持上海36/华东1/西南1/华北2/长沙42/杭州7 ），找到页面中的“数据库”服务列表，选择“数据传输服务DTS”，进入DTS控制台。 2、进入数据迁移实例列表页面。 在控制台左侧菜单栏点击“数据迁移”，进入【数据迁移】实例列表页面。 3、选择待配置实例，点击“实例配置”进入实例配置页面。 DTS实例订购成功后，选择对应实例ID的操作，点击“实例配置”，进入配置页面。

本文为您提供使用对象存储迁移服务,将第三方云厂商数据迁移至对象存储ZOS的最佳实践,请您阅读。 操作场景 对象存储迁移服务（ZOS Migration Service，简称：ZMS）可以将第三方云厂商存储的对象存储数据，通过云端控制台的操作，迁移到天翼云对象存储（ZOS）。本实践以“先进行源端数据评估，再进行数据迁移”为例，为您介绍如何迁移第三方云厂商数据至对象存储ZOS。 注意 若您已经了解待迁移源端数据的情况，无需进行迁移前的评估，您可以直接阅读迁移任务的创建部分，跳过该实践的评估部分内容。 使用须知 对象存储迁移服务（ZMS）入口请参见产品能力地图，服务支持全国不同资源池之间的迁移，迁移目的端支持填入全国各地的ZOS资源池地址。 为完成评估任务和迁移任务，您在使用迁移服务过程中，需要授权天翼云临时收集和使用您的部分个人信息，如用于鉴权的AK/SK/等密钥信息。 迁移过程中会产生公网流出流量费用及对象存储服务请求费用，该费用由源端的存储服务提供商向您收取。 您通过互联网进行数据迁移传输时，应遵从当地适用法律法规的要求，天翼云只为您提供数据迁移服务，并不对您使用本服务的合法合规性负责，不承担传输后的法律风险和后果。

本章节介绍ZooKeeper的数据轨迹功能 概述 在使用ZooKeeper的过程中可能会遇到Znode变更的情况，而在Znode变更之后，若相关的客户端没有收到变更事件的推送，会导致排查问题的难度加大，此时可以通过ZooKeeper数据轨迹功能提高问题的排查效率。 前提条件 已开通微服务引擎MSE，参考章节：创建ZooKeeper引擎 开通ZooKeeper实例并且状态正常。 操作步骤 1. 登录微服务引擎MSE注册配置中心管理控制台，选择资源池。 2. 在左侧导航栏，选择注册配置中心 > 实例列表。 3. 在实例列表页面，单击目标实例ID、实例名称或者目标行“管理”按钮均可跳转至实例基础信息页面。 4. 在左侧导航栏，选择数据管理> 数据轨迹。 变更记录 可以通过两个维度去查询数据轨迹：路径和SessionId，同时也支持查看近7天的数据轨迹数据。 变更时间：表示当前Znode变更事件发生的时间。 Path: 表示该Znode的Path。 变更及推送事件：表示当前时间段内的Znode变更及推送事件。变更事件中显示本次变更的事件类型；推送事件中展现推送发生时间，及被推送的具体客户端的SessionId。

数据盘加密场景 数据盘可以跟随弹性云主机一起购买，也可以单独购买。数据盘是否加密主要涉及如下场景： 购买方式 数据源 说明 随弹性云主机一起购买数据盘 不选择数据源 随弹性云主机一起购买的空白数据盘，可以选择加密或不加密。 创建完成后不可更改加密属性。 单独购买数据盘 不选择数据源 创建的空白数据盘，可以选择加密或不加密。 创建完成后不可更改加密属性。 单独购买数据盘 从备份创建（备份源云硬盘加密） 通过加密云硬盘创建的备份属性为加密。 使用加密备份作为数据源创建的云硬盘继承备份的加密属性和加密密钥。 单独购买数据盘 从备份创建 （备份源云硬盘未加密） 通过未加密云硬盘创建的备份为未加密备份。 使用未加密备份作为数据源创建的云硬盘未加密。 单独购买数据盘 从快照创建（快照源云硬盘加密） 通过加密云硬盘创建的快照为加密快照。 使用加密快照作为数据源创建的云硬盘继承快照的加密属性和加密密钥。 单独购买数据盘 从快照创建 （快照源云硬盘未加密） 通过未加密云硬盘创建的快照为未加密快照。 使用未加密快照作为数据源创建的云硬盘未加密。 单独购买数据盘 从镜像创建 （数据盘镜像不支持加密） 仅未加密云硬盘可以创建数据盘镜像。 使用未加密镜像作为数据源创建的云硬盘未加密。

参数名称 说明 逻辑库模式 拆分库：一个逻辑库可以关联多个数据节点，分片数均匀的分布在这些数据节点上。 单库：一个逻辑库仅关联一个数据节点，在该数据节点上仅创建一个分片。 逻辑库名称 长度为248个字符，以小写字母开头且仅支持小写，可以包含小写字母、数字、下划线。 选择账号 需要关联的DRDS账号。 选择数据节点 仅支持和当前DRDS实例处于相同VPC、且未被其他DRDS实例使用的数据节点（RDS for MySQL实例）。DRDS将在选择的数据节点上新建数据库，不会影响数据节点上已有的库表。 逻辑库总分片数 逻辑库总分片数是所选数据节点分片数的总和，为了确保每个数据节点上都能均匀分配到分片，逻辑库总分片数不能小于选择的数据节点数。考虑到业务会持续增长，建议每个数据节点上最小8分片，最大不超过64分片。

本节主要介绍登录数据管理服务 操作步骤 1. 登录天翼云控制台。 2. 单击管理控制台右上角的，选择区域和项目。 3. 在页面左上角单击，选择“数据库 > 数据管理服务 DAS”，进入数据管理服务信息页面

创建物化视图 sql CREATE MATERIALIZED VIEW [IFNOTEXISTS] [db.]tablename [ON CLUSTER] [TO [db.]name] [ENGINEengine] [POPULATE] AS SELECT ... 物化视图存储由相应的SELECT管理。 创建不带 TO [db].[table]的物化视图时，必须指定 ENGINE – 用于存储数据的表引擎。 使用 TO [db].[table] 创建物化视图时，不得使用 POPULATE。 一个物化视图的实现是这样的：当向SELECT中指定的表插入数据时，插入数据的一部分被这个SELECT查询转换，结果插入到视图中。 云数据库ClickHouse中的物化视图更像是插入触发器。 如果视图查询中有一些聚合，则它仅应用于一批新插入的数据。 对源表现有数据的任何更改（如更新、删除、删除分区等）都不会更改物化视图。 如果指定 POPULATE，则在创建视图时将现有表数据插入到视图中，就像创建一个 CREATE TABLE ... AS SELECT ...一样。 否则，查询仅包含创建视图后插入表中的数据。 我们不建议使用POPULATE，因为在创建视图期间插入表中的数据不会插入其中。 SELECT 查询可以包含 DISTINCT、GROUP BY、ORDER BY、LIMIT……，相应的转换是在每个插入数据块上独立执行的。 例如，如果设置了 GROUP BY，则在插入期间聚合数据，但仅在插入数据的单个数据包内。 数据不会被进一步聚合。 例外情况是使用独立执行数据聚合的 ENGINE，例如 SummingMergeTree。 在物化视图上执行ALTER查询有局限性，因此可能不方便。 如果物化视图使用构造 TO [db.]name，你可以 DETACH视图，为目标表运行 ALTER，然后 ATTACH先前分离的（DETACH）视图。 物化视图受optimizeoninsert设置的影响， 在插入视图之前合并数据。 视图看起来与普通表相同。 例如，它们列在 SHOW TABLES查询的结果中。 删除视图,使用DROP VIEW. DROP TABLE也适用于视图。

科研文件规格 可用区 适用 指标 性能 科研文件专业入门版 厦门4、北碚1、哈密1 冷数据、应用和环境、模型文件等 IOPS 无最低性能保证 科研文件专业入门版 厦门4、北碚1、哈密1 冷数据、应用和环境、模型文件等 吞吐量 无最低性能保证 科研文件专业性能版 北京11 模型训练数据集 IOPS 每GB 2.6 IOPS，1300 IOPS 起 科研文件专业性能版 北京11 模型训练数据集 吞吐量 每GB 0.2 MB/s， 100 MB/s 起 科研文件企业版 福州6、扬州7、中卫4、厦门6、贵阳2 模型训练数据集 IOPS 每GB 50 IOPS + 1800 IOPS 基准，最大35000 IOPS 科研文件企业版 福州6、扬州7、中卫4、厦门6、贵阳2 模型训练数据集 吞吐量 每GB 0.5 MB/s + 120 MB/s 基准，最大350 MB/s

本章节主要介绍配置的配置OBS桶。 脚本、作业或节点的历史运行记录依赖于OBS桶，如果未配置测试运行历史OBS桶，则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 配置方法 1.登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 3.选择“OBS桶”。 4.配置OBS桶的信息。 详见下图：配置OBS桶 5.单击“保存”，完成配置。

名称 类型 描述 normal Double 卷数据中，正常状态的量百分比。 lowRedundancy Double 卷数据中，降级状态的百分比。 error Double 卷数据中，错误状态的百分比。 reconstructionProgress Double 如果存在降级状态的数据，数据重建进度的百分比。 ETR Long 如果存在降级数据，预计剩余的数据重建时间。单位为秒。如果返回值为负数，说明数据无法重建，需用户尽快修复。

集群拓扑 集群拓扑：对集群物理资源实际部署方式的可视化逻辑展示。 故障域 存储池支持设置故障域，故障域是指一组可能因共享某些基础设施（如机房、机架、服务器等）而同时发生故障的组件的集合，同一故障域内组件的故障仅影响本故障域内的数据。 HBlock将副本模式数据的各个副本或者EC模式数据的各个分块，按照故障域分配并存储，以达到数据保护的目的。同一数据的各个副本，以及同一数据的EC分块，写入不同故障域中。 数据服务 一个数据目录对应一个数据服务，HBlock通过数据服务管理数据目录内用户的文件数据块。 监控 监控是指对HBlock系统、存储池、服务器、数据目录、卷的性能指标进行监测记录，用户可以查看实时或者历史性能数据，关注存储服务的性能。监控指标详见监控指标。 事件 事件指系统记录的用户操作HBlock的行为或HBlock系统行为，方便排查故障、审计和跟踪，全方面掌控存储运行情况。 事件分为用户事件和系统事件： 用户事件：用户操作HBlock的行为，具体用户事件列表详见用户事件列表。 系统事件：HBlock系统行为，具体系统事件列表详见附录系统事件列表。

本页介绍天翼云TeleDB数据库高效的分布式数据查询能力。 TeleDB支持提供高效的分布式数据查询能力。分布式查询架构主要由四部分组成，分别为：客户端、GTM、CN和DN。 客户端：负责发送读写请求，缓存数据和文件，接收返回结果。 GTM：负责提供全局事务id和快照。 CN：负责全局事务、SQL优化、计划分发和结果汇聚。 全局事务：从GTM获取全局事务id和快照。 SQL优化：生成最优的执行计划。 计划分发：将全部计划或部分计划分发给相应的DN。 结果汇聚：收集DN返回结果，汇总后返回客户端。 DN：负责计划执行、数据交互和返回结果。 计划执行：接收CN的执行计划，并执行。 数据交互：如果需要其它DN数据，从其它DN获取数据。 结果返回：将执行结果返回给CN。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 方法监控（detail，以方法维度统计接口调用数据。） method method 请求的方法 ENUM LAST 方法监控（detail，以方法维度统计接口调用数据。） concurrentMax 最大并发 该方法的最大并发 INT MAX 方法监控（detail，以方法维度统计接口调用数据。） errorCount 错误数 该方法的错误数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） invokeCount 调用次数 该方法的调用次数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） maxTime 最大响应时间 该方法在采集周期内最大响应时间 INT MAX 方法监控（detail，以方法维度统计接口调用数据。） runningCount 正在执行数 该方法在采集时间点正在执行数量 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range1 010ms 响应时间在010ms范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range3 100500ms 响应时间在100500ms范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range4 5001000ms 响应时间在5001000ms范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range5 110s 响应时间在110s范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range6 10s以上 响应时间在10s以上请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） totalTime 总响应时间 该方法的总响应时间 INT SUM 集群调用（cluster，以调用方集群id维度统计接口调用数据。） clusterId 集群id 调用方的集群id ENUM LAST 集群调用（cluster，以调用方集群id维度统计接口调用数据。） invokeCount 调用次数 该集群的调用次数 INT SUM 集群调用（cluster，以调用方集群id维度统计接口调用数据。） totalTime 总响应时间 该集群调用的总响应时间 INT SUM 集群调用（cluster，以调用方集群id维度统计接口调用数据。） errorCount 错误次数 该集群调用的错误次数 INT SUM

测试场景 本章节主要测试RocketMQ不同产品规格在发送1KB大小的消息，实例的网络入流量、网络出流量、消息生产速率、消息消费速率、CPU核均负载和内存使用率。 测试环境 购买实例 名称 规格 存储空间 rocketmq01 c7.xlarge.2 4C8G 超高I/O 500GB rocketmq02 c7.2xlarge.2 8C16G 超高I/O 500GB rocketmq03 c7.4xlarge.2 16C32G 超高I/O 500GB 控制台创建主题 名称 权限 关联代理 队列个数 topic01 发布+订阅 broker1 8 控制台创建消费组 名称 关联代理 最大重试次数 是否允许以广播模式消费 group01 broker1 16 否 测试工具准备 购买1台ECS服务器（区域、可用区、虚拟私有云、子网、安全组与RocketMQ实例保持一致，Linux系统），安装jdk，并配置环境变量 tar zxvf jdk8u131linuxx64.tar.gz vi /etc/profile 追加以下内容 export JAVAHOME/root/jdk1.8.0131 export PATH$JAVAHOME/bin:$PATH 生效配置 source /etc/profile 下载测试工具 wget 解压测试工具 unzip rocketmqall5.1.4binrelease.zip 测试命令

本章节主要介绍通过Flink作业处理OBS数据的最佳实践。 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。 在本示例中，我们使用MRS集群内置的Flink WordCount作业程序，来分析OBS文件系统中保存的源数据，以统计源数据中的单词出现次数。 操作流程 本示例操作流程如下： 创建MRS集群 创建并购买一个包含有Flink组件的MRS集群，详情请参见购买自定义集群。 说明 本文以购买的MRS 3.1.0版本的集群为例，集群未开启Kerberos认证。 在本示例中，由于我们要分析处理OBS文件系统中的数据，因此在集群的高级配置参数中要为MRS集群绑定IAM权限委托，使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。 您可以直接选择系统默认的“MRSECSDEFAULTAGENCY”，也可以自行创建其他具有OBS文件系统操作权限的自定义委托。 集群购买成功后，在MRS集群的任一节点内，使用omm用户安装集群客户端，具体操作可参考安装并使用集群客户端。 例如客户端安装目录为“/opt/client”。

本章介绍将自建Redis的数据通过DCS控制台迁移到DCS Redis。 场景描述 当前DCS支持将自建Redis的数据通过DCS控制台迁移到DCS Redis。 您需要先将自建Redis的数据进行备份，然后在DCS控制台创建迁移任务，将备份数据文件迁移到DCS Redis中。 前提条件 已创建主备或集群目标实例，且源实例已写入数据并备份成功。 步骤1：获取源Redis实例名称及密码 获取准备迁移的源Redis实例名称。 步骤2：准备目标Redis实例 如果您还没有DCS Redis，请先创建。 如果您已有DCS Redis，则不需要重复创建，但在迁移之前，您需要清空实例数据。 − 清空操作请参考清空Redis实例数据。 − 如果没有清空目标实例数据，当目标实例存在与源Redis实例相同的key时，迁移后，会覆盖目标Redis实例原来的数据。 步骤3：创建迁移任务 步骤 1 登录分布式缓存服务管理控制台。 步骤 2 在管理控制台左上角单击，选择区域和项目。 步骤 3 单击左侧菜单栏的“数据迁移”。页面显示迁移任务列表页面。 步骤 4 单击右上角的“创建备份导入任务”，进入创建备份导入任务页面。 步骤 5 设置迁移任务名称和描述。 步骤 6 “数据来源”选择“Redis实例”。 步骤 7 在“源Redis实例”中选择步骤1：获取源Redis实例名称及密码中的Redis实例。 步骤 8 在“备份记录”中选择需要迁移的备份文件。 步骤 9 选择步骤2：准备目标Redis实例中创建的目标Redis。 步骤 10 输入目标实例的密码，单击“测试连接”，测试密码是否符合要求。免密访问的实例，请直接单击“测试连接”。 步骤 11 单击“立即创建”。 步骤 12 确认迁移信息，然后单击“提交”，开始创建迁移任务。 可返回迁移任务列表中，观察对应的迁移任务的状态，迁移成功后，任务状态显示“成功”。 结束

任务中心为您提供监控数据导出的管理功能。在创建监控数据导出任务后,您可以在任务中心,查看任务记录及状态并下载文件到本地。 操作场景 支持用户导出所订购资源的监控数据，可以灵活选择数据类型（聚合值/原始值）、时间周期、监控指标以及监控对象。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“迁移与管理”，单击“云监控”，进入监控概览页面。 4. 单击“主机监控”>"云主机监控"，进入云主机监控列表页面。 5. 点击右上角“导出监控数据”，出现“导出监控数据”弹窗。 6. 按页面提示信息填写任务名称，以及选择周期、聚合周期、时间、监控对象、监控指标等信息。 7. 点击“确定”，完成监控数据导出任务创建。 8. 在“云监控”>"任务中心"，可以查看您已经创建的数据导出任务。 9. 点击待选择的数据导出任务，操作下“下载”按钮，将数据文件导出到本地。 具体参数配置如下： 参数 参数说明 任务名称 定义导出任务名称 周期 可以选择任务类型，聚合值。原始值 聚合周期 选择聚合周期，1/2/6/12/24小时 时间选择 选择导出数据的时间范围 监控对象 选择导出数据的对象 监控指标 选择导出数据的监控指标 说明 数据以.zip压缩文件格式导出到本地，您可通过解压缩软件解压后查看文件信息。 任务中心所创建的导出任务超过7天，数据将不支持“下载”操作。 “状态”为“待处理/处理中/失败”的数据导出任务，数据不支持“下载”操作。 任务中心已支持产品：云主机、对象存储、云硬盘、弹性IP、负载均衡、组播、云主机备份、云硬盘备份、并行文件、云备份。

本节为您介绍数据库迁移服务功能特性。 多种源和目标 数据库迁移服务支持多种数据库之间的数据迁移。 数据"0"丢失 数据库迁移服务在传输过程存在数据校验保证数据一致，用户也可通过数据稽核功能相对准确的检验出两端数据的异同。 自定义迁移 数据库迁移服务可以根据用户的特定需求智能地筛选出要迁移的数据，例如根据表名进行筛选。 多模式迁移 数据库迁移服务支持表结构、全量、增量多模式迁移，可将数据库割接窗口降至分钟级，减少迁移带来的业务影响。 快速数据传输 数据库迁移服务采用优化的传输协议和算法，实现高速的数据传输。它能够利用带宽和网络资源，最大程度地提高数据迁移的速度，减少迁移时间。 定时任务与批量迁移 数据库迁移服务支持定时任务，用户可以设置定时任务，自动执行数据迁移，减少人工干预。同时数据库迁移服务支持批量迁移多张表，提高数据迁移速度，减少迁移时间。

接口功能介绍 生成并导出数据密钥 接口约束 请保证账户余额大于0 URI POST /v1/keyCompute/generateAndExportDataKey 路径参数 无 Query参数 无 请求参数 请求头header参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池id fecnjniakfkn2314ndekqldedcsadfg 请求体body参数 参数 是否必填 参数类型 说明 示例 下级对象 cmkUuid 是 String 密钥唯一标识id 474e569e8814474a948bdbcf6d853eff keySpec 否 String 指定生成数据密钥类型 AES256 numberOfBytes 否 String 指定生成的密钥长度 128 publicKeyBlob 是 String base64格式的公钥 wrappingAlgorithm 是 String 使用publicKeyBlob所指定的公钥，加密（Wrap）数据密钥时的加密算法 wrappingKeySpec 是 String Publickeyblob的密钥类型 RSA128 响应参数 参数 参数类型 说明 示例 下级对象 statusCode String 返回码 取值范围：200 成功 200 error String 错误码 KMS0514 message String 调用结果信息 加密数据成功 returnObj Object 接口返回结果 returnObj 表 returnObj 参数 参数类型 说明 示例 下级对象 exportedDataKey String 导出的数据密钥密文 AK0Fq+zuxUitFTmOpyJkJb8VsjR7t8RLFGMSLxsiuK6s6/8dyQmlI5lxCxBFDfuRT9bpLqLAlKNm7DM+NzYNNwshq1GsX7+ujaTfHIt5a4QOW5mLdnPEpdpbUfOHzXlV3pvToDC24wPJjw7KcIQMqchfOzuixXWtreEVf8LK4J1hMiVp1VuiDO2HR1dUjk+RZVsQKlZy0xf55qN4uffknp1c7bwv5Fd1mPIVzBjvjdz9h+8gTG2VVygN1uHo0tCCljQRKFGLo67y/E8Dn8qyWANWKhPl0dkjNrOtRvwm1kNK7cunPIECkpYm1lHnBPO3QPkzIC7t5dQJzu3T0iMAAg requestId String 请求id 2a56124813ed4ef7a359e818dce118d8 cmkUuid String 密钥唯一标识id 474e569e8814474a948bdbcf6d853eff keyVersionId String 密钥版本id f2ffbff9940a41a4ba9afe1fd8f22792 ciphertextBlob String 数据密钥密文 itIb4kN84JKrbv8P5ZTZJyn3cbu0SLvblB5/csedLEchgF5ijFx9nEc5Y0DpzWba dataKeyId String 数据密钥id 012ea0d1862a488b956e107ffae5059f

序号 最大资产数 管理中心主机配置 1 20 1核2G，60G数据盘 2 50 1核4G，100G数据盘 3 100 2核4G，200G数据盘 4 200 2核4G，200G数据盘 5 400 4核8G，300G数据盘 6 800 8核16G，400G数据盘

参数 类型 描述 是否必须 path Sring 指定数据目录。数据目录用于存储数据，建议不要与操作系统共用磁盘或文件系统。 取值：只能包含字母、数字、汉字和特殊字符(~ ! @ $ ( ) + ; . :)。 否 capacityQuota Long 指定数据目录的容量配额，即针对加入到服务器中的每个数据目录，HBlock可写入的数据总量。当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 取值：小于数据目录所在磁盘的总容量，单位是bytes。负整数表示无限制写入，0表示禁止写入。 默认不限制写入。 注意 如果相同的数据目录出现多次，以第一次出现的数据目录的容量配额为准。 否

本文主要介绍使用MirrorMaker跨集群数据同步。 应用场景 在以下场景，使用MirrorMaker进行不同集群间的数据同步，可以确保Kafka集群的可用性和可靠性。 备份和容灾：企业存在多个数据中心，为了防止其中一个数据中心出现问题，导致业务不可用，会将集群数据同步备份在多个不同的数据中心。 集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。 方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原理如图1所示，MirrorMaker本质上也是生产消费消息，首先从源集群中消费数据，然后将消费的数据生产到目标集群。如果您需要了解更多关于MirrorMaker的信息，请参见Mirroring data between clusters。 图 MirrorMaker 原理图 约束与限制 源集群中节点的IP地址和端口号不能和目标集群中节点的IP地址和端口号相同，否则会导致数据在Topic内无限循环复制。 使用MirrorMaker同步数据，至少需要有两个或以上集群，不可在单个集群内部使用MirrorMaker，否则会导致数据在Topic内无限循环复制。 实施步骤 1、 购买一台弹性云主机，确保弹性云主机与源集群、目标集群网络互通。具体购买操作，请参考购买弹性云主机。 2、 登录弹性云主机，安装Java JDK，并配置JAVAHOME与PATH环境变量，使用执行用户在用户家目录下修改“.bashprofile”，添加如下行。其中“/opt/java/jdk1.8.0151”为JDK的安装路径，请根据实际情况修改。 export JAVAHOME/opt/java/jdk1.8.0151 export PATHJAVAHOME/bin:PATH 执行source .bashprofile命令使修改生效。 说明 弹性云主机默认自带的JDK可能不符合要求，例如OpenJDK，需要配置为Oracle的JDK，可至Oracle官方下载页面