本节为您介绍自建PostgreSQL同步至自建PostgreSQL任务配置。 前提条件 自建PostgreSQL目标端版本为9.5.x、9.6.x、10.x、11.x、12.x、13.x、14.x版本，且版本高于或等于源端。 目标端权限要求 同步模式 所需权限 全量 模式层级：USAGE 表层级： SELECT 增量 用户为超级用户或者复制角色 复制角色赋予方法：alter user 用户名 with replication 模式层级：USAGE 表层级：SELECT 目标端配置 数据源类型 选定为PostgreSQL，可将源端同步至版本范围内的PostgreSQL数据库 服务器IP 目标端数据库的连接IP 端口号 目标端数据库的端口 用户名 用于连接待目标端数据库的用户名称 密码 用于连接待目标端数据库的用户的密码 数据库 目标端用于接收源端数据的数据库名称 模式 目标端用于接收源端数据的模式（schema）名称

本节为您介绍自建MySQL同步至自建PostgreSQL任务配置。 前提条件 自建PostgreSQL目标端版本为9.5.x、9.6.x、10.x、11.x、12.x、13.x、14.x版本 目标端权限要求 同步模式 所需权限 全量 模式层级：USAGE 表层级： SELECT 增量 用户为超级用户或者复制角色 复制角色赋予方法：alter user 用户名 with replication 模式层级：USAGE 表层级：SELECT 目标端配置 数据源类型 选定为PostgreSQL，可将源端同步至版本范围内的PostgreSQL数据库 服务器IP 目标端数据库的连接IP 端口号 目标端数据库的端口 用户名 用于连接待目标端数据库的用户名称 密码 用于连接待目标端数据库的用户的密码 数据库 目标端用于接收源端数据的数据库名称 模式 目标端用于接收源端数据的模式（schema）名称

数据导出 1. 登录数据管理服务的管理控制台。 2. 在左侧导航栏，单击 开发空间 > 数据导出 ，进入数据导出管理页面。 3. 单击数据导出按钮，弹出数据导出工单填写弹窗，工单需要输入的内容说明： 1. 选择数据库：数据库实例选择列表，数据来源于数据资产 >元数据管理中添加的数据库实例，支持MySQL、PostgreSQL。 2. 导出类型：可以选择整表导出、SQL结果集两种导出类型其中之一。若是整表导出，需要选择表；若是SQL结果集导出，需要输入SQL查询语句。 3. 导出文件类型：支持CSV（逗号分隔值）、SQL文件、TXT文件。您可以根据需要选择最适合您工作流程的格式。 4. 备注：描述工单备注内容。 4. 填写完数据导入工单后，单击评估按钮，对当前的导出任务进行一个评估，输出预计导出行数以及预估导出所需要的时间，提供参考。 5. 点击提交按钮，执行后台导出任务。提交后，将会跳转到导出工单列表页面，可以在工单列表页面查看导出状态。

本节主要介绍开启性能采集 评估数据可以在对应主机详情中查看，可以被用来进行方案推荐。 前提条件 已参考0添加资源信息或0导入资源信息添加或导入资源信息。 操作步骤 步骤1 在浏览器中输入 步骤2 单击左侧导航栏的“ 资源发现 ”，进入资源发现界面。 步骤3 在“ 主机 ”页签下，勾选要采集的资源，单击“ 性能及关联关系采集 > 开启 ”。 您可根据主机名称、发现状态、主机状态、平台名、标签名称快速查找您需要的主机。 开启性能采集 步骤4 将鼠标放到状态列的图标上，显示“ 采集中 ”，则已开启性能采集。

本节主要介绍网络设置 在网络设置可开启天翼产品信息同步，配置访问互联网的代理服务器，查看通讯矩阵。 操作步骤 步骤 1 在浏览器中输入 单击左侧导航栏的“ 配置管理 ”，进入配置管理界面。 （可选）开启天翼云产品信息同步。 1.在网络设置页签，单击“同步”按钮。 开启同步 2.弹出是否开启同步 窗口，单击“ 确认 ”。 注意 同步操作会消耗一定网络流量，您可以在开启后随时关闭该功能。 （可选）远程访问配置。RDA默认只能通过本地浏览器访问，您可以通过打开远程访问开关开启远程访问以便其他用户访问。 单击远程访问 后的按钮，在弹出的“ 是否开启远程访问 ”窗口，单击“ 确认 ”。 确认开启 注意 开启远程访问后，您和其他用户可以通过其它机器上的浏览器访问本系统(https：//本机IP：7099)，请谨慎开启。 （可选）代理配置。 选择“ 手动配置代理服务器 ”和“ 启用代理认证 ”并输入相应的代理地址和登录账号、密码，单击“ 保存 ”。 代理配置 注意 HTTP代理地址和端口请根据实际情况填写。 查看通信矩阵详情。 在网络设置 页签左侧可查看通信矩阵，如图所示。单击“ 查看通信矩阵详情 ”，可切换至参数详情页面，如下图所示。 通信矩阵： 通信矩阵详情

参数 说明 名称 用户自定义 系统类型 按实际使用系统类型选择 IP 主机IP 凭证名称 用户自定义 账号 主机实际登录账号 密码 主机实际登录密码

本节主要介绍获取topo图 topo图定义了各个主机之间的相互调用关系。 前提条件 待获取topo的主机已绑定凭证。 配置目的端 步骤1 在浏览器中输入 步骤2 单击左侧导航栏的“ 资源发现 ”，进入资源发现界面。 步骤3 在“ 主机 ”页签下，勾选需要获取topo的资源，单击“ 性能及关联关系采集 > 查看topo ”。 查看topo

本节主要介绍资源发现 资源发现主要用于执行平台、主机、数据库等资源的发现。展示平台、主机、数据库的发现结果。添加信息前，您可以根据业务的不同，创建不同的项目进行采集和后续评估。

本节主要介绍云环境配置模板，适用于RDA2.9.8版本。 天津 天津 203.176.94.86 iam.cntj1.ctyun.cn 203.176.94.86 vpc.cntj1.ctyun.cn 203.176.94.86 ecs.cntj1.ctyun.cn 203.176.94.86 ims.cntj1.ctyun.cn 203.176.94.86 evs.cntj1.ctyun.cn 上海 上海4 203.176.94.86 iam.cnsh1.ctyun.cn 203.176.94.86 vpc.cnsh1.ctyun.cn 203.176.94.86 ecs.cnsh1.ctyun.cn 203.176.94.86 ims.cnsh1.ctyun.cn 203.176.94.86 evs.cnsh1.ctyun.cn 苏州 苏州 203.176.94.86 iam.cnjssz1.ctyun.cn 203.176.94.86 vpc.cnjssz1.ctyun.cn 203.176.94.86 ecs.cnjssz1.ctyun.cn 203.176.94.86 ims.cnjssz1.ctyun.cn 203.176.94.86 evs.cnjssz1.ctyun.cn 杭州 杭州 203.176.94.86 iam.cnzhejiang1.ctyun.cn 203.176.94.86 vpc.cnzhejiang1.ctyun.cn 203.176.94.86 ecs.cnzhejiang1.ctyun.cn 203.176.94.86 ims.cnzhejiang1.ctyun.cn 203.176.94.86 evs.cnzhejiang1.ctyun.cn

本节主要介绍准备工作 使用RDA前，您需要完成本文中的准备工作。 注册天翼云账号并完成实名认证 账号充值 账号余额大于等于100元

启动/暂停Smart Connect任务 暂停任务后，Kafka实例的数据将不会再同步到另一个Kafka实例或者其他云服务中。 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、执行以下操作，启动/暂停Smart Connect任务。 启动：在待启动的Smart Connect任务所在行，单击“启动”。 暂停：在待暂停的Smart Connect任务所在行，单击“暂停”，弹出“暂停任务”对话框，单击“确定”。 结束 重启Smart Connect任务 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、在待重启的Smart Connect任务所在行，单击“重启”，弹出“重启任务”对话框。 重启Smart Connect任务前，请注意以下两点： Smart Connect任务创建后，修改了源端或者目标端的参数，可能会导致重启失败。 重启Smart Connect任务会重置同步进度，并重新开始同步任务。 7、单击“确定”，完成Smart Connect任务的重启。 当页面左上方显示“成功重启任务xxx”时，表示成功重启Smart Connect任务。 结束

资源类型 配置项 配置明细 说明 RDS（目的端） RDS实例名 Destination 自定义，易理解可识别 RDS（目的端） 数据库版本 SQL Server 2016标准版 本示例中为单机。实际使用时，为提升业务可靠性，推荐选择主备RDS实例。 RDS（目的端） 实例类型 单机 RDS（目的端） 存储类型 SSD RDS（目的端） 可用区 可用区1 本示例中未单机，实际业务场景推荐选择主备RDS实例，此时建议将两个实例创建在不同的可用区，提升业务可靠性。 RDS（目的端） 规格 2 vCPUs 8 GB

本文为您介绍如何管理评估任务,包含对任务的各种操作。 您可在评估任务列表中，管理您已经创建的任务，包括暂停任务、恢复任务等操作。以下是对任务进行操作的说明： 对评估任务进行暂停操作 您可以在任务列表中，点击想要暂停的任务，即可暂停当前正在执行评估的任务。 注意 仅任务为“排队中”或“评估中”状态时，可以暂停任务。 对评估任务进行恢复操作 您可以在任务列表中，点击想要恢复的已暂停任务，即可将已暂停的任务恢复为排队中，排队后任务将自动恢复执行。 注意 仅任务为“暂停”状态时，可以恢复任务。 对评估任务进行删除操作 您可以在任务列表中，点击想要删除的任务，即可将任务从列表中删除，被删除的任务信息无法被恢复，请谨慎操作。 注意 为保障任务稳定运行，“排队中”或“评估中”状态的评估任务，不可被直接删除。若您想要删除该状态的任务，请您先暂停该任务，再执行删除。 对失败或结束的评估任务，进行开始操作 您可以在任务列表中，对“ 任务失败 ”或“ 任务结束 ”状态的任务再次执行开始操作，让任务重新进行评估。 注意 仅“任务失败”或“任务结束”状态的评估任务，可以重新开始任务。 对于“任务失败”的评估任务，执行开始操作会重新执行评估，对于“任务结束”状态的评估任务，执行开始操作也会重新进行评估。

本节介绍了如何创建所需的VPC和安全组。 创建VPC和安全组，为创建云数据库GaussDB 实例准备网络资源和安全组。 创建VPC 1. 登录天翼云控制台。 2. 单击管理控制台左上角的，选择区域。 3. 单击左侧的服务列表图标，选择“网络 > 虚拟私有云”。 进入虚拟私有云信息页面。 4. 单击“创建虚拟私有云”购买VPC。 5. 单击“立即创建”。 6. 返回VPC列表，查看创建VPC是否创建完成。 当VPC列表的VPC状态为“可用”时，表示VPC创建完成。 创建安全组 1. 登录天翼云控制台。 2. 单击管理控制台左上角的，选择区域。 3. 单击左侧的服务列表图标，选择“网络 > 虚拟私有云”。 进入虚拟私有云信息页面。 4. 选择“访问控制”>“安全组”。 5. 单击“创建安全组”。 6. 填写安全组名称等信息。 7. 单击“确定”。 8. 返回安全组列表，单击安全组名称“sgd1ce”。 9. 选择“入方向规则”，单击“添加规则”。 10. 配置入方向规则，添加源库的IP地址。

本节为您介绍自建MySql为源的订阅任务配置。 前提条件 （1）自建MySQL数据库的源端版本为5.6、5.7、8.0版本。 （2）自建MySQL数据库源端已关闭大小写敏感。 （3）自建MySQL数据库源端已开启开启binlog且格式为row。 源端权限要求 由于权限查询需要设计到mysql.user及mysql.db两张系统表。所以需要先授予用户以上两张表的SELECT权限。 订阅模式 所需权限 数据订阅 SELECT，开启binlog row模式 全局级别:REPLICATION CLIENT,REPLICATION SLAVE 源端配置： 数据源类型 选定为MySQL，可订阅版本范围内的MySQL数据库数据 服务器IP 待订阅源端数据库的连接IP 端口号 待订阅源端数据库的端口 用户名 用于连接待订阅源端数据库的用户名称 密码 用于连接待订阅源端数据库的用户的密码 数据库 要订阅的源端数据库名

发布日期 修订记录 20240103 第一次修订，细分模块。 20240122 第二次修订，修改模块图片不清晰、链接跳转错误问题。 20240415 第三次修订，调整链接跳转错误问题。 20250113 第四次修订，根据优化后的用户界面更新模块图，新增批量操作与定时任务模块。

数据管理服务支持数据来源为云数据库、数据类型为MySQL、地域/资源池一致的不同实例之间进行数据复制，本文介绍如何提交复制任务。 注意 仅II类型资源池支持该功能，具体支持情况以控制台页面展示为准。更多资源池信息，请参见功能概览。 前提条件 操作用户拥有对源数据库与目标数据库的的读写权限。 源数据库与目标数据库均已是登录状态。 操作步骤 1. 登录数据管理服务控制台。 2. 打开左侧导航栏，选择开发空间> 数据复制 ，进入数据复制管理页面，开始创建复制任务。 3. 单击数据复制选项，按照要求填写数据复制工单，具体的填写说明如下表所示。 输入内容 说明 源数据库 数据库实例选择列表，数据来源于 数据资产元数据管理 中添加的数据库实例，支持来源为云数据库的MySQL。 源数据库表选择 根据需求选择全部表或部分表。 请选择表 若在源数据库表选择中选中部分表选项，则可以根据需求在请选择表下拉选项中选择需要克隆的表。 目标数据库 数据库实例选择列表，数据来源于 数据资产元数据管理 中添加的数据库实例，支持来源为云数据库的MySQL。 复制范围 根据需求选择表结构或全量数据。 附加范围 根据需求选择视图、存储过程、函数、事件、触发器五个选项中的一个或者多个。 同名对象处理 根据需求选择跳过同名对象或覆盖同名对象。 计划执行时间 根据需求选择立即执行或指定时间。 选择日期时间 若在计划执行时间选择指定时间，则可以在选择日期时间根据需求选择开始时间点。 工单说明 描述工单备注内容。 4. 按照需求填写好数据复制工单后，单击提交选项完成工单的提交，等待数据复制完成。

本节主要介绍License配置 首次登录使用RDA时，需参考本章节获取并配置License。 操作步骤 步骤 1 在浏览器中输入 单击左侧导航栏的“ 配置管理 ”，进入配置管理 界面。在“ License配置 ”页签，单击“ 获取ESN ”。 License配置 获取ESN后发送相关信息到对应邮箱进行人工审批，审批通过后会发送License信息到相关邮箱。 在“ License配置 ”页签下，选择已获取的License文件，单击“ 上传文件 ”。 上传License

本节主要介绍标签管理 标签管理用于快速便捷管理与查找云主机。 操作步骤 步骤 1 在浏览器中输入 步骤 2 单击左侧导航栏的“ 配置管理 ”，进入配置管理 界面。在“ 标签管理 ”页签，单击“ 添加 ”。 添加标签 步骤 3 在弹出的“ 添加标签 ”窗口，输入标签健、标签值并选择颜色，单击“ 确定 ”。 确定添加

本节主要介绍凭证管理 凭证管理可添加公有云、私有云、主机、数据库、REDIS、ElasticSearch的认证方式。其中公有云采用AK/SK、密码方式认证，私有云、主机、数据库、REDIS采用用户名/密码方式认证 。 操作步骤 步骤 1 在浏览器中输入 单击左侧导航栏的“ 配置管理 ”，进入配置管理 界面。在“ 凭证管理 ”页签，单击“ 添加 ”。 添加凭证 在“ 输入凭证 ”页面，按照页面提示，选择认证方式并输入相应凭证，如图所示，单击“ 下一步 ”。 若不需要关联对象，可单击“ 保存退出 ”。 输入凭证 在“ 关联对象 ”页面，选择可关联的对象，单击“ 下一步 ”。 关联对象 在“ 确认添加 ”页面，确认添加的凭证与关联的资源，单击“ 确认 ”。 添加完成后，在凭证列表页可以看到添加的凭证。 确认凭证

本节主要介绍资源总览 RDA资源总览界面用于展示各项目下发现的资源信息以及各个项目的评估状况。 前提条件 已安装RDA。 操作步骤 步骤1 在浏览器中输入 步骤2 单击左侧导航栏的“ 资源发现 ”，进入资源发现界面。 如图所示，资源总览展示了default项目下的资源信息。 查看总览详情

本节主要介绍导出资源信息日志 您可以参考本章节导出已发现的资源信息或日志，用于分析相关资源或出现异常时，通过日志分析异常原因。 前提条件 已完成配置系统相关的信息。 已添加或导入资源信息。 操作步骤 步骤1 在浏览器中输入 步骤2 单击左侧导航栏的“ 资源发现 ”，进入资源发现界面。 步骤3 单击界面右上角的“ 一键导出 ”，弹出一键导出窗口。 一键导出 步骤4 在“ 一键导出 ”窗口，选择导出类别、导出格式、导出日志，单击“ 确定 ”。 一键导出

本节介绍如何配置Kafka数据转储至OBS。 本章节介绍如何创建转储的Smart Connect任务，通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中，实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 一个实例最多创建18个Smart Connect任务。 Smart Connect任务创建成功后，不支持修改任务参数。 前提条件 已开启Smart Connect。 已创建Kafka实例，且实例状态为“运行中”。 已创建的OBS桶和Kafka实例需要在同一个区域。 配置Kafka数据转储至OBS 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、单击“创建Smart Connect任务”，进入“创建smart connect”页面。 7、在“connect任务名称”中，输入Smart Connect任务的名称，用于区分不同的Smart Connect任务。任务名称需要符合命名规则：长度为4~64个字符，只能由英文字母、数字、中划线、下划线组成。 8、在“预置类型”中，选择“转储”。 9、在“源端配置”中，保持默认设置。 10、在“Topic配置”中，设置以下参数。 表11 Topic配置参数说明 参数 参数说明 正则表达式 表示以正则表达式的方式订阅Topic，并进行转储。 输入/选择 输入/选择待转储的Topic名称，支持选择多个Topic，以逗号“,”分隔。最多输入/选择20个Topic。 11、在“目标端配置”中，设置以下参数。 表12 目标端参数说明 参数 参数说明 转储启动偏移量 支持以下两种转储启动偏移量： 最早：最小偏移量，即读取最早的数据。 最新：最大偏移量，即获取最新的数据。 数据转储周期 两次转储的时间间隔，单位：秒，默认配置为300秒。 若某个时间段内无数据，则此时间段不会生成打包文件 AK 访问密钥ID。 SK 与访问密钥ID结合使用的密钥。 转储地址 设置存储Topic数据的OBS桶的名称。 选择：在下拉列表中选择已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。 输入：输入已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。 转储目录 OBS中存储Topic的目录，多级目录可以用“/”进行分隔。 时间目录格式 数据将存储在转储目录下的时间目录中，时间目录是按时间格式作为层级的目录。例如，当选择的时间目录格式精确到日时，存储目录为：“桶名称/转储目录/年/月/日”。 记录分隔符 在下拉列表中选择一种分隔符，分隔不同的转储记录 存储Key 是否转储Key，开启表示转储Key，关闭表示不转储Key。 说明 消息进行转储时，不支持以Key作为文件名。 12、单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。 结束

本节介绍如何配置Kafka之间的数据复制。 本章节介绍如何创建Kafka数据复制的Smart Connect任务，通过Smart Connect任务可以在两个Kafka实例之间，实现数据的单向或双向复制。 源Kafka实例中的数据会实时同步到目标Kafka实例中。 约束与限制 一个实例最多创建18个Smart Connect任务。 使用Kafka数据复制时，两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中，请先打通网络。 Smart Connect任务创建成功后，不支持修改任务参数。 确保目标Kafka实例Topic的“批处理消息最大值”大于等于524288字节，否则会导致数据无法同步。如果目标Kafka实例没有创建Topic，在数据同步时会自动创建Topic，此Topic的“批处理消息最大值”和源Kafka实例Topic相同，此时需要确保源Kafka实例Topic的“批处理消息最大值”大于等于524288字节。修改“批处理消息最大值”的方法请参考修改Kafka Topic配置。 前提条件 已开启Smart Connect。 已创建Kafka实例，且实例状态为“运行中”。 配置Kafka间的数据复制 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、单击“创建Smart Connect任务”，进入“创建smart connect”页面。 7、在“connect任务名称”中，输入Smart Connect任务的名称，用于区分不同的Smart Connect任务。任务名称需要符合命名规则：长度为4~64个字符，只能由英文字母、数字、中划线、下划线组成。 8、在“预置类型”中，选择“Kafka数据复制”。 9、在“当前kafka”区域，设置实例别名。实例别名需要符合命名规则：长度为1~20个字符，只能由英文字母、数字、中划线、下划线组成。 实例别名用于以下两个场景中： 开启“重命名Topic”，且“同步方式”为“推送”/“双向”时，当前Kafka实例的别名作为前缀添加到对端Kafka实例的Topic名称前，形成Topic新的名称。例如当前Kafka实例别名为A，对端Kafka实例的Topic名称为test，重命名后的Topic为A.test。 Kafka数据复制的Smart Connect任务创建成功后，当前Kafka实例会自动创建“mm2offsetsyncs. 对端Kafka实例别名 .internal”的Topic。如果Smart Connect任务开启了“同步消费进度”功能，且“同步方式”为“拉取”/“双向”时，当前Kafka实例还会自动创建“ 对端Kafka实例别名 .checkpoints.internal”的Topic。这两个Topic用于存储内部数据，如果删除，会导致同步数据失败。 10、在“对端kafka”区域，设置以下参数。 表11 对端Kafka实例参数说明 参数 参数说明 实例别名 设置实例别名，实例别名需要符合命名规则：长度为1~20个字符，只能由英文字母、数字、中划线、下划线组成。 实例别名用于以下两个场景中： 开启“重命名Topic”，且“同步方式”为“拉取”/“双向”时，对端Kafka实例的别名作为前缀添加到当前Kafka实例的Topic名称前，形成Topic新的名称。例如对端Kafka实例别名为B，当前Kafka实例的Topic名称为test01，重命名后的Topic为B.test01。 Kafka数据复制的Smart Connect任务创建成功后，如果Smart Connect任务开启了“同步消费进度”功能，且“同步方式”为“推送”/“双向”时，对端Kafka实例会自动创建“当前Kafka实例别名 .checkpoints.internal”的Topic。此Topic用于存储内部数据，如果删除，会导致同步数据失败。 配置类型 支持以下两种配置类型： Kafka地址：输入Kafka实例的连接信息。对端Kafka实例和当前Kafka实例处于不同的VPC下时，请选择此配置类型。 实例名称：选择已创建的Kafka实例。对端Kafka实例和当前Kafka实例处于相同的VPC下时，建议选择此配置类型。 实例名称 “配置类型”为“实例名称”，且对端Kafka实例和当前Kafka实例处于相同的VPC下时，需要设置。 在下拉列表中，选择已创建的Kafka实例。 Kafka地址 “配置类型”为“Kafka地址”时，需要设置。 输入Kafka实例的连接地址和端口号。 使用Kafka数据复制时，两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中，请先打通网络。 认证方式 支持以下认证方式： SASLSSL：表示实例已开启SASLSSL认证，客户端连接Kafka实例时采用SASL认证，数据通过SSL证书进行加密传输。 SASLPLAINTEXT：表示实例开启SASLPLAINTEXT认证，客户端连接Kafka实例时采用SASL认证，数据通过明文传输。 PLAINTEXT：表示实例未开启认证。 认证机制 “认证方式”为“SASLSSL”/“SASLPLAINTEXT”时，需要设置。 SCRAMSHA512：采用哈希算法对用户名与密码生成凭证，进行身份校验的安全认证机制，比PLAIN机制安全性更高。 PLAIN：一种简单的用户名密码校验机制。 用户名 “认证方式”为“SASLSSL”/“SASLPLAINTEXT”时，需要设置。 首次开启密文接入时设置的用户名，或者创建用户时设置的用户名。 密码 “认证方式”为“SASLSSL”/“SASLPLAINTEXT”时，需要设置。 首次开启密文接入时设置的密码，或者创建用户时设置的密码。 Smart Connect任务创建成功后，如果您修改了对端实例的认证方式、认证机制或者密码，会导致同步任务失败。 您需要删除当前Smart Connect任务，然后重新创建新的Smart Connect任务。 11、在“规则配置”区域，设置以下参数。 表12 复制数据规则参数说明 参数 参数说明 同步方式 支持以下三种同步方式： 拉取：把对端Kafka实例数据复制到当前Kafka实例中。 推送：把当前Kafka实例数据复制到对端Kafka实例中。 双向：两端Kafka实例数据进行双向复制。 Topics 设置需要进行数据复制的Topic。 正则表达式：通过正则表达式匹配Topic。 输入/选择：输入Topic名称，如果需要输入多个Topic名称，先输入一个Topic名称，按“Enter”，然后再输入下一个，按“Enter”，依次输入。或者在下拉列表中，选择Topic。最多输入/选择20个Topic。 Topic名称以internal结尾时（例如：topic.internal），此Topic的数据不会被同步。 任务数 数据复制的任务数。默认值为2，建议保持默认值。 如果“同步方式”为“双向”，实际任务数设置的任务数2。 重命名 Topic 在目标Topic名称前添加源端Kafka实例的别名，形成目标Topic新的名称。例如源端实例别名为A，目标Topic名称为test，重命名后的目标Topic为A.test。 两端实例数据双向复制时，开启“重命名Topic”，防止循环复制。 添加来源header 目标Topic接收复制的消息，此消息header中包含消息来源。 两端实例数据双向复制时，默认开启“添加来源header”，防止循环复制。 同步消费进度 开启“同步消费进度”后，将消费者消费进度同步到目标Kafka实例。 开启“同步消费进度”后，您需要注意以下几点： 源端Kafka实例和目标端Kafka实例不能同时消费，否则会导致同步的消费进度异常。 同步消费进度的频率为每分钟一次，因此会导致目标端的消费进度可能会略小于源端，造成部分消息被重复消费，所以需要消费者客户端业务逻辑兼容重复消费的场景。 从源端同步的offset与目标端的offset并非一致关系，而是映射关系，如果消费进度由消费者客户端自行维护，消费者客户端从消费源端Kafka实例变为消费目标端Kafka实例后，不向目标端Kafka实例获取消费进度，可能会导致offset错误或消费进度重置。 副本数 在对端实例中自动创建Topic时，指定Topic的副本数，此参数值不能超过对端实例的代理数。 如果对端实例中设置了“default.replication.factor”，此参数的优先级高于“default.replication.factor”。 启动偏移量 支持两种偏移量： 最早：最小偏移量，即获取最早的数据。 最新：最大偏移量，即获取最新的数据。 压缩算法 复制消息所使用的压缩算法。 topic映射 通过Topic映射，您可以自定义目标端Topic名称。 最多新增20个Topic映射。不能同时设置“重命名Topic”和“topic映射”。 配置复制数据规则时需要注意以下几点： 创建双向数据复制任务时，为了防止循环复制，控制台限定必须开启“重命名Topic”或者“添加来源header”。如果您在两个实例间，对同一个Topic分别创建拉取和推送的任务，即形成双向数据复制，且两个任务都未开启“重命名Topic”和“添加来源header”，此时会导致数据循环复制。 如果创建两个或以上配置完全相同的任务，即重复创建任务，且任务已开启“同步消费进度”，此时会导致数据重复复制，且目标Topic消费进度异常。 12、（可选）在页面右下角单击“开始检测”，测试两端Kafka实例的连通性。 显示“连通性检测成功”时，表示两端Kafka实例可以正常连接。 13、单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。 Kafka数据复制的Smart Connect任务创建成功后，Kafka会自动创建以下Topic。 当前Kafka实例会自动创建“mm2offsetsyncs. 对端Kafka实例别名 .internal”的Topic。如果Smart Connect任务开启了“同步消费进度”功能，且“同步方式”为“拉取”/“双向”时，当前Kafka实例还会自动创建“ 对端Kafka实例别名 .checkpoints.internal”的Topic。这两个Topic用于存储内部数据，如果删除，会导致同步数据失败。 如果Smart Connect任务开启了“同步消费进度”功能，“同步方式”为“推送”/“双向”时，对端Kafka实例会自动创建“ 当前Kafka实例别名 .checkpoints.internal”的Topic。此Topic用于存储内部数据，如果删除，会导致同步数据失败。 结束

本节介绍如何关闭Smart Connect。 如果不再使用Smart Connect相关功能，您可以关闭Smart Connect，释放资源。 关闭Smart Connect不会影响业务。 约束与限制 关闭Smart Connect后，实例会停止收取用于Smart Connect的代理费用，并自动删除用于Smart Connect的代理。 关闭Smart Connect后，再重新开启Smart Connect，已删除的Smart Connect任务无法找回，需要重新创建。 前提条件 已创建Kafka实例，且实例状态为“运行中”。 关闭Smart Connect前，请先删除所有的Smart Connect任务，否则无法关闭Smart Connect。此操作是为了防止关闭Smart Connect导致正在运行的Smart Connect任务丢失。 关闭Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法，关闭Smart Connect。 在待关闭Smart Connect的Kafka实例所在行，单击“更多 > 关闭Smart Connect”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 关闭Smart Connect”。 5、单击，将Smart Connect设置为关闭，单击“下一步”。 6、确认“Smart Connect”为关闭状态，单击“提交”。 结束

本节主要介绍OBS服务协议。 自2021年11月11日起，新版对象存储服务协议生效，详情请参见这里。 中国电信天翼对象存储系统服务协议 历史版本（2012年11月10日）

响应示例 请求成功示例： { "statusCode": 200, "message": "success", "returnObj": { "orderNo": "20221018153152727265" } } 验签失败示例： { "statusCode": 500, "error": "EMR401000", "message": "OpenAPI认证失败", "returnObj": {} } 实名认证失败示例： { "statusCode": 500, "error": "EMR401009", "message": "账号未进行实名认证", "returnObj": {} } 非法操作示例： { "statusCode": 500, "error": "EMR401004", "message": "非法操作", "returnObj": {} } 请求参数类型错误示例： { "statusCode": 500, "error": "EMR401001", "message": "请求参数类型错误", "returnObj": "{"clusterName": "应为字符串"}" } 请求参数值无效示例1： { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": "{"clusterName": "不能为空"}" } 请求参数值无效示例2： { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": "{"clustertype": "集群类型不存在：xxx"}" } 规格不足示例： { "statusCode": 500, "error": "EMR401012", "message": "规格已售罄", "returnObj": {} } IP不足示例： { "statusCode": 500, "error": "EMR401013", "message": "子网下IP余量不足", "returnObj": {} } 状态码 请参考 状态码 错误码 请参考 错误码

参数 是否必填 参数类型 说明 示例 下级对象 clusterId 是 String 集群id da595eb1d81503b323fdc01d9bf786b7 timestamp 是 Long 要查询的时间点，以 Unix 时间戳表示（单位：秒） 1700000000

本章节主要介绍Kafka的最佳实践。 1. 体系结构概述 Kafka主题用于对记录进行组织。记录由生产者生成，由消费者使用。生产者将记录发送到 Kafka 代理，后者存储数据。 主题跨代理对记录进行分区。在使用记录时，每个分区最多可使用一个消费者来实现数据并行处理。 复制用于在节点之间复制分区。这可以防止节点（代理）发生服务中断。将副本组之间的单个分区指定为分区领导者。生产者流量将根据由ZooKeeper管理的状态路由到每个节点的领导者。 2. 调优方案选择 Kafka性能体现在两个主要方面：吞吐量和延迟。吞吐量是指数据的最大处理速率，通常吞吐量越高越好。延迟是指存储或检索数据所花费的时间。通常，延迟越低越好。在吞吐量、延迟和应用基础结构的开销方面找到适当的平衡可能会有难度。 根据追求的是高吞吐量、低延迟还是此两者，性能要求可能符合以下三种常见情况中的一种： 高吞吐量，低延迟。此方案要求同时满足高吞吐量和低延迟（大约100毫秒）。服务可用性监视就是这种应用场景的一个例子。 高吞吐量，高延迟。此方案要求满足高吞吐量（大约1.5 GBps），但可以容许较高的延迟（< 250 毫秒）。这种应用场景的一个例子是引入遥测数据进行近实时的处理，例如安全与入侵检测应用程序。 低吞吐量，低延迟。此方案要求提供低延迟（< 10毫秒）以完成实时处理，但可以容许较低的吞吐量。在线拼写和语法检查就是这种应用场景的一个例子。

批量写入 使用批量 API 进行写入操作，以减少网络开销。在高吞吐量写入场景中，可以适度增加 Refresh 间隔，减少索引刷新操作，提高写入性能。示例如下： POST /myindex/doc/bulk { "index": {}} { "field1": "value1" } { "index": {}} { "field2": "value2" } 索引刷新 避免频繁的索引刷新，可以适当调整 Refresh 间隔以平衡写入和查询性能。示例如下： PUT /myindex/settings { "refreshinterval": "30s" } 查询优化 查询性能 使用查询DSL进行复杂查询，以充分利用 Elasticsearch 的强大功能。 使用索引别名和索引模板来优化查询，示例如下： GET /myindex/search { "query": { "bool": { "must": [ { "match": { "productname": "apple" }}, { "range": { "price": { "gte": 100 }}} ] } } } 分页查询 使用游标（Scroll）进行大数据量分页查询，避免深度分页带来的性能问题。示例如下： POST /myindex/search?scroll5m { "query": { "matchall": {}}, "size": 100 } 硬件和监控 硬件选择 选择高性能硬件，特别是快速的磁盘和足够的内存。 使用 SSD 硬盘来提升索引和查询性能。 监控和警报 设置监控指标，如集群健康、节点状态、资源使用等。 使用监控工具持续监测集群，并设置警报以便在出现问题时能及时响应。 安全性

状态码 请参考 状态码 错误码 请参考 错误码

参数 是否必填 参数类型 说明 示例 下级对象 clusterId 是 String 集群id 00c3a04292996955752f073c995a1cc6