本页介绍天翼云TeleDB数据库如何将Oracle迁移至TeleDB。 支持的数据库版本 源数据库 目标数据库 12c, 19c, 21c TeleDB 支持的迁移对象及SQL 迁移对象 结构迁移支持表结构迁移（包含索引、外键、约束）、视图、同义词、序列、触发器、函数、存储过程、类型、物化视图、程序包。 增量数据迁移支持同步的SQL操作 DML： INSERT、UPDATE、DELETE DDL： 增量同步暂不支持DDL同步。 支持的迁移类型 Oracle TeleDBX 数值类型 数值类型 NUMBER(p,s) s!0 numeric/decimal NUMBER(p,s) s0,1 ”、 “<”、 “”、 “”、 “”、 “,”、 “? ”、 “! ”、 “"”和 “'”。 如果待迁移对象中含有分区表，结构迁移阶段分区表信息将会被丢弃。 不支持bfile，xml、sdogeometry、urowid、interval（精度大于6位）和自定义类型。 不支持使用Oracle 物理备库进行迁移/同步。 RAC模式的Oracle不支持使用scanIP，只能连接其中一个节点进行同步。 对于TIMESTAMP WITH TIME ZONE类型，根据目标库时区做转换后不得大于“99991231 23:59:59.999999”。 如果表中只有LOB字段，可能出现数据不一致性情况。 如果Oracle中使用LOB类型各自的empty函数写入数据时，通过JDBC查询出来的值是空字符串，写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。 不支持默认值含有表达式的函数的表的同步。 源库支持todate和sysguid函数做默认值。将其他函数作为default值时，需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况，可能会出现以下结果： 默认值函数可能会被置空。 创建表失败，导致对象对比不一致或者任务失败。 暂不支持DDL同步。 同步过程中，不允许删除连接源和目标数据库的用户的用户名、密码、权限，或修改目标数据库的端口号。 大事务有可能同步失败。 包含大字段的行有可能同步失败。 确保Oracle的归档日志空间大小足够。 源库为Oracle 12c及以上时，增量阶段要保证所有存在的容器数据库均处于打开状态。 源库为Oracle 12c及以上时，不支持同步application root和application PDB. 如果有增量迁移，增量阶段不能使用sys/system等oracle内部的系统用户作为DTS用户，也不能使用PDB用户，必须使用公共容器中创建的用户。 如果有增量迁移，则只支持库名和表名映射，不支持列名映射。 若要做增量同步，且同步对象包含外键、触发器或事件触发器，则目标数据库的sessionreplicationrole参数必须设置为replica，同步结束后，此参数需改为origin。 结构迁移无主键表时，默认迁移到目标端的分片键为当前表结构的第一个字段。 无主键表在全量迁移和增量迁移阶段，如果当前源表的第一个字段（也就是作为分片键的字段）存在null值时，将会迁移失败，原因是TeleDBX分片键的键值不能为NULL。 准备工作 1. 创建源库DTS用户 oracle 12c及以上且开启了CDB模式 如果仅作测试用可直接赋予最高权限，用SYS用户登录Oracle，如下创建DTS迁移用户： 要求该用户必须是CDB下的用户，且授权的权限必须在所有容器内都具备 CREATE USER C

本章节主要介绍使用Flink运行wordcount作业的操作指导。 前提条件 MRS集群中已安装Flink组件。 集群正常运行，已安装集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Flink客户端（MRS 3.x之前版本） 1. 以客户端安装用户，登录安装客户端的节点。 2. 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdataenv 4.若集群开启Kerberos认证，需要执行以下步骤，若集群未开启Kerberos认证请跳过该步骤。 a.准备一个提交Flink作业的用户。 b.登录Manager，下载认证凭据。 登录集群的Manager界面，具体请参见访问MRSManager（MRS2.x及之前版本），选择“系统设置 > 用户管理”，在已增加用户所在行的“操作”列，选择“更多 > 下载认证凭据”。 c.将下载的认证凭据压缩包解压缩，并将得到的user.keytab文件拷贝到客户端节点中，例如客户端节点的“/opt/hadoopclient/Flink/flink/conf”目录下。如果是在集群外节点安装的客户端，需要将得到的krb5.conf文件拷贝到该节点的“/etc/”目录下。 d.配置安全认证，在“/opt/hadoopclient/Flink/flink/conf/flinkconf.yaml”配置文件中的对应配置添加keytab路径以及用户名。 security.kerberos.login.keytab: security.kerberos.login.principal: 例如： security.kerberos.login.keytab:/opt/hadoopclient/Flink/flink/conf/user.keytab security.kerberos.login.principal: test e.参考“组件操作指南 > 使用Flink > 参考 > 签发证书样例”章节生成“generatekeystore.sh”脚本并放置在Flink的客户端bin目录下，执行如下命令进行安全加固，请参考“组件操作指南 > 使用Flink > 安全加固 > 认证和加密”，password请重新设置为一个用于提交作业的密码。 sh generatekeystore.sh 该脚本会自动替换“/opt/hadoopclient/Flink/flink/conf/flinkconf.yaml”中关于SSL的值，针对MRS2.x及之前版本，安全集群默认没有开启外部SSL，用户如果需要启用外部SSL，请参考“组件操作指南 >使用Flink > 安全加固”进行配置后再次运行该脚本即可。 说明 generatekeystore.sh脚本无需手动生成。 执行认证和加密后会将生成的flink.keystore、flink.truststore、security.cookie自动填充到“flinkconf.yaml”对应配置项中。 f.客户端访问flink.keystore和flink.truststore文件的路径配置。 −绝对路径：执行该脚本后，在flinkconf.yaml文件中将flink.keystore和flink.truststore文件路径自动配置为绝对路径“/opt/hadoopclient/Flink/flink/conf/”，此时需要将conf目录中的flink.keystore和flink.truststore文件分别放置在Flink Client以及Yarn各个节点的该绝对路径上。 −相对路径：请执行如下步骤配置flink.keystore和flink.truststore文件路径为相对路径，并确保Flink Client执行命令的目录可以直接访问该相对路径。 i.在“/opt/hadoopclient/Flink/flink/conf/”目录下新建目录，例如ssl。 cd /opt/hadoopclient/Flink/flink/conf/ mkdir ssl ii. 移动flink.keystore和flink.truststore文件到“/opt/hadoopclient/Flink/flink/conf/ssl/”中。 mv flink.keystore ssl/ mv flink.truststore ssl/ iii. 修改flinkconf.yaml文件中如下两个参数为相对路径。 security.ssl.internal.keystore: ssl/flink.keystore security.ssl.internal.truststore: ssl/flink.truststore 5.运行wordcount作业。 须知 用户在Flink提交作业或者运行作业时，应具有如下权限： 如果启用Ranger鉴权，当前用户必须属于hadoop组或者已在Ranger中为该用户添加“/flink”的读写权限。 如果停用Ranger鉴权，当前用户必须属于hadoop组。 普通集群（未开启Kerberos认证） −执行如下命令启动session，并在session中提交作业。 yarnsession.sh nm " sessionname " flink run/opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar −执行如下命令在Yarn上提交单个作业。 flink run m yarncluster /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 安全集群（开启Kerberos认证） −flink.keystore和flink.truststore文件路径为绝对路径时： 执行如下命令启动session，并在session中提交作业。 yarnsession.sh nm " sessionname " flink run /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 执行如下命令在Yarn上提交单个作业。 flink run m yarncluster /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar −flink.keystore和flink.truststore文件路径为相对路径时： 在“ssl”的同级目录下执行如下命令启动session，并在session中提交作业，其中“ssl”是相对路径，如“ssl”所在目录是“opt/hadoopclient/Flink/flink/conf/”，则在“opt/hadoopclient/Flink/flink/conf/”目录下执行命令。 yarnsession.sh t ssl/ nm " sessionname " flink run/opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 执行如下命令在Yarn上提交单个作业。 flink run m yarncluster yt ssl/ /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 6.作业提交成功后，客户端界面显示如下。 详见下图： 在Yarn上提交作业成功 详见下图：启动session成功 详见下图： 在session中提交作业成功 7. 使用运行用户进入Yarn服务的原生页面，具体操作参考“组件操作指南 > 使用Flink > 查看Flink作业”，找到对应作业的application，单击application名称，进入到作业详情页面。 若作业尚未结束，可单击“Tracking URL”链接进入到Flink的原生页面，查看作业的运行信息。 若作业已运行结束，对于在session中提交的作业，可以单击“Tracking URL”链接登录Flink原生页面查看作业信息。 详见下图：application

《互联网信息服务管理办法》(国务院292号令) （2000 年 9 月 20 日国务院第 31 次常务会议通过，中华人民共和国国务院令第 292 号公布，自公布之日起施行） 第一条 为了规范互联网信息服务活动，促进互联网信息服务健康有序发展，制定本办法。 第二条 在中华人民共和国境内从事互联网信息服务活动，必须遵守本办法。本办法所称互联网信息服务，是指通过互联网向上网用户提供信息的服务活动。 第三条 互联网信息服务分为经营性和非经营性两类。 经营性互联网信息服务，是指通过互联网向上网用户有偿提供信息或者网页制作等服务活动。 非经营性互联网信息服务，是指通过互联网向上网用户无偿提供具有公开性、共享性信息的服务活动。 第四条 国家对经营性互联网信息服务实行许可制度；对非经营性互联网信息服务实行备案制度。 未取得许可或者未履行备案手续的，不得从事互联网信息服务。 第五条 从事新闻、出版、教育、医疗保健、药品和医疗器械等互联网信息服务，依照法律、行政法规以及国家有关规定须经有关主管部门审核同意的，在申请经营许可或者履行备案手续前，应当依法经有关主管部门审核同意。 第六条 从事经营性互联网信息服务，除应当符合《中华人民共和国电信条例》规定的要求外，还应当具备下列条件： (一)有业务发展计划及相关技术方案； (二)有健全的网络与信息安全保障措施，包括网站安全保障措施、信息安全保密管理制度、用户信息安全管理制度； (三)服务项目属于本办法第五条规定范围的，已取得有关主管部门同意的文件。 第七条 从事经营性互联网信息服务，应当向省、自治区、直辖市电信管理机构或者国务院信息产业主管部门申请办理互联网信息服务增值电信业务经营许可证(以下简称经营许可证)。 省、自治区、直辖市电信管理机构或者国务院信息产业主管部门应当自收到申请之日起60日内审查完毕，作出批准或者不予批准的决定。予以批准的，颁发经营许可证；不予批准的，应当书面通知申请人并说明理由。 申请人取得经营许可证后，应当持经营许可证向企业登记机关办理登记手续。 第八条 从事非经营性互联网信息服务，应当向省、自治区、直辖市电信管理机构或者国务院信息产业主管部门办理备案手续。办理备案时，应当提交下列材料： (一)主办单位和网站负责人的基本情况； (二)网站网址和服务项目； (三)服务项目属于本办法第五条规定范围的，已取得有关主管部门的同意文件。 省、自治区、直辖市电信管理机构对备案材料齐全的，应当予以备案并编号。 第九条 从事互联网信息服务，拟开办电子公告服务的，应当在申请经营性互联网信息服务许可或者办理非经营性互联网信息服务备案时，按照国家有关规定提出专项申请或者专项备案。 第十条 省、自治区、直辖市电信管理机构和国务院信息产业主管部门应当公布取得经营许可证或者已履行备案手续的互联网信息服务提供者名单。 第十一条 互联网信息服务提供者应当按照经许可或者备案的项目提供服务，不得超出经许可或者备案的项目提供服务。 非经营性互联网信息服务提供者不得从事有偿服务。 互联网信息服务提供者变更服务项目、网站网址等事项的，应当提前30日向原审核、发证或者备案机关办理变更手续。 第十二条 互联网信息服务提供者应当在其网站主页的显著位置标明其经营许可证编号或者备案编号。 第十三条 互联网信息服务提供者应当向上网用户提供良好的服务，并保证所提供的信息内容合法。 第十四条 从事新闻、出版以及电子公告等服务项目的互联网信息服务提供者，应当记录提供的信息内容及其发布时间、互联网地址或者域名；互联网接入服务提供者应当记录上网用户的上网时间、用户帐号、互联网地址或者域名、主叫电话号码等信息。 互联网信息服务提供者和互联网接入服务提供者的记录备份应当保存60日，并在国家有关机关依法查询时，予以提供。 第十五条 互联网信息服务提供者不得制作、复制、发布、传播含有下列内容的信息： (一)反对宪法所确定的基本原则的； (二)危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一的； (三)损害国家荣誉和利益的； (四)煽动民族仇恨、民族歧视，破坏民族团结的； (五)破坏国家宗教政策，宣扬邪教和封建迷信的； (六)散布谣言，扰乱社会秩序，破坏社会稳定的； (七)散布淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪的； (八)侮辱或者诽谤他人，侵害他人合法权益的； (九)含有法律、行政法规禁止的其他内容的。 第十六条 互联网信息服务提供者发现其网站传输的信息明显属于本办法第十五条所列内容之一的，应当立即停止传输，保存有关记录，并向国家有关机关报告。 第十七条 经营性互联网信息服务提供者申请在境内境外上市或者同外商合资、合作，应当事先经国务院信息产业主管部门审查同意；其中，外商投资的比例应当符合有关法律、行政法规的规定。 第十八条 国务院信息产业主管部门和省、自治区、直辖市电信管理机构，依法对互联网信息服务实施监督管理。 新闻、出版、教育、卫生、药品监督管理、工商行政管理和公安、国家安全等有关主管部门，在各自职责范围内依法对互联网信息内容实施监督管理。 第十九条 违反本办法的规定，未取得经营许可证，擅自从事经营性互联网信息服务，或者超出许可的项目提供服务的，由省、自治区、直辖市电信管理机构责令限期改正，有违法所得的，没收违法所得，处违法所得3倍以上5倍以下的罚款；没有违法所得或者违法所得不足5万元的，处10万元以上100万元以下的罚款；情节严重的，责令关闭网站。 违反本办法的规定，未履行备案手续，擅自从事非经营性互联网信息服务，或者超出备案的项目提供服务的，由省、自治区、直辖市电信管理机构责令限期改正；拒不改正的，责令关闭网站。 第二十条 制作、复制、发布、传播本办法第十五条所列内容之一的信息，构成犯罪的，依法追究刑事责任；尚不构成犯罪的，由公安机关、国家安全机关依照《中华人民共和国治安管理处罚条例》、《计算机信息网络国际联网安全保护管理办法》等有关法律、行政法规的规定予以处罚；对经营性互联网信息服务提供者，并由发证机关责令停业整顿直至吊销经营许可证，通知企业登记机关；对非经营性互联网信息服务提供者，并由备案机关责令暂时关闭网站直至关闭网站。 第二十一条 未履行本办法第十四条规定的义务的，由省、自治区、直辖市电信管理机构责令改正；情节严重的，责令停业整顿或者暂时关闭网站。 第二十二条 违反本办法的规定，未在其网站主页上标明其经营许可证编号或者备案编号的，由省、自治区、直辖市电信管理机构责令改正，处5000元以上5万元以下的罚款。 第二十三条 违反本办法第十六条规定的义务的，由省、自治区、直辖市电信管理机构责令改正；情节严重的，对经营性互联网信息服务提供者，并由发证机关吊销经营许可证，对非经营性互联网信息服务提供者，并由备案机关责令关闭网站。 第二十四条 互联网信息服务提供者在其业务活动中，违反其他法律、法规的，由新闻、出版、教育、卫生、药品监督管理和工商行政管理等有关主管部门依照有关法律、法规的规定处罚。 第二十五条 电信管理机构和其他有关主管部门及其工作人员，玩忽职守、滥用职权、徇私舞弊，疏于对互联网信息服务的监督管理，造成严重后果，构成犯罪的，依法追究刑事责任；尚不构成犯罪的，对直接负责的主管人员和其他直接责任人员依法给予降级、撤职直至开除的行政处分。 第二十六条 在本办法公布前从事互联网信息服务的，应当自本办法公布之日起60日内依照本办法的有关规定补办有关手续。 第二十七条 本办法自公布之日起施行。

介绍Linux主机挂载块存储的最佳实践。 实践背景 块空间使用的是iSCSI协议，因此在新建块空间后需要使用iSCSI客户端来连接块空间。 本实践是在centos 7上，具有免密sudo权限的普通用户使用iSCSI客户端连接天翼云媒体存储块空间，并且对其进行格式化的过程。 操作步骤 1.执行以下命令，安装iSCSI客户端。 sudo yum install y iscsiinitiatorutils sudo yum install y devicemappermultipath 当系统出现如下所示的更新完毕作为依赖被升级完毕的提示时，说明软件安装完成。 若已安装过所需软件，系统会提示对应的软件包已安装并且是最新版本无须任何处理。 2.配置iSCSI多路径，具体步骤如下： （1） 执行以下命令，生成配置文件/etc/multipath.conf。 mpathconf enable withmultipathd y （2）执行以下命令，修改多路径配置。 sudo vi /etc/multipath.conf （3）添加如下内容。 defaults { userfriendlynames yes pathgroupingpolicy failover failback immediate nopathretry fail } devices { device { vendor "LIOORG" hardwarehandler "1 alua" pathgroupingpolicy "failover" pathselector "queuelength 0" failback 60 pathchecker tur prio alua prioargs exclusiveprefbit fastiofailtmo 25 nopathretry queue } device { vendor "CTyun" pathgroupingpolicy "failover" pathselector "queuelength 0" failback 60 pathchecker tur prioargs exclusiveprefbit fastiofailtmo 25 nopathretry queue } } （4）执行以下命令，进行服务重启。 sudo systemctl restart multipathd 3.修改iSCSI Client的InitiatorName，具体步骤如下： （1）运行以下命令。 sudo vi /etc/iscsi/initiatorname.iscsi （2）将InitiatorName（下图红框内内容）修改为创建块空间时填写的CHAP iqn；具体可参考操作步骤【块空间管理】查看所需挂载块空间的CHAP iqn信息（图中的例子为iqn.209901.com.client.cicdtestcy:230323）。 4.修改CHAP权限，具体步骤如下： （1）运行以下命令。 sudo vi /etc/iscsi/iscsid.conf （2）找到以下内容： 修改为下图中内容，其中红框内的username的等号后面填写创建块空间时设定的CHAP用户（图中的例子为testblockzd），password的等号后面填写创建块空间时设定的CHAP密钥（图中的例子为111111111111）。 5.连接块空间，具体步骤如下： （1）为确保连接顺利，先执行 setenforce 0 命令临时禁用防火墙。 （2）执行以下命令，重启相关组件。 sudo systemctl restart iscsid （3）执行以下命令增加iSCSI连接target，具体的targetname参数与portal参见块空间信息中的targetIqn、网关地址与数据端口，具体查看步骤可见操作步骤【块空间管理】。 sudo iscsiadm m node targetnameiqn.201810.com.redhat.iscsigw:iscsiigw portal14.215.109.226:13260 opnew sudo iscsiadm m node targetnameiqn.201810.com.redhat.iscsigw:iscsiigw portal14.215.109.226:23260 opnew （4）执行以下命令，进行登入操作。 sudo iscsiadm m node T iqn.201810.com.redhat.iscsigw:iscsiigw l 说明 对于步骤5(3)、5(4)，可直接通过块空间详情复制对应的操作命令，具体界面如图所示： 更多块空间管理操作可参考： （5）若系统出现以下提示表示登录成功。 （6）可通过以下命令查看新增磁盘。 sudo lsscsi sudo fdisk l sudo lsblk sudo multipath l 注意： 执行后会发现除了机器的原有磁盘外，还挂载了三个新的磁盘，一个是以/dev/mapper/开头的磁盘，另外两个是以/dev/sd开头的磁盘，我们挂载的是前者，即是以/dev/mapper/的磁盘。 每次挂载，该磁盘后面的名字都可能不一样。 如果你有多个块空间使用了同一个iqn，每个块在查看磁盘时均会看到一个以/dev/mapper/开头的磁盘以及两个以/dev/sd开头的磁盘，请总是使用以/dev/mapper/开头的磁盘来进行挂载。 （7）根据系统协议执行以下命令，进行磁盘格式化： xfs文件系统： sudo mkfs.xfs /dev/mapper/mpatha ext4文件系统： sudo mkfs.ext4 /dev/mapper/mpatha 注意 ：可以根据实际需求选择命令，将命令中“/dev/mapper/mpatha”部分改为步骤（6）中查找到的新增磁盘地址。 （8）执行以下命令，挂载到本地目录。 sudo mount /dev/mapper/mpatha /mnt/iscsiMnt 注意： mount后第一部分为新增磁盘的实际地址。 mount后第二部分为进行挂载的本地目录地址。 可以通过mount l命令查看是否挂载成功，若显示信息中包含挂载信息则挂载成功，以上样例对应的挂载信息如下，该样例已成功挂载。 （9）执行以下命令，查看已连接的目标。 sudo iscsiadm m session 6.如需断开连接，则执行以下命令。 sudo iscsiadm m node T iqn.201810.com.redhat.iscsigw:iscsiigw u 7.执行以下命令，删除所有记录。 sudo iscsiadm m node targetnameiqn.201810.com.redhat.iscsigw:iscsiigw portal14.215.109.226:13260 opdelete sudo iscsiadm m node targetnameiqn.201810.com.redhat.iscsigw:iscsiigw portal14.215.109.226:23260 opdelete 说明 对于步骤6、7，可直接通过块空间详情复制对应的操作命令，具体界面如图所示： 更多块空间管理操作可参考：

为已有集群配置存算分离功能 ： 1. 登录MRS控制台，在导航栏选择“集群列表 > 现有集群”。 2. 单击集群名称，进入集群详情页面。 3. 在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 4. 在集群详情页的“概览”页签，单击委托右侧的“管理委托”选择需要绑定的委托并单击“确定”进行绑定，或单击“新建委托”进入IAM控制台进行创建后再在此处进行绑定。 3.创建OBS文件系统用于存放数据 说明 大数据存算分离场景，请务必使用OBS并行文件系统，使用普通对象桶会对集群性能产生较大影响。 1. 登录OBS控制台。 2. 单击“并行文件系统 > 创建并行文件系统”。 3. 填写文件系统名称，例如“mrsword001”。 其他参数请根据需要填写。 4. 单击“立即创建”。 5. 在OBS控制台并行文件系统列表中，单击文件系统名称进入详情页面。 6. 在左侧导航栏选择“文件”，新建program、input文件夹。 program：请上传程序包到该文件夹。 input：请上传输入数据到该文件夹。 4.访问OBS文件系统 1. 用root用户登录集群Master节点，具体请参见登录集群节点。 2. 配置环境变量。 MRS 3.x之前版本请执行：source /opt/client/bigdataenv MRS 3.x及之后版本请执行：source /opt/Bigdata/client/bigdataenv 3. 验证Hadoop访问OBS。 a. 查看文件系统mrsword001下面的文件列表。 hadoop fs ls obs://mrsword001/ b. 返回文件列表即表示访问OBS成功。 详见下图： Hadoop验证返回文件列表 4. 验证Hive访问OBS。 a. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建Hive表的权限，具体请参见创建角色配置拥有对应权限的角色，参考创建用户创建用户并为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MR集群用户 例如，kinit hiveuser b. 执行Hive组件的客户端命令。 beeline c. 在beeline中直接使用obs的目录进行访问。例如，执行如下命令创建Hive表并指定数据存储在mrsword001文件系统的testobs目录中。 create table testobs(a int, b string) row format delimited fieldsterminated by "," stored as textfile location "obs://mrsword001/testobs"; d. 执行如下命令查询所有表，返回结果中存在表testobs，即表示访问OBS成功。 show tables; 详见下图： Hive验证返回已创建的表名 e. 使用“Ctrl + C”退出hive beeline。 5. 验证Spark访问OBS。 a. 执行Spark组件的客户端命令。 sparkbeeline b. 在sparkbeeline中访问OBS，例如在obs://mrsword001/table/目录中创建表test。 create table test(id int) location 'obs://mrsword001/table/'; c. 执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。 show tables; 详见下图： Spark验证返回已创建的表名 d. 使用“Ctrl + C”退出退出spark beeline。 6. 验证Presto访问OBS。 −未开启Kerberos认证的普通集群 i.执行如下命令连接客户端。 prestocli.sh ii. 在Presto客户端中执行语句创建schema，指定location为OBS路径，例如： CREATE SCHEMA hive.demo01 WITH (location 'obs://mrsword001/prestodemo002/'); iii. 在该schema中建表，该表的数据即存储在OBS文件系统内，例如： CREATE TABLE hive.demo.demotable WITH (format 'ORC') AS SELECT FROM tpch.sf1.customer; 详见下图：普通集群Presto验证返回结果 iv. 执行exit退出客户端。 −开启Kerberos认证的安全集群 i.登录MRS Manager创建一个拥有“Hive Admin Privilege”权限的角色，例如prestorole，创建角色请参考创建角色。 ii.创建一个属于“Presto”和“Hive”组的用户，同时为该用户绑定中创建的角色，例如presto001，创建用户请参考创建用户。 iii. 认证当前用户。 kinit presto001 iv. 下载用户凭证。 1）针对MRS 3.x之前版本集群，在MRS Manager页面，选择“系统设置 > 用户管理 ”，单击新增用户所在行的“更多 > 下载认证凭据”。 详见下图： 下载Presto用户认证凭据 2）针对MRS 3.x及之后版本，在FusionInsight Manager页面，选择“系统 > 权限 > 用户”，单击新增用户所在行的“更多 > 下载认证凭据”。 详见下图：下载Presto用户认证凭据 v. 解压下载的用户凭证文件，得到“krb5.conf”和“user.keytab”两个文件并放入客户端目录，例如“/opt/Bigdata/client/Presto/”。 vi.执行如下命令获取用户principal。 klist kt /opt/Bigdata/client/Presto/user.keytab vii. 启用Kerberos认证的集群，执行以下命令连接本集群的Presto Server。 prestocli.sh krb5configpath {krb5.conf 文件路径} krb5principal { 用户principal} krb5keytabpath {user.keytab文件路径} user {presto用户名} krb5.conf文件路径：请替换为6.v中设置的文件存放路径，例如“/opt/Bigdata/client/Presto/krb5.conf” user.keytab文件路径：请替换为6.v中设置的文件存放路径，例如“/opt/Bigdata/client/Presto/user.keytab” 用户principal：请替换为6.vi中返回的结果 presto用户名：请替换为6.ii中创建的用户名，例如“presto001” 例如：prestocli.sh krb5configpath /opt/Bigdata/client/Presto/krb5.conf krb5principal prest001@xxxxxxxxxxxx.1COM krb5keytabpath /opt/Bigdata/client/Presto/user.keytab user presto001 viii. 在Presto客户端中执行语句创建schema，指定location为OBS路径，例如： CREATE SCHEMA hive.demo01 WITH (location 'obs://mrsword001/prestodemo002/'); ix. 在该schema中建表，该表的数据即存储在OBS文件系统内，例如： CREATE TABLE hive.demo01.demotable WITH (format 'ORC') AS SELECT FROM tpch.sf1.customer; 详见下图：安全集群Presto验证返回结果 x. 执行exit退出客户端。 7. 验证Flink访问OBS。 a. 在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 b. 用户同步完成后，在集群详情页选择“作业管理 > 添加”提交Flink作业，在“执行程序参数”中按照“input output ”格式填写，其中作业输入路径选择OBS，输出路径请手动输入一个不存在的目录，例如obs://mrsword001/output/，如下图所示。 详见下图： 添加Flink作业 c. 在OBS控制台，进入提交作业时选择的输出路径，即可查看到输出目录已经自动创建并存放着作业执行结果，表示访问OBS成功。 详见下图：Flink作业执行结果

本文为您介绍文件比较与同步的相关内容。 概要 应用场景： 支持对象存储到对象存储之间的数据比较与同步，并且生成比较报告供一致性检查。此场景支持两种数据捕获方式： 方式1：调用对象存储接口对源、备存储同步路径下的所有对象进行扫描、比对，获得增量对象（新增/差异），并将增量对象同步到目标端对应路径下；在海量对象场景下扫描/比对的对象太多，导致这种方式同步增量数据效率过低； 方式2：通过某些方式获取到增量对象信息（如：对象存储自行监控、通过应用数据库表获取等），并将增量对象的信息以某种类型文件存放；DTO通过读取文件内容来获取增量对象信息，并直接将源端对应的增量对象直接同步到目标端；此方式避免了扫描、比对海量对象的时间，提高海量对象场景的增量数据同步效率。 要求：要有应用/组件（一般是对象存储）负责实现监控增量对象并将增量对象以固定格式导出成文件的一系列动作。 前置条件 文件比较与同步的环境要求如下： 1. DTO主机需要安装dto安装包。详见安装DTO。 2. 在MDR控制台中添加对象存储。详见资源管理·对象存储。 3. 在MDR控制台中添加DTO主机并处于在线状态。详见资源管理·DTO主机。 4. MDR控制台需具备有dto的许可，并且该dto许可剩余允许传输量不为0。 新建文件比较与同步 1. 点击左侧菜单栏“资源同步管理”“对象存储数据灾备”“文件比较和同步”，进入文件比较和同步列表页，点击“新建”按钮，进入新建页面。 2. 通用配置页面各配置项如下： 名称：任意指定，便于管理即可。 同步主机：下拉框中会列出已注册至MDR控制台的DTO同步主机供选用； 规则类型：包含三类规则：仅比较/文件比较与同步 / 文件清单同步，下文会分别介绍各类规则的作用和使用场景； 同步策略类型：“手动同步”“定期同步”和“间隔同步”。 手动同步：需手动启动规则。此选项为默认选项。 定期同步：可指定每个月的某几天或者每个星期的某几天中的某几个时间点开始同步，规则会在设置的时间自动开始运行。 间隔同步：指的是从上一次规则完成到下一次规则启动之间的间隔，最小间隔时间单位为秒。 定期同步策略：用户自行添加定期同步策略。可以设定多个不重叠的定时同步策略，彼此独立。 间隔同步策略：用户自行添加时间间隔同步策略。选择此规则开始时间，并设置间隔时间（单位为秒）。 源存储：用户自行选择要源端的存储数据用来做对比。 目标存储：用户自行选择对象存储数据作为目标存储对比。 同步路径映射：用户自行配置需要同步的数据路径。同步路径支持手动输入路径。 排除路径：用户自行选择将同步数据路径中的某些子路径设置为排除路径，排除路径中的数据不进行传输。 文件后缀名过滤：以后缀名为过滤条件，格式为“文件扩展名”，若多个过滤条件则用逗号隔开，如：“.txt”，“.doc”，“.rtf”。 排除：不同步源路径中该过滤项中定义的文件类型。 包含：只同步源路径中该过滤项中定义的文件类型。 文件日期过滤：通过正则表达式对同步路径下文件的日期进行筛选，文件日期符合正则表达式要求的文件被过滤出来。 排除：不同步源路径中符合筛选条件的文件。 包含：只同步源路径中符合筛选条件的文件。 3. 比较设置页面各配置项如下： 比较类型：重镜像时的校验方式。 文件大小：通过源、目标文件的大小进行比较。 对象智能比对：提交规则时会判断备端存储是否支持自定义META，不支持则不允许规则提交。智能比对即：通过比文件当前的修改时间戳，和上一次同步时文件的修改时间戳（记录在自定义属性META中）来判断文件是否一致（如果修改时间戳一致则认为文件相同，如果修改时间戳不同，则继续对比文件的MD5）。 MD5校验：通过源、目标文件的MD5值进行比较（本地需计算md5，对象存储直接采用Etag，对象存储将收到文件的MD5值放在返回结果的ETag中）。 说明：对象存储返回分片上传文件的MD5有可能为空或是最后一个分片的MD5，因此对象存储的MD5并不完全可靠。“文件大小”比对最快；当文件较大时“对象智能比对”比“MD5校验”快（大文件本地计算md5很慢）；当文件较小时“MD5校验”比“对象智能比对”快（对象存储的文件修改时间需从META中获取，一个文件就是一次请求）。 忽略目标端存在文件：DTO不再扫描目标端存储，直接拿源端拆解过后的目录进行传输，传输之前check目标端文件是否存在，如果不存在，就同步，否则跳过该文件；这种类型，可以支持对象存储单一目录上千万的文件。 传输线程数量：可以指定线程个数。一个线程处理一个目录。此选项用于提高数据复制的速度，默认为“10”，数值越高，可用于数据复制的线程越多，但会消耗更多的CPU和内存资源，请根据用户环境适当选择。 对象存储扫描线程数量：可根据需要指定110个线程数。 备端扫描：默认开启，开启后支持孤儿文件处理。 孤儿文件处理方式： 不处理：不删除孤儿文件，存在在目标端。 确认后删除：将孤儿文件计入孤儿文件列表，可通过规则管理界面的“更多·孤儿文件”按钮来查看，以及选择是否要将目标端的孤儿文件删除。 直接删除：将孤儿文件自动从目标端删除。 说明：定期同步或间隔同步策略时不允许配置“确认后删除”；选择“忽略目标端存在的文件”比较类型时，或者开启归档时不允许配置“直接删除”和“确认后删除”。 对象文件路径名： 和源端保持不变：区分大小写，和源端大小写保持一致。 全部为大写（传输时转换）：在传输时，将源路径下的所有目录名、子目录名、文件名、文件后缀名全部转换为大写存储在目标路径下。 全部为小写（传输时转换）：在传输时，将源路径下的所有目录名、子目录名、文件名、文件后缀名全部转换为小写存储在目标路径下。 备端文件压缩：指的是在本地将文件进行压缩，压缩完后传输到对象存储。仅限于本地到对象存储的规则才支持压缩，压缩传输后，目标端文件名会被修改为：原文件名.i2.zip。 备端文件加密：将同步到目标端数据加密存储。 标准加密：通过设置的加密密钥对源端文件加密后存放到目标端。 加密密钥：填写加密密钥，密钥要求：32字节的字符串作为密钥，支持数字、字母、字符的组合，不支持中文。 COS服务端加密：通过对接COS对象存储API接口，上传到该对象存储桶的文件都自动加密，需额外选择加密密钥类型： 加密密钥类型：支持两种加密密钥类型： SSECOS：使用SSECOS加密密钥类型进行加密，无需额外配置； SSEC：使用SSEC加密密钥类型进行加密，需要额外填写加密密钥； 加密密钥：填写加密密钥，密钥要求：32字节的字符串作为密钥，支持数字、字母、字符的组合，不支持中文。 保留结果数量：设置“文件比较与同步→报告”中保留的记录条数。 记录流水：默认关闭，开启后会将规则同步的所有文件相关信息（大小、MD5/etag、传输耗时、修改/更新时间）记录在同步主机/usr/drbksoft/dto/data/db/ .db文件中（默认路径），可供审计查看。 4. 带宽设置页面各配置项如下： 全选：开启后，将会选择一周内的所有时间。此选项默认关闭。 时间范围：用户自行勾选具体的生效日。 选择带宽：根据用户需求选择需要执行限速的时间段，可以设定多个不重叠的限速规则，彼此独立，如果带宽设定为0，表示禁止传输。 5. 归档设置页面各配置项如下： 启用归档：不勾选的话不启用归档功能。 文件名转换：归档文件的名称转换，支持两种转换方式： 保持不变：归档文件名与原文件名保持一致。 增加时间后缀：在归档文件名后自动添加归档时间后缀。 归档条件： 时间归档：按照填入文件时间类型的时间点与执行本地到对象存储时的时间点的差值（单位天）。这里的时间选项有两个：文件创建时间、文件修改时间，这两种类型可以只选择某一个，也可以多选，并可以选择几种类型间的关系是与还是或。 命名特征：使用正则表达式进行针对文件名的过滤。 文件类型：通过填入文件类型的后缀名进行对文件类型的过滤（如.txt等），可以匹配多个文件类型，文件后缀名与后缀名之间用“逗号隔开”（如.txt,.exe,.zip）。 归档策略： 同步所有文件，并删除本地符合条件的文件：将源目录下的所有文件全部同步到目标存储的目标目录中，并删除本地符合归档条件的文件。 只同步并删除符合条件的文件：只同步源目录中符合归档条件的文件到目标存储的目标目录中去，并删除本地符合归档条件的文件。 只同步但不删除符合条件的文件：只同步源目录中符合归档条件的文件到目标存储的目标目录中去，并且不删除源端本地符合归档条件的文件。

LTS 错误码 错误说明 英文说明 解决方法 LTS1400 数据包从产生到发送的过程中等待的时间较长 The waiting time for data packets from generation to transmission is relatively long 检查发送是否正常，或是否存在数据量超过默认配置、配额不足或网络存在问题。 LTS1401 无权限读取指定文件 No permission to read the specified file 检查lmtagent的启动账号，建议以root方式启动。 切要采集的日志目录具备读权限 LTS1402 行首正则与日志行首匹配失败，无法对日志做分行 Failed to match the beginning of the line with the log entry's starting pattern, unable to split the log into lines 检查行首正则正确性。 若是单行日志可以配置为 . 。 LTS1403 完整正则模式下，日志内容和正则表达式不匹配 No match found between log content and regular expression in full regex mode 查看错误详情，重新调整正则规则适配日志原文。 LTS1404 JSON、分隔符等模式下，由于日志格式不符合定义而解析失败 Parsing failed in JSON, delimiter, and other modes due to mismatched log format definitions 查看错误详情，重新调整规则适配日志原文。 LTS1405 采集配置不合法 The collection configuration is invalid 采集配置JSON格式有误，可以通过控制台重新编辑下发规则。 LTS1406 因超过服务器资源使用上限而崩溃 Crashed due to exceeding server resource limits 调整CPU/内存上限， 主机需要调整 /etc/systemd/system/lmtagent.service 里几个限额项 MemoryMax/MemoryLimit/CPUQuota ； 容器需要在ccse控制台调整日志插件的YAML文件中定义的限额项 resources.limit.cpu/resources.limit.memory。 LTS1407 在Linux系统中注册日志监听失败，可能由于没有文件夹权限或文件夹被删除 Failed to register the log listener in the Linux system, possibly due to lack of folder permissions or the folder being deleted 检查采集器是否有权限访问该文件夹，或者该文件夹是否被删除。 LTS1408 日志采集进度落后于日志产生进度 Log collection is lagging behind log generation 采集有部分延迟，应避免一个配置文件采集过多目录，可以通过拆分配置来解决，如果持续出现错误可以提工单反馈。 LTS1409 日志采集进度落后于日志产生进度，且未处理的日志轮转超过20个，开始丢弃日志 Log collection is lagging behind log generation, and with over 20 unprocessed log rotations, logs are now being discarded 采集延迟较多，应避免一个配置文件采集过多目录，可以通过拆分配置来解决，如果持续出现错误可以提工单反馈。 LTS1410 没有日志监控目录读取权限 No read permission for the log monitoring directory 检查日志监控目录是否存在。如果存在，请检查目录权限设置。 LTS1411 日志采集配置目录中的文件数超限 The number of files in the log collection configuration directory has exceeded the limit 检查采集的目录下是否有较多文件和子目录并合理设置监控目录最大深度。 LTS1412 进程退出时日志落盘到本地超时，此时会丢弃未落盘完成的日志 When the process exits, flushing logs to disk times out, and any unfinished logs will be discarded 该报错通常为采集严重阻塞导致，如果持续出现错误可以提工单反馈。 LTS1413 输入源采集异常 Input source collection exception 查看详细报错，根据具体错误信息进一步排查。 LTS1414 过滤器初始化异常 Filter initialization exception 一般由于过滤器的正则表达式非法导致，请根据提示修复。 LTS1415 向聚合队列中添加数据失败 Failed to add data to the aggregation queue 数据发送过快。若真实数据量很大，可忽略。 LTS1416 Checkpoint解析失败 Checkpoint parsing failed 查看详细报错，根据其中检查点内容（前1024个字节）以及具体错误信息进一步排查。 LTS1417 同时监听的目录数超出限制 The number of simultaneously monitored directories exceeds the limit 检查当前采集配置是否包含较多的目录数，合理设置监控目录最大深度。 LTS1418 执行命令添加Docker文件映射失败 Failed to add Docker file mapping when executing the command 查看详细报错，根据具体错误信息进一步排查。 LTS1419 无法在Docker容器中查找到指定文件 The specified file could not be located within the Docker container 查看详细报错，根据其中的容器信息以及查找的文件路径进一步排查。 LTS1420 servicedockerstdout插件错误，根据配置中的BeginLineRegex编译失败 Error in servicedockerstdout plugin: failed to compile BeginLineRegex from configuration 查看详细报错，检查其中的正则表达式是否正确。 LTS1421 同时打开的文件对象数量超过限制 The number of simultaneously open file objects has exceeded the limit 一般因为当前处于采集状态的文件数过多，请检查采集配置是否合理。 LTS1422 processorsplitlogregex以及 processorsplitlogstring插件错误，无法从日志中获取到配置中指定的SplitKey。 Error in processorsplitlogregex and processorsplitlogstring plugins: unable to extract the configured SplitKey from log data 查看详细报错，检查是否存在配置错误的情况。 LTS1423 执行LZ4压缩发生错误 Error occurred during LZ4 compression execution 查看详细报错，根据具体错误信息进一步排查。 LTS1424 已打开文件数量超过限制，无法打开新的文件 The number of open files has exceeded the limit, preventing new files from being opened 日志采集配置目录中的文件数超限 ，默认上限为100000，需要检查采集配置是否通配了过多文件，调整采集规则。 LTS1425 打开文件出错 Error opening file 文件无法打开，需要查看文件是否损坏。 LTS1426 processorregex插件错误，编译配置中指定的Regex正则表达式失败 Error in processorregex plugin: failed to compile the Regex expression specified in the configuration 查看详细报错，检查其中的正则表达式是否正确。 LTS1427 日志解析速度过慢 Log parsing speed is too slow 查看详细报错，根据其中的日志数量、缓冲区大小、解析时间来确定是否正常。 如果不正常，检查是否有其他进程占用了过多的CPU资源或是存在效率较低的复杂正则表达式等不合理的解析配置。 LTS1428 processorregex插件错误，无法从日志中找到配置中SourceKey指定的字段 Error in processorregex plugin: unable to locate the field specified by SourceKey in the configuration from the log data 查看详细报错，检查是否存在SourceKey配置错误或日志不合法的情况。 LTS1429 processorregex插件错误，匹配失败 Error in processorregex plugin: match failed 查看详细报错，报错根据内容分为如下类型，请根据具体的错误信息进行排查。 unmatch this log content... ：日志无法匹配配置中的正则表达式 match result count less... ：匹配的结果数量少于配置中指定的 Keys 数量。 LTS1430 splitchar以及splitstring插件错误，无法从日志中找到配置中SourceKey指定的字段 Error in splitchar and splitstring plugins: unable to locate the field specified by SourceKey in the configuration from the log data 查看详细报错，检查是否存在SourceKey配置错误或日志不合法的情况。 LTS1431 processorsplitchar以及processorsplitstring插件错误，解析得到的字段数量与SplitKeys中指定的不相同 Error in processorsplitchar and processorsplitstring plugins: the number of parsed fields does not match the count specified in SplitKeys 查看详细报错，检查是否存在SourceKey配置错误或日志不合法的情况。 LTS1432 解析日志时间失败 Failed to parse log timestamp 正则表达式提取的时间字段是否正确。 指定的时间字段内容是否匹配配置中的时间表达式。 LTS1433 checkpoint相关错误 Checkpointrelated error 读取checkpoint文件格式异常，需要确认文件是否被修改，可能导致重采，如果持续出现错误可以提工单反馈。 LTS1434 inotify监听超限 inotify watch limit exceeded 监听目录数超限 ，默认上限为3000，需要检查采集配置是否通配了过多文件，调整采集规则。 LTS1435 采集器启动配置不存在或解析失败 Collector startup configuration does not exist or failed to parse 主机采集器启动配置格式有误，需要确认文件是否被修改，如果持续出现错误可以提工单反馈。 LTS1436 采集队列已满 The collection queue is full 网络中断等原因导致数据无法上报，反压队列满，会持续重试1h等待恢复，如果持续出现错误可以提工单反馈。 LTS1437 本地目录下配置过多 Too many configurations in the local directory 查看详细报错，根据具体错误信息进一步排查。 LTS1438 采集器上报插件初始化失败 Collector reporting plugin initialization failed 先确认VPCE私网域名是正常开通。如果持续出现错误可以提工单反馈。 LTS1439 采集器上报插件endpoint无法连接 Unable to connect to the endpoint of the collector reporting plugin 先确认VPCE私网域名是正常开通，以及本地DNS到VPCE域名是否能ping通。如果持续出现错误可以提工单反馈。 LTS1440 上报日志网关中出现错误 Error occurred in the log gateway during reporting token失效或者到日志网关的网络不通。如果是token失效需确认AK/SK是否有getToken权限。 LTS1441 上报日志网关后返回错误 The log gateway returned an error after reporting 查看详细报错，根据具体错误信息进一步排查。 LTS1442 获取token失败 Failed to retrieve token 用户指定的AK/SK 获取token失败，可能是未正确授权。查看详细报错，根据具体错误信息进一步排查。 LTS1443 采集内部错误 Internal collection error 未定义在上面详细错误码的都归在此类，需要查看详细报错，根据具体错误信息进一步排查。

本节主要介绍步骤一：创建同步任务 本小节以MySQL>RDS for MySQL的实时同步为示例，介绍如何使用数据库复制服务创建两个数据库实例之间的实时同步任务，其他存储引擎的配置流程类似。 前提条件 已登录数据库复制服务控制台。 账户余额大于等于100元。 满足实时同步支持的数据库类型，详情请参见实时同步。 满足实时同步的使用限制，详情请参见概述。 操作步骤 1、 在“实时同步管理”页面，单击“创建同步任务”。 2、 在“同步实例”页面，填选区域、任务名称、任务异常通知设置、时延阈值、任务异常自动结束时间、描述、同步实例信息，单击“下一步”。 图 同步任务信息 表 任务与描述 参数 描述 任务名称 任务名称在450位之间，必须以字母开头，不区分大小写，可以包含字母、数字、中划线或下划线，不能包含其他的特殊字符。 任务异常通知设置 该项为可选参数，开启之后，需要填写手机号码或者邮箱作为指定收件人。当同步任务状态异常时，系统将发送通知给指定收件人。 说明 收到确认短信或邮件之后，需要在48小时内处理，否则该订阅无效，将无法收到异常通知。 时延阈值 在增量同步阶段，源数据库和目标数据库之间的同步有时会存在一个时间差，称为时延，单位为秒。 时延阈值设置是指时延超过一定的值后（时延阈值范围为1—3600s），DRS可以发送告警通知给指定收件人。告警通知将在时延稳定超过设定的阈值6min后发送，避免出现由于时延波动反复发送告警通知的情况。 说明 首次进入增量同步阶段，会有较多数据等待同步，存在较大的时延，属于正常情况，不在此功能的监控范围之内。 设置时延阈值之前，需要设置任务异常通知。 描述 描述不能超过256位，且不能包含! & ' " 特殊字符。 图 同步实例信息 表 同步实例信息 参数 描述 数据流动方向 选择“入云”，即目标端数据库为本云数据库。 源数据库引擎 选择MySQL。 目标数据库引擎 选择MySQL。 网络类型 此处以公网网络为示例。 可根据业务场景选择公网网络、VPC网络和VPN、专线网络。 目标数据库实例 用户所创建的关系型数据库实例。 说明 目标数据库实例不支持选择只读实例。 目标数据库实例可以和源数据库选择同一个实例。 同步类型 此处以“全量+增量”为示例。 “全量+增量”： 该模式为数据持续性实时同步，通过全量过程完成目标端数据库的初始化后，增量同步阶段通过解析日志等技术，将源端和目标端数据保持数据持续一致。 说明 选择“全量+增量”同步模式，增量同步可以在全量同步完成的基础上实现数据的持续同步，无需中断业务，实现同步过程中源业务和数据库继续对外提供访问。 “增量”： 增量同步通过解析日志等技术，将源端产生的增量实时同步至目标端。 3、同步实例创建成功后，在“源库及目标库”页面，填选源库信息和目标库信息后，单击“源库和目标库”处的“测试连接”，分别测试并确定与源库和目标库连通后，勾选协议，单击“下一步”。 入云和出云场景中源库和目标库需要填选的信息不同，具体以界面为准。 入云场景： 图 源库信息 表 源库信息 参数 描述 IP地址或域名 源数据库的IP地址或域名。 端口 源数据库服务端口，可输入范围为1~65535间的整数。 数据库用户名 源数据库的用户名。 数据库密码 源数据库用户名所对应的密码。支持在任务创建后修改密码。 任务为启动中、全量同步、增量同步、增量同步失败状态时，可在“基本信息”页面的“同步信息”区域，单击“源库密码”后的“替换密码”，在弹出的对话框中修改密码。 SSL安全连接 通过该功能，用户可以选择是否开启对迁移链路的加密。如果开启该功能，需要用户上传SSL CA根证书。 说明 最大支持上传500KB的证书文件。 如果不使用SSL证书，请自行承担数据安全风险。 说明 源数据库IP地址、端口、用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上，待该任务删除后会永久清除。 图 目标库信息 表 目标库信息 参数 描述 数据库实例名称 默认为创建迁移任务时选择的关系型数据库实例，不可进行修改。 数据库用户名 目标数据库对应的用户名。 数据库密码 目标数据库用户名对应的密码。支持在任务创建后修改密码。任务为启动中、全量同步、增量同步、增量同步失败状态时，可在“基本信息”页面的“同步信息”区域，单击“目标库密码”后的“替换密码”，在弹出的对话框中修改密码。 说明 目标数据库用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上，待该任务删除后会永久清除。 出云场景： 图 源库信息 表 源库信息 参数 描述 数据库实例名称 默认为创建任务时选择的云数据库实例，不可进行修改。 数据库用户名 源数据库对应的用户名。 数据库密码 源数据库用户名对应的密码。任务为启动中、全量同步、增量同步、增量同步失败状态时，可在“基本信息”页面的“同步信息”区域，单击“源库密码”后的“替换密码”，在弹出的对话框中修改密码 说明 源数据库的用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上，待该任务删除后会永久清除。 图 目标库信息 表 目标库信息 参数 描述 IP地址或域名 目标数据库的IP地址或域名。 端口 目标数据库服务端口，可输入范围为1~65535间的整数。 数据库用户名 目标数据库的用户名。 数据库密码 目标数据库的用户名所对应的密码。支持在任务创建后修改密码。 任务为启动中、全量同步、增量同步、增量同步失败状态时，可在“基本信息”页面的“同步信息”区域，单击“目标库密码”后的“替换密码”，在弹出的对话框中修改密码。 SSL安全连接 通过该功能，用户可以选择是否开启对迁移链路的加密。如果开启该功能，需要用户上传SSL CA根证书。 说明 最大支持上传500KB的证书文件。 说明 目标数据库的IP地址、端口、用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上，待该任务删除后会永久清除。 4、在“设置同步”页面，选择数据冲突策略和同步对象，单击“下一步” 图 同步模式 表 同步模式和对象 参数 描述 冲突策略 数据库复制服务提供的实时同步功能使用了主键或唯一键冲突策略，这些策略可以由您自主选择，尽可能保证源数据库中有主键约束或唯一键约束的表同步到目标数据库是符合预期的。 冲突策略目前支持如下三种形式： 忽略 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。 报错 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），同步任务将失败并立即中止。 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。 说明 目前仅MySQL>RDS for MySQL的同步场景支持设置“覆盖”冲突策略。 当数据发生冲突时，针对如下情况，建议选“忽略”或者“覆盖”，否则建议选“报错”： 目标数据库存在数据 多对一同步场景 目标数据库手动更新数据 是否过滤DROP DATABASE 实时同步过程中，源数据库端执行的DDL操作在一定程度上会影响数据的同步能力，为了降低同步数据的风险，数据库复制服务提供了过滤DDL操作的功能。 目前支持默认过滤删除数据库的操作。 是，表示实时同步过程中不会同步用户在源数据库端执行的删除数据库操作。 否，则表示实时同步过程中将相关操作同步到目标库。 说明 目前仅以下链路的数据同步场景支持过滤DDL操作。 MySQL数据库>RDS for MySQL实例 RDS for MySQL实例>MySQL数据库 对象同步范围 对象同步范围支持普通索引和增量DDL同步。可根据业务需求选择是否进行同步。 同步对象 同步对象支持库级和表级同步，您可以根据业务场景选择对应的数据进行同步。部分链路还支持文件导入对象。 图 导入对象文件 如果有切换源数据库的操作或源库同步对象变化的情况，请务必在选择同步对象前单击右上角，以确保待选择的对象为最新源数据库对象。 说明 选择对象的时候支持搜索，以便您快速选择需要的数据库对象。 MySQL>RDS for MySQL实时同步支持表级和库级同步。 实时同步功能可以支持源数据库和目标数据库中的同步对象（包括数据库、schema、表）的名称不同。如果同步的数据库对象在源数据库和目标数据库中的命名不同，那么可以使用数据库复制服务提供的对象名映射功能进行映射。其中包括：库映射、schema映射、表映射。 对象名映射的具体操作请参考《数据库复制服务用户指南》中“对象名映射”章节。 导入对象文件的具体操作如下： 1. 单击“下载模板”。 2. 在下载的Excel模板中，填写需要导入的对象信息。 3. 单击“添加文件”，在对话框中选择编辑完成的模板。 4. 单击“上传文件”。 说明 文件导入仅支持导入Windows Microsoft Excel 972003版本（.xls），2007及以上版本（.xlsx）的文件，下载的压缩包提供上述两个版本模板 文件名支持的有效字符：大小写字母，数字，“”，“”,“(”，“)” 模板中的对象信息需按照SchemaName.TableName的格式进行填写，不支持“ ”，"."和“"”，且不支持以空格开头或结尾的对象。 文件导入成功后，必须保留本次上传的文件，以便需要再编辑该任务的数据库对象范围时，可直接基于此文件修改，然后再次上传。 用文件导入功能所创建的任务，任务启动之后再编辑时，不支持切换到“表级同步”和“库级同步”功能。 配置中的任务，可使用“表级同步”，“库级同步”或“文件导入”三种方式，每次切换新的方式后，当前选择或者导入的数据库对象被清空，需重新选择或导入。 5、在“数据加工”页面，根据需要设置数据加工的过滤规则。 如果不需要设置数据加工规则，选择“不加工”，单击“下一步”。 如果需要设置数据加工规则，选择“数据过滤”，参考数据加工，设置相关过滤规则 数据加工 6、在“预检查”页面，进行同步任务预校验，校验是否可进行实时同步。 查看检查结果，如有不通过的检查项，需要修复不通过项后，单击“重新校验”按钮重新进行任务预校验。 预检查不通过项处理建议请参见《数据库复制服务用户指南》中的“预检查不通过项修复方法”。 预检查完成后，且所有检查项结果均通过时，单击“下一步”。 图 预检查 说明 所有检查项结果均通过时，若存在请确认项，需要阅读并确认详情后才可以继续执行下一步操作。 7、在“任务确认”页面，设置同步任务的启动时间，并确认同步任务信息无误后，勾选协议，单击“启动任务”，提交同步任务。 说明 同步任务的启动时间可以根据业务需求，设置为“立即启动”或“稍后启动”。 预计同步任务启动后，会对源数据库和目标数据库的性能产生影响，建议选择业务低峰期，合理设置同步任务的启动时间。 8、同步任务提交后，您可在“实时同步管理”页面，查看并管理自己的任务。 您可查看任务提交后的状态，状态请参见参考：任务状态含义。 在任务列表的右上角，单击刷新列表，可查看到最新的任务状态。

应用创建成功后，不支持修改部署方式。您需要重新创建应用。

签名应用及示例 由“构造动态秘钥”和“创建待签名字符串”分别的出来的待签名字符串stringsigture、kdate生成出Sigture； Sigture 待签名字符串stringsigture、kdate；再根据hmacsha256(kdate,stringsigture)得出的结果，再将结果进行base64编码得出Sigture :: EopAuthorization ctyuneopak Header你构造待签名字符串时的header排序 Signature（注意中间有空格） header排序以分号”;”拼接 例子所述：你待签名的字符串header顺序是 eopdate和host；那么你加到header里的值就是 EopAuthorization: ctyuneopak Headereopdate;host Signaturexad01/ada 由上得到EopAuthorization，然后将数据整合成HEADER放在httpclient内，发出即可。 httpclient所需请求头部如下： EopAuthorization: ctyuneopak Header ctyuneoprequestid;eopdate Signaturexad01/ada eopdate:20211221T163614Z ctyuneoprequestid: 123456789 （注：若需要进行签名的Header不止默认的ctyuneoprequestid和eopdate，需要在httpclient的请求头部中加上，并且EopAuthorization中也需要增加） 签名应用源码(java) eopsdk(3).zip

请求的URI 请求URI由如下部分组成：{URIscheme}://{Endpoint}/{resourcepath}?{querystring} 参数 描述 是否必选 ::: URIscheme 用于传输请求的协议，当前所有API均采用HTTPS协议。 是 Endpoint 当前资源池或者通用的域名 是 resourcepath 资源路径，也即API访问路径。从具体API的URI模块获取，例如“获取用户1信息”API的resourcepath为“/users/1”。 是 querystring 查询参数，是可选部分，并不是每个API都有查询参数。查询参数前面需要带一个“?”，形式为“参数名参数取值”，例如“?userID1”，表示查询用户ID为1的数据。 是 请求方法 方法 说明 :: GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源，如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。当资源不存在的时候，PATCH可能会去创建一个新的资源。 请求消息头 附加请求头字段，主要是用于鉴权的公共字段 字段 类型 描述 ::: ContentType String 消息体的类型（格式），统一为：application/json EopAuthorization String 公钥，为ctyuneopak的值 Header String 待签名的header参数列表，以分号分割，如：Headereopdate;host Signature String 计算得到的用于鉴权的签名，生成方式参见鉴权章节

正常状态码 描述 200 服务器返回成功，该操作是幂等的 400 用户请求错误，该操作是幂等的 401 用户无权限（用户名或者密码错误等） 403 访问受限，被禁止 404 用户请求路径不存在 429 Too many Request 500 服务端异常 502 网关错误 503 服务不可用

错误码 描述 Openapi.Acl.AccessFailed 资源获取失败 Openapi.Acl.CreateError 资源创建失败 Openapi.Acl.DeleteError 资源删除失败 Openapi.Acl.UpdateError 资源更新失败 Openapi.Acl.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Acl.AccessDenied 不允许的操作 Openapi.Acl.QuotaLimitExceed 超过配额限制 Openapi.SecurityGroup.AccessFailed 资源获取失败 Openapi.SecurityGroup.CreateError 资源创建失败 Openapi.SecurityGroup.DeleteError 资源删除失败 Openapi.SecurityGroup.UpdateError 资源更新失败 Openapi.SecurityGroup.DeleteCheckFailed 资源删除前置检查未通过 Openapi.SecurityGroup.AccessDenied 不允许的操作 Openapi.SecurityGroup.QuotaLimitExceed 超过配额限制 Openapi.Havip.AccessFailed 资源获取失败 Openapi.Havip.CreateError 资源创建失败 Openapi.Havip.DeleteError 资源删除失败 Openapi.Havip.UpdateError 资源更新失败 Openapi.Havip.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Havip.AccessDenied 不允许的操作 Openapi.Havip.QuotaLimitExceed 超过配额限制 Openapi.LoadBalancer.AccessFailed 资源获取失败 Openapi.LoadBalancer.CreateError 资源创建失败 Openapi.LoadBalancer.DeleteError 资源删除失败 Openapi.LoadBalancer.UpdateError 资源更新失败 Openapi.LoadBalancer.DeleteCheckFailed 资源删除前置检查未通过 Openapi.LoadBalancer.AccessDenied 不允许的操作 Openapi.LoadBalancer.QuotaLimitExceed 超过配额限制 Openapi.TargetGroup.AccessFailed 资源获取失败 Openapi.TargetGroup.CreateError 资源创建失败 Openapi.TargetGroup.DeleteError 资源删除失败 Openapi.TargetGroup.UpdateError 资源更新失败 Openapi.TargetGroup.DeleteCheckFailed 资源删除前置检查未通过 Openapi.TargetGroup.AccessDenied 不允许的操作 Openapi.TargetGroup.QuotaLimitExceed 超过配额限制 Openapi.Target.AccessFailed 资源获取失败 Openapi.Target.CreateError 资源创建失败 Openapi.Target.DeleteError 资源删除失败 Openapi.Target.UpdateError 资源更新失败 Openapi.Target.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Target.AccessDenied 不允许的操作 Openapi.Target.QuotaLimitExceed 超过配额限制 Openapi.Listener.AccessFailed 资源获取失败 Openapi.Listener.CreateError 资源创建失败 Openapi.Listener.DeleteError 资源删除失败 Openapi.Listener.UpdateError 资源更新失败 Openapi.Listener.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Listener.AccessDenied 不允许的操作 Openapi.Listener.QuotaLimitExceed 超过配额限制 Openapi.PrivateDns.AccessFailed 资源获取失败 Openapi.PrivateDns.CreateError 资源创建失败 Openapi.PrivateDns.DeleteError 资源删除失败 Openapi.PrivateDns.UpdateError 资源更新失败 Openapi.PrivateDns.DeleteCheckFailed 资源删除前置检查未通过 Openapi.PrivateDns.AccessDenied 不允许的操作 Openapi.PrivateDns.QuotaLimitExceed 超过配额限制 Openapi.Acl.AccessFailed 资源获取失败 Openapi.Acl.CreateError 资源创建失败 Openapi.Acl.DeleteError 资源删除失败 Openapi.Acl.UpdateError 资源更新失败 Openapi.Acl.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Acl.AccessDenied 不允许的操作 Openapi.Acl.QuotaLimitExceed 超过配额限制 Openapi.Ipv6.AccessFailed 资源获取失败 Openapi.Ipv6.CreateError 资源创建失败 Openapi.Ipv6.DeleteError 资源删除失败 Openapi.Ipv6.UpdateError 资源更新失败 Openapi.Ipv6.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Ipv6.AccessDenied 不允许的操作 Openapi.Ipv6.QuotaLimitExceed 超过配额限制 Openapi.Ipv6Gateway.AccessFailed 资源获取失败 Openapi.Ipv6Gateway.CreateError 资源创建失败 Openapi.Ipv6Gateway.DeleteError 资源删除失败 Openapi.Ipv6Gateway.UpdateError 资源更新失败 Openapi.Ipv6Gateway.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Ipv6Gateway.AccessDenied 不允许的操作 Openapi.Ipv6Gateway.QuotaLimitExceed 超过配额限制 Openapi.Ipv4Gateway.AccessFailed 资源获取失败 Openapi.Ipv4Gateway.CreateError 资源创建失败 Openapi.Ipv4Gateway.DeleteError 资源删除失败 Openapi.Ipv4Gateway.UpdateError 资源更新失败 Openapi.Ipv4Gateway.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Ipv4Gateway.AccessDenied 不允许的操作 Openapi.Ipv4Gateway.QuotaLimitExceed 超过配额限制 Openapi.Subnet.AccessFailed 资源获取失败 Openapi.Subnet.CreateError 资源创建失败 Openapi.Subnet.DeleteError 资源删除失败 Openapi.Subnet.UpdateError 资源更新失败 Openapi.Subnet.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Subnet.AccessDenied 不允许的操作 Openapi.Subnet.QuotaLimitExceed 超过配额限制 Openapi.Vpc.AccessFailed 资源获取失败 Openapi.Vpc.CreateError 资源创建失败 Openapi.Vpc.DeleteError 资源删除失败 Openapi.Vpc.UpdateError 资源更新失败 Openapi.Vpc.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Vpc.AccessDenied 不允许的操作 Openapi.Vpc.QuotaLimitExceed 超过配额限制 Openapi.VpcPeer.AccessFailed 资源获取失败 Openapi.VpcPeer.CreateError 资源创建失败 Openapi.VpcPeer.DeleteError 资源删除失败 Openapi.VpcPeer.UpdateError 资源更新失败 Openapi.VpcPeer.DeleteCheckFailed 资源删除前置检查未通过 Openapi.VpcPeer.AccessDenied 不允许的操作 Openapi.VpcPeer.QuotaLimitExceed 超过配额限制 Openapi.Endpoint.AccessFailed 资源获取失败 Openapi.Endpoint.CreateError 资源创建失败 Openapi.Endpoint.DeleteError 资源删除失败 Openapi.Endpoint.UpdateError 资源更新失败 Openapi.Endpoint.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Endpoint.AccessDenied 不允许的操作 Openapi.Endpoint.QuotaLimitExceed 超过配额限制 Openapi.EndpointSerivce.AccessFailed 资源获取失败 Openapi.EndpointSerivce.CreateError 资源创建失败 Openapi.EndpointSerivce.DeleteError 资源删除失败 Openapi.EndpointSerivce.UpdateError 资源更新失败 Openapi.EndpointSerivce.DeleteCheckFailed 资源删除前置检查未通过 Openapi.EndpointSerivce.AccessDenied 不允许的操作 Openapi.EndpointSerivce.QuotaLimitExceed 超过配额限制 Openapi.EndpointServiceRule.AccessFailed 资源获取失败 Openapi.EndpointServiceRule.CreateError 资源创建失败 Openapi.EndpointServiceRule.DeleteError 资源删除失败 Openapi.EndpointServiceRule.UpdateError 资源更新失败 Openapi.EndpointServiceRule.DeleteCheckFailed 资源删除前置检查未通过 Openapi.EndpointServiceRule.AccessDenied 不允许的操作 Openapi.EndpointServiceRule.QuotaLimitExceed 超过配额限制 Openapi.EndpointServiceTransitIp.AccessFailed 资源获取失败 Openapi.EndpointServiceTransitIp.CreateError 资源创建失败 Openapi.EndpointServiceTransitIp.DeleteError 资源删除失败 Openapi.EndpointServiceTransitIp.UpdateError 资源更新失败 Openapi.EndpointServiceTransitIp.DeleteCheckFailed 资源删除前置检查未通过 Openapi.EndpointServiceTransitIp.AccessDenied 不允许的操作 Openapi.EndpointServiceTransitIp.QuotaLimitExceed 超过配额限制 Openapi.EndpointWhitelist.AccessFailed 资源获取失败 Openapi.EndpointWhitelist.CreateError 资源创建失败 Openapi.EndpointWhitelist.DeleteError 资源删除失败 Openapi.EndpointWhitelist.UpdateError 资源更新失败 Openapi.EndpointWhitelist.DeleteCheckFailed 资源删除前置检查未通过 Openapi.EndpointWhitelist.AccessDenied 不允许的操作 Openapi.EndpointWhitelist.QuotaLimitExceed 超过配额限制 Openapi.EndpointServiceReverseRule.AccessFailed 资源获取失败 Openapi.EndpointServiceReverseRule.CreateError 资源创建失败 Openapi.EndpointServiceReverseRule.DeleteError 资源删除失败 Openapi.EndpointServiceReverseRule.UpdateError 资源更新失败 Openapi.EndpointServiceReverseRule.DeleteCheckFailed 资源删除前置检查未通过 Openapi.EndpointServiceReverseRule.AccessDenied 不允许的操作 Openapi.EndpointServiceReverseRule.QuotaLimitExceed 超过配额限制 Openapi.EndpointServiceWhitelist.AccessFailed 资源获取失败 Openapi.EndpointServiceWhitelist.CreateError 资源创建失败 Openapi.EndpointServiceWhitelist.DeleteError 资源删除失败 Openapi.EndpointServiceWhitelist.UpdateError 资源更新失败 Openapi.EndpointServiceWhitelist.DeleteCheckFailed 资源删除前置检查未通过 Openapi.EndpointServiceWhitelist.AccessDenied 不允许的操作 Openapi.EndpointServiceWhitelist.QuotaLimitExceed 超过配额限制 Openapi.MirrorFilter.AccessFailed 资源获取失败 Openapi.MirrorFilter.CreateError 资源创建失败 Openapi.MirrorFilter.DeleteError 资源删除失败 Openapi.MirrorFilter.UpdateError 资源更新失败 Openapi.MirrorFilter.DeleteCheckFailed 资源删除前置检查未通过 Openapi.MirrorFilter.AccessDenied 不允许的操作 Openapi.MirrorFilter.QuotaLimitExceed 超过配额限制 Openapi.FlowSession.AccessFailed 资源获取失败 Openapi.FlowSession.CreateError 资源创建失败 Openapi.FlowSession.DeleteError 资源删除失败 Openapi.FlowSession.UpdateError 资源更新失败 Openapi.FlowSession.DeleteCheckFailed 资源删除前置检查未通过 Openapi.FlowSession.AccessDenied 不允许的操作 Openapi.FlowSession.QuotaLimitExceed 超过配额限制 Openapi.SharedBandwidth.AccessFailed 资源获取失败 Openapi.SharedBandwidth.CreateError 资源创建失败 Openapi.SharedBandwidth.DeleteError 资源删除失败 Openapi.SharedBandwidth.UpdateError 资源更新失败 Openapi.SharedBandwidth.DeleteCheckFailed 资源删除前置检查未通过 Openapi.SharedBandwidth.AccessDenied 不允许的操作 Openapi.SharedBandwidth.QuotaLimitExceed 超过配额限制 Openapi.Ipv6Bandwidth.AccessFailed 资源获取失败 Openapi.Ipv6Bandwidth.CreateError 资源创建失败 Openapi.Ipv6Bandwidth.DeleteError 资源删除失败 Openapi.Ipv6Bandwidth.UpdateError 资源更新失败 Openapi.Ipv6Bandwidth.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Ipv6Bandwidth.AccessDenied 不允许的操作 Openapi.Ipv6Bandwidth.QuotaLimitExceed 超过配额限制 Openapi.RouterTableRule.AccessFailed 资源获取失败 Openapi.RouterTableRule.CreateError 资源创建失败 Openapi.RouterTableRule.DeleteError 资源删除失败 Openapi.RouterTableRule.UpdateError 资源更新失败 Openapi.RouterTableRule.DeleteCheckFailed 资源删除前置检查未通过 Openapi.RouterTableRule.AccessDenied 不允许的操作 Openapi.RouterTableRule.QuotaLimitExceed 超过配额限制 Openapi.RouterTable.AccessFailed 资源获取失败 Openapi.RouterTable.CreateError 资源创建失败 Openapi.RouterTable.DeleteError 资源删除失败 Openapi.RouterTable.UpdateError 资源更新失败 Openapi.RouterTable.DeleteCheckFailed 资源删除前置检查未通过 Openapi.RouterTable.AccessDenied 不允许的操作 Openapi.RouterTable.QuotaLimitExceed 超过配额限制 Openapi.Port.AccessFailed 资源获取失败 Openapi.Port.CreateError 资源创建失败 Openapi.Port.DeleteError 资源删除失败 Openapi.Port.UpdateError 资源更新失败 Openapi.Port.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Port.AccessDenied 不允许的操作 Openapi.Port.QuotaLimitExceed 超过配额限制 Openapi.Nat.AccessFailed 资源获取失败 Openapi.Nat.CreateError 资源创建失败 Openapi.Nat.DeleteError 资源删除失败 Openapi.Nat.UpdateError 资源更新失败 Openapi.Nat.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Nat.AccessDenied 不允许的操作 Openapi.Nat.QuotaLimitExceed 超过配额限制 Openapi.Snat.AccessFailed 资源获取失败 Openapi.Snat.CreateError 资源创建失败 Openapi.Snat.DeleteError 资源删除失败 Openapi.Snat.UpdateError 资源更新失败 Openapi.Snat.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Snat.AccessDenied 不允许的操作 Openapi.Snat.QuotaLimitExceed 超过配额限制 Openapi.Dnat.AccessFailed 资源获取失败 Openapi.Dnat.CreateError 资源创建失败 Openapi.Dnat.DeleteError 资源删除失败 Openapi.Dnat.UpdateError 资源更新失败 Openapi.Dnat.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Dnat.AccessDenied 不允许的操作 Openapi.Dnat.QuotaLimitExceed 超过配额限制 Openapi.Eip.AccessFailed 资源获取失败 Openapi.Eip.CreateError 资源创建失败 Openapi.Eip.DeleteError 资源删除失败 Openapi.Eip.UpdateError 资源更新失败 Openapi.Eip.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Eip.AccessDenied 不允许的操作 Openapi.Eip.QuotaLimitExceed 超过配额限制 Openapi.HealthCheck.AccessFailed 资源获取失败 Openapi.HealthCheck.CreateError 资源创建失败 Openapi.HealthCheck.DeleteError 资源删除失败 Openapi.HealthCheck.UpdateError 资源更新失败 Openapi.HealthCheck.DeleteCheckFailed 资源删除前置检查未通过 Openapi.HealthCheck.AccessDenied 不允许的操作 Openapi.HealthCheck.QuotaLimitExceed 超过配额限制 Openapi.AccessControl.AccessFailed 资源获取失败 Openapi.AccessControl.CreateError 资源创建失败 Openapi.AccessControl.DeleteError 资源删除失败 Openapi.AccessControl.UpdateError 资源更新失败 Openapi.AccessControl.DeleteCheckFailed 资源删除前置检查未通过 Openapi.AccessControl.AccessDenied 不允许的操作 Openapi.AccessControl.QuotaLimitExceed 超过配额限制 Openapi.ElbPolicy.AccessFailed 资源获取失败 Openapi.ElbPolicy.CreateError 资源创建失败 Openapi.ElbPolicy.DeleteError 资源删除失败 Openapi.ElbPolicy.UpdateError 资源更新失败 Openapi.ElbPolicy.DeleteCheckFailed 资源删除前置检查未通过 Openapi.ElbPolicy.AccessDenied 不允许的操作 Openapi.ElbPolicy.QuotaLimitExceed 超过配额限制 Openapi.Sla.AccessFailed 资源获取失败 Openapi.Sla.CreateError 资源创建失败 Openapi.Sla.DeleteError 资源删除失败 Openapi.Sla.UpdateError 资源更新失败 Openapi.Sla.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Sla.AccessDenied 不允许的操作 Openapi.Sla.QuotaLimitExceed 超过配额限制 Openapi.Certificate.AccessFailed 资源获取失败 Openapi.Certificate.CreateError 资源创建失败 Openapi.Certificate.DeleteError 资源删除失败 Openapi.Certificate.UpdateError 资源更新失败 Openapi.Certificate.DeleteCheckFailed 资源删除前置检查未通过 Openapi.Certificate.AccessDenied 不允许的操作 Openapi.Certificate.QuotaLimitExceed 超过配额限制 Openapi.Subnet.DisassociateAclFailed 子网解绑 ACL 失败 Openapi.EndpointService.AcceptApplyFailed 通过终端节点的连接申请失败 Openapi.EndpointService.RejectApplyFailed 拒绝终端节点的连接申请失败 Openapi.Igw4.AddRouteTableFailed igw4 添加路由表失败 Openapi.Igw4.RemoveRouteTableFailed igw4 移除路由表失败 Openapi.SecurityGroup.BindInstanceFailed 安全组绑定实例失败 Openapi.SecurityGroup.UnBindInstanceFailed 安全组解绑实例失败 Openapi.Port.NotAttached 网卡未绑定资源 Openapi.Port.RepeatAttached 网卡不能重复绑定 Openapi.Port.AttachFailed 网卡绑定失败 Openapi.Port.DetachFailed 网卡解绑失败 Openapi.Port.AssignPrivateIpFailed 网卡分配辅助私网 IP 失败 Openapi.Port.UnAssignPrivateIpFailed 网卡移除辅助私网 IP 失败 Openapi.Port.AssignIpv6Failed 网卡分配辅助私网 IPv6 失败 Openapi.Port.UnAssignIpv6Failed 网卡移除辅助私网 IPv6 失败 Openapi.Havip.BindFailed 高可用虚 IP 绑定失败 Openapi.Havip.UnBindFailed 高可用虚 IP 解绑失败 Openapi.PrivateZone.BindVpcFailed 内网 dns 绑定 vpc 失败 Openapi.PrivateZone.UnBindVpcFailed 内网 dns 解绑 vpc 失败 Openapi.Ecs.Expired 主机已过期 Openapi.Bm.Expired 主机已过期 Openapi.VpcPeer.RejectFailed 拒绝创建对等链接失败 Openapi.VpcPeer.AgreeFailed 同意创建对等链接失败 Openapi.LoadBalancer.BindFailed 弹性负载均衡绑定弹性 IP 失败 Openapi.LoadBalancer.UnBindFailed 弹性负载均衡解绑弹性 IP 失败 Openapi.Eip.BindFailed 弹性 IP 绑定资源失败 Openapi.Eip.UnBindFailed 弹性 IP 解绑资源失败 Openapi.Parameter.Error 参数错误 Openapi.Subnet.ReplaceAclFailed 子网替换 ACL 失败 Openapi.Subnet.DisassociateAclFailed 子网解绑 ACL 失败 Openapi.Subnet.HasNoIPs 子网 IP 已被用尽 Openapi.Ecs.HasNoNetwork 弹性云主机未配置网络 Openapi.Ak.NotFound ak 不存在 Openapi.Signature.VerifyFailed 签名鉴权失败 Openapi.Implement.Error 实现错误 Openapi.RequestParse.EopInvalidRejection 请求来源非法 Openapi.RequestParse.JsonExpected 请求格式非法 Openapi.Region.AccessFailed 获取 region 信息失败

应用创建成功后，不支持修改部署方式。您需要重新创建应用。

本产品终端节点为：ctvpcglobal.ctapi.ctyun.cn，其中 global 为服务区域编码。

coding: utf8 import requests import json import hashlib import base64 import hmac import datetime import uuid METHODGET 'GET' METHODPOST 'POST' 官网accessKey AK 'XXXXXX' 官网securityKey SK 'XXXXXX' def hmacsha256(secret, data): secret bytearray(secret) data bytearray(data) return hmac.new(secret, data, digestmodhashlib.sha256).digest() def base64ofhmac(data): return base64.b64encode(data) def getrequestuuid(): return str(uuid.uuid1()) def getsortedstr(data): """ 鉴权用的参数整理 :param data: dict 需要整理的参数 :return: str """ sorteddata sorted(data.items(), keylambda item: item[0]) strlist map(lambda (x, y): '%s%s' % (x, y), sorteddata) return '&'.join(strlist) def buildsign(queryparams, bodyparams, eopdate, requestuuid): """ 计算鉴权字段 :param queryparams: dict get请求中的参数 :param bodyparams: dict post请求中的参数 :param eopdate: str 请求时间，格式为：'%Y%m%dT%H%M%SZ' :return: str """ bodystr json.dumps(bodyparams) if bodyparams else '' bodydigest hashlib.sha256(bodystr.encode('utf8')).hexdigest() 请求头中必要的两个参数 headerstr 'ctyuneoprequestid:%sneopdate:%sn' % (requestuuid, eopdate) url中的参数，或get参数 querystr getsortedstr(queryparams) signaturestr '%sn%sn%s' % (headerstr, querystr, bodydigest) printlog(repr('signaturestr is: %s' % signaturestr)) signdate eopdate.split('T')[0] 计算鉴权密钥 ktime hmacsha256(SK, eopdate) kak hmacsha256(ktime, AK) kdate hmacsha256(kak, signdate) signaturebase64 base64ofhmac(hmacsha256(kdate, signaturestr))

nodelay: false [可选]当设置为 true 时，如果限速插件功能临时不可用，将会自动允许请求继续。默认 false allowdegradation: false

本文将详细介绍clientcontrol插件功能、配置和使用。 功能说明 clientcontrol 插件通过设置客户端请求体大小上限来动态控制客户端的请求。当设置较大的限制时可能导致内存使用增加，需根据实际需求合理配置。 配置字段 名称 类型 填写要求 默认值 有效值 描述 maxbodysize integer 可选 [0,...] 动态设置 clientmaxbodysize 的大小 配置示例 clientcontrol 使用示例 plaintext maxbodysize: 1 根据该场景请求路由 plaintext curl d '123' 由于请求路由的请求体大小超过了所设置的客户端请求体大小上限，请求返回413. plaintext HTTP/1.1 413 Request Entity Too Large ...... 配置模板 plaintext [可选]设置客户端请求体大小上限.有效范围[0,...] maxbodysize: 1024

本文将详细介绍limitconn插件功能、配置和使用。 功能说明 limitconn 插件用于限制客户端对单个服务的并发请求数。当客户端对路由的并发请求数达到限制时，可以返回自定义的状态码和响应信息 配置字段 名称 类型 填写要求 默认值 有效值 描述 conn integer 必填 conn > 0 允许的最大并发请求数。超过 conn 的限制、但是低于 conn + burst 的请求，将被延迟处理。 burst integer 必填 burst > 0 每秒允许被延迟处理的额外并发请求数。 defaultconndelay number 必填 defaultconndelay > 0 默认的典型连接（或请求）的处理延迟时间。 onlyusedefaultdelay boolean 可选 false 延迟时间的严格模式。当设置为 true 时，将会严格按照设置的 defaultconndelay 时间来进行延迟处理。 keytype string 可选 "var" ["var", "varcombination"] key 的类型。 key string 可选 用来做请求计数的依据。如果 keytype 为 "var"，那么 key 会被当作变量名称，如 remoteaddr 和 consumername；如果 keytype 为 "varcombination"，那么 key 会当作变量组合，如 $remoteaddr $consumername；如果 key 的值为空，$remoteaddr 会被作为默认 key。 rejectedcode integer 可选 503 [200,...,599] 当请求数超过 conn + burst 阈值时，返回的 HTTP 状态码。 rejectedmsg string 可选 非空 当请求数超过 conn + burst 阈值时，返回的信息。 allowdegradation boolean 可选 false 当设置为 true 时，启用插件降级并自动允许请求继续。

本文将详细介绍clientcontrol插件功能、配置和使用。 功能说明 clientcontrol 插件通过设置客户端请求体大小上限来动态控制客户端的请求。当设置较大的限制时可能导致内存使用增加，需根据实际需求合理配置。 配置字段 名称 类型 填写要求 默认值 有效值 描述 maxbodysize integer 可选 [0,...] 动态设置 clientmaxbodysize 的大小 配置示例 clientcontrol 使用示例 plaintext maxbodysize: 1 根据该场景请求路由 plaintext curl d '123' 由于请求路由的请求体大小超过了所设置的客户端请求体大小上限，请求返回413. plaintext HTTP/1.1 413 Request Entity Too Large ...... 413 Request Entity Too Large 413 Request Entity Too Large openresty Powered by CGW. 配置模板 plaintext [可选]设置客户端请求体大小上限.有效范围[0,...] maxbodysize: 1024

本文将详细介绍limitcount插件功能、配置和使用。 功能说明 limitcount 插件使用固定时间窗口算法，主要用于限制单个客户端在指定的时间范围内对服务的总请求数，并且会在 HTTP 响应头中返回剩余可以请求的个数. 配置字段 名称 类型 填写要求 默认值 有效值 描述 count integer 必填 count> 0 每个客户端在指定时间窗口内的总请求数量阈值。 timewindow integer 必填 timewindow> 0 时间窗口的大小（以秒为单位）。超过该属性定义的时间，则会重新开始计数。 rejectedcode integer 可选 503 [200,...,599] 当请求超过阈值被拒绝时，返回的 HTTP 状态码。 keytype string 可选 "var" ["var", "varcombination", "constant"] key 的类型。 key string 可选 "remoteaddr" 用来做请求计数的依据。如果 keytype 为 constant，那么 key 会被当作常量；如果 keytype 为 var，那么 key 会被当作变量；如果 keytype 为 varcombination，那么 key 会被当作变量组合，如 $remoteaddr $consumername，插件会同时受 $remoteaddr 和 $consumername 两个变量的约束；如果 key 的值为空，$remoteaddr 会被作为默认 key。 rejectedmsg string 可选 非空 当请求超过阈值被拒绝时，返回的响应体。 allowdegradation boolean 可选 false 当插件功能临时不可用时（例如 Redis 超时），当设置为 true 时，则表示可以允许插件降级并进行继续请求的操作。 showlimitquotaheader boolean 可选 true 当设置为 true 时，在响应头中显示 XRateLimitLimit（限制的总请求数）和 XRateLimitRemaining（剩余还可以发送的请求数）字段。

[可选]请求超过阈值被拒绝时，返回的 HTTP 状态码 rejectedcode: 429 [可选]当设置rejectedmsg时，非空。默认可不填 rejectedmsg: "Requests are too frequent, please try again later." [可选] 在异常错误时，是否中断用户请求，false 不中断，true 中断，默认不中断 errorinterrupt: false [可选] APP（消费者）限速规则，约定对指定APP(消费者)的限速规则 rulemap: 消费者名称 app1: [可选] 当前消费者的限流计数，不传时取最外层默认的count值 count: 3 [] 当前消费者的限流时间窗口大小（以秒为单位），不传时取最外层的默认timewindow值 timewindow: 10 消费者名称 app2: [可选] 当前消费者的限流计数，不传时取最外层默认的count值 count: 3 [可选] 当前消费者的限流时间窗口大小（以秒为单位），不传时取最外层的默认timewindow值 timewindow: 10

有条件地缓存响应 以下示例演示了如何配置 proxycache 插件以有条件地缓存响应。 使用 proxycache 插件创建路由并配置 nocache 属性，这样如果 URL 参数 nocache 和标头 nocache 的值中至少有一个不为空且不等于 0，则不会缓存响应： plaintext nocache: ["$argnocache", "$httpnocache"] 向路由发送一些请求，其中 URL 参数的 nocache 值表示绕过缓存： plaintext curl i " 您应该收到所有请求的 HTTP/1.1 200 OK 响应，并且每次都观察到以下标头： plaintext AgwCacheStatus: EXPIRED 向路由发送一些其他请求，其中 URL 参数 nocache 值为零： plaintext curl i " 您应该收到所有请求的 HTTP/1.1 200 OK 响应，并开始看到缓存被命中： plaintext AgwCacheStatus: HIT 您还可以在 nocache 标头中指定以下值： plaintext curl i " H "nocache: 1" 响应不应该被缓存： plaintext AgwCacheStatus: EXPIRED 有条件地从缓存中检索响应 以下示例演示了如何配置 proxycache 插件以有条件地从缓存中检索响应。 使用 proxycache 插件创建路由并配置 cachebypass 属性，这样如果 URL 参数 bypass 和标头 bypass 的值中至少有一个不为空且不等于 0，则不会从缓存中检索响应： plaintext cachebypass: ["$argbypass", "$httpbypass"] 向路由发送一个请求，其中 URL 参数值为 bypass，表示绕过缓存： plaintext curl i " 您应该看到带有以下标头的 HTTP/1.1 200 OK 响应： plaintext AgwCacheStatus: BYPASS 向路由发送另一个请求，其中 URL 参数 bypass 值为零： plaintext curl i " 您应该看到带有以下标头的 HTTP/1.1 200 OK 响应： plaintext AgwCacheStatus: MISS 您还可以在 bypass 标头中指定以下值： plaintext curl i " H "bypass: 1" 响应应该显示绕过缓存： plaintext AgwCacheStatus: BYPASS

本章节介绍服务网格全链路灰度控制的原理 在微服务架构中，对单个服务的灰度控制可以在请求进入该服务前的代理进行，比如ingress gateway或者客户端sidecar（如基于请求头部选择不同的版本的后端服务），全链路灰度中对链路中的每个服务的灰度也是基于此原理（定义DestinationRule、VirtualService实现），不同于单服务的灰度控制，全链路灰度需要调用链上的所有服务都有统一的VS、DR配置，并且需要在整个调用链上传递版本控制信息，每个服务基于统一的版本控制信息和VS、DR配置实现统一的灰度控制，这里就依赖业务必须接入链路追踪能力。服务网格全链路灰度利用链路追踪的trace id在sidecar里实现了inbound请求中的灰度控制信息透传到outbound请求，解决了灰度控制信息在调用链中透传的问题，如图所示： 步骤说明如下： 1. 用户请求时带上特定版本控制头部xversion，业务接入了分布式链路追踪系统，请求会带上traceid。 2. 经过ingress网关将请求转发到后端服务的sidecar。 3. sidecar内通过自研wasm插件在内存中缓存版本控制信息（key为traceid值，value为版本控制信息）。 4. sidecar将请求转发到业务，此时请求头部包含traceid和xversion。 5. 由于业务接入了全链路追踪，默认会透传traceid，因此app1向外部请求时也会带上traceid。 6. sidecar outbound方向从缓存中获取版本控制信息，并添加到头部中转发到app2。 7. 链路内后续的调用情况类似。 通过以上过程就是服务网格全链路灰度控制的原理。

字段 类型 说明 namematch string 对应VirtualService里面的某条规则 headermatch []HeaderMatcher 匹配服务请求的Header

本节介绍如何查看AntiDDoS云审计日志。 开启了云审计服务后，系统开始记录AntiDDoS资源的操作。云审计服务管理控制台保存最近7天的操作记录。 操作步骤 1. 登录管理控制台。 2. 选择区域。 3. 选择“管理与部署> 云审计服务”，进入云审计服务信息页面。 4. 单击左侧导航树的“事件列表”，进入事件列表信息页面。 5. 在下拉框中选择“云服务”，输入“AntiDDoS”，按“Enter”。 6. 在查询结果中单击事件名称，查看事件详情。 事件列表支持通过高级搜索来查询对应的操作事件，您可以在筛选器组合一个或多个筛选条件： 事件名称、资源名称、资源ID、事件ID：需要输入某个具体的名称或ID。 资源名称：当该事件所涉及的云资源无资源名称或对应的API接口操作不涉及资源名称参数时，该字段为空。 资源ID：当该资源类型无资源ID或资源创建失败时，该字段为空。 云服务、资源类型：在下拉框中选择对应的云服务名称或资源类型。 操作用户：在下拉框中选择一个或多个具体的操作用户。 事件级别：可选项为“normal”、“warning”、“incident”，只可选择其中一项。 normal：表示操作成功。 warning：表示操作失败。 incident：表示比操作失败更严重的情况，如引起其他故障等。 时间范围：可选择查询最近1小时、最近1天、最近1周的操作事件，也可以自定义最近1周内任意时间段的操作事件。

本节介绍如何在云监控服务开启弹性公网IP事件告警通知。 通过云监控服务，对防护的弹性公网IP启用事件监控，当出现清洗、封堵、解封等事件时进行告警，方便您及时了解防护情况。 开启事件告警通知后，出现相关事件时，即可在云监控服务的事件监控页面查看事件详情。 操作步骤 1. 登录管理控制台。 2. 选择区域。 3. 选择“管理与部署> 云监控服务”。 4. 根据实际选择方式。 方法一：在左侧导航树，单击“事件监控”，进入“事件监控”页面。 方法二：在左侧导航树，选择“告警> 告警规则”，进入“告警规则”页面。 5. 在页面右上方，单击“创建告警规则”，进入“创建告警规则”页面。 6. 配置告警参数。 参数 说明 名称 系统会随机产生一个名称，您也可以进行修改。 描述 告警规则描述。 告警类型 选择“事件”。 事件类型 选择“系统事件”。 事件来源 选择“弹性公网IP”。 监控范围 告警规则适用的资源范围，根据需要选择。 触发规则 选择“自定义创建”。 告警策略 推荐选择“EIP封堵”、“EIP解封”、“EIP开始DDoS清洗”、“EIP结束DDoS清洗”。 7. 根据实际需要，选择是否发送通知。 说明 告警消息由消息通知服务SMN发送，可能产生少量费用。 参数 说明 发送通知 根据实际需要设置。 通知对象 在下拉框选择已有主题，或单击“新建主题”创建新的通知主题。 生效时间 发送通知的生效时间。 触发条件 默认勾选“出现告警”，表示出现告警时，给设置的通知对象发送告警通知。 8. 参数配置完成后，单击“立即创建”。

名称 类型 填写要求 默认值 有效值 描述 headerschema object 可选,至少配置 headerschema 和 bodyschema 中任意一个，两者也可以同时使用。 header 数据的 schema 数据结构。 bodyschema object 可选,至少配置 headerschema 和 bodyschema 中任意一个，两者也可以同时使用。 body 数据的 schema 数据结构。 rejectedcode integer 可选 400 [200,...,599] 当请求被拒绝时要返回的状态码。 rejectedmsg string 可选 当请求被拒绝时返回的信息。

本章节介绍如何在服务网格中使用本地限流 前提条件 1. 已开通云容器引擎，至少有一个云容器引擎集群实例。产品入口：云容器引擎。 2. 开通天翼云服务网格实例。 操作步骤 我们以bookinfo应用为例演示本地限流能力，首先在default命名空间部署bookinfo应用。 然后在default命名空间部署针对productpage服务的限流策略，token数量最大为5，每2秒重新填充5个token： apiVersion: istio.ctyun.cn/v1beta1 kind: LocalRateLimiter metadata: name: productpagelimit spec: workloadSelector: 匹配工作负载 labels: app: productpage context: SIDECARINBOUND statPrefix: httplocalratelimiter configs: name: productpage routeConfig: vhost: name: 'inboundhttp9080' rateLimitConfig: tokenBucket: maxTokens: 5 tokensPerFill: 5 fillInterval: 2s filterEnabled: runtimeKey: localratelimitenabled defaultValue: numerator: 100 denominator: HUNDRED filterEnforced: runtimeKey: localratelimitenforced defaultValue: numerator: 100 denominator: HUNDRED responseHeadersToAdd: appendAction: OVERWRITEIFEXISTSORADD header: key: xlocalratelimit value: 'true' 我们使用gostresstesting工具验证效果，如下图所示，结果状态码中有200和429（请求被限流）；200的个数每2秒增加5个，符合我们设定的2秒重新填充5个token的设定；429状态码在持续增加。 单独请求productpage服务可以看到请求被限流的情况：

本章节从整体上介绍应用服务网格CSM全链路灰度功能 微服务架构中往往存在多个服务，多数场景下，在做业务灰度时整个调用链中也会有不止一个服务，通过应用服务网格全链路灰度功能可以实现对整个调用链统一的灰度控制。 应用服务网格全链路灰度中的架构包括ingress gateway（入口网关）以及微服务（如下图中的app1、app2、app3）,通过全链路灰度可以实现对app1、app2、app3统一的灰度控制。 应用服务网格全链路灰度中的相关概念说明如下： ingress gateway：服务网格入口网关，实现网格内微服务对外暴露，并提供微服务入口应用的灰度控制能力。 泳道组：可以类比作游泳池，微服务是泳池中的游泳者。 泳道：可以类比做泳池中的泳道，泳道之间相互隔离；微服务可以根据版本的不同分散在不同的泳道游泳。