返回代码 代码说明 可能出现原因 下一步建议 0 同一人 1 非同一人 1.照片为本人，但是照片可能有角度、光线过暗、脸部区域有亮斑；2.照片为本人，但是该照片尺寸太小 1.重新拍照； 2.传入合格图片 2 疑似为本人 1.照片为本人，但是照片可能有角度、光线过暗、脸部区域有亮斑；2.照片为本人，但是该照片尺寸太小；3.两人长相类似 1.重新拍照；2.传入合格图片 A 数据库操作错误 人像比对数据库操作异常 B 人像比对异常 人像比对系统异常 C 参数错误 身份证号为空或长度不是 18 位 D 无人像信息 数据库中无该人像信息 检查该人身份信息是否正确 E 图像格式不正式 非JPEG格式图像 检查传入的图像数据是否为JPEG格式 F 待比对图像建模失败 1.照片可能有角度，光线过暗，脸部区域有亮斑，模糊；2.照片尺寸太小 1.重新拍照；2.传入合格图片 G 现场照片质量不合格 上传照片质量不合格 自检上传照片质量 J 现场照片小于5K字节 现场照片小于5K字节 检查图像原始大小（非BASE64编码）是否小于5K字节，重新拍照 K 照片质量不佳 库内照片质量不佳 系统人像信息异常或者未录入认证系统 T 人像引擎超时 人像服务所有比对引擎同时超时或一个引擎超时，另一个引擎故障 重试 W 系统其他错误 认证超时 重试 X 未执行 未执行 重试或者联系运维人员 其他代码 其他 其他

迁移组 用户或企业确认源端调研的信息无误后，可进行迁移组的创建。用户在资源列表选取相应的主机、数据库资源、对象存储组成自定义迁移组，为用户提供管理待迁移资源的全新方式，从而为迁移计划的执行提供强力支持与辅助。 迁移计划 用户或企业完成迁移组的创建后，可进行迁移计划的创建。用户选取相应的迁移组，确认包含的相关资源后，可全面评估待迁移资源的情况，并以此制定合理的迁移计划完，对迁移过程输出有效的管控。 资源匹配 用户或企业完成迁移组与迁移计划的创建后，可使用平台提供的资源匹配功能在资源明细中进行云主机、数据库、对象存储资源的源端目标端使用详情匹配做对比。 资源创建 用户或企业可以根据已制定的迁移计划进行批量的目标端资源创建，协同资源匹配功能，助力用户在云迁移服务中快速、灵活地创建和管理各类计算、网络、存储资源，并为后续执行各类迁移计划提供支持。 迁移管理 云迁移服务迁移管理旨在帮助企业顺利地完成迁移项目。它主要涵盖了以下几个方面： 工具管理、调度管理、进度大盘、迁移报告拓扑分析整理流程如图所示： 工具管理 资源规划完成后，用户可以进入工具管理模块，在这里根据源端待迁移资源的类型或者已制定的迁移计划，选择合适的迁移工具。这些工具包括服务器迁移服务、数据库迁移服务、数据迁移服务和华为提供的异构迁移工具。通过选择适当的工具，用户可以更加方便地进行迁移操作。

查找作业 在“SQL作业”页面，可以通过以下方式对作业进行过滤筛选，在页面中显示符合对应条件的作业。 选择队列名称 设置日期范围 输入用户名/执行语句/作业ID 选择创建时间顺序/倒序排列 选择作业类型 选择作业状态 选择运行时长顺序/倒序排列 查看作业详情 在“SQL作业”页面，选中一条作业，单击该作业对应的，可查看该条作业的详细信息。 不同类型的作业，显示的作业详情不同。作业详情根据作业类型、状态和配置选项不同显示可能存在差异，具体以实际界面显示为准。以导入数据作业，建表作业和查询作业为例说明。其他作业类型支持查看的详细信息请以控制台信息为准。 导入数据（load data）作业（作业类型：IMPORT），包括以下信息：队列，作业ID，用户名，类型，状态，执行语句，运行时长，创建时间，结束时间，参数设置，结果条数，已扫描数据，扫描数据条数，错误记录条数，存储路径，数据格式，数据库，表，表头，分隔符，引用字符，转义字符，日期格式，时间戳格式，CPU累计使用量，输出字节。 建表（create table）作业（作业类型：DDL），包括以下信息：队列，作业ID，用户名，类型，状态，执行语句，运行时长，创建时间，结束时间，参数设置，结果条数，已扫描数据，数据库。 查询（select）作业（作业类型：QUERY），包括以下信息：队列，作业ID，用户名，类型，状态，执行语句，运行时长，创建时间，结束时间，参数设置，结果条数（运行成功，可导出结果），已扫描数据，执行用户，结果状态（运行成功，可查看结果；运行失败，显示失败原因），数据库，CPU累计使用量，输出字节。 说明 CPU累计使用量：作业执行过程的CPU消耗总和，单位：Corems 输出字节：作业执行完成后输出的字节数。

参数名称 说明 数据连接类型 在下拉列表中选择数据连接类型。 数据连接 选择所需要的数据连接。 如果您还未创建与数据源之间的数据连接，请前往DataArts Studio管理中心控制台进行创建。 数据库 选择数据库。如果您还未创建数据库，可以前往DataArts Studio数据开发控制台进行创建。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 表类型 DWS表类型有： DWSROW：行存表。行存储是指将表按行存储到硬盘分区上。 DWSCOLUMN：列存表。列存储是指将表按列存储到硬盘分区上。 MRSHIVE类型仅支持HIVETABLE。 DISTRIBUTE BY 该参数仅DWS连接类型有效。可选取多个字段。 REPLICATION ：在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据，在join操作中可以避免数据重分布操作，从而减小网络开销；缺点是每个DN都保留了表的完整数据，造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH ：采用这种分布方式，需要为用户表指定一个分布列（distribute key）。当插入一条记录时，系统会根据分布列的值进行hash运算后，将数据存储在对应的DN中。对于Hash分布表，在读/写数据时可以利用各个节点的IO资源，大大提升表的读/写速度。一般情况下大表（1000000条记录以上）定义为Hash表。

添加逻辑集群lc2 1. 在集群管理页面，单击指定集群名称进入“集群详情”页面，在左导航栏单击“逻辑集群管理”。 2. 进入逻辑集群页面，单击右上角“添加逻辑集群”，从右侧勾选3个节点到左侧列表中，并输入逻辑集群名称lc2，单击“确定”。 请耐心等待约2分钟，逻辑集群添加成功。 创建逻辑集群关联用户并实现跨逻辑查询数据 1. 以系统管理员连接数据库，执行以下SQL语句查询原业务表name。 验证转换后，业务数据查询正常。 SELECT FROM name; 2. 执行以下语句创建u1关联逻辑集群lc1，u2关联逻辑集群lc2。 CREATE USER u1 NODE GROUP "lc1" password '{password} '; CREATE USER u2 NODE GROUP "lc2" password ' {password} '; 3. 以用户u1登录数据库，创建新表u1.t1并插入两条数据，同时授权用户u2可以访问该表。 CREATE TABLE u1.t1 (id int, name varchar(20)); INSERT INTO u1.t1 VALUES (1,'joy'),(2,'lily'); GRANT USAGE ON SCHEMA u1 TO u2; GRANT SELECT ON TABLE u1.t1 TO u2; 4. 以用户u2登录数据库，查询原业务表t1数据，提示无权访问逻辑集群lc1。结果表明，即使用户u1已经授权了u2可以访问该表，但是由于这张表在不同的逻辑集群，所以仍然无法访问，证明逻辑集群间数据隔离。 SELECT FROM u1.t1; 5. 切回系统管理员dbadmin窗口，将逻辑集群lc1的访问权限授予用户u2。 GRANT USAGE ON NODE GROUP lc1 TO u2; 6. 再次切到用户u2窗口，查询表t1成功。结果验证绑定了逻辑集群lc2的用户可以跨逻辑集群查询到原业务表t1。实现逻辑集群间的数据共享。 SELECT FROM u1.t1;

本文介绍RDSPostgreSQL如何保障EIP安全性。 用户使用EIP（弹性公网IP）访问RDSPostgreSQL数据库服务时，由于业务数据会在公网传输，有数据泄露风险，因此建议采用SSL链路加密技术对公网传输数据。 除此之外，用户也可以通过云专线或虚拟专用网络保障数据传输安全。

产品类型 保留期 超过保留期 计算、存储、网络、数据库、终端类产品 15天 存储数据将被删除、云服务资源将被释放

枚举分组字符串hashCode取模分片 适用场景：枚举键可以是整数也可以是字符串，取模键是字符串，取模键字符串hashCode求余后的值均匀分布。如: 数据库的数据需要按区域进行隔离，但隔离后的数据量依然巨大需要按取模方式进行再次分片，可以选择此算法。

本页介绍天翼云TeleDB数据库查看操作记录。 操作步骤 1. 切换至TeleDB控制台，单击任务管理 ，进入任务管理页面。 2. 在当前实例下拉框选择您需要查找的实例，输入筛选条件 ，单击查询。 3. 单击任务所在行的详情，进入任务详情页面。

配置方法： 1.登录云数据库审计系统平台部署方式（登录方式请参考访问安全组件）。 2.设置Agent引流操作，点击【部署方式】，勾选部署方式的“Agent引流”并保存。

本页介绍天翼云TeleDB数据库元数据pgclstable的内容。 存储使用行列级安全访问策略的表信息。 名称 类型 定义 polid int16 策略ID attnum int16 列号（属性编号） relid Oid 表的OID enable bool 是否启用策略 nspname NameData 模式的名称 tblname NameData 表的名称 reloptions text[1] 关系选项（长度为1）

本文内容主要介绍通过公网连接集群实例概述 操作场景 本章介绍如何在控制台创建集群实例，以及购买后如何设置安全组、绑定弹性公网IP，并通过公网连接集群实例。 使用流程 初次创建实例到可以开始使用实例，您需要完成如下操作： 公网访问数据库实例

本节将介绍文档数据库策略语法。 策略结构 策略结构包括：策略版本号（Version）、策略授权语句（Statement）和策略依赖（Depends）。 图 策略结构 策略语法 给用户组选择策略时，单击策略下方的，可以查看策略的详细内容，以“DDS Administrator”为例，说明RBAC策略的语法。

应用场景 单实例多并发功能适用于函数中存在大量等待下游服务响应的场景。由于等待响应通常不消耗资源，通过在一个实例内并发处理，不仅能够节省成本，还能提高应用的响应能力和吞吐量。 优势 节省费用并减少执行时长。 例如，对于偏重 I/O 的函数，可以在一个实例内并发处理，从而减少所需实例数量并降低总执行时长。 实现请求之间的状态共享。 多个请求可以共用一个实例内的数据库连接池，从而减少与数据库的连接次数。 降低冷启动的概率。 由于多个请求能够在一个实例内处理，新实例的创建次数减少，从而降低了冷启动的发生概率。 使用限制 限制项 描述 单实例并发度取值范围 1~200 操作步骤 您可以在创建或更新函数时，指定函数的单实例并发度。

本节为您介绍如何查看预定义服务组。 云防火墙为您提供预定义服务组，包括“常用Web服务”、“常用数据库”和“常用远程登录和ping”，适用于防护Web、数据库和服务器。 预定义服务组仅支持查看，不支持添加、修改、删除操作。 查看预定义服务组 1. 登录管理控制台。 2. 在左侧导航栏中，单击左上方的，选择“安全> 云防火墙”，进入云防火墙的总览页面。 3. （可选）当前账号下仅存在单个防火墙实例时，自动进入防火墙详情页面，存在多个防火墙实例时，单击防火墙列表“操作”列的“查看”，进入防火墙详情页面。 4. 在左侧导航栏中，选择“访问控制> 对象组管理”，进入“对象组管理”界面。 5. 切换至“服务组”页签，选择“预定义服务组”页签，单击目标服务组的名称，进入详细信息页面，查看服务组信息。

审计日志 操作类型 操作 ClickHouse审计日志 维护管理 授权 收回权限 认证和登录信息 ClickHouse审计日志 业务操作 创建数据库/表 插入、删除、查询、执行数据迁移任务 DBService审计日志 维护管理 备份恢复操作 HBase审计日志 DDL（数据定义）语句 创建表 删除表 修改表 增加列族 修改列族 删除列族 启用表 禁用表 用户信息修改 修改密码 用户登录 HBase审计日志 DML（数据操作）语句 put数据（针对hbase:meta表、ctmeta表和hbase:acl表） 删除数据（针对hbase:meta表、ctmeta表和hbase:acl表） 检查并put数据（针对hbase:meta表、ctmeta表和hbase:acl表） 检查并删除数据（针对hbase:meta表、ctmeta表和hbase:acl表） HBase审计日志 权限控制 给用户授权 取消用户授权 HDFS审计日志 权限管理 文件/文件夹访问权限 文件/文件夹owner信息 HDFS审计日志 文件操作 创建文件夹 创建文件 打开文件 追加文件内容 修改文件名称 删除文件/文件夹 设置文件时间属性 设置文件副本个数 多文件合并 文件系统检查 文件链接 Hive审计日志 元数据操作 元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 Hive审计日志 数据维护 向表中加载数据 向表中插入数据 Hive审计日志 权限管理 创建/删除角色 授予/回收角色 授予/回收权限 Hue审计日志 服务启动 启动Hue Hue审计日志 用户操作 用户登录 用户退出 Hue审计日志 任务操作 创建任务 修改任务 删除任务 提交任务 保存任务 任务状态更新 KrbServer审计日志 维护管理 修改kerberos帐号密码 添加kerberos帐号 删除kerberos帐号 用户认证 LdapServer审计日志 维护管理 添加操作系统用户 添加组 添加用户到组 删除用户 删除组 Loader审计日志 安全管理 用户登录 Loader审计日志 元数据管理 查询connector 查询framework 查询step Loader审计日志 数据源连接管理 查询数据源连接 增加数据源连接 更新数据源连接 删除数据源连接 激活数据源连接 禁用数据源连接 Loader审计日志 作业管理 查询作业 创建作业 更新作业 删除作业 激活作业 禁用作业 查询作业所有执行记录 查询作业最近执行记录 提交作业 停止作业 Mapreduce审计日志 程序运行 启动Container请求 停止Container请求 Container结束，状态为成功 Container结束，状态为失败 Container结束，状态为中止 提交任务 结束任务 Oozie审计日志 任务管理 提交任务 启动任务 kill任务 暂停任务 恢复任务 重新运行任务 Spark2x审计日志 元数据操作 元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 Spark2x审计日志 数据维护 向表中加载数据 向表中插入数据 Storm审计日志 Nimbus 提交拓扑 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 Storm审计日志 UI 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 Yarn审计日志 任务提交 提交作业到队列相关的操作 Zookeeper审计日志 权限管理 设置ZNODE访问权限 Zookeeper审计日志 ZNODE操作 创建ZNODE 删除ZNODE 设置ZNODE数据

云服务备份产品架构 云服务备份由备份、存储库和策略组成。 备份： 备份即一个备份对象执行一次备份任务产生的备份数据，包括备份对象恢复所需要的全部数据。 − 云主机备份：云主机备份提供对弹性云主机和物理机的基于多云硬盘一致性快照技术的数据保护。同时，未部署数据库等应用的服务器产生的备份为服务器备份，部署数据库等应用的服务器产生的备份为数据库服务器备份。 − 云硬盘备份：云硬盘备份提供对云硬盘的基于快照技术的数据保护。 存储库 云服务备份使用存储库来存放备份。创建备份前，需要先创建至少一个存储库，并将服务器或磁盘绑定至存储库。服务器或磁盘产生的备份则会存放至绑定的存储库中。 存储库分为备份存储库和复制存储库两种。备份存储库用于存放备份对象产生的备份，复制存储库用于存放复制操作产生的备份。 不同类型的备份对象产生的备份需要存放在不同类型的存储库中。 策略 策略分为备份策略和复制策略。 − 备份策略：需要对备份对象执行自动备份操作时，可以设置备份策略。通过在策略中设置备份任务执行的时间、周期以及备份数据的保留规则，将备份存储库绑定到备份策略，可以为存储库执行自动备份。 − 复制策略：需要对备份或存储库执行自动复制操作时，可以设置复制策略。通过在策略中设置复制任务执行的时间、周期以及备份数据的保留规则，将备份存储库绑定到复制策略，可以为存储库执行自动复制。复制产生的备份需要存放在复制存储库中。

本章节主要介绍天翼云物理机的使用场景。 对安全和监管高要求的场景 金融、证券等行业对业务部署的合规性，以及某些客户对数据安全有苛刻的要求。采用物理机部署，通过网络隔离、专线接入等方式确保独享资源，数据安全隔离，保障用户数据的安全。 核心数据库 泛政务、金融、互联网等行业客户的关键业务系统的核心数据库，其业务压力大、安全隔离要求高，可通过资源专享、网络隔离、性能有保障的物理机承载，满足业务需求。尤其类似Oracle等数据库，其部署复杂，对性能要求高，推荐采用物理机部署。 大数据场景 互联网、汽车、交通、政务等行业的大数据存储、大数据分析等相关业务，客户在云上自建大数据平台，推荐采用性能更强、兼容性更高的物理机服务器承载。同时，天翼云物理机服务器支持结合对象存储服务的存算分离方案。 容器场景 电商平台、游戏、疫情核酸平台等业务弹性要求较高，性能要求更高的场景，可采用物理机容器方案，相比虚机容器，物理机容器提供更高的部署密度、更低的资源开销、更加敏捷的部署效率。基于云原生技术帮助客户实现降低云化成本目标。 高性能计算 科研、基因测序、天气预测、能源勘探、影视渲染、人工智能等高性能计算场景下，对计算能力要求高、处理的任务多、并行数据量大。天翼云物理机采用高规格物理服务与本地SAS存储进行部署，提供强大的计算能力和存储性能。高计算性能、稳定性和实时性，避免虚拟化带来的性能损耗，满足业务对服务器的高计算性能、高稳定性、高实时性的诉求。

本文向您介绍对等连接的基本概念和创建流程。 对等连接 对等连接是建立在两个VPC之间的网络连接，不同VPC之间网络不通，通过对等连接可以实现不同VPC之间的云上内网通信。对等连接用于连通同一个区域内的VPC，您可以在相同账户下或者不同账户下的VPC之间创建对等连接。 您可以通过对等连接构建不同的组网，常见的使用示例请参见对等连接配置示例。 接下来，通过下图的组网示例，为您介绍对等连接的基础使用场景。 在区域A内，您的两个VPC分别为VPCA和VPCB，VPCA和VPCB之间网络不通。 您的业务服务器ECSA01和ECSA02位于VPCA内，数据库服务器RDSB01和RDSB02位于VPCB内，此时业务服务器和数据库服务器网络不通。 您需要在VPCA和VPCB之间建立对等连接PeeringAB，连通VPCA和VPCB之间的网络，业务服务器就可以访问数据库服务器。 图对等连接组网 说明 当前VPC对等连接暂不收取您的任何费用。 对等连接创建流程 对等连接可以连通相同账户或者不同账户下的VPC，连通的VPC位于同一个区域即可，创建流程如下： 相同账户下的VPC对等连接创建流程如下图所示。 创建对等连接的具体操作，请参见创建相同账户下的对等连接。

您可以通过异常管理自定义异常通知，当数据库实例触发异常项时，运维管理服务会接收到异常通知，本文主要介绍如何配置异常通知。 背景介绍 异常：运维管理定义一组默认的异常监控项，包含实例异常、节点异常等，触发阈值，持续时间，异常通知频率等。 异常模板：实例被添加到DMS的时候，会自动配置默认异常通知项。 异常通知：用于运维管理感知，实例发生异常，可以在异常记录中查看异常通知时间、具体异常事项、异常相关指标的监控数据也会关联用户实例的健康度评分。 前提条件 仅限来源为天翼云RDS的MySQL数据库。 已录入DMS中，且实例状态正常的数据库实例。 操作步骤 1. 登录数据管理服务。 2. 在左侧导航栏中，单击 智能运维 > 异常管理，进入异常管理界面。 功能介绍 搜索 点击右上角输入框，可以输入实例信息或者异常项信息点击查询进行搜索，列表会展示每个异常项的生效实例数量。 查看异常规则 点击目标异常项的查看按钮，可以在弹窗中查看异常项的详细配置、生效实例、异常项描述等信息。 修改异常规则 点击目标异常项的修改按钮，可以在弹窗中修改异常项生效的实例范围，选择目标实例后点击<>将其移动到未生效实例/已生效实例列表中，点击提交按钮修改生效。 批量修改 支持对生效实例范围相同的异常项，进行批量修改操作，可批量修改异常项生效的实例范围，选择目标实例后点击<>将其移动到未生效实例/已生效实例列表中，点击提交按钮修改生效。

前提条件 仅限来源为天翼云RDS的MySQL数据库。 仅支持西南1、华东1、上海36、华北2、长沙42、华南2、青岛20、南昌5、西安7、杭州7资源池。 已录入DMS中，且实例状态正常的数据库实例。 操作步骤 1. 登录数据管理服务。 2. 在左侧导航栏中，单击 SQL治理 > 慢SQL，进入慢SQL界面。 3. 在左上方选择MySQL数据库实例，进入对应实例的慢SQL界面。 注意事项 慢SQL日志记录只保存近30天。 功能介绍 慢SQL支持区间查看、对比查看、来源分析、自动SQL优化和SQL诊断。 说明 选择时间范围时，查询开始时间需早于结束时间，慢SQL分析时间间隔不能超过7天，支持最近30天内的日志信息。 区间查看 选择需要查看的时间段和节点，查看该时间段内对应节点的资源使用率趋势、SQL趋势和SQL模板列表。 资源使用率趋势：主要联动展示了CPU、内存、连接、IO和网络关键指标。 SQL趋势：分为SQL执行次数、SQL执行耗时、SQL执行耗时分布三个页签展示，打开联动图表，可关联所有趋势图查看同一时间点不同图表中的值。 SQL模板列表：以SQL模板进行聚合统计展示，支持自定义列排序、自定义列展示以及xlsx格式文件下载到本地查看。 SQL明细列表：展示SQL明细，支持多条件筛选，支持自定义列排序、自定义列展示以及xlsx格式文件下载到本地查看。 SQL标签：支持为SQL模板自定义添加标签，系统默认提供预置、DMS用户两种标签，单个SQL模板最多支持添加10个标签，支持通过标签搜索关联的SQL模板及明细，标签搜索支持多标签逻辑与非查询。

本文主要介绍了天翼云主账号如何快速使用数据管理服务DMS。 前提条件 已开通数据管理服务。 已准备好待录入的数据库实例，并已获得登录实例所需的账号与密码。 已准备好待添加至本组织的其他天翼云账号（主账号或子账号均可）。 查看组织 说明 在数据管理服务DMS中，每个主账号首次进入DMS控制台都会自动创建一个与其账号关联的组织，主账号在组织中担任超级管理员角色，拥有此组织的最高权限。 组织之间的资源是完全隔离的。 用户可以将其他天翼云账号（主账号或子账号）添加到您的组织中。 一个天翼云账号（主账号或子账号）可以加入多个不同的组织，但是只有当所属主账号启用DMS功能后，或子账号被邀请加入其他组织后，子账号才能访问DMS控制台。 操作步骤 1. 点击进入数据管理服务DMS控制台。 2. 点击左侧菜单 个人中心>我的组织 ，进入组织管理页，可在此页查看或编辑组织名称，也可在此查看组织内用户数，并可跳转用户与角色页管理组织内的用户。 创建团队 说明 团队是在DMS中对一组用户、数据库资源及用户对数据库资源进行的操作的集合概念。 用户加入组织内的某个团队后，才可查看/使用团队里的实例。 加入用户至团队时需要指定用户在团队内的角色，不同团队角色对团队内资源有不同的操作权限。区别于系统角色，团队角色的不同只影响团队内资源的操作权限，不会影响系统其他操作权限。

本章节为您介绍运维日志相关内容。 运维日志模块是保障数据库运维操作安全和合规的重要工具，通过记录和分析与数据库运维相关的操作日 志 ，帮助您确保运维操作的透明性和合法性。 该模块提供详细的日志信息和多条件筛选功能 ，支持安全 监控和问题排查 ，确保运维操作的合规性 ，有效提升数据库的运维管理水平。 运维日志主要包含 ： 身份权限相关日志 账号过期相关日志 僵尸账号相关日志 安全认证相关日志 登录超时相关日志 强管控阻断相关日志 检索运维日志 1.在左侧菜单栏选择“查询分析 > 运维日志”进入运维日志页面。 2.设置查询条件（如时间范围、资产、操 作类型等） ，单击“搜索”即可查询相关运维日志。 3.可单击查询条件下方的“更多条件”，在更多条件对话框中勾选需要的查询条件 ，单击“确认”即可添 加相应的查询条件 ，单击“恢复默认”可以恢复至默认查询条件。 查看运维日志详情 1.在左侧菜单栏选择“查询分析 > 运维日志”进入运维日志页面。 2.在运维日志列表中，单击日志条目右侧的“详情”可以查看该运维记录的详细信息，包括运维记录的基本信息、客户端信息、服务端信息、 请求详情、返回详情。 3.单击运维日志详情窗口右下角的“上一条”或“下一条”可切换查看临近的运维日志。 4.在日志详细中 ，单击“取证”即可弹出下载框 ，等待文件生成成功后 ，单击“下载”即可下载.png 图片格式的运维日志详情文件。

本章节主要介绍工作负载管理概述。 数据库的系统资源（CPU资源、内存资源、IO资源和存储资源）是有限的，DWS在同时运行多种类型的业务（如数据加载、批量分析、实时查询等）时，各类型业务之间可能会竞争资源，从而出现资源性能瓶颈，导致吞吐量下降，造成整体的查询性能低下。那么对系统的资源进行合理的分配，能避免产生资源不合理利用而导致的系统运行效率下降等问题。 DWS提供了资源管理功能，用户可以根据自身业务将资源按需划分成不同的资源池，不同资源池之间资源互相隔离。再通过关联数据库用户将其关联至不同的资源池，用户SQL查询时将根据“用户资源池”的关联关系将查询转至资源池中执行。通过指定资源池上可并行运行的查询数、单查询内存上限以及资源池可使用的内存和CPU资源，从而实现对不同业务之间的资源限制和隔离，满足数据库混合负载需求，保证执行查询时有充足的系统资源，确保查询性能。当集群转换为逻辑集群后，可以选择指定的逻辑集群进行同样的资源池的创建、修改、删除。 须知 该特性仅8.0及以上集群版本支持。 离线扩容过程中不支持资源管理功能，如开启了资源管理计划，请在进行离线扩容操作之前停止。 打开或关闭资源管理功能 资源管理配置包括资源管理开关、全局最大并发数。这里的全局最大并发数指的是单个CN上的最大并发数，如果您通过资源管理开关关闭了资源管理功能，那么所有的资源管理功能将不可用。

本章节主要介绍快速开始使用Elasticsearch搜索引擎。 本章节提供了一个简单示例，详情如下方场景描述所示。您可以参考此场景示例数据，使用云搜索服务的Elasticsearch搜索引擎搜索数据，基本操作流程如下所示： 1.创建集群 2.导入数据 3.搜索数据 4.删除集群 场景描述 某女装品牌在网上经营电商业务，其以前是使用传统数据库来为用户提供商品搜索功能，但随着用户数量和业务的增长，使用传统数据库的弊端愈来愈明显。主要问题表现为：响应速度慢、准确性低。为了改善用户体验从而避免用户流失，该电商网站开始使用Elasticsearch搜索引擎来为用户提供商品搜索功能，使用了一段时间后，不仅解决了之前使用传统数据库产生的问题，而且实现了用户数量的增长。 本章节将介绍如何使用Elasticsearch搜索引擎为用户提供搜索功能。 假设该电商网站经营商品的数据如下所示： { "products":[ {"productName":"2017秋装新款文艺衬衫女装","size":"L"} {"productName":"2017秋装新款文艺衬衫女装","size":"M"} {"productName":"2017秋装新款文艺衬衫女装","size":"S"} {"productName":"2018春装新款牛仔裤女装","size":"M"} {"productName":"2018春装新款牛仔裤女装","size":"S"} {"productName":"2017春装新款休闲裤女装","size":"L"} {"productName":"2017春装新款休闲裤女装","size":"S"} ] } 创建集群 在开始搜索数据之前，您需要创建一个集群，其搜索引擎为Elasticsearch。例如，您可以创建一个名称为“SampleESCluster”的集群。此集群仅用于入门指导使用，建议选用“节点规格”为“ess.spec4u8g”，“节点存储”为“高I/O”，“节点存储容量”为“40GB”。 集群创建完成后，在集群列表查看已创建的集群，集群状态为“可用”表示集群创建成功。如下图所示。

备份时，需要停止服务器吗？ 不需要，云主机备份支持对正在使用的服务器进行备份。在服务器正常运行的情况下，除了将数据写入磁盘外，还有一部分最新数据保存在内存中作为缓存数据。在做备份时，内存缓存数据不会自动写入磁盘，会产生数据一致性问题。 因此，为了尽量保证备份数据的完整性，最好选择凌晨且磁盘没有写入数据的时间进行备份。 包含数据库的服务器是否可以备份？ 支持备份。针对数据库或邮件系统等有一致性要求的应用，建议在备份前，暂停所有数据的写操作，再进行备份。如果无法暂停写操作，则可以将应用系统停止或者将云主机停机，进行离线的备份。如果备份前不进行任何操作，则恢复后，云主机的状态类似异常掉电后再启动，数据库会进行日志回滚操作保证一致性。 如何区分备份是自动备份还是手动备份？ 一般我们通过备份名称的前缀进行区分。周期性自动备份和一次性手动备份的默认名称如下： 自动备份：autobkxxxx 手动备份：manualbkxxxx或自定义 备份支持选择磁盘的某个分区进行备份吗？ 不支持。云服务备份是基于快照的备份，备份的最小粒度为磁盘级备份，即对整个磁盘进行备份。文件备份功能特性备份的粒度请参考相应的说明。 服务器能否跨区域备份？ 当前只支持区域（Region）内备份和恢复，不支持跨区域（Region）备份和恢复。跨区域备份能力后续会规划上线，请您关注，具体上线时间以天翼云官网说明为准。

本文介绍了MySQL主备复制原理。 MySQL主备复制原理说明 MySQL复制是基于复制源服务器在其二进制日志(下称binlog)中跟踪对其数据库的所有更改(增、删、改等)。binlog作为从服务器启动那一刻起修改数据库结构或内容(数据)的所有事件的书面记录。通常，SELECT不记录语句是因为它们既不修改数据库结构也不修改数据本身。 连接到源的每个副本都请求binlog的副本。也就是说，它从源中拉取数据，而不是源将数据推送到副本。副本还执行它接收到的binlog中的事件。这具有重复原始更改的效果，就像它们在源上所做的一样。创建表或修改其结构，并根据最初在源上所做的更改插入、删除和更新数据。 因为每个副本都是独立的，所以来自源的binlog的更改的重播独立发生在连接到源的每个副本上。此外，因为每个副本仅通过从源请求它来接收binlog的副本，副本能够按照自己的节奏读取和更新数据库的副本，并且可以随意启动和停止复制过程而不会影响在源端或副本端更新到最新数据库状态的能力。 主备复制流程说明： 1. 主库节点中每当有数据进行DML操作时，事务会按照binlog格式将DML操作以event的形式写入到主节点的binlog中。DML包括：Insert, Delete, Update等。 2. 备库节点连接主库节点时，有多少个备节点就会创建多少个binlog dump线程。 3. 当主库节点的binlog发生变化时，binlog dump线程会通知备节点(若多个备库则通知所有备节点)，并将相应的binlog内容推送给备库节点。 4. 备库节点的I/O thread进程收到binlog后，会将日志包含的内容写入本地中继日志(下称relay log)。 5. 备库节点的SQL thread会读取I/O thread写入的relay log并根据relay log中记录的event内容生成相应的DML语句，回放入备库中，完成整个主备复制流程。 主要源码说明： / The pseudo code to compute SecondsBehindMaster: 信息来自源码sql/rplreplica.cc if (SQL thread is running) //如果SQL thread启动 { if (SQL thread processed all the available relay log) ​ //当IO thread拉取主库binlog的位置和SQL thread应用的relay log相对于主库binlog的位置相等时 ​ { ​ if (IO thread is running) ​ //如果IO thread启动，设置延迟为0 ​ print 0; ​ else ​ //如果未启动，设置延迟为NULL ​ print NULL; ​ } ​ else ​ //如果SQL thread没有应用完所有IO thread写入的event时，需要计算SecondsBehindMaster ​ compute SecondsBehindMaster; } else ​ //如果SQL thread也没启动，则设置为NULL ​ print NULL; / SecondsBehindMaster的计算公式：SecondsBehindMaster time(0) lastmastertimestamp clockdiffwithmaster。 公式变量解释： 1. time(0)：当前备库节点服务器的系统时间。 2. lastmastertimestamp：备库节点在回放relay log中的event过程中的计算和更新，该变量可理解为备库节点SQL thread处理中事务在主库节点中的执行时间。 3. clockdiffwithmaster：备库节点的系统时间和主库节点服务器系统时间的差值，一般为0。如果主备节点系统时间不一致，那计算出的备库节点复制时延会不准确。 综上所述：SecondsBehindMaster 当前备库节点服务器的系统时间 备库节点SQL线程处理中事务在主库节点的执行时间 备库节点的系统时间和主库节点服务器系统时间的差值。

帮助用户完成云主机备份存储库的创建，快速创建云主机备份容器。 操作步骤 1. 登录云服务备份管理控制台。 a. 登录管理控制台。 b. 单击管理控制台左上角的，选择区域。 c. 单击“”，选择“存储 > 云服务备份”。选择对应的备份目录。 2. 在界面右上角单击“购买云主机备份存储库”。 3. 选择计费模式。 包年包月是预付费模式，按订单的购买周期计费，适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。 按需计费是后付费模式，根据实际使用量进行计费，可以随时购买或删除存储库。费用直接从账户余额中扣除。 4. 选择保护类型。 备份：创建的存储库类型为云主机备份存储库，用于存放云主机备份。 说明 单AZ备份：备份数据仅存储在单个可用区（AZ），成本更低。 多AZ备份：备份数据冗余存储至多个可用区（AZ），可靠性更高。 5. 选择是否启用数据库备份（该功能目前仅在部分资源池上线）。 启用：启用后，存储库可用于存放数据库备份。通过数据库备份内存数据，能够保证应用系统一致性，如包含MySQL或SAP HANA数据库的弹性云主机。如果数据库备份失败，系统会自动执行云主机备份，云主机备份也会存放在数据库备份存储库中。 不启用：仅对绑定的云主机进行普通的云主机备份，通常用于不包含数据库的弹性云主机。 6. （可选）在云主机列表中勾选需要备份的云主机或磁盘。勾选后将在已勾选服务器列表区域展示，如下图所示。可以选择云主机部分磁盘绑定至存储库。 注意 考虑到恢复后数据的一致性问题，建议您对整个云主机进行备份。 若您希望选择部分磁盘备份以节省成本，请尽量确保这些磁盘的数据不受其他未备份磁盘的数据影响，否则可能会导致数据不一致问题。 例如，Oracle应用的数据分散在不同磁盘上，如果只备份了部分磁盘，会导致恢复后数据不一致（已备份磁盘恢复到历史时间点数据，未备份磁盘仍保留当前数据），甚至导致应用无法启动。 图 选择云主机 说明 所选云主机未绑定存储库且状态必须为“运行中”或“关机”。 若不勾选云主机，如需备份可在创建存储库后绑定云主机即可。 7. 输入存储库的容量。取值范围为[10，10485760]GB。您需要提前规划存储库容量，存储库的容量不能小于备份云主机的大小，开启自动绑定功能和绑定备份策略后所需的容量更大。在使用过程中资源新增磁盘或磁盘进行扩容，未开启自动扩容的情况下存储库不会进行自动扩容。如果实际使用时存储库容量不足，可以通过扩容存储库扩大容量。 8. 选择是否配置自动备份。 立即配置：配置后会将存储库绑定到备份策略中，整个存储库绑定的云主机都将按照备份策略进行自动备份。可以选择已存在的备份策略，也可以创建新的备份策略。 暂不配置：存储库将不会进行自动备份。 9. 如开通了企业项目，需要为存储库添加已有的企业项目。 企业项目是一种云资源管理方式，企业项目管理提供统一的云资源按项目管理，以及项目内的资源管理、成员管理，默认项目为default。 10. （可选）为存储库添加标签。 标签以键值对的形式表示，用于标识存储库，便于对存储库进行分类和搜索。此处的标签仅用于存储库的过滤和管理。一个存储库最多添加10个标签。 11. 输入待创建的存储库的名称。 只能由中文字符、英文字母、数字、下划线、中划线组成，且长度小于等于64个字符。例如：vaultf61e。也可以采用默认的名称，默认的命名规则为“vaultxxxx”。 12. 当计费模式为“包年/包月”时，需要选择购买时长。可选取的时间范围为1个月~5年。 可以选择是否自动续费，勾选自动续费时： 按月购买：自动续费周期为1个月。 按年购买：自动续费周期为1年。 13. 根据页面提示，完成支付。 14. 返回云主机备份页面。可以在存储库列表看到成功创建的存储库。

配置项名称 配置项描述 样例 运维任务 Vacuum（目前仅支持Vacuum运维任务）。 Vacuum 任务简介 智能任务的简要描述。 该运维任务可帮助用户定期调用系统Vacuum命令，以实现空间回收。 备注 备注信息。 调度模式 支持以下三种调度模式： · 自动 ：智能运维将在指定时间窗内扫描数据库，依据用户业务负载、用户表可回收空间，自动下发表级Vacuum任务。 · 指定目标 ：用户可选择指定Vacuum目标，智能运维将在指定时间窗内，自动下发表级Vacuum任务。 · 优先级模式 ：用户可配置优先Vacuum目标，若时间窗剩余，智能运维将自动扫描其他可Vacuum的表，并下发表级Vacuum任务。 建议使用指定目标方式进行Vacuum和VacuumFull，同时不建议对列存宽表进行VacuumFull，以防止内存膨胀。 指定目标 自动Vacuum目标 支持：系统表Vacuum或用户表VacuumFull。 · 对于 系统表Vacuum ，会持有系统表五级锁（share update exclusive锁），不会阻塞用户业务，仅会阻塞系统表DDL进程。 · 对于 用户表Vacuum Full ，会持有系统表的八级锁（access exclusive锁），期间所有访问会被阻塞，并等待Vacuum Full结束，建议用户合理安排调度时间，在业务负载低峰期执行Vacuum Full操作，避免锁表影响业务。 Vacuum Full操作相当于开辟一块和表数据大小相同的空间（表真实数据大小约为表总大小 (1 –脏页率)）， 因此表空间会先增后降，请提前计算好 Vacuum Full 所需要的空间再行处理。 用户表VacuumFull 优先Vacuum目标 用户可配置优先Vacuum目标，其中一行对应一张表，每张表以数据库名、模式名、表名表示，以空格进行分割。 高级配置 选择“自定义”时，可以设置Vacuum膨胀率和目标表可回收空间高级配置参数（满足其中一个条件即触发自动Vacuum），如果选择“默认配置”，将使用它们的默认值。 Vacuum膨胀率：在数据库中频繁执行UPDATE、DELETE等操作后被删除或更新的行不会从表中物理删除，仅从数据库中被逻辑删除，在完成VACUUM之前这些过期数据仍然存储在磁盘中，从而导致表膨胀。当膨胀率达到运维任务中用户设置的百分比后，就会自动触发Vacuum。 默认配置（Vacuum膨胀率80%；目标表可回收空间100GB）

本章节主要介绍表权限管理。 表权限操作场景 针对不同用户，可以通过权限设置分配不同的数据库，不同用户之间的作业效率互不影响，保障作业性能。 管理员用户和数据库的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其数据库权限。 给新用户设置数据库权限时，该用户所在用户组需具有Tenant Guest权限。 注意 如果表被删除后，再重新创建同名的表，表权限不会继承，需要对操作该表的用户和项目重新进行权限赋予。 例如，testTable表给用户A赋予了删除表的权限，后续执行了删除testTable表，并重新创建了testTable表。如果希望A用户继续保留删除testTable表的权限，则需要重新对A用户赋予该权限。 查看表权限 1. 在管理控制台左侧，单击“数据管理”>“库表管理”。 2. 单击需要设置权限的表所在的数据库名，进入该数据库的“表管理”页面。 3. 单击所选表“操作”栏中的“权限管理”，将显示该表对应的权限信息。 表权限设置有3种场景：为新用户或项目赋予权限，为已有权限的用户或项目修改权限，回收某用户或项目具备的所有权限。 为新用户或项目赋予权限 为新用户或项目赋予权限，新用户或项目指之前不具备此表任何权限的用户或项目。 1. 单击表权限管理页面右上角的“授权”按钮。 2. 在弹出的“授权”对话框中选择相应的权限。 DLI表具体权限说明请参考下表。 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时，输入表新增用户对应IAM用户名称。 说明 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时，选择当前区域下需要授权的项目。 说明 选择“项目授权”时，只能查看被授权的表及其所在数据库的信息。 非继承权限 选中权限即对用户或项目进行赋权，取消勾选即对用户权限或项目权限进行收回。 同时适用于“用户授权”和“项目授权”的权限包括： − 查询表：在当前表内查询数据。 − 显示表信息：显示当前表的信息。 − 显示创建表语句：显示当前表的创建语句。 − 删除表：删除当前表。 − 重命名表：对当前表重新命名。 − 插入：在当前表内插入数据。 − 重写：在当前表内插入覆盖数据。 − 添加列：在当前表中增加列。 − 赋权：当前用户可将表的权限赋予其他用户。 − 回收：当前用户可回收其他用户具备的此表的权限，并且不能回收表所有者的权限。 − 查看其他用户具备的权限：查看其他用户具备的当前表的权限。 分区表还具有以下权限： −删除分区：删除分区表中的分区。 − 显示所有分区：显示分区表中的所有分区。 l只适用于“用户授权”的权限包括： − 显示表：显示当前表。 OBS表具体权限说明请参考下表。 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时，输入表新增用户对应IAM用户名称。 说明 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时，选择当前区域下需要授权的项目。 说明 选择“项目授权”时，只能查看被授权的表及其所在数据库的信息。 非继承权限 选中权限即对用户或项目进行赋权，取消勾选即对用户权限或项目权限进行收回。 同时适用于“用户授权”和“项目授权”的权限包括： − 显示创建表语句：显示当前表的创建语句。 − 显示表信息：显示当前表的信息。 − 查询表：在当前表内查询数据。 − 删除表：删除当前表。 − 重命名表：对当前表重新命名。 − 插入：在当前表内插入数据。 − 重写：在当前表内插入覆盖数据。 − 添加列：在当前表中增加列。 − 赋权：当前用户可将表的权限赋予其他用户或项目。 − 回收：当前用户或项目可回收其他用户或项目具备的此表的权限，并且不能回收表所有者的权限。 − 查看其他用户具备的权限：查看其他用户具备的当前表的权限。 分区表还具有以下权限： − 添加分区：在分区表中添加新的分区。 − 删除分区：删除分区表中的任意分区。 −设置分区的路径：将分区表中的某个分区路径设置为用户指定的OBS路径。 − 重命名表分区：对分区表中的分区重新命名。 − 恢复表分区：从文件系统中导出分区信息保存到元数据中。 − 显示所有分区：显示分区表中的所有分区。 只适用于“用户授权”的权限包括： − 显示表：显示当前表。 View具体权限说明请参考下表。 说明 View只能通过SQL语句进行创建，不能通过“创建表”页面进行创建。 参数 描述 授权选择 选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时，输入表新增用户对应IAM用户名称。 说明 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时，选择当前区域下需要授权的项目。 说明 选择“项目授权”时，只能查看被授权的表及其所在数据库的信息。 非继承权限 选中权限即对用户或项目进行赋权，取消勾选即对用户权限或项目权限进行收回。 同时适用于“用户授权”和“项目授权”的权限包括： − 显示表信息：显示当前表的信息。 − 显示创建表语句：显示当前表的创建语句。 − 删除表：删除当前表。 − 查询表：在当前表内查询数据。 − 重命名表：对当前表重新进行命名。 − 赋权：当前用户或项目可将表的权限赋予其他用户或项目。 − 回收：当前用户或项目可回收其他用户或项目具备的此表的权限，并且不能回收表所有者的权限。 − 查看其他用户具备的权限：查看其他用户具备的当前表的权限。 只适用于 − 显示表：显示当前表。 3.单击“确定”，完成表权限设置。

功能特性 说明 数据安全总览 展示数据安全全生命周期各个阶段的状态，包括云服务全景图（资产地图）、数据采集安全、数据传输/存储安全和数据交换/删除安全，实时呈现了用户资产的具体情况。 资产地图 通过可视化方式，从资产概况、分类分级、权限配置、数据存储、敏感数据等多个维度查看资产的安全状态，可快速发现风险资产并进行快速风险处理。 资产管理 资产列表：支持管理OBS、数据库、大数据和MRS数据资产。 数据目录：可查看不同业务域或不同类型数据的统计信息。 数据探索：查看当前已添加的所有数据资产详细信息，并对数据库、数据表以及数据视图等添加描述、标签、密级和分类操作，从而实现数据资产分级分类管理。 元数据任务：采集原数据。 数据管理：对现有数据进行分组管理。 敏感数据识别 数据自动分级分类：在AI和专家知识库的双重加权下，精确识别敏感数据和文件，覆盖结构化（RDS）和非结构化（OBS）两种数据类型，实现云上全场景覆盖。 文件类型：支持近200种非结构化文件。 数据类型：支持数十种个人隐私数据类型，包含中英文。 图片类型：支持识别（png、jpeg、xportablepixmap、tiff、bmp、gif、jpx、jp2总共8种类型）图片中的敏感文字，包含中英文。 合规模板：多种内置合规知识库，如GDPR，PCI DSS，HIPAA等。 自动识别敏感数据： 自动识别敏感数据及个人隐私数据。 支持自定义规则，场景适配不同行业。 提供可视化识别结果。 DSC服务敏感数据的识别时长将由您所扫描数据源的数据量、扫描规则数、扫描模式决定。 数据风险检测 用户异常行为分析：基于深度行为识别技术，建立用户行为基线，实现基线外异常操作实时告警，行为操作实时查询，行为轨迹可视化，风险事件关联识别，针对风险事件关联用户操作，完善溯源审计链条。 通常情况下，以下行为均被视为异常事件： 非法用户在未经授权的情况下对敏感数据进行了访问、下载。 合法用户对敏感数据进行了访问、下载、修改、权限更改、权限删除。 合法用户对敏感数据的桶进行权限更改、权限删除。 访问敏感数据的用户登录终端异常等情况。 数据脱敏 DSC的数据脱敏支持静态脱敏和动态脱敏。 DSC的数据脱敏特点： 不影响用户数据：从原始数据库读取数据，通过精确的脱敏引擎，对用户的敏感数据实施静态脱敏，脱敏结果另行存放，不会影响原始的用户数据。 支持云上各类场景：支持RDS，ECS自建数据库，大数据合规。 满足多种脱敏需求：用户可以通过20+种预置脱敏规则，或自定义脱敏规则来对指定数据库表进行脱敏。 实现一键合规：基于扫描结果自动提供脱敏合规建议，一键配置脱敏规则。 DSC通过内置和自定义脱敏算法，实现对RDS、Elasticsearch数据进行脱敏。 数据水印 针对PDF、PPT、Word、Excel格式的文件提供了添加和提取水印的功能。 版权证明：嵌入数据拥有者的信息，保证资产唯一归属，实现版权保护。 追踪溯源：嵌入数据使用者的信息，在发生数据泄露事件时，追踪其泄露源头。 同时，DSC提供了数据动态添加水印和提取数据水印的API接口供您使用。 告警通知 通过设置告警通知，当敏感数据检测完成后或异常事件处理监测到异常事件时，数据安全中心会将其检测结果通过用户设置的接收通知方式发送给用户。

本章节主要介绍配置MySQL源端参数。 作业中源连接为配置MySQL数据库连接，源端作业参数如下表所示。 表 MySQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 基本参数 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明 SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如select from table a; select from table b。 不支持with语句。 不支持注释 ，比如""，“/”。 不支持增删改操作，包括但不限于以下操作： load data delete from alter table create table drop table into outfile select id,name from sqoop.user; 基本参数 模式或表空间 “使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 SCHEMAE 基本参数 表名 “使用SQL语句”选择“否”时，显示该参数，表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 说明 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 table 高级属性 抽取分区字段 “使用SQL语句”选择“否”时，显示该参数，表示抽取数据时使用该字段进行数据切分，CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段，例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面，用户也可以直接输入抽取分区字段名。 说明 抽取分区字段支持CHAR、VARCHAR、LONGVARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型，建议该字段带有索引。 当选择CHAR、VARCHAR、LONGVARCHAR抽取分区字段类型时，字段值不支持ASCII字符代码表之外的字符，不支持中文字符。 id 高级属性 Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 高级属性 分区字段是否允许空值 是否允许分区字段包含空值。 是 高级属性 作业拆分字段 使用该字段将作业拆分为多个子作业并发执行。 高级属性 拆分字段最小值 表示抽取数据时“作业拆分字段”的最小值。 高级属性 拆分字段最大值 表示抽取数据时“作业拆分字段”的最大值。 高级属性 子作业个数 根据“作业拆分字段”的最小值和最大值限定的数据范围，将作业拆分为多少个子作业执行。 高级属性 按表分区抽取 从MySQL导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dbatabpartitions 和dbatabsubpartitions 的SELECT权限。 否 说明 MySQL到DWS的场景下，MySQL Binlog方式增量迁移数据功能的使用限制如下： 单个集群在当前版本中只支持一个MySQL Binlog方式的增量迁移任务。 1.当前版本不支持一次性删除、更新万条记录。 2.不支持整库迁移。 3.不支持DDL操作。 4.不支持事件（event）迁移。 5.当选择增量迁移时，源MySQL数据库的“binlogformat”需要设置为“ROW”。 6.当选择增量迁移时，增量迁移过程中如果源MySQL实例，出现因实例跨机迁移或跨机重建等导致的binlog文件ID乱序，可能导致增量迁移数据丢失。 7.当目的表存在主键时，如果重启CDM集群或全量迁移过程中产生增量数据，主键可能会出现重复数据，导致迁移失败。 8.如果目标数据库DWS存在重启行为，会导致迁移失败，需要重启CDM集群重新拉起迁移作业。 MySQL推荐配置如下：