数据库类型 数据库类型支持的运算符为，!，in。 因子值为DMS当前支持的数据库类型。 SQL类型 SQL类型支持的运算符为，!，in，startWith，endWith。 因子值暂时支持如下DML语句类型：INSERT、DELETE、UPDATE、REPLACE。 环境 环境支持的运算符为，!，in。 因子值为DMS当前支持的环境类型。 表名 表名支持的运算符为，!，in， contain，startWith，endWith。 因子值为字符串，由用户输入。

库用户信息 说明 用户类型 可选择“带登录名的SQL用户”和“不带登录名的SQL用户”。不带登录名的SQL用户不能登录，但是可以被授予权限。 用户名 库用户的名称。 登录名 关联登录名。登录名登录后，登录名对此库的权限即为该用户具有的权限。 默认架构 指定服务器为此数据库用户解析对象名时搜索的第一个架构。 拥有的Schema 配置该用户拥有的架构列表。 成员身份 配置该用户具有的角色列表。一个用户具有某个角色，表示该用户具有此角色包含的所有权限。 安全对象 配置该用户对数据库对象的具体权限。

手动配置血缘 在DataArtsStudio数据开发中，用户也可以自己定义节点的输入、输出血缘关系。当用户手动配置血缘时，自动分析血缘将不生效。手动配置血缘不会影响作业的运行。 目前手动配置血缘时输入、输出数据源支持DLI、DWS、Hive、CSS、OBS和CUSTOM。CUSTOM即自定义类型，在手动配置血缘时，对于不支持的数据源，您可以添加为自定义类型。 支持手动配置血缘的节点类型如下所示，关于手动配置血缘的更多内容，请参见相关节点的详细介绍。 CDM Job Rest Client DLI SQL DLI Spark DWS SQL MRS Spark SQL MRS Hive SQL MRS Presto SQL MRS Spark MRS Spark Python ETL Job OBS Manager

示例2 单机版：查询iSCSI target名称为targeta的信息。 plaintext [root@hblockserver CTYUNHBlockPlus3.10.0x64] ./stor target ls n targeta Target Name: targeta Max Sessions: 3 Create Time: 20250722 16:18:57 iSCSI Target: iqn.201208.cn.ctyunapi.oos:targeta.1 (192.168.0.66:3260) LUN: luna1 (LUN 0),luna2 (LUN 1),luna3 (LUN 2) Reclaim Policy: Delete CHAP: chanptest,Hblockhblock,Disabled Allowlist for iqn.201208.cn.ctyunapi.oos:targeta.1 (192.168.0.66:3260): Initiator allowlist: +++ No. IPs Names +++ 1. 192.168.0.68 2. 192.168.0.70 +++ Target allowlist: +++ No. IPs NICs +++ 1. 192.168.0.66 +++ 集群版：查询iSCSI target名称为target03的信息。 plaintext [root@hblockserver CTYUNHBlockPlus3.10.0x64] ./stor target ls n target03 Target Name: target03 Max Sessions: 1 Create Time: 20250710 09:42:00 Number of Servers: 2 iSCSI Target: iqn.201208.cn.ctyunapi.oos:target03.5 (192.168.0.64:3260) iqn.201208.cn.ctyunapi.oos:target03.6 (192.168.0.65:3260) LUN: lun03a (LUN 0),lun03b (LUN 1) Reclaim Policy: Delete CHAP: chaptest,Hblockhblock,Disabled Server ID: hblock1,hblock2 Allowlist for iqn.201208.cn.ctyunapi.oos:target03.5 (192.168.0.64:3260): Initiator allowlist: +++ No. IPs Names +++ 1. 192.168.0.70 iqn.199105.com.microsoft:songt0001 2. 192.168.0.66 +++ Target allowlist: +++ No. IPs NICs +++ 1. 192.168.0.64 2. 192.168.0.65 3. 192.168.0.67 +++ Allowlist for iqn.201208.cn.ctyunapi.oos:target03.6 (192.168.0.65:3260): Initiator allowlist: +++ No. IPs Names +++ 1. 192.168.0.70 iqn.199105.com.microsoft:songt0001 2. 192.168.0.66 +++ Target allowlist: +++ No. IPs NICs +++ 1. 192.168.0.64 2. 192.168.0.65 3. 192.168.0.67 +++ 项目 描述 Target Name iSCSI target名称。 Status iSCSI target的状态： Deleting：iSCSI target正在删除。 仅iSCSI target处于删除中会返回此项。 Max Sessions iSCSI target下每个IQN允许建立的最大会话数。 Create Time iSCSI target创建时间。 Number of Servers iSCSI target所在的服务器数量（仅集群版支持）。 iSCSI Target iSCSI target IQN、客户端 IP和端口号。 LUN iSCSI target对应的卷。括号内容表示卷编号。 Reclaim Policy iSCSI target的回收策略： Delete：当iSCSI target关联的卷全部删除后，iSCSI target自动删除。 Retain：当iSCSI target关联的卷全部删除后，iSCSI target仍然保留。 CHAP CHAP认证信息，包含CHAP名称、CHAP密码、CHAP状态。 说明 只有配置了CHAP认证信息，才会显示CHAP名称。 CHAP状态： Enabled：开启CHAP认证。 Disabled：未开启CHAP认证 ServerID iSCSI target对应的服务器ID（仅集群版支持）。 Initiator allowlist iSCSI发起方（initiator）允许访问列表。 No.：序号。 IPs：根据initiator IP地址设置iSCSI发起方的允许访问列表。 Names：根据initiator名称设置iSCSI发起方的允许访问列表。 Target allowlist 目标端（target）允许访问列表。 No.：序号。 IPs：目标端（target）允许接入的IP地址。 NICs：目标端（target）允许接入的网卡。

性能指标 说明 全量迁移性能 全量迁移流量（Mb/s） 读取流量：DTS从源实例读取所需同步的数据量，单位为MB/s。 写入流量：DTS写入目标实例的数据量，单位为MB/s。 源、目标实例RPS 源实例PRS：表示在数据库源端，每秒由于数据增、删、改（DML，包括INSERT、UPDATE、DELETE等）产生的数据记录变化的数量。 目标实例RPS：表示在数据库目标端，每秒由于数据增、删、改（DML，包括INSERT、UPDATE、DELETE等）产生的数据记录变化的数量。 源库网络延时、目标库网络延时（ms） 源库网络延时：表示源端数据库和DTS之间的网络延时。 目标库网络延时：表示DTS和目标端数据库之间的网络延时。 源库SQL执行RT、目标库SQL执行RT（ms) 源库SQL执行RT：表示从源端读取数据，源端数据库的响应时间。 目标库SQL执行RT：表示DTS将数据写入目标端，目标端数据库的响应时间。 增量迁移性能 可查看增量迁移的迁移流量、迁移性能和网络延迟等信息。相关性能指标说明如下： 迁移流量BPS：每秒写入到目标库的数据量，单位为Mb/s。 迁移性能RPS：每秒写入到目标库的行数。 网络延迟：表示数据库与DTS之间的网络延时。

本页介绍天翼云TeleDB数据库日志管理相关操作。 操作步骤 1. 切换至TeleDB控制台，在左侧导航树单击日志管理 ，进入日志管理页面。 2. 查询错误日志 说明 错误日志记录了实例中各节点在运行过程中产生的错误信息。 1. 在当前实例下拉框选择您需查询的实例，选择错误日志 页签，设置查询开始时间和结束时间，选择查询条件，单击查询 。 查询条件可选择 节点名称 、 IP地址 、 数据库名称 、用户 和 错误信息 。 3. 慢SQL查询 说明 超过指定时间的 SQL 语句查询称为慢查询，对应语句称为慢查询语句。可以在控制台的操作日志页面查看实例的慢日志明细。 1. 在当前实例下拉框选择您所需要查询的实例，选择慢SQL查询 页签，设置开始时间和结束时间，在下拉框中选择 查询用户 、 查询条件 ，然后单击查询按钮。 查询条件可选择节点名称、IP地址、SQL语句和数据库名称。 2. 在目标日志的操作 列，单击优化建议 ，查看当前慢查询的索引优化建议。 注意 您需要在定时任务中配置了queryindexadvice（用于对慢sql查询生成相应的索引优化建议），才能查看当前慢查询的索引优化建议。 4. 查询高频SQL日志 1. 在当前实例下拉框选择您所需要查询的实例，选择高频SQL 页签，可选择重复次数，设置开始时间和结束时间，在下拉款中选择查询条件 ，单击查询按钮。 查询条件可选择用户名、SQL语句、用户和数据库名称。 5. 审计日志 1. 设置设计规则 1. 在当前实例下拉框选择您所需要查询的实例，选择审计日志页签，单击审计设置，出现审计设置对话框。 2. 在审计设置对话框中，选择是否开启审计、审计粒度，单击确定完成审计设置。 当审计粒度为全局级，您可对需要进行审计和告警的动作进行选择。 当审计粒度为对象级，您需设置对象审计规则同时使用。 2. 审计规则管理 1. 在当前实例下拉框选择您所需要查询的实例，选择审计日志页签，单击审计规则管理，进入审计规则管理页面。 2. 新增审计规则 1. 在审计规则管理 页面，单击 新增审计规则 ，出现新增审计规则对话框。 2. 在新增审计规则 对话框中，输入规则名称 、选择 审计对象名称 、勾选 审计操作类型 、输入审计对象和选择 是否开启 ， 是否触发告警 ，单击确定完成新增审计规则。 3. 编辑审计规则 单击已创建审计规则所在行的编辑 ，可修改审计规则。 4. 删除审计规则 单击已创建审计规则所在行的删除 ，可删除审计规则。 3. 查看审计日志 1. 选择审计日志 页签，在当前实例下拉框选择您需要查询的实例，设置查询开始时间和结束时间，在下拉框选择查询条件 ，单击 查询 。 查询条件可选择审计类型 、 SQL详情 、数据库名称、账号 和 审计操作 。

本章节为您介绍Agent相关功能。 数据库审计的Agent提供哪些功能？ 数据库审计的Agent主要提供以下功能： 获取访问数据库流量 将流量数据上传到审计系统 接收审计系统配置命令 上报数据库状态监控数据 数据库审计的Agent可以安装在哪些Windows操作系统上？ 操作系统 操作系统位数 支持版本 Windows X64 Windows7、Windows10 Windows X86 Windows7 Windows Server X64 2003、2008、2012、2016、2022 数据库审计的Agent可以安装在哪些Linux操作系统上？ 操作系统 操作系统位数 支持版本 Ubuntu X64 14.04、16.04、18.04、20.04 Debian X64 7.6、8.7、9.5、10.11、11.2 CentOS X64 5.11、6.0、7.4、7.6、8 RedHat X64 6.5、7.0、7.5 SUSE X64 11SP4、12SP4 Solaris X86 X86 5.10、5.11 Solaris Sparc X64 5.10 AIX 5.3、6.1、7.1 EulerOS（欧拉） x64 EulerOS 2.0 SP9 银河麒麟 aarch64 v10服务器版 兆芯cpu+银河麒麟系统 x64 v10服务器版 兆芯cpu+中标麒麟系统 x64 7 兆芯cpu+统信UOS x86 v20 海光cpu+统信UOS x64 v20 鲲鹏cpu+统信UOS aarch64 v20

能力/插件 Elasticsearch (XPack/商业版) OpenSearch 安全认证 XPack 内置Security插件 机器学习 ML模块 OpenSearch ML 插件(能力不等同) 向量检索 densevector + ANN knn插件，支持faiss/lucene 异常检测 XPack功能 Anomaly Detection插件 监控仪表盘 Stack Monitoring OpenSearch Dashboards + monitoring插件 SQL支持 XPack SQL OpenSearch SQL插件 Alerting Watcher OpenSearch Alerting插件 生命周期管理 ILM 支持ISM（IndexState Management） 可视化 Kibana OpenSearchDashboards（界面不同）

当证书过期或证书无效时，您可以删除该证书。本节介绍如何删除证书。 前提条件 证书没有被使用，即证书未绑定防护网站。 约束条件 如果证书已绑定防护网站，删除证书前需要解除该证书与域名绑定关系。 系统影响 删除证书不会影响业务。 证书删除后不可恢复，请谨慎删除证书。 操作步骤 步骤 1 登录管理控制台。 步骤 2 单击管理控制台右上角的，选择区域。 步骤 3 单击页面左上方的，选择“安全> Web应用防火墙（独享版）”。 步骤 4 在左侧导航树中，选择“对象管理> 证书管理”，进入“证书管理”页面。 步骤 5 在目标证书所在行的“操作”列中，单击“删除”。 步骤 6 在弹出的提示框中，单击“确认”，删除证书。 相关操作 如果证书已绑定防护网站，删除证书前需要解除该证书与域名绑定关系。请参考以下操作步骤，解除证书与域名绑定关系。 步骤 1 在目标证书所在行的“应用域名”列中，单击防护域名，进入域名基本信息页面。 步骤 2 在“证书名称”后单击编辑按钮，在弹出的对话框中，上传新证书或者选择其他已有证书。

操作场景 用户查看互联链路的状态。 前提条件 互联的两个设备均需满足以下条件： 状态为在线； 设备类型为硬件版； 激活方式为串接时。 操作步骤 1. 登录天翼云SDWAN控制台； 2. 选择“天翼云SDWAN”，单击目标SDWAN名称； 3. 单击“设备互联”，然后单击目标互联关系“操作”列的“查看监控”。 4. 可查看互联链路的传输时延、抖动和丢包率性能。

在执行DDL语句前，需要设置锁超时时间。本文为您介绍具体的操作。 在执行DDL语句前，一定要记得设置锁超时时间。 DDL语句会申请access exclusive锁，access exclusive锁是最强的排它锁，在获得锁前，要求该表上没有任何会话访问；同时，DDL语句会阻塞任何对表的操作。例如：drop table、truncate、reindex、vacuum full、部分alter table等等。 由于DDL语句在获得锁前，要求该表上没有任何会话访问，如果有长事务、长时间执行的SQL访问表，那么需要等待这些会话执行完成后才能获得access exclusive锁。在等锁的过程中，DDL语句会阻塞该表上所有DDL语句后面执行的SQL，包括SELECT。如果该表有高并发SQL语句，那么将会导致大量的SQL语句被阻塞，进而导致数据库连接数迅速增长、服务器CPU打满，严重影响业务。 可以通过设置锁超时解决此问题，锁超时设置一般可以使用如下3种方式，影响范围各不相同，超时时间推荐30~60s： 当前会话生效（即时生效）： teledb set locktimeout to '30s'; 用户默认锁超时（设置之后，新建的连接才会生效）： teledb alter role teledb set locktimeout to '30s'; 数据库默认锁超时（设置之后，新建的连接才会生效）： teledb alter database teledb set locktimeout to '30s'; 注意 locktimeout参数是获取锁的超时时间，不止对DDL语句生效，对DML、DQL也生效；因此用户、数据库级默认锁超时间参数不应设置过小，设置过小可能会导致正常的DML、DQL语句超时，尤其并发业务量大，业务高峰期间，可能会因为锁超时设置过小导致大面积SQL语句超时报错。

本节介绍分布式缓存服务Redis版产品定义。 产品定义 分布式缓存服务Redis版是一种兼容Redis协议的NoSQL内存数据库产品，具备高性能、高可用、可水平扩展的特性，提供丰富的产品类型满足用户高读写性能场景需求，主要用于持久化数据的存储或缓存数据的存储。 为什么选择天翼云分布式缓存服务Redis 全面兼容Redis协议：基于开源Redis协议进行安全加固，客户端兼容Redis协议。 丰富的产品规格实例：提供多种缓存实例规格，灵活满足应用的多样化需求。 可靠的备份与恢复机制：支持手动备份与定时自动备份，自定义备份策略，实现将已备份的数据恢复到缓存实例中。 完善的监控运维工具：提供完备的日志、监控和告警功能，异常情况能自动告警并通知相关人员，多种监控指标及服务器运行情况支撑实时、历史监控运维。 对比自建原生Redis的优势 对比自建原生Redis，天翼云分布式缓存服务具备以下优势： 差异项 天翼云分布式缓存服务Redis 原生Redis 安装部署 实时开通，支持一键升级，无需关心服务部署的硬件及软件。 需要自行完成采购硬件、机房托管、部署机器等工作，周期较长，且需要自行维护节点关系。 备份恢复 支持手动备份与定时自动备份，一键恢复还原备份点。 仅支持一次性全量恢复。 运维管理 提供可视化运维监控平台，支持数十种的监控指标的实时监控。 需使用管理方式复杂的第三方监控工具实现服务监控。 扩展能力 支持节点性能线性扩展，支持在线扩容，业务无感知。 并发受限，升级依赖社区。

查看DDL 1. 在天翼云官网首页的顶部菜单栏，选择产品 > 数据库 > 关系型数据库 > 分布式关系型数据库 ，进入分布式关系型数据库产品页面。然后单击管理控制台 ，进入概览页面。 2. 在左侧导航栏，选择DRDS > 实例管理，进入实例列表页面。然后在顶部菜单栏，选择区域和项目。 3. 在实例列表中，找到目标实例，单击操作 列的管理 ，进入实例基本信息页面。 4. 单击schema管理 ，进入目标实例的schema管理页面。 5. 单击目标schema操作 列的管理 ，然后单击索引设置，进入索引管理页面。 6. 在索引列表中，找到目标索引，单击操作 列的查看DDL。 7. 在查看DDL对话框中，查看当前索引的DDL语句详细信息。 您可以根据实际需要，将DDL语句复制到本地。 禁用索引 1. 在天翼云官网首页的顶部菜单栏，选择产品 > 数据库 > 关系型数据库 > 分布式关系型数据库 ，进入分布式关系型数据库产品页面。然后单击管理控制台 ，进入概览页面。 2. 在左侧导航栏，选择DRDS > 实例管理，进入实例列表页面。然后在顶部菜单栏，选择区域和项目。 3. 在实例列表中，找到目标实例，单击操作 列的管理 ，进入实例基本信息页面。 4. 单击schema管理 ，进入目标实例的schema管理页面。 5. 单击目标schema操作 列的管理 ，然后单击索引设置，进入索引管理页面。 6. 在索引列表中，找到目标索引，单击操作 列的禁用。 7. 在对话框中，单击确定。

本页主要介绍数据库代理支持的连接池类型，以及各类型的应用场景和工作原理。 连接池概述 数据库代理支持两种连接池：事务级连接池和会话级连接池。默认使用事务级连接池。两种连接池都能降低业务与数据库建立连接的频率，从而减少数据库建立连接带来的开销。 两者的区别在于连接复用的程度。数据库代理中连接分为前端连接和后端连接，前端连接时业务应用到数据库代理的连接。后端连接是指数据库代理到数据库实例的连接，这里连接池是特指后端连接的连接池。 当客户端发起连接会话请求时，只会与数据库代理建立前端连接，代理不会马上将其与后端数据库建立连接。当真正提交业务请求时，才会从连接池中查找可用的后端连接或者创建后端连接。 事务级连接池 应用场景 业务多为短连接，连接建立频繁； 连接数量很大。 工作原理 选择事务级连接池，当需要处理一个业务事务时，从连接池中查找是否存在可用的连接。如果存在则占用该空闲连接，否则代理与后端数据库创建一个新的后端连接。 在当前事务结束后将该连接放回连接池中。这样连接会被下一个事务使用，这个事务可能是当前业务会话，也可能是其他业务会话。 如上图所示：有事务的会话占用后端连接，没有事务的会话不占用连接，一个连接被多个会话轮流共用。因此它能显著减少后端数据的连接数量和连接频率，避免了空闲连接带来的资源浪费，特别适用于大量短连接的业务应用。 特别注意，事务级连接会在一些特殊的使用场景会转换为会话级连接： 执行锁操作LOCK TABLE, LOCK TABLES 或者FLUSH TABLES WITH READ LOCK； 执行了PREPARE 语句； 使用了TEMPORARY TABLE； 设置了SQLLOGBIN0； 使用sqlsafeupdates ，sqlselectlimit ，maxjoinsize 等safeupdates设置； 使用了SQLCALCFOUNDROWS 功能； 设置了FOREIGNKEYCHECKS ，UNIQUECHECKS，AUTOINCREMENTINCREMENT AUTOINCREMENTOFFSET ，GROUPCONCATMAXLEN 等等； SQL语句中包含了@ 字符。 会话级连接池

Spark作业访问MySQL数据库的方案 通过DLI Spark作业访问MySQL数据库中的数据有如下两种方案： 方案1：在DLI中购买按需专属队列，创建增强型跨源连接，再通过跨源表读取MySQL数据库中的数据，该方案需要用户自行编写java代码或scala代码。 方案2：先使用云数据迁移服务CDM将MySQL数据库中的数据导入OBS桶中，再通过Spark作业读取OBS桶中的数据，如果用户已有CDM集群，该方案比方案1简单，且不会对现有数据库造成压力。 如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 操作场景 Spark作业在执行shuffle类语句，包括group by、join等场景时，常常会出现数据倾斜的问题，导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle.partitions提高shuffle read task的并行度来进行解决。 设置spark.sql.shuffle.partitions参数提高并行度 用户可在JDBC中通过set方式设置dli.sql.shuffle.partitions参数。具体方法如下： Statement st conn.stamte() st.execute("set spark.sql.shuffle.partitions20") Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 说明 lDriver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的路径作为参数传给Executor去执行。 lExecutor获取文件路径的时候，仍然需要使用SparkFiles.get(“filename”)的方式获取。 lSparkFiles.get()方法需要spark初始化以后才能调用。 代码段如下所示 package main.java import org.apache.spark.SparkFiles import org.apache.spark.sql.SparkSession import scala.io.Source object DliTest { def main(args:Array[String]): Unit { val spark SparkSession.builder .appName("SparkTest") .getOrCreate() // driver 获取上传文件 println(SparkFiles.get("test")) spark.sparkContext.parallelize(Array(1,2,3,4)) // Executor 获取上传文件 .map( > println(SparkFiles.get("test"))) .map( > println(Source.fromFile(SparkFiles.get("test")).mkString)).collect() } }

本节提供SQL使用规范的通用八个原则供用户参考。 首要原则：语句尽量简单，不在数据库做复杂运算，不用存储过程、函数。 select，insert一定要带上字段名，尽量少用select 。 优化LIMIT分页：不要用LIMIT start, offset。 禁用select for update、insert……select from、select （必须明确给出需要字段）、insert TB values……（必须明确给出字段）、order by rand（）语法。它会扩大意向锁范围，较大程度影响数据库的并发事务效率。 只用inner join或者left join；禁止用right join。表关联的on必须有索引，只关联需要表，只选择需要的列。 复杂查询拆分简单查询；尽量小批量小语句分段执行，一个sql不要超过1G的binlog。小语句小事务好处：减少锁、用上多cpu，缓存命中率高。 大事务可以set autocommit 0 关闭自动提交，但是拒绝滥用，会导致阻塞。 注意SQL语句中数据类型隐式转换的问题。查询条件中使用‘’可能导致类型转换无法使用索引，比如：intcol‘0’，会导致隐式转换无法正常使用索引。

后续操作 开启/关闭代理：单击“操作”列的“开启/关闭代理”，可以控制代理数据库的开启和关闭状态，开启代理之后，应用即可将JDBC连接从物理数据库上切换至代理数据库上。 开启/关闭仿真模式：选择“操作”列的“仿真 > 开启/关闭”，仿真模式下，代理数据库将会把应用产生的数据SQL根据配置的规则进行解析后，存入仿真文件中，由应用判断改写后的SQL是否符合要求。

本节主要介绍HBlock Cinder配置卷类型。 可以按照下列步骤进行卷类型配置。 1. 修改Cinder的配置文件/etc/cinder/cinder.conf，使用enabledbackends启用HBlock的卷，并且在配置文件中增加HBlock卷相关参数。 说明 一次可以在cinder.conf添加多个卷的类型。 单机版示例如下： plaintext [DEFAULT] enabledbackends lvmdriver1,stor1 [stor1] volumegroupstackvolumeslvmdriver2 volumedriverstordriver.driver.driverstor.StorDriver volumebackendname stor1 storprovider HBlock storapiuser storuser storapipassword storchapuser chapuser storchappassword storapiendpoint writepolicy WriteBack sectorsize 4096 maxsessions 2 storpath /mnt/stor flattenvolumefromsnapshotfalse maxclonedepth5 集群版示例如下： plaintext [DEFAULT] enabledbackends lvmdriver1,stor,stor1,stor2 [stor] volumegroupstackvolumeslvmdriver2 volumedriverstordriver.driver.driverstor.StorDriver volumebackendname stor storprovider HBlock storapiuser storuser storapipassword storchapuser chapuser storchappassword storapiendpoint storchapuser chapuser storchappassword storagemode Local localstorageclass EC 2+1 highavailability ActiveStandby writepolicy WriteBack sectorsize 512 ecfragmentsize 16 maxsessions 2 minreplica 2 flattenvolumefromsnapshotfalse maxclonedepth5 [stor1] volumegroupstackvolumeslvmdriver2 volumedriverstordriver.driver.driverstor.StorDriver volumebackendname stor1 storprovider HBlock storapiuser storuser storapipassword storchapuser chapuser storchappassword storapiendpoint storagemode Local localstorageclass singlecopy highavailability Disabled writepolicy WriteAround sectorsize 512 flattenvolumefromsnapshottrue maxclonedepth5 [stor2] volumegroupstackvolumeslvmdriver2 volumedriverstordriver.driver.driverstor.StorDriver volumebackendname stor2 storprovider HBlock storapiuser storuser storapipassword storchapuser chapuser storchappassword storapiendpoint storagemode Local localstorageclass 3copy highavailability ActiveStandby writepolicy WriteThrough sectorsize 4096 文件中的参数解释如下： 参数名称 参数说明 是否必须 enabledbackends 需要在系统生效的后端存储名称。 如果有多个需要生效的存储，名称之间用英文逗号隔开。 是 volumegroup 卷的组。 是 volumedriver HBlock驱动所在路径。 取值： 如果驱动作为独立Python包进行安装，取值为stordriver.driver.driverstor.StorDriver。 如果复制stordriver到Cinder驱动目录的方式安装驱动，取值为：cinder.volume.drivers.stordriver.driver.driverstor.StorDriver。 是 volumebackendname 卷对应的后端存储名称，存储节点的Volume Provider 命名。与enabledbackends定义的后端存储名字保持一致。 是 storprovider 产品名称。 取值：HBlock。 是 storapiuser HBlock的管理员用户名。 说明 HBlock初始化时，默认用户名为storuser。 是 storapipassword HBlock的管理员密码。 是 storagemode HBlock卷的模式。 取值： Local：本地模式，数据全部保留在本地。 Cache：缓存模式，本地保留部分热数据，全部数据异步存储到OOS中。 Storage：存储模式，本地保留全部数据，并异步存储到OOS中。 默认值为Local。 否 storchapuser CHAP验证用名称。 取值：字符串形式，长度范围是3~64，只能由字母、数字、句点( . )、短横线( )、下划线( )、冒号( : )组成，字母区分大小写，且仅支持以字母或数字开头。 否 storchappassword CHAP认证密码。 取值：字符串形式，长度范围是12~16，只能由字母、数字或下划线( )组成，字母区分大小写。 否 storapiendpoint 配置HBlock RESTful API地址和端口。 对于集群版HBlock，可以填写多对HBlock RESTful API地址和端口，以英文逗号隔开。 说明 安装HBlock时，默认API端口为1443。 是 storpath 指定HBlock存储卷数据的数据目录（仅单机版支持）。 说明 如果创建卷时不指定数据目录，使用服务器设置的默认数据目录。 否 servernumbers Target所在的服务器数量（仅集群版支持）。 整数形式，取值为[2, n]，n为集群内服务器的数量。默认值为2。 否 faultdomains 卷的服务端连接位置信息。根据存储池的故障域，创建Target所在服务器的列表（仅集群版支持），以便创建LUN时，LUN关联的Target优先从该服务器列表中选择所在服务器。例如存储池为rack级别，其拓扑图涵盖rack1、rack2、rack3、rack4中的节点，且faultDomains指定rack1、rack2，那么创建LUN时，LUN关联的Target优先从rack1、rack2所包含的此存储池的服务器列表里进行选择。 注意 存储池的故障域为path级别时，不能设置该参数。 如果LUN指定了高速缓存池和最终存储池，则从高速缓存池池中选择节点列表。如果LUN只指定了最终存储池，则从最终存储池中选择节点列表。 取值：以节点的形式添加，节点的级别可以到room、rack、server。可以指定多个节点，但是节点的个数要小于等于serverNumbers。支持一个节点添加多次，但是每次只能选一个server，并且选择的server不能与前面重复。如果一个节点出现的次数过多导致节点内的全部server都被选择，则系统会忽略此节点，从后面的节点中继续选择。 否 pool 指定存储池（仅集群版支持），表示最终存储池，卷数据最终落在该存储池内。默认使用集群的基础存储池。 注意 已用该卷类型创建卷，禁止修改pool，否则将影响已创建的卷。如果需要修改pool，需要创建新的卷类型。 否 cachepool 指定缓存存储池（仅集群版支持）。如果指定了缓存存储池，卷数据首先写入缓存存储池，然后再存入存储池。 注意 存储池与缓存存储池不能是同一个存储池。 否 highavailability 选择卷的高可用类型（仅集群版支持）： ActiveStandby：启用主备，该卷关联对应Target下的所有IQN。 Disabled：不启用主备，该卷关联对应Target下的1个IQN。 默认值为ActiveStandby。 否 localstorageclass 卷冗余模式（仅集群版支持）。 取值： singlecopy：单副本。 2copy：两副本。 3copy：三副本。 EC N+M：纠删码模式。其中N、M为正整数，N>M，且N+M≤128。表示将数据分割成N个片段，并生成M个校验数据。 默认值为EC 2+1。 否 minreplica 最小副本数（仅集群版支持）。 对于副本模式的卷，假设卷副本数为X，最小副本数为Y（Y必须≤X），该卷每次写入时，至少Y份数据写入成功，才视为本次写入成功。对于EC N+M模式的卷，假设该卷最小副本数设置为Y（必须满足N≤Y≤N+M），必须满足总和至少为Y的数据块和校验块写入成功，才视为本次写入成功。 取值：整数。对于副本卷，取值范围是[1, N]，N为副本模式卷的副本数，默认值为1。对于EC卷，取值范围是[N, N+M]，默认值为N。 否 redundancyoverlap 卷的折叠副本数（仅集群版支持）。在数据冗余模式下，同一份数据的不同副本/分片默认分布在不同的故障域，当故障域损坏时，允许根据卷的冗余折叠原则，将多份数据副本放在同一个故障域中，但是分布在不同的path上。 注意 如果存储池故障域级别为path，此参数不生效。 取值：对副本模式，取值范围是[1，副本数]，默认值为1；对于EC模式，取值范围是[1，M+N]，默认值为1。 否 ecfragmentsize 纠删码模式分片大小（仅集群版支持）。卷冗余模式为EC模式时，此设置才生效，否则忽略。 取值：1、2、4、8、16、32、64、128、256、512、1024、2048、4096，单位是KiB。默认值为16。 否 sectorsize 设置扇区大小。 取值：512、4096，单位是bytes。默认值为4096。 否 writepolicy 卷的写策略： WriteBack（wb）：回写，指数据写入到内存后即返回客户端成功，之后再异步写入磁盘。适用于对性能要求较高，稳定性要求不高的场景。 WriteThrough（wt）：透写，指数据同时写入内存和磁盘，并在都写成功后再返回客户端成功。适用于稳定性要求较高，写性能要求不高，且最近写入的数据会较快被读取的场景。 WriteAround（wa）：绕写，指数据直接写到磁盘，不写入内存。适用于稳定性要求较高，性能要求不高，且写多读少的场景。 默认值为WriteBack（wb）。 否 maxsessions iSCSI Target允许建立的最大会话数。 取值：整数，取值范围是[1, 1024]，默认值为1。 否 flattenvolumefromsnapshot 是否断开卷与快照的关系链： true：断开。 false：不断开。 默认值为false。 否 maxclonedepth 最大克隆卷深度，当超过设置的最大深度时，新创建的卷会自动执行断链。 取值：整数，取值范围是[0, 15]，默认值为5。0表示不支持克隆卷。 否 cloudbucketname 已存在的OOS存储桶的名称。 注意 请勿开启Bucket的生命周期设定和合规保留。 上云卷必填 cloudprefix 设置OOS中的前缀名称，设置前缀名称后，卷数据会存在存储桶以前缀命名的类文件夹中。如果未指定前缀，则直接存储在以卷名称命名的类文件夹中。 取值：字符串形式，长度范围是1~256。 否 cloudaccesskey OOS AccessKeyID。 上云卷必填 cloudsecretkey OOS SecretAccessKey。 上云卷必填 cloudendpoint 设置OOS Endpoint。 上云卷必填 cloudobjectsize 数据存储在OOS中的大小。 取值：128、256、512、1024、2048、4096、8192，单位是KiB。默认值为1024。 否 cloudstorageclass 设置OOS的存储类型： STANDARD：标准存储。 STANDARDIA：低频访问存储。 默认为STANDARD。 否 cloudcompression 是否压缩数据上传至OOS： Enabled（on）：压缩数据上传至OOS。 Disabled（off）：不压缩数据上传至OOS。 默认值为Enabled（on）。 否 cloudsignversion 指定上云签名认证的类型： v2：V2签名认证。 v4：V4签名认证。 默认值为v2。 否 cloudregion 表示Endpoint资源池所在区域。 V4签名时，此项必填。 条件 deleteclouddata 删除卷时，是否删除云上的数据： true：删除云上数据。 false：不删除云上数据。 默认值为true。 否 2. 使用下列命令，使用配置生效： plaintext cinder typecreate volumebackendname cinder typekey volumebackendname set volumebackendnamevolumebackendname 示例1：使步骤1中单机版配置生效 plaintext cinder typecreate stor1 cinder typekey stor1 set volumebackendnamestor1 示例2：使步骤1中配置的集群版配置生效 plaintext cinder typecreate stor cinder typekey stor set volumebackendnamestor cinder typecreate stor1 cinder typekey stor1 set volumebackendnamestor1 cinder typecreate stor2 cinder typekey stor2 set volumebackendnamestor2 3. 重启Cinder服务 如果使用DevStack方式安装OpenStack，重启Cinder服务命令如下： plaintext systemctl restart devstack@c 如果使用Packstack安装OpenStack，重启Cinder服务命令如下： plaintext systemctl restart openstackcinder 4. 配置Multipath（集群版） 1）参考客户端配置章节中的“配置 MPIO”，确保MPIO正确配置。 2）启用Nova的multipath功能（如果是多节点部署，需要到对应的计算节点修改配置）：如果使用DevStack方式安装OpenStack，修改/etc/novacpu.conf；如果使用Packstack安装OpenStack，修改/etc/nova/nova.conf。 plaintext [libvirt] iscsiusemultipath true 5. 重启Nova服务（集群版） 如果使用DevStack方式安装OpenStack，重启Nova服务命令如下： plaintext systemctl restart devstack@n 如果使用Packstack安装OpenStack，重启Nova服务命令如下： plaintext systemctl restart openstacknova 说明 如果是多节点部署，需要到对应的计算节点重启Nova服务。 6. 验证卷是否配置正确 plaintext cinder typelist cinder typeshow ID

自动数据备份 支持将集群快照自动备份到EB级对象存储服务OBS（Object Storage Service）中，方便利用业务空闲期对集群做周期备份以保证集群异常后的数据恢复。 快照是DWS集群在某一时间点的完整备份，记录了这一时刻指定集群的所有配置数据和业务数据。 工具链 提供了数据并行加载工具GDS（General Data Service）、SQL语法迁移工具DSC（Database Schema Convertor）、SQL开发工具Data Studio，并支持通过控制台对集群进行运维监控。 集群逻辑架构 DWS集群逻辑架构如下图所示。实例的详细介绍请参见下表“集群架构说明”。 集群架构说明 名称 描述 说明 GTM 全局事务管理器（Global Transaction Manager），负责生成和维护全局事务ID、事务快照、时间戳等全局唯一的信息。 整个集群只有一组GTM：主、备GTM各一个。 WLM 工作负载管理器（Workload Manager）。控制系统资源的分配，防止过量业务负载对系统的冲击而导致业务拥塞和系统崩溃。 不同于集群中的实例（GTM、CM、CN、DN）模块，不需要在安装过程中指定主机名称。安装程序会自动在各主机上安装此模块。 CN 协调节点（Coordinator）。负责接收来自应用的访问请求，并向客户端返回执行结果；负责分解任务，并调度任务分片在各DN上并行执行。 集群中，CN有多个并且CN的角色是对等的（执行DML语句时连接到任何一个CN都可以得到一致的结果）。只需要在CN和应用程序之间增加一个负载均衡器，使得CN对应用是透明的。CN故障时，由负载均衡自动路由连接到另外一个CN。 当前分布式事务框架下无法避免CN之间的互连，为了减少GTM上线程过多导致负载过大，建议CN配置数目≤10个。 DWS通过CCN（Central Coordinator）负责集群内的资源全局负载控制，以实现自适应的动态负载管理。CM在第一次集群启动时，通过集群部署形式，选择编号最小的CN作为CCN。若CCN故障之后，由CM选择新的CCN进行替换。 DN 数据节点（Datanode）。负责存储业务数据（支持行存、列存、混合存储）、执行数据查询任务以及向CN返回执行结果。 在集群中，DN有多个。每个DN存储了一部分数据。集群部署常用方式为主备从高可用模式，若DN故障时导致该实例上的数据无法访问，可进行集群高可用操作，详情请参见。 Storage 服务器的本地存储资源，持久化存储数据。 集群的每个DN上负责存储数据，其存储介质也是磁盘。下图“数据库逻辑结构图”从逻辑上介绍了每个DN上都有哪些对象，以及这些对象之间的关系，其中： Database，即数据库，用于管理各类数据对象，各数据库间相互隔离。 Datafile Segment，即数据文件，通常每张表只对应一个数据文件。如果某张表的数据大于1GB，则会分为多个数据文件存储。 Table，即表，每张表只能属于一个数据库。 Block，即数据块，是数据库管理的基本单位，默认大小为8KB。 数据有三种分布方式，可以在建表的时候指定：REPLICATION、ROUNDROBIN 、HASH。 数据库逻辑结构图

本页简要介绍了分布式融合数据库HTAP的产品定义。 分布式融合数据库HTAP是既支持在线事务处理 (OLTP) 又支持在线分析处理 (OLAP) 的融合型云原生分布式数据库，具有兼容MySQL协议、高性能、实时分析的特点，适用于数据规模大、高可用、高吞吐等业务场景。 分布式融合数据库HTAP主要由管理节点、计算节点和存储节点组成，整体技术架构如下： 管理节点：整个集群的元信息管理模块，负责存储集群元信息（包括整体拓扑结构和节点实时的数据分布情况），为分布式事务分配事务 ID，同时还会根据存储节点实时上报的数据分布状态，下发数据调度命令给具体的存储节点。管理节点集群由 3 个管理节点构成，具备高可用能力。 计算节点：SQL 层，支持 MySQL 协议，负责接收客户端的连接，执行 SQL 解析和优化，最终生成分布式执行计划，将实际的数据读取请求转发给底层的存储节点。计算节点本身是无状态的，多个计算节点构成计算节点集群，通过负载均衡组件（如 LVS、HAProxy 或 F5）对外提供统一的接入地址。 存储节点 行存节点：一个支持事务的分布式KeyValue存储引擎，负责存储数据。数据按范围分片存储，每个数据分片负责存储一段 Key 范围（从 StartKey 到 EndKey 的左闭右开区间）的数据，每个行存节点会负责多个数据分片。行存节点 API 原生支持分布式事务，默认提供了 SI (Snapshot Isolation) 的隔离级别，是SQL 层支持分布式事务的核心基础。SQL 层做完 SQL 解析后，会将 SQL 的执行计划转换为对行存节点 API 的实际调用。另外，行存节点中的数据都会自动维护多副本（默认为三副本），天然支持高可用和自动故障转移。 列存节点：一类可选的存储节点，其内部以列式的形式存储数据，主要的功能是为分析型的场景加速。

本文介绍SQL风险管控规则集中DDL操作类型对应的规则，该种规则会匹配DMS用户的一切DDL操作并识别出风险等级，进而决定该操作是否需要进行审批。 前提条件 组织版本为企业版。 目前只会对MySQL和PostgreSQL实例的DDL操作进行SQL风险管控。 用户需要具有进入SQL风险页面的菜单权限。菜单权限请参考权限说明。 操作步骤 用户以超级管理员身份登录DMS系统。 在左侧菜单栏依次点击 SQL治理 > SQL风险 。 在规则集列表界面点击编辑 按钮，在规则集配置界面点击DDL按钮。 功能介绍 DDL类型的风险识别规则会拦截用户一切的DDL操作，包括在查询窗口执行DDL类型的SQL语句、查询窗口的表编辑、实例列表的库/模式创建与删除、SQL变更工单中的DDL语句，并识别出其中的风险等级，匹配到对应的审批模板，执行工单审批流程。若该行为不需要进行审批，则可以直接执行。用户可以自定义DDL类型不同风险等级需要通过的审批流程。DDL类型支持的风险管控因子如下： 影响行数 影响行数支持的运算符为，!，>， >，<，<。 因子值为正整数，由用户输入。 库/模式名称 库/模式支持的运算符为，!，in， contain，startWith，endWith。 因子值为字符串，由用户输入。 pg系实例会匹配模式名称，其他类型实例匹配库名称。

操作步骤 1、安装Apache。 a.登录弹性云主机。 b.使用root用户执行以下命令更新软件包，并安装Apache。 yum y updateyum y install httpd c.执行以下命令，验证Apache的安装版本。 httpd v 回显如下类似信息： Server version：Apache/2.4.6 (CentOS)Server built： May 30 2023 14:01:11 d.依次执行以下命令，启动Apache服务并设置开机自启动。 systemctl start httpd systemctl enable httpd e.使用浏览器访问“ 2、安装MySQL。 a.依次执行以下命令，安装MySQL。 wget i c yum y install mysql57communityreleaseel710.noarch.rpm yum y install mysqlcommunityserver nogpgcheck b.执行以下命令，验证MySQL的安装版本。 mysql V 回显如下类似信息： mysql Ver 14.14 Distrib 5.7.44, for Linux (x8664) using EditLine wrapper c.依次执行以下命令，启动MySQL服务并设置开机自启动。 systemctl start mysqld systemctl enable mysqld d.查看MySQL运行状态。 systemctl status mysqld.service [root@ecsadc3 ~] systemctl status mysqld.service ● mysqld.service MySQL Server Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled) Active: active (running) since Tue 20231031 19:33:40 CST; 36s ago Docs: man:mysqld(8) Main PID: 7916 (mysqld) CGroup: /system.slice/mysqld.service └─7916 /usr/sbin/mysqld daemonize pidfile/var/run/mysqld/mysqld.pid Aug 16 19:33:35 ecsadc3 systemd[1]: Starting MySQL Server... Aug 16 19:33:40 ecsadc3 systemd[1]: Started MySQL Server. e.执行以下命令，获取安装MySQL时自动设置的root用户密码。 grep 'temporary password' /var/log/mysqld.log 回显如下类似信息。 20231031T11:53:08.691748Z 1 [Note] A temporary password is generated for root@localhost: 2YY?3uHUA?Ys f.执行以下命令，并按照回显提示信息进行操作，加固MySQL。 mysqlsecureinstallation Securing the MySQL server deployment. Enter password for user root:

参数 描述 目标RDS实例名称 选择目标RDS实例。若没有合适的目标RDS数据库实例，请先创建所需的目标数据库实例，可参见《关系型数据库快速入门》中“SQL Server快速入门”下的“购买实例”章节。 待恢复备份类型 选择全量备份。全量备份指备份文件是完整备份类型的备份。 最后一个备份 一次典型的增量恢复过程，会涉及多次恢复增量备份。每个增量备份恢复均会使目标数据库保持还原中状态，此时数据库不可读写，直至最后一个增量备份恢复完成后，数据库才能变成可用状态。此后数据库将无法继续进行增量恢复，所以确定为最后一个备份场景有：o 一次性全量迁移，后续将不再进行增量恢复，选择“是”。o 增量恢复流程中，最后割接阶段的最后一个增量备份选择“是”。当前进行的是全量+增量备份迁移，全量备份恢复后，需要继续进行增量备份恢复，该参数选择“否”。此时目标数据库将会处于恢复中的状态，不可读写。 覆盖还原 覆盖还原是指目标端数据库实例已经存在同名的数据库，备份还原中是否要覆盖已存在的数据库。您可以根据业务需求，选择是否进行覆盖还原。说明：若选择此项，目标数据库实例中与待还原数据库同名的数据库将会被覆盖，请谨慎操作。 执行预校验 备份迁移任务是否执行预校验，默认为是。o 是：为保证迁移成功，提前识别潜在问题，在恢复前对备份文件的合法性、完整性、连续性、版本兼容性等进行校验。否：不执行预校验，迁移速度更快，但需要用户判断备份文件的合法性、完整性、连续性、版本兼容性等问题。 指定需要恢复的数据库 您可以选择将全部数据库或部分数据库进行恢复。o 全部数据库：恢复备份文件中所有的数据库，不需要输入待还原数据库名称，默认还原备份文件里的所有数据库o 部分数据库：恢复备份文件中的部分数据库，需要输入待还原数据库名称。全量备份需要保证指定恢复的数据库始终一致。

本文介绍了 canal解析Binlog报错的解决方法。 场景描述 canal解析Binlog出现错误，导致拉取Binlog中断。 原因分析 检查MySQL的参数“binlogrowsquerylogevents”的值是否设置为1 或 ON 。 该版本使用canal只能支持ROW格式的Binlog增量订阅。 如果关系数据库MySQL版实例的参数“binlogrowsquerylogevents”值设置为1 或ON时，则会在Binlog中产生Rowsquery类型的event，此类event非ROW格式，一些场景下，会导致canal出现blank topic问题，引发Binlog解析失败。 解决方案 将MySQL的参数“binlogrowsquerylogevents”的值修改为 OFF ，重启中断的canal任务。

操作场景 由于数据查询只限于服务少量数据的实时查询，数据量大时，需要分页查看，此时，您可通过数据导出功能，快捷获得一次查询的所有数据信息；或者当进行数据备份或迁移时，您亦可通过数据导出功能，获取完整的数据信息。 操作步骤 1. 在顶部菜单栏选择“导入·导出”>“导出”。 2. 在导出页面，单击左上角“新建任务”，您可根据需要选择“导出数据库”或“导出SQL结果集”。下文以导出数据库为例，导出SQL集同理。 您也可通过单击“快速导出”，选择目标数据库，在创建快速导出任务弹窗中选择存储位置，并单击“确定”。 3. 在导出数据库弹出页面，您可按需选填“基本信息”及“高级选项”，并在页面右侧选择需要导出的表。 说明 SQL结果集导出任务中，执行SQL的最大限制是5M。 数据库分用户库和系统库，系统库不支持导出功能。如需导出，您需把创建用户数据库，业务部署到用户库，然后再执行导出操作。 DAS在执行导出操作时，会连接到您的备库进行导出，可以有效规避导出时对主库的性能影响，但当备库复制延迟较大时，会存在“导出的数据不是最新数据“的可能性。 4. 设置完导出任务信息，单击弹出页面下部“确定”，创建导出任务。 5. 在导出任务列表页面，您可查看任务ID、任务类型、任务状态、进度等信息。 6. 您可在列表操作栏，单击“查看详情”，在任务详情弹出页面，查看本次导出任务执行的详情信息。

本节介绍天翼AI云电脑(政企版)在外设方面的常见问题。 打印机、u盘等外设在天翼AI云电脑上如何使用？ 详细的设备使用指南可前往查看 天翼AI云电脑外设使用指南 哪些设备已完成了天翼AI云电脑的适配？ 详细的适配列表可前往查看终端适配列表 登录天翼AI云电脑提示USB连接异常怎么办？ 登录天翼AI云电脑后提示USB连接异常原因为客户端识别USB设备的USBDK异常，请在本地电脑控制面板卸载USBDK，并重启本地电脑重新安装客户端。 天翼AI云电脑插入U盘识别不到U盘怎么处理？ 排查方法： 1. 插拔U盘并查看天翼AI云电脑【设备管理器】是否有有刷新； 2. 退出天翼云电脑客户端，查看本地电脑/瘦终端查看U盘是否可以正常识别； 3. 退出天翼云电脑客户端，插着U盘登录天翼AI云电脑，查看是否可以识别到U盘； 4. 更换U盘尝试； 在天翼AI云电脑中，插拔U盘，点击U盘无法打开怎么处理？ 1. 查看U盘格式，U盘格式为FAT32的识别慢于NTFS，如没有重要文件可以将U盘格式化为NTFS格式； 2. 查看天翼AI云电脑系统，Windows Server 2016系统桌面识别U盘速度高于Windows Server 2008系统桌面，如果客户没有特殊要求，建议使用Windows Server 2016系统； 3. 确认本地网络情况，对于弱网(如手机热点)，U盘文件容量大的时候识别速度较慢，建议更换有线网络后重试。

本小节主要介绍RDSPostgreSQL的teledbfirewall插件使用方法。 操作场景 RDSPostgreSQL支持 teledbfirewall插件，用于PostgreSQL的SQL黑名单扩展，旨在保护来自 SQL 注入或意外查询的数据库。 前提条件 请确保您的实例内核大版本满足，本插件所支持的内核版本，请参考支持的版本插件列表。 注意事项 1. 只支持explain verbose 可以输出的语句DML。 2. 安装插件后，可在管理控制台设置teledbfirewall.firewall参数并重启实例，详情请参见修改RDSPostgreSQL实例参数。 teledbfirewall.firewall取值如下： disable：关闭模式 blacklist：黑名单模式 插件使用 安装插件 sql CREATE EXTENSION IF NOT EXISTS teledbfirewall; 卸载插件 sql DROP EXTENSION IF EXISTS teledbfirewall; 使用示例 sql 1. 首先使用explain verbose xxx; 获取对应sql的query id explain verbose select count(1) from pgclass; 2. 使用函数 teledbappendblacklist 将获取的query id添加到黑名单中 select teledbappendblacklist(3307043014); 3. 查看当前黑名单内容 select from teledbfirewall.firewalltable; select from teledbfirewall.teledbfirewallstatements ; 4. 使用函数 teledbremoveblacklist(); 将对应id从黑名单中移除 select teledbremoveblacklist(3307043014);

本章节主要介绍自定义服务配置的使用方法。 操作场景 HDFS、YARN、Hive等服务含有大量配置项，为便于服务使用，您可使用自定义服务配置功能，在创建集群或新增服务前修改或添加配置项。 前提条件 当前支持用户对HDFS、Hive、Spark、HBase、YARN、Kyuubi的部分文件进行修改与添加配置项。其他组件服务暂不支持使用自定义服务配置功能。 操作步骤 1、支持用户在订购环节对所选服务进行配置修改与添加。 1）在翼MR订购页软件配置环节选择所需组件服务。 2）在软件配置环节，开启自定义服务配置开关。 3）在输入框中添加JSON 格式的配置信息。 2、支持用户在新增集群服务环节对所选服务的配置进行修改与添加。 1）在翼MR控制台集群服务管理页面选择需要新增部署的组件服务。 2）在弹窗中开启自定义服务配置开关。 3）在输入框中添加JSON 格式的配置信息。 配置说明 在创建集群或新增集群服务过程中，可通过自定义服务配置功能，添加JSON格式的配置文件，覆盖或添加集群服务的默认参数。JSON文件的内容示例如下： plaintext [ { "applicationName":"YARN", "configFileName":"mapredsite.xml", "configItemKey":"mapreduce.task.timeout", "configItemValue":"200000" }, { "applicationName":"HDFS", "configFileName":"hdfssite.xml", "configItemKey":"dfs.replication", "configItemValue":"2" } ] 参数含义说明： 参数名称 说明 applicationName 服务的名称。 configFileName 配置文件的名称。 configItemKey 配置项的名称。 configItemValue 该配置需要设置的具体内容。 针对不同文件自定义服务配置的修改方式有所不同 1、全文修改 部分配置文件只能进行全文覆盖。用户需要使用CONFCONTENT作为configItemKey，在configItemValue中输入转义后的配置文件内容，输入的配置文件内容会在部署后自动覆盖到服务对应的配置上。文件内容的字符串需要用户对常见字符进行转义，如双引号、单引号、换行符、反斜杠等。需要通过全文覆盖方式进行配置修改的文件如下： 服务名称 配置文件 HBase hbaseenv.sh HBase log4j.properties HDFS hadoopenv.sh YARN mapredenv.sh YARN yarnenv.sh Hive hiveenv.sh Hive hivelog4j2.properties Kyuubi kyuubienv.sh 2、按配置项修改 部分配置文件支持按配置项进行修改，支持修改的配置项如下： 说明 1）Kerberos的krb5.conf文件，只支持使用kerberosRealm作为configItemKey来配realm，暂不支持配置其它配置项。 2）Spark的sparkenv.sh文件中，customsparkenv配置项需要对参照上文全文修改的方式，对文件内容进行转义。 服务名称 配置文件 配置项 HBase hbasesite.xml hbase.cluster.distributed HBase hbasesite.xml hbase.coprocessor.abortonerror HBase hbasesite.xml hbase.coprocessor.master.classes HBase hbasesite.xml hbase.coprocessor.region.classes HBase hbasesite.xml hbase.master.kerberos.principal HBase hbasesite.xml hbase.master.keytab.file HBase hbasesite.xml hbase.master.loadbalancer.class HBase hbasesite.xml hbase.quota.enabled HBase hbasesite.xml hbase.quota.refresh.period HBase hbasesite.xml hbase.regionserver.kerberos.principal HBase hbasesite.xml hbase.regionserver.keytab.file HBase hbasesite.xml hbase.rest.authentication.kerberos.keytab HBase hbasesite.xml hbase.rest.authentication.kerberos.principal HBase hbasesite.xml hbase.rest.kerberos.principal HBase hbasesite.xml hbase.rootdir HBase hbasesite.xml hbase.security.authentication HBase hbasesite.xml hbase.security.authorization HBase hbasesite.xml hbase.superuser HBase hbasesite.xml hbase.thrift.kerberos.principal HBase hbasesite.xml hbase.thrift.keytab.file HBase hbasesite.xml hbase.tmp.dir HBase hbasesite.xml hbase.unsafe.stream.capability.enforce HBase hbasesite.xml hbase.wal.provider HBase hbasesite.xml hbase.zookeeper.property.clientPort HBase hbasesite.xml hbase.zookeeper.quorum HBase hbasesite.xml zookeeper.znode.parent HDFS coresite.xml dfs.datanode.cacheddfsused.check.interval.ms HDFS coresite.xml fs.AbstractFileSystem.jfs.impl HDFS coresite.xml fs.defaultFS HDFS coresite.xml fs.du.interval HDFS coresite.xml fs.getspaceused.jitterMillis HDFS coresite.xml fs.jfs.impl HDFS coresite.xml fs.permissions.umaskmode HDFS coresite.xml fs.trash.checkpoint.interval HDFS coresite.xml fs.trash.interval HDFS coresite.xml ha.failovercontroller.newactive.rpctimeout.m HDFS coresite.xml ha.failovercontroller.newactive.rpctimeout.ms HDFS coresite.xml ha.healthmonitor.rpctimeout.ms HDFS coresite.xml ha.zookeeper.quorum HDFS coresite.xml ha.zookeeper.sessiontimeout.ms HDFS coresite.xml hadoop.caller.context.enabled HDFS coresite.xml hadoop.kerberos.kinit.command HDFS coresite.xml hadoop.proxyuser.hdfs.groups HDFS coresite.xml hadoop.proxyuser.hdfs.hosts HDFS coresite.xml hadoop.proxyuser.hive.groups HDFS coresite.xml hadoop.proxyuser.hive.hosts HDFS coresite.xml hadoop.proxyuser.HTTP.groups HDFS coresite.xml hadoop.proxyuser.HTTP.hosts HDFS coresite.xml hadoop.proxyuser.httpfs.groups HDFS coresite.xml hadoop.proxyuser.httpfs.hosts HDFS coresite.xml hadoop.proxyuser.yarn.groups HDFS coresite.xml hadoop.proxyuser.yarn.hosts HDFS coresite.xml hadoop.rpc.protection HDFS coresite.xml hadoop.security.authtolocal HDFS coresite.xml hadoop.security.authentication HDFS coresite.xml hadoop.security.authorization HDFS coresite.xml hadoop.security.group.mapping HDFS coresite.xml hadoop.security.group.mapping.ldap.base HDFS coresite.xml hadoop.security.group.mapping.ldap.bind.password.file HDFS coresite.xml hadoop.security.group.mapping.ldap.bind.user HDFS coresite.xml hadoop.security.group.mapping.ldap.num.attempts HDFS coresite.xml hadoop.security.group.mapping.ldap.num.attempts.before.failover HDFS coresite.xml hadoop.security.group.mapping.ldap.posix.attr.uid.name HDFS coresite.xml hadoop.security.group.mapping.ldap.search.attr.group.name HDFS coresite.xml hadoop.security.group.mapping.ldap.search.attr.member HDFS coresite.xml hadoop.security.group.mapping.ldap.search.filter.group HDFS coresite.xml hadoop.security.group.mapping.ldap.search.filter.user HDFS coresite.xml hadoop.security.group.mapping.provider.ldap4users HDFS coresite.xml hadoop.security.group.mapping.provider.ldap4users.ldap.url HDFS coresite.xml hadoop.security.group.mapping.provider.shell4services HDFS coresite.xml hadoop.security.group.mapping.providers HDFS coresite.xml hadoop.security.group.mapping.providers.combined HDFS coresite.xml httpfs.proxyuser.mapred.groups HDFS coresite.xml httpfs.proxyuser.mapred.hosts HDFS coresite.xml io.compression.codec.lzo.class HDFS coresite.xml io.file.buffer.size HDFS coresite.xml ipc.client.connection.maxidletime HDFS coresite.xml ipc.server.listen.queue.size HDFS coresite.xml ipc.server.log.slow.rpc HDFS coresite.xml jeekefs.cachedir HDFS coresite.xml jeekefs.cachesize HDFS coresite.xml jeekefs.discovernodesurl HDFS coresite.xml jeekefs.meta HDFS coresite.xml jeekefs.serverprincipal HDFS coresite.xml topology.script.file.name HDFS hdfssite.xml dfs.block.access.token.enable HDFS hdfssite.xml dfs.blockreport.incremental.intervalMsec HDFS hdfssite.xml dfs.blockreport.initialDelay HDFS hdfssite.xml dfs.blockreport.intervalMsec HDFS hdfssite.xml dfs.blockreport.split.threshold HDFS hdfssite.xml dfs.blocksize HDFS hdfssite.xml dfs.client.failover.proxy.provider.ctyunns HDFS hdfssite.xml dfs.client.read.shortcircuit HDFS hdfssite.xml dfs.client.sockettimeout HDFS hdfssite.xml dfs.cluster.administrators HDFS hdfssite.xml dfs.datanode.address HDFS hdfssite.xml dfs.datanode.cacheddfsused.check.interval.ms HDFS hdfssite.xml dfs.datanode.data.dir HDFS hdfssite.xml dfs.datanode.data.dir.perm HDFS hdfssite.xml dfs.datanode.directoryscan.threads HDFS hdfssite.xml dfs.datanode.du.reserved.calculator HDFS hdfssite.xml dfs.datanode.du.reserved.pct HDFS hdfssite.xml dfs.datanode.failed.volumes.tolerated HDFS hdfssite.xml dfs.datanode.fileio.profiling.sampling.percentage HDFS hdfssite.xml dfs.datanode.handler.count HDFS hdfssite.xml dfs.datanode.http.address HDFS hdfssite.xml dfs.datanode.kerberos.principal HDFS hdfssite.xml dfs.datanode.keytab.file HDFS hdfssite.xml dfs.datanode.max.transfer.threads HDFS hdfssite.xml dfs.datanode.max.xcievers HDFS hdfssite.xml dfs.datanode.peer.stats.enabled HDFS hdfssite.xml dfs.domain.socket.path HDFS hdfssite.xml dfs.encrypt.data.transfer.cipher.suites HDFS hdfssite.xml dfs.ha.automaticfailover.enabled HDFS hdfssite.xml dfs.ha.fencing.methods HDFS hdfssite.xml dfs.ha.namenodes.ctyunns HDFS hdfssite.xml dfs.hosts.exclude HDFS hdfssite.xml dfs.image.transfer.bandwidthPerSec HDFS hdfssite.xml dfs.internal.nameservices HDFS hdfssite.xml dfs.journalnode.edits.dir.ctyunns HDFS hdfssite.xml dfs.journalnode.httpaddress HDFS hdfssite.xml dfs.journalnode.kerberos.internal.spnego.principal HDFS hdfssite.xml dfs.journalnode.kerberos.principal HDFS hdfssite.xml dfs.journalnode.keytab.file HDFS hdfssite.xml dfs.journalnode.rpcaddress HDFS hdfssite.xml dfs.namenode.accesstime.precision HDFS hdfssite.xml dfs.namenode.acls.enabled HDFS hdfssite.xml dfs.namenode.audit.log.async HDFS hdfssite.xml dfs.namenode.avoid.read.stale.datanode HDFS hdfssite.xml dfs.namenode.avoid.write.stale.datanode HDFS hdfssite.xml dfs.namenode.block.deletion.increment HDFS hdfssite.xml dfs.namenode.checkpoint.dir HDFS hdfssite.xml dfs.namenode.checkpoint.edits.dir HDFS hdfssite.xml dfs.namenode.checkpoint.period HDFS hdfssite.xml dfs.namenode.checkpoint.txns HDFS hdfssite.xml dfs.namenode.deletefiles.limit HDFS hdfssite.xml dfs.namenode.edit.log.autoroll.multiplier.threshold HDFS hdfssite.xml dfs.namenode.fslimits.maxdirectoryitems HDFS hdfssite.xml dfs.namenode.fslock.fair HDFS hdfssite.xml dfs.namenode.handler.count HDFS hdfssite.xml dfs.namenode.httpaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.httpaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.kerberos.internal.spnego.principal HDFS hdfssite.xml dfs.namenode.kerberos.principal HDFS hdfssite.xml dfs.namenode.keytab.file HDFS hdfssite.xml dfs.namenode.lock.detailedmetrics.enabled HDFS hdfssite.xml dfs.namenode.name.dir HDFS hdfssite.xml dfs.namenode.name.dir.restore HDFS hdfssite.xml dfs.namenode.quota.initthreads HDFS hdfssite.xml dfs.namenode.rpcaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.rpcaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.safemode.thresholdpct HDFS hdfssite.xml dfs.namenode.service.handler.count HDFS hdfssite.xml dfs.namenode.servicerpcaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.servicerpcaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.shared.edits.dir.ctyunns HDFS hdfssite.xml dfs.namenode.stale.datanode.interval HDFS hdfssite.xml dfs.namenode.startup.delay.block.deletion.sec HDFS hdfssite.xml dfs.namenode.support.allow.format HDFS hdfssite.xml dfs.namenode.write.stale.datanode.ratio HDFS hdfssite.xml dfs.nameservices HDFS hdfssite.xml dfs.permissions.superusergroup HDFS hdfssite.xml dfs.qjournal.selectinputstreams.timeout.ms HDFS hdfssite.xml dfs.qjournal.startsegment.timeout.ms HDFS hdfssite.xml dfs.qjournal.writetxns.timeout.ms HDFS hdfssite.xml dfs.replication HDFS hdfssite.xml dfs.replication.max HDFS hdfssite.xml dfs.web.authentication.kerberos.keytab HDFS hdfssite.xml dfs.web.authentication.kerberos.principal HDFS hdfssite.xml dfs.webhdfs.enabled HDFS hdfssite.xml hadoop.caller.context.enabled HDFS hdfssite.xml rpc.metrics.percentiles.intervals HDFS hdfssite.xml rpc.metrics.quantile.enable Hive hivesite.xml hive.auto.convert.join Hive hivesite.xml hive.auto.convert.sortmerge.join Hive hivesite.xml hive.auto.convert.sortmerge.join.to.mapjoin Hive hivesite.xml hive.compactor.initiator.on Hive hivesite.xml hive.default.fileformat Hive hivesite.xml hive.default.fileformat.managed Hive hivesite.xml hive.exec.compress.output Hive hivesite.xml hive.exec.dynamic.partition Hive hivesite.xml hive.exec.stagingdir Hive hivesite.xml hive.execution.engine Hive hivesite.xml hive.hook.proto.basedirectory Hive hivesite.xml hive.insert.into.multilevel.dirs Hive hivesite.xml hive.limit.optimize.enable Hive hivesite.xml hive.mapred.reduce.tasks.speculative.execution Hive hivesite.xml hive.merge.mapredfiles Hive hivesite.xml hive.metastore.authorization.storage.checks Hive hivesite.xml hive.metastore.warehouse.dir Hive hivesite.xml hive.metastore.warehouse.external.dir Hive hivesite.xml hive.optimize.bucketmapjoin Hive hivesite.xml hive.optimize.dynamic.partition.hashjoin Hive hivesite.xml hive.optimize.index.filter Hive hivesite.xml hive.optimize.metadataonly Hive hivesite.xml hive.optimize.remove.identity.project Hive hivesite.xml hive.server2.proxy.user Hive hivesite.xml hive.stats.fetch.column.stats Hive hivesite.xml hive.txn.strict.locking.mode Hive hivesite.xml hive.update.last.access.time.interval Hive hivesite.xml hive.user.install.directory Hive hivesite.xml hive.vectorized.execution.mapjoin.minmax.enabled Hive hivesite.xml hive.vectorized.execution.mapjoin.native.fast.hashtable.enabled Hive hivesite.xml hive.vectorized.groupby.checkinterval Hive hivesite.xml metastore.expression.proxy Kyuubi kyuubidefaults.conf kyuubi.backend.server.event.json.log.path Kyuubi kyuubidefaults.conf kyuubi.backend.server.event.loggers Kyuubi kyuubidefaults.conf kyuubi.delegation.token.renew.interval Kyuubi kyuubidefaults.conf kyuubi.ha.namespace Kyuubi kyuubidefaults.conf kyuubi.metrics.reporters Kyuubi kyuubidefaults.conf kyuubi.operation.getTables.ignoreTableProperties Kyuubi kyuubidefaults.conf kyuubi.session.engine.idle.timeout Kyuubi kyuubidefaults.conf kyuubi.session.idle.timeout Kyuubi kyuubidefaults.conf spark.master Kyuubi kyuubidefaults.conf spark.submit.deployMode Kyuubi kyuubidefaults.conf spark.yarn.queue Spark sparkdefaults.conf spark.driver.cores Spark sparkdefaults.conf spark.driver.extraJavaOptions Spark sparkdefaults.conf spark.driver.extraLibraryPath Spark sparkdefaults.conf spark.driver.maxResultSize Spark sparkdefaults.conf spark.driver.memory Spark sparkdefaults.conf spark.dynamicAllocation.enabled Spark sparkdefaults.conf spark.dynamicAllocation.initialExecutors Spark sparkdefaults.conf spark.dynamicAllocation.maxExecutors Spark sparkdefaults.conf spark.dynamicAllocation.minExecutors Spark sparkdefaults.conf spark.eventLog.dir Spark sparkdefaults.conf spark.executor.cores Spark sparkdefaults.conf spark.executor.extraJavaOptions Spark sparkdefaults.conf spark.executor.extraLibraryPath Spark sparkdefaults.conf spark.executor.heartbeatInterval Spark sparkdefaults.conf spark.executor.memory Spark sparkdefaults.conf spark.executorEnv.JAVAHOME Spark sparkdefaults.conf spark.files.openCostInBytes Spark sparkdefaults.conf spark.hadoop.mapreduce.output.fileoutputformat.compress Spark sparkdefaults.conf spark.hadoop.mapreduce.output.fileoutputformat.compress.codec Spark sparkdefaults.conf spark.hadoop.yarn.timelineservice.enabled Spark sparkdefaults.conf spark.history.fs.cleaner.enabled Spark sparkdefaults.conf spark.history.fs.cleaner.interval Spark sparkdefaults.conf spark.history.fs.cleaner.maxAge Spark sparkdefaults.conf spark.history.fs.logDirectory Spark sparkdefaults.conf spark.history.kerberos.enabled Spark sparkdefaults.conf spark.history.kerberos.keytab Spark sparkdefaults.conf spark.history.store.maxDiskUsage Spark sparkdefaults.conf spark.history.ui.maxApplications Spark sparkdefaults.conf spark.history.ui.port Spark sparkdefaults.conf spark.io.compression.lz4.blockSize Spark sparkdefaults.conf spark.kryo.unsafe Spark sparkdefaults.conf spark.kryoserializer.buffer.max Spark sparkdefaults.conf spark.locality.wait Spark sparkdefaults.conf spark.master Spark sparkdefaults.conf spark.memory.offHeap.enabled Spark sparkdefaults.conf spark.memory.offHeap.size Spark sparkdefaults.conf spark.network.timeout Spark sparkdefaults.conf spark.port.maxRetries Spark sparkdefaults.conf spark.rdd.parallelListingThreshold Spark sparkdefaults.conf spark.reducer.maxSizeInFlight Spark sparkdefaults.conf spark.resultGetter.threads Spark sparkdefaults.conf spark.rpc.io.backLog Spark sparkdefaults.conf spark.scheduler.maxReqisteredResourcesWaitingTime Spark sparkdefaults.conf spark.shuffle.accurateBlockThreshold Spark sparkdefaults.conf spark.shuffle.file.buffer Spark sparkdefaults.conf spark.shuffle.io.connectionTimeout Spark sparkdefaults.conf spark.shuffle.manager Spark sparkdefaults.conf spark.shuffle.mapOutput.dispatcher.numThreads Spark sparkdefaults.conf spark.shuffle.memoryFraction Spark sparkdefaults.conf spark.shuffle.push.enabled Spark sparkdefaults.conf spark.shuffle.push.maxBlockSizeToPush Spark sparkdefaults.conf spark.shuffle.push.merge.finalizeThreads Spark sparkdefaults.conf spark.shuffle.push.mergersMinStaticThreshold Spark sparkdefaults.conf spark.shuffle.readHostLocalDisk Spark sparkdefaults.conf spark.shuffle.service.enabled Spark sparkdefaults.conf spark.shuffle.unsafe.file.output.buffer Spark sparkdefaults.conf spark.speculation Spark sparkdefaults.conf spark.speculation.interval Spark sparkdefaults.conf spark.speculation.minTaskRuntime Spark sparkdefaults.conf spark.speculation.multiplier Spark sparkdefaults.conf spark.speculation.quantile Spark sparkdefaults.conf spark.sql.adaptive.coalescePartitions.initialPartitionNum Spark sparkdefaults.conf spark.sql.adaptive.coalescePartitions.minPartitionNum Spark sparkdefaults.conf spark.sql.adaptive.enabled Spark sparkdefaults.conf spark.sql.adaptive.forceApply Spark sparkdefaults.conf spark.sql.adaptive.forceOptimizeSkewedJoin Spark sparkdefaults.conf spark.sql.adaptive.shuffle.targetPostShuffleInputSize Spark sparkdefaults.conf spark.sql.autoBroadcastJoinThreshold Spark sparkdefaults.conf spark.sql.catalog.sparkcatalog Spark sparkdefaults.conf spark.sql.catalog.sparkcatalog.type Spark sparkdefaults.conf spark.sql.cbo.joinReorder.enabled Spark sparkdefaults.conf spark.sql.extensions Spark sparkdefaults.conf spark.sql.files.maxPartitionBytes Spark sparkdefaults.conf spark.sql.files.openCostInBytes Spark sparkdefaults.conf spark.sql.finalStage.adaptive.advisoryPartitionSizeInBytes Spark sparkdefaults.conf spark.sql.finalStage.adaptive.coalescePartitions.minPartitionNum Spark sparkdefaults.conf spark.sql.finalStage.adaptive.skewJoin.skewedPartitionFactor Spark sparkdefaults.conf spark.sql.finalStage.adaptive.skewJoin.skewedPartitionThresholdInBytes Spark sparkdefaults.conf spark.sql.hive.convertMetastoreOrc Spark sparkdefaults.conf spark.sql.hive.dropPartitionByName.enabled Spark sparkdefaults.conf spark.sql.inMemoryColumnarStorage.batchSize Spark sparkdefaults.conf spark.sql.join.preferSortMergeJoin Spark sparkdefaults.conf spark.sql.legacy.charVarcharAsString Spark sparkdefaults.conf spark.sql.legacy.timeParserPolicy Spark sparkdefaults.conf spark.sql.optimizer.finalStageConfigIsolation.enabled Spark sparkdefaults.conf spark.sql.optimizer.inferRebalanceAndSortOrders.enabled Spark sparkdefaults.conf spark.sql.optimizer.insertRepartitionBeforeWriteIfNoShuffle.enabled Spark sparkdefaults.conf spark.sql.optimizer.inSetConversionThreshold Spark sparkdefaults.conf spark.sql.optimizer.runtime.bloomFilter.creationSideThreshold Spark sparkdefaults.conf spark.sql.optimizer.runtime.bloomFilter.enabled Spark sparkdefaults.conf spark.sql.optimizer.runtimeFilter.number.threshold Spark sparkdefaults.conf spark.sql.optimizer.runtimeFilter.semiJoinReduction.enabled Spark sparkdefaults.conf spark.sql.orc.aggregatePushdown Spark sparkdefaults.conf spark.sql.orc.columnarReaderBatchSize Spark sparkdefaults.conf spark.sql.orc.enableNestedColumnVectorizedReader Spark sparkdefaults.conf spark.sql.parquet.aggregatePushdown Spark sparkdefaults.conf spark.sql.parquet.columnarReaderBatchSize Spark sparkdefaults.conf spark.sql.parquet.enableNestedColumnVectorizedReader Spark sparkdefaults.conf spark.sql.parquet.pushdown.inFilterThreshold Spark sparkdefaults.conf spark.sql.query.table.file.max.count Spark sparkdefaults.conf spark.sql.query.table.file.max.length Spark sparkdefaults.conf spark.sql.query.table.partition.max.count Spark sparkdefaults.conf spark.sql.sessionWindow.buffer.in.memory.threshold Spark sparkdefaults.conf spark.sql.shuffle.partitions Spark sparkdefaults.conf spark.sql.sources.parallelPartitionDiscovery.parallelism Spark sparkdefaults.conf spark.sql.sources.parallelPartitionDiscovery.threshold Spark sparkdefaults.conf spark.sql.statistics.fallBackToHdfs Spark sparkdefaults.conf spark.sql.storeAssignmentPolicy Spark sparkdefaults.conf spark.sql.subquery.maxThreadThreshold Spark sparkdefaults.conf spark.sql.support.block.inferior.sql Spark sparkdefaults.conf spark.storage.decommission.shuffleBlocks.maxThreads Spark sparkdefaults.conf spark.task.reaper.enabled Spark sparkdefaults.conf spark.unsafe.sorter.spill.reader.buffer.size Spark sparkdefaults.conf spark.yarn.appMasterEnv.JAVAHOME Spark sparkdefaults.conf spark.yarn.containerLauncherMaxThreads Spark sparkdefaults.conf spark.yarn.scheduler.heartbeat.intervalms Spark sparkdefaults.conf spark.yarn.scheduler.initialallocation.interval Spark sparkenv.sh customsparkenv Spark sparkenv.sh sparkengine YARN mapredsite.xml mapreduce.application.classpath YARN mapredsite.xml mapreduce.cluster.acls.enabled YARN mapredsite.xml mapreduce.framework.name YARN mapredsite.xml mapreduce.job.aclmodifyjob YARN mapredsite.xml mapreduce.job.counters.counter.name.max YARN mapredsite.xml mapreduce.job.counters.group.name.max YARN mapredsite.xml mapreduce.job.counters.groups.max YARN mapredsite.xml mapreduce.job.counters.max YARN mapredsite.xml mapreduce.jobhistory.admin.acl YARN mapredsite.xml mapreduce.jobhistory.bindhost YARN mapredsite.xml mapreduce.jobhistory.donedir YARN mapredsite.xml mapreduce.jobhistory.http.policy YARN mapredsite.xml mapreduce.jobhistory.intermediatedonedir YARN mapredsite.xml mapreduce.jobhistory.recovery.enable YARN mapredsite.xml mapreduce.jobhistory.recovery.store.leveldb.path YARN mapredsite.xml mapreduce.map.env YARN mapredsite.xml mapreduce.map.java.opts YARN mapredsite.xml mapreduce.map.log.level YARN mapredsite.xml mapreduce.map.memory.mb YARN mapredsite.xml mapreduce.map.output.compress YARN mapredsite.xml mapreduce.map.output.compress.codec YARN mapredsite.xml mapreduce.map.sort.spill.percent YARN mapredsite.xml mapreduce.map.speculative YARN mapredsite.xml mapreduce.output.fileoutputformat.compress YARN mapredsite.xml mapreduce.output.fileoutputformat.compress.codec YARN mapredsite.xml mapreduce.reduce.env YARN mapredsite.xml mapreduce.reduce.input.buffer.percent YARN mapredsite.xml mapreduce.reduce.java.opts YARN mapredsite.xml mapreduce.reduce.log.level YARN mapredsite.xml mapreduce.reduce.memory.mb YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.enabled YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.intervalms YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.timeoutms YARN mapredsite.xml mapreduce.reduce.shuffle.input.buffer.percent YARN mapredsite.xml mapreduce.reduce.shuffle.merge.percent YARN mapredsite.xml mapreduce.reduce.shuffle.parallelcopies YARN mapredsite.xml mapreduce.reduce.speculative YARN mapredsite.xml mapreduce.shuffle.port YARN mapredsite.xml mapreduce.task.io.sort.factor YARN mapredsite.xml mapreduce.task.io.sort.mb YARN mapredsite.xml mapreduce.task.timeout YARN mapredsite.xml yarn.app.mapreduce.am.env YARN mapredsite.xml yarn.app.mapreduce.am.log.level YARN mapredsite.xml yarn.app.mapreduce.am.resource.mb YARN mapredsite.xml yarn.app.mapreduce.am.stagingdir YARN yarnsite.xml hadoop.http.authentication.simple.anonymous.allowed YARN yarnsite.xml hadoop.http.filter.initializers YARN yarnsite.xml hadoop.registry.client.auth YARN yarnsite.xml yarn.acl.enable YARN yarnsite.xml yarn.logaggregation.retainseconds YARN yarnsite.xml yarn.logaggregationenable YARN yarnsite.xml yarn.nodelabels.enabled YARN yarnsite.xml yarn.nodelabels.fsstore.rootdir YARN yarnsite.xml yarn.nodemanager.address YARN yarnsite.xml yarn.nodemanager.containerexecutor.class YARN yarnsite.xml yarn.nodemanager.diskhealthchecker.maxdiskutilizationperdiskpercentage YARN yarnsite.xml yarn.nodemanager.localizer.cache.targetsizemb YARN yarnsite.xml yarn.nodemanager.localizer.client.threadcount YARN yarnsite.xml yarn.nodemanager.localizer.fetch.threadcount YARN yarnsite.xml yarn.nodemanager.log.retainseconds YARN yarnsite.xml yarn.nodemanager.logaggregation.compressiontype YARN yarnsite.xml yarn.nodemanager.logaggregation.debugenabled YARN yarnsite.xml yarn.nodemanager.logaggregation.numlogfilesperapp YARN yarnsite.xml yarn.nodemanager.logaggregation.rollmonitoringintervalseconds YARN yarnsite.xml yarn.nodemanager.recovery.dir YARN yarnsite.xml yarn.nodemanager.recovery.enabled YARN yarnsite.xml yarn.nodemanager.recovery.supervised YARN yarnsite.xml yarn.nodemanager.remoteapplogdir YARN yarnsite.xml yarn.nodemanager.remoteapplogdirsuffix YARN yarnsite.xml yarn.nodemanager.resource.cpuvcores YARN yarnsite.xml yarn.nodemanager.resource.memorymb YARN yarnsite.xml yarn.nodemanager.resource.percentagephysicalcpulimit YARN yarnsite.xml yarn.nodemanager.resourcemanager.connect.wait.secs YARN yarnsite.xml yarn.nodemanager.vmemcheckenabled YARN yarnsite.xml yarn.nodemanager.vmempmemratio YARN yarnsite.xml yarn.nodemanager.webapp.crossorigin.enabled YARN yarnsite.xml yarn.resourcemanager.clusterid YARN yarnsite.xml yarn.resourcemanager.fusing.enable YARN yarnsite.xml yarn.resourcemanager.fusingmaxapigetjobs YARN yarnsite.xml yarn.resourcemanager.ha.rmids YARN yarnsite.xml yarn.resourcemanager.hostname.rm1 YARN yarnsite.xml yarn.resourcemanager.hostname.rm2 YARN yarnsite.xml yarn.resourcemanager.maxcompletedapplications YARN yarnsite.xml yarn.resourcemanager.recovery.enabled YARN yarnsite.xml yarn.resourcemanager.scheduler.autocorrect.container.allocation YARN yarnsite.xml yarn.resourcemanager.scheduler.class YARN yarnsite.xml yarn.resourcemanager.scheduler.monitor.enable YARN yarnsite.xml yarn.resourcemanager.store.class YARN yarnsite.xml yarn.resourcemanager.webapp.address.rm1 YARN yarnsite.xml yarn.resourcemanager.webapp.address.rm2 YARN yarnsite.xml yarn.resourcemanager.webapp.crossorigin.enabled YARN yarnsite.xml yarn.scheduler.maximumallocationmb YARN yarnsite.xml yarn.scheduler.maximumallocationvcores YARN yarnsite.xml yarn.scheduler.minimumallocationmb YARN yarnsite.xml yarn.scheduler.minimumallocationvcores YARN yarnsite.xml yarn.timelineservice.client.besteffort YARN yarnsite.xml yarn.timelineservice.client.maxretries YARN yarnsite.xml yarn.timelineservice.enabled YARN yarnsite.xml yarn.timelineservice.httpcrossorigin.enabled YARN yarnsite.xml yarn.webapp.ui2.enable

常见问题 恢复数据 Q：如果没有备份该如何恢复数据？ A：通过DRS迁移数据，详见将PostgreSQL同步到PostgreSQL。 备份恢复操作 Q1：使用云数据库备份文件恢复自建数据库，数据库启动失败，报错信息“replication slot file xxx has corrupted length xxx”，如何处理？ A：手动删除“pgreplslot”目录下的所有文件和文件夹，删除完成后启动数据库。 Q2：常见报错“could not locate a valid checkpoint record”的原因，以及如何处理？ A：该错误通常表示数据库中的检查点记录已损坏或丢失，导致无法恢复数据库。一般情况下是wal日志没有被正常加载，建议参考6.b中的处理重新执行该命令。 RDS for PostgreSQL11版本恢复数据 Q1：RDS for PostgreSQL 11恢复到本地PostgreSQL 11时int4到text的类型转换时出现报错信息 “ERROR: internal function "int4text" is not in internal lookup table”时，如何处理？ A：使用postgres用户连接本地PostgreSQL 11数据库执行如下命令删除该类型转换规则，需要super user执行。 delete from pgcast where castsource 'int4'::regtype and casttarget 'text':: regtype; Q2：RDS for PostgreSQL 11恢复到本地PostgreSQL 11时多个类型转换函数报错，如何排查和处理？ A：分别在本地PostgreSQL 11和RDS for PostgreSQL 11执行如下SQL，并对比结果。 select oid, from pgcast order by 1; 对于RDS for PostgreSQL 11新增的类型转换规则，在本地PostgreSQL 11执行如下SQL全部删除。 delete from pgcast where castsource xxx and casttarget xxx;

本文主要介绍DRDS不支持的特性和使用时的限制。 SQL限制 SQL大类限制 不支持用户自定义数据类型、自定义函数。 不支持视图、存储过程、触发器、游标。 不支持BEGIN…END、LOOP…END LOOP、REPEAT…UNTIL…END REPEAT、WHILE…DO…END WHILE等复合语句。 不支类似IF，WHILE等流程控制类语句。 不支持SAVEPOINT操作。 不支持SQL里带schema操作。 小语法限制 DDL 不支持CREATE TABLE tblname LIKE oldtblname。 不支持CREATE TABLE tblname SELECT statement。 DML 不支持update分片键的值。 不支持SELECT INTO OUTFILE/INTO DUMPFILE/INTO varname。 不支持INSERT DELAYED Syntax。 不支持非WHERE条件的Correlate Subquery。 不支持SQL中带聚合条件的Correlate Subquery。 不支持Global的变更，比如SET GLOBAL varxx 或者SET @@global.varxx。 不支持SQL中对于变量的引用和操作，比如SET @c1, @d@c+1; SELECT @c, @d。 数据库管理 SHOW WARNINGS Syntax不支持LIMIT/COUNT的组合。 SHOW ERRORS Syntax不支持LIMIT/COUNT的组合。 SQL语句限制 union约束 使用union关键字的sql，要求其中涉及的分片表的分片规则及配置参数一致，使用union all关键字的sql则无此要求。 分片表不支持union/union all与聚合函数、limit、groupby、having、orderby等关键字联用。 不支持分片表和全局表union。 JDBC约束 不支持rewriteBatchedStatementstrue参数设置(默认为false)。 不支持useServerPrepStmtstrue参数设置(默认为false)。 BLOB, BINARY, VARBINARY字段不能使用setBlob()或setBinaryStream()方法设置参数。 库内分表约束

本文介绍关于如何查询SQL执行效率。 Explain 在解决数据库性能上，Explain命令是最常用的命令，大部分的性能问题可以通过此命令来找出SQL语句的查询瓶颈，以找到更为优化的SQL语句，达到更好的执行性能。 语法： EXPLAIN [ ( option [, ...] ) ] statement EXPLAIN [ ANALYZE ] [ VERBOSE ] statement 例子： EXPLAIN SELECT FROM foo; QUERY PLAN Seq Scan on foo (cost0.00..155.00 rows10000 width4) (1 row) 从该处可以简单地看到cpu耗费情况以及查询行数，运维人员可以简单判断查询是否正确使用索引，以保证足够好的查询效率。

功能类型 支持的链路 是否为商用链路 计费模式 说明 数据迁移 MySQL MySQL PostgreSQL PostgreSQL MongoDB/DDS MongoDB/DDS 商用链路 免费 公测期： 商用链路支持免费使用，为期 1个月 ；若需要使用时间超出1个月，请选择数据同步。 计划于2026年5月28日转商： 转商后，新订购商用链路实例采用按需计费模式，进入增量迁移阶段后开始计费。 数据迁移 MySQL PostgreSQL SQL Server SQL Server MySQL ClickHouse PostgreSQL MySQL 非商用链路 免费 公测期： 非商用链路支持手动续订，可按1个月周期续订。 计划于2026年5月28日转商： 转商后，存量实例不支持续订。新订购非商用链路实例采用按需计费模式，仍将继续免费提供，后续开始计费前提前至少30天通知。 数据同步 MySQL MySQL PostgreSQL PostgreSQL MongoDB/DDS MongoDB/DDS SQL Server SQL Server DRDS DRDS 商用链路 按需计费 已于 2025年7月 转商收费。 任务启动时开始计费，若目标端是云上数据库，前7天免费，从第8天开始收费。 目标端为云上数据库的含义： 1）单向同步时，目标库为天翼云数据库实例，即在配置任务时数据库来源选择“云数据库实例”。 2）双向同步时，源端和目标端数据库均为“天翼云数据库实例”。 数据同步 MySQL MySQL PostgreSQL PostgreSQL MongoDB/DDS MongoDB/DDS SQL Server SQL Server DRDS DRDS 商用链路 包年/包月 已于 2025年7月 转商收费。 实例开通时开始计费。包年预付费有优惠。