DLI核心引擎：Spark+Flink Spark是用于大规模数据处理的统一分析引擎，聚焦于查询计算分析。DLI在开源Spark基础上进行了大量的性能优化与服务化改造，不仅兼容Apache Spark生态和接口，性能较开源提升了2.5倍，在小时级即可实现EB级数据查询分析。 Flink是一款分布式的计算引擎，可以用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时地处理一些实时数据流，实时地产生数据的结果。DLI在开源Flink基础上进行了特性增强和安全增强，提供了数据处理所必须的Stream SQL特性。 DLI服务架构：Serverless DLI是无服务器化的大数据查询分析服务，其优势在于： 自动扩缩容：根据业务负载，对计算资源进行预估和自动扩缩容。 如何访问DLI 服务平台提供了Web化的服务管理平台，既可以通过管理控制台和基于HTTPS请求的API（Application programming interface）管理方式来访问DLI，又可以通过JDBC客户端连接DLI服务端。 管理控制台方式 提交SQL作业、Spark作业或Flink作业，均可以使用管理控制台方式访问DLI服务。 API方式 如果用户需要将云平台上的DLI服务集成到第三方系统，用于二次开发，可以使用API方式访问DLI服务。

实例类型 支持驱动类型 自动安装支持的驱动版本 预装驱动的镜像 手动安装驱动版本支持 GPU计算加速型PN8I/P8A/PI7/P2V/P2VS/PI2 Tesla 驱动 CUDA 9.2.0.82 Driver 550.90.07 CUDNN 9.2.0.82 Ubuntu Server 20.04 64 位预装 NVIDIA Tesla 550.90.07 驱动 Ubuntu Server 22.04 64 位预装 NVIDIA Tesla 550.90.07 驱动 CentOS Linux 7.9 64 位预装 NVIDIA Tesla 550.90.07 驱动 CTyunOS 2.0.1 64 位 预装NVIDIA Tesla 550.90.07驱动 无特殊要求，NVIDIA官方支持版本即可。 GPU计算加速型PN8I/P8A/PI7/P2V/P2VS/PI2 GRID 驱动 Windows2019DataCenterGRID13.2 注：预装驱动版本GRID13.2；部分资源池暂不支持。 GRID14（ Driver 514.08） GPU图形加速基础型G5/G6 GRID 驱动 Windows Server 2016 Standard 64bit Windows Server 2012 Standard 64bit CentOS 7.5 64bit CentOS 7.6 64bit Ubuntu Server 16.04 64bit 注：预装驱动版本GRID9.1 GRID9.09.4（Driver 430.30432.44） GPU图形加速基础型G7/G5S GRID 驱动 非多AZ资源池 Windows Server 2019 DataCenter 64bit Windows Server 2016 DataCenter 64bit Windows Server 2012 DataCenter 64bit 多AZ资源池 Windows Server 2019 DataCenter 64bit Windows Server 2016 DataCenter 64bit Windows Server 2012 DataCenter 64bit CentOS 8.1 64bit CentOS 8.2 64bit Ubuntu Server 20.04 64bit 注：预装驱动版本GRID13.2 GRID13.013.8(Driver 470.63.01474.44)

各实例规格支持自动安装/预装的驱动版本 实例类型 支持驱动类型 自动安装支持的驱动版本 预装驱动的镜像 手动安装驱动版本支持 GPU计算加速型PN8I/P8A/PI7/P2V/P2VS/PI2 Tesla 驱动 CUDA 9.2.0.82 Driver 550.90.07 CUDNN 9.2.0.82 Ubuntu Server 20.04 64 位预装 NVIDIA Tesla 550.90.07 驱动 Ubuntu Server 22.04 64 位预装 NVIDIA Tesla 550.90.07 驱动 CentOS Linux 7.9 64 位预装 NVIDIA Tesla 550.90.07 驱动 CTyunOS 2.0.1 64 位 预装NVIDIA Tesla 550.90.07驱动 无特殊要求，NVIDIA官方支持版本即可。 GPU计算加速型PN8I/P8A/PI7/P2V/P2VS/PI2 GRID 驱动 Windows2019DataCenterGRID13.2 注：预装驱动版本GRID13.2；部分资源池暂不支持。 GRID14（ Driver 514.08）NVIDIA Virtual GPU (vGPU) Software Documentation GPU图形加速基础型G5/G6 GRID 驱动 Windows Server 2016 Standard 64bit Windows Server 2012 Standard 64bit CentOS 7.5 64bit CentOS 7.6 64bit Ubuntu Server 16.04 64bit 注：预装驱动版本GRID9.1 GRID9.09.4（Driver 430.30432.44） GPU图形加速基础型G7/G5S GRID 驱动 非多AZ资源池 Windows Server 2019 DataCenter 64bit Windows Server 2016 DataCenter 64bit Windows Server 2012 DataCenter 64bit 多AZ资源池 Windows Server 2019 DataCenter 64bit Windows Server 2016 DataCenter 64bit Windows Server 2012 DataCenter 64bit CentOS 8.1 64bit CentOS 8.2 64bit Ubuntu Server 20.04 64bit 注：预装驱动版本GRID13.2 GRID13.013.8(Driver 470.63.01474.44)

天翼云数据传输服务DTS(TeleDB DTS)是一种集数据迁移和数据实时同步于一体的数据传输服务。它支持关系型数据库、NoSQL数据库间的数据传输,致力于解决远距离、毫秒级异步数据传输难题。

本文主要介绍统计分析概述。 云日志服务提供日志分析功能，支持通过自定义SQL语句与交互模式构造分析场景，本文介绍日志分析功能的基本操作。 通过SQL语句分析 云日志服务提供一套查询分析语句，由查询条件与SQL语句组成，两者通过管道符竖线 分割。 查询条件：通过查询条件指定日志内容需要匹配的条件，返回符合该条件的日志。例如使用 'status:404' 查询响应状态码为404的日志。检索条件为空代表无检索条件，即所有日志均可被查询出来。 SQL语句：通过SQL语句可针对符合检索条件的日志进行统计分析，返回统计分析结果。例如使用以下查询分析语句，统计响应状态码为404的日志数量 plaintext status:404 select count() as num SQL语法与使用说明请查看SQL语法。 操作步骤 1. 登录云日志服务控制台。 2. 在日志管理页面的日志项目列表中，点击已创建的日志单元名称，进入日志单元详情页面。 3. 在日志单元详情页面中，即可查看当前日志单元中的日志数据。 4. 查询框由查询语句和SQL分析语句组成，两者通过管道符联动。详情请见查询语句语法与SQL语法。 5. 选择需要查询分析日志的时间段范围，时间范围有两种方式，分别是相对时间和自定义时间。您可以根据自己的实际需求，选择时间范围。 1. 相对时间：表示查询距离当前时间5分钟、1小时等时间区间的日志数据。例如当前时间为20:10:05，设置相对时间1小时，表示查询19:10:05~20:10:05的日志数据，可在时间选择界面左侧直接选择相对时间。 2. 自定义时间：表示查询指定时间范围的日志数据，可在界面右侧设置自定义时间。

本章节主要介绍翼MapReduce组件Spark使用的常见问题。 问题说明 使用Spark SQL 访问Hive 表的一个表分区，但是运行速度却很慢。 分析样例： select x,y from test where x1 （其中x是test表的 Partition 字段） 原因分析 按照spark 源码逻辑，在解析逻辑计划时候回去调用 getPartitionsByFilter方法 去hive中只提取 x1 分区信息。 但是由于一些原因，导致getPartitionsByFilter 的谓词下推失败，从而去全表扫描所有test的分区信息，并返回。 例如，我们x字段是String类型，但是我们的SQL中不是 where x’1’ ，而是where x1 ，这就导致了谓词下推失败。 出现hive分区表谓词下推失败的情况，我们可以做如下处理： 我们需要去检查sql中的写法是否正确。 可以关闭SQL逻辑计划解析过程中的谓词下推逻辑。 处理步骤 关闭SQL逻辑计划解析过程中的谓词下推逻辑，具体是Spark SQL默认开启基于分区统计信息的执行计划优化，相当于自动执行Analyze Table（默认开启的设置方法为spark.sql.statistics.fallBackToHdfstrue，可通过配置为false关闭）。 开启后，SQL执行过程中会扫描表的分区统计信息，并作为执行计划中的代价估算，例如对于代价评估中识别的小表，会广播小表放在内存中广播到各个节点上，进行join操作，大大节省shuffle时间。 此开关对于Join场景有较大的性能优化，但是会带来 获取分区表信息RPC请求 的增加。 在SparkSQL中设置以下参数后再运行： set spark.sql.statistics.fallBackToHdfsfalse; 或者在启动之前使用conf设置这个值为false： conf spark.sql.statistics.fallBackToHdfsfalse

本章节介绍如何重启实例。 操作场景 您可能需要重启数据库实例，通常是出于维护目的。例如：对于某些运行参数修改，需要重启单个实例使之生效。您可通过控制台对主机和只读实例执行重启操作。 只有实例状态为可用时才能进行重启操作，但正在执行备份或创建只读副本任务的实例不能重启。 注意 如果数据库实例未处于“正常”状态，则无法重启该实例。您的数据库可能会由于几个原因而不可用，例如，正在进行备份或以前请求的修改操作。 重启数据库实例会重新启动数据库引擎服务。重启数据库实例将导致短暂中断，在此期间，数据库实例状态将显示为“重启中”。 重启过程中，实例将不可用。重启后实例会自动释放内存中的缓存，请注意对业务进行预热，避免业务高峰期出现阻塞。 操作步骤 1、登录管理控制台。 2、单击管理控制台左上角的，选择区域和项目。 3、选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。 4、在“实例管理”页面，选择指定的主实例，或者单击展开只读实例，单击“更多 > 重启实例”。 您也可以在“实例管理”页面，单击目标实例名称，在页面右上角，单击“重启实例”。 重启实例时，如果是主备实例，对应的备实例也会被同步重启。 5、在“重启实例”弹框，单击“是”重启实例。 6、稍后刷新实例列表，查看重启结果。如果实例状态为“正常”，说明实例重启成功。

安装MySQL 1. 依次执行以下命令，安装MySQL。 plaintext rpm Uvh yum y install mysqlcommunityserver 2. 依次执行以下命令，启动MySQL服务并设置开机自启动。 plaintext systemctl start mysqld systemctl enable mysqld 3. 执行以下命令，获取安装MySQL时自动设置的root用户密码。 plaintext grep 'temporary password' /var/log/mysqld.log 回显如下类似信息。 plaintext 20180829T07:27:37.541944Z 1 [Note] A temporary password is generated for root@localhost: 2YY?3uHUA?Ys 4. 执行以下命令，并按照回显提示信息进行操作，加固MySQL。 plaintext mysqlsecureinstallation Securing the MySQL server deployment. Enter password for user root: 输入上一步骤中获取的安装MySQL时自动设置的root用户密码 The existing password for the user account root has expired. Please set a new password. New password: 设置新的root用户密码 Reenter new password: 再次输入密码 The 'validatepassword' plugin is installed on the server. The subsequent steps will run with the existing configuration of the plugin. Using existing password for root. Estimated strength of the password: 100 Change the password for root ? ((Press yY for Yes, any other key for No) : N 是否更改root用户密码，输入N ... skipping. By default, a MySQL installation has an anonymous user, allowing anyone to log into MySQL without having to have a user account created for them. This is intended only for testing, and to make the installation go a bit smoother. You should remove them before moving into a production environment. Remove anonymous users? (Press yY for Yes, any other key for No) : Y 是否删除匿名用户，输入Y Success. Normally, root should only be allowed to connect from 'localhost'. This ensures that someone cannot guess at the root password from the network. Disallow root login remotely? (Press yY for Yes, any other key for No) : Y

参数 描述 i server 或 item server 设置iSCSI target迁移。 n TARGETNAME 或 name TARGETNAME iSCSI target名称。 m { SOURCESERVERID:DESTSERVERID }&<1n> 或 migrate { SOURCESERVERID:DESTSERVERID }&<1n> 指定target对应的源服务器ID和目标服务器ID。 说明 可以指定多组源服务器ID和目标服务器ID，以英文逗号隔开。 f 或 force 强制迁移iSCSI target。 注意 目前仅支持强制迁移iSCSI target，强制迁移iSCSI target可能造成数据丢失。

[server 3/3] [module 4/12] 20260311 13:46:27 CST+0800 Upgrading mdm for hblock2 Check[√], Stop[√], Update[√], Start[√] [server 1/3] [module 5/12] 20260311 13:46:38 CST+0800 Upgrading mdm for hblock1 Check[√], Stop[√], Update[√], Start[√] [server 2/3] [module 5/12] 20260311 13:46:53 CST+0800 Upgrading mdm for hblock3 Update[√] [server 3/3] [module 5/12] 20260311 13:46:57 CST+0800 Upgrading ds1 for hblock1 Check[√], Stop[√], Update[√], Start[√] [service 1/1] [server 1/3] [module 6/12] 20260311 13:47:10 CST+0800 Upgrading ds1 for hblock2 Check[√], Stop[√], Update[√], Start[√] [service 1/1] [server 2/3] [module 6/12] 20260311 13:47:21 CST+0800 Upgrading ds1 for hblock3 Check[√], Stop[√], Update[√], Start[√] [service 1/1] [server 3/3] [module 6/12] 20260311 13:47:32 CST+0800 Upgrading rb for hblock1 Check[√], Stop[√], Update[√] [server 1/3] [module 7/12] 20260311 13:47:39 CST+0800 Upgrading rb for hblock2 Check[√], Stop[√], Update[√] [server 2/3] [module 7/12] 20260311 13:47:45 CST+0800 Upgrading rb for hblock3 Check[√], Stop[√], Update[√]

本文介绍了数据管理服务使用DMS操作审计有效记录了用户进行的操作，数据管理服务DMS会对用户的操作行为做出高风险、中风险、低风险三种等级的风险评估。DMS操作审计功能只对超级管理员和管理员开放。 前提条件 登录用户的角色为超级管理员、系统管理员、审计管理员。 对组织内的实例、用户角色、组织信息、团队信息进行变更以生成操作审计记录。 操作步骤 1. 用户登录DMS系统。 2. 在左侧菜单栏依次点击 安全协作 > 操作审计 。 3. 点击DMS操作审计标签，进入审计界面。 注意事项 DMS操作审计的日志记录基础版可保存7天，企业版可保存180天。 DMS操作审计不会审计所有的用户操作，例如查看团队内的实例列表、查看/更改个人用户信息等常规系统操作，不具备风险威胁，将不会被审计。 仅超级管理员、系统管理员、审计管理员可以进入DMS操作审计界面，查看操作审计的相关记录。 功能介绍 DMS操作审计记录了用户于何时对DMS系统的哪个菜单进行了某个事件操作，并对该事件操作给出高风险、中风险、低风险三种等级的风险评估。同时也会对实例信息、工单信息、操作内容、操作结果进行记录。 DMS操作审计搜索 DMS操作审计支持的搜索项包括执行时间、操作风险、操作用户、实例名称、实例地址、工单号、功能菜单、事件类型、操作结果。其中操作用户、实例名称、实例地址、工单号等搜索项支持模糊搜索。功能菜单是一个二级搜索框，用户需要先在数据资产、开发空间、SQL治理、安全协作、智能运维、个人中心 选择一项，进而在弹出的选项中选择二级菜单。若用户想清除已经选择的搜索项，可以点击重置按钮。

哪些资源池可以订购分布式缓存服务Redis版？ 天翼云分布式缓存服务Redis版可以在以下资源池订购： （1）华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 （2）芜湖2、合肥2、南京3、九江、上海7、杭州2、福州25、福州4、佛山3、海口2、武汉4、郴州2、贵州3、成都4、拉萨3、昆明2、重庆2、西安4、乌鲁木齐4、乌鲁木齐27、石家庄20、內蒙6、晋中、 北京5 Redis实例的CPU规格是怎么样的？ 不同规格实例类型CPU规格也不相同，您无须关注实例的CPU规格，只需关注内存规格即可。 以下是对核心指标的简要解释： QPS（每秒查询率）： 衡量Redis每秒处理查询请求的能力。对于高性能应用，较高的QPS通常是一个关键指标。 带宽： 指的是Redis实例与其它系统或应用程序之间的数据传输速率。带宽的大小直接关系到数据的传输效率。 内存大小： Redis主要使用内存来存储数据，因此内存大小是一个至关重要的指标。用户需要确保分配给Redis的内存足够存储数据，并能够满足性能要求。 账户里面有钱，为什么无法创建按需付费Redis实例？ 请检查您的账户金额是否小于100元，如果小于100元，则无法创建新的Redis实例。 （1）预存后付费方式：提前充值现金到天翼云账户中，现金账户余额不低于100元，之后系统按照用户实际使用量进行结算。 （2）计费周期：按小时计费，以自然小时为计费单位（均以北京时间为准），不满一小时按照一小时计费。费用从用户账户现金余额中扣费。开通时间建议整点开通，开通不足一个自然小时，按一小时收费。提前删除也按照自然小时收费。

本章节会介绍如何重启实例。 操作场景 您可能需要重启数据库实例，通常是出于维护目的。例如：对于某些运行参数修改，需要重启单个实例使之生效。您可通过控制台对主机和只读实例执行重启操作。 只有实例状态为可用时才能进行重启操作，但正在执行备份或创建只读副本任务的实例不能重启。 注意 如果数据库实例未处于“正常”状态，则无法重启该实例。您的数据库可能会由于几个原因而不可用，例如，正在进行备份或以前请求的修改操作。 重启数据库实例会重新启动数据库引擎服务。重启数据库实例将导致短暂中断，在此期间，数据库实例状态将显示为“重启中”。 重启过程中，实例将不可用。重启后实例会自动释放内存中的缓存，请注意对业务进行预热，避免业务高峰期出现阻塞。 操作步骤 步骤 1 登录管理控制台。 步骤 2 单击管理控制台左上角的，选择区域和项目。 步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。 步骤 4 在“实例管理”页面，选择指定的主实例，或者单击展开只读实例，单击“更多 > 重启实例”。 您也可以在“实例管理”页面，单击目标实例名称，在页面右上角，单击“重启实例”。 重启实例时，如果是主备实例，对应的备实例也会被同步重启。 步骤 5 在“重启实例”弹框，单击“是”重启实例。 步骤 6 稍后刷新实例列表，查看重启结果。如果实例状态为“正常”，说明实例重启成功。

本节介绍了一键清理Binlog的操作场景、注意事项、操作步骤等相关内容。 操作场景 RDS for MySQL支持一键清理本地Binlog日志，释放磁盘空间。 Binlog本地设置和一键清理Binlog 基于Binlog本地设置的保留时长下，一键清理功能会去清理那些超过保留时长的Binlog。 注意事项 清理Binlog有一定延迟，每次操作后请查看磁盘空间是否释放，请勿重复多次下发。 无法一键清理的Binlog： − 未备份到OBS的本地Binlog − 备机还没有同步完成的Binlog − 使用增量备份解析工具还未接收完成的Binlog 操作步骤 步骤 1 登录管理控制台。 步骤 2 单击管理控制台左上角的 ，选择区域。 步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。 步骤 4 在“实例管理”页面，选择目标实例，单击实例名称，进入实例的“基本信息”页签。 步骤 5 在左侧导航栏，单击“备份恢复”，在“Binlog备份”子页签下，单击“一键清理Binlog”。 步骤 6 在“一键清理Binlog”弹出框中，单击“确定”。 结束

本节介绍Web基础防护类常见问题。 如何将Web基础防护的仅记录模式切换为拦截模式？ 执行以下操作完成Web基础防护的防护模式切换： 步骤1 登录管理控制台。 步骤2 单击管理控制台右上角，选择区域或项目。 步骤3 单击页面左上方的，选择“安全 >Web应用防火墙（独享版）”。 步骤4 在左侧导航树中，选择“网站设置”，进入“网站设置”页面。 步骤5 在目标域名所在行的“防护策略”栏中，单击“配置防护策略”，进入“防护策略”页面。 步骤6 在“Web基础防护”配置框中，选择“拦截”模式。 Web基础防护支持设置哪几种防护等级？ Web基础防护设置了三种防护等级：“宽松”、“中等”、“严格”，默认为“中等”。防护等级相关说明如表所示。 防护等级 说明 宽松 防护粒度较粗，只拦截攻击特征比较明显的请求。 当误报情况较多的场景下，建议选择“宽松”模式。 中等 默认为“中等”防护模式，满足大多数场景下的Web防护需求。 严格 防护粒度最精细，可以拦截具有复杂的绕过特征的攻击请求，例如jolokia网络攻击、探测CGI漏洞、探测Druid SQL注入攻击。 建议您等待业务运行一段时间后，根据防护效果配置误报屏蔽规则，再开启“严格”模式，使WAF能有效防护更多攻击。

本文介绍如何创建用户。 操作步骤 1. 在天翼云官网首页的顶部菜单栏，选择产品 > 数据库 > 关系型数据库 > 分布式关系型数据库 ，进入分布式关系型数据库产品页面。然后单击管理控制台 ，进入概览页面。 2. 在左侧导航栏，选择DRDS > 实例管理，进入实例列表页面。然后在顶部菜单栏，选择区域和项目。 3. 在实例列表中，找到目标实例，单击操作 列的管理 ，进入实例基本信息页面。 4. 在左侧导航栏，选择用户与角色管理 ，进入用户管理页面。 5. 单击创建用户。 6. 在创建用户 面板中，配置如下参数，然后单击确定。 参数 说明 用户名 用户名称，由数字、字母、短横线、下划线组成，并且只能以字母开头。 密码安全策略 配置密码的安全策略，取值范围： 复杂度低临时有效：1.密码无限制；2.密码有效期15天；3.旧密码可重用。 复杂度中短期有效：1.密码长度最少8位，大小写字母，数字，特殊符号必须包含至少2种；2.密码有效期30天；3.旧密码可重用。 复杂度高中期有效：1.密码长度最少8位，大小写字母，数字，特殊符号必须包含至少3种；2.密码有效期90天；3.旧密码不能重用。 复杂度高长期有效：1.密码长度最少8位，大小写字母，数字，特殊符号必须包含至少3种；2.密码有效期365天；3.旧密码不能重用。 复杂度高永久有效：1.密码长度最少8位，大小写字母，数字，特殊符号必须包含至少3种；2.密码永久有效；3.旧密码可重用。 密码 密码复杂度需要符合密码安全策略。 管理命令权限 开启后用户具备管理命令的权限。 过载保护名单 开启后用户加入过载保护白名单。 前端连接数不受限 开启后用户不受前端最大连接数限制。 角色 用户关联角色后，拥有角色设置的权限。 说明 创建用户时可以关联已创建的角色，角色相关内容请参见角色管理。 如果您当前未创建角色，则无法设置该参数，您可以在创建用户和角色后，通过编辑用户为该用户关联角色。 具有Hint权限 开启后用户具有Hint权限。

本小节主要介绍RDSPostgreSQL的pgstatkcache插件使用方法。 操作场景 RDSPostgreSQL支持 pgstatkcache插件，可以统计在文件系统层面的读写信息。 前提条件 请确保您的实例内核大版本满足，本插件所支持的内核版本，请参考支持的版本插件列表。 插件使用 安装插件 sql CREATE EXTENSION IF NOT EXISTS pgstatkcache; 卸载插件 sql DROP EXTENSION IF EXISTS pgstatkcache; 使用示例 查看统计信息 sql SELECT FROM pgstatkcache(); 重置统计信息 sql select pgstatkcachereset();

本页主要介绍SQL审计功能的下线原因、影响和建议。 原因 由于SQL审计功能对资源要求高，部分资源池受架构限制无法承担某些业务场景。天翼云决定于2023年10月19日起下线部分资源池SQL审计功能。 影响 2023年10月19日起，下列资源池所有实例无法再使用SQL审计功能。 涉及资源池：杭州2、合肥2、衡阳3、九江、南京3、保定、北京4、北京5、晋中、内蒙古5、内蒙古6、石家庄20、雄安2、上海6、上海7、芜湖2、郴州2、佛山3、福州3、福州4、广州X节点、海口2、泉州1、武汉4、乌鲁木齐4、乌鲁木齐27、西安3、西安4、西安5、中卫2、成都4、贵州3、昆明2、拉萨3、重庆2、帆豫智联、福州25、广州6等I 类型资源池。 建议 为满足用户业务场景需求，后续SQL审计功能在架构上进行功能调整，对标友商的使用情况，将借助数据管理服务DMS提供更完整的审计能力。

组件使用常见问题 1、metricsserver组件常见无监控数据问题 分为两种情况： 执行kubectl top pod/node无监控数据输出 首先检查metricsserver的API Service是否正常，参见下属命令： 如果执行结果显示为true，表示metricsserver的API Service运行正常。 如果metricsserver的API Service不正常，在metricsserver所在的Node节点检查metricsserver的443端口是否可以在集群中正常访问。如果否，则尝试通过删除metricsserver的Pod的方式重启metricsserver。 执行kubectl top pod/node输出数据不全 根据输出结果检查是否某一特定node上无监控数据输出，如果是，请检查节点是否存在时区漂移，可以通过NTP服务器的date命令进行时区校验。 2、cubenodelocaldns组件使用中未自动注入DNSConfig至新创建pod中 请检查以下情况： 新建Pod如果位于kubesystem和kubepublic命名空间则不进行DNSConfig注入； 新建Pod所在命名空间的Labels标签包含nodelocaldnsinjectionenabled； 新建Pod的网络为hostNetwork且DNSPolicy为ClusterFirstWithHostNet，或Pod为非hostNetwork且DNSPolicy为ClusterFirst。

参数 参数说明 作业名称 作业名称，只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 说明 建议不同的作业设置不同的名称。 SQL类型 SQL查询语句提交类型。 SQL Script SQL语句 “SQL类型”参数为“SQL”时参数有效，请输入待运行的SQL语句，然后单击“检查”来检查SQL语句的正确性，确保输入语句正确。如果同时需要提交多条语句并执行，使用“;”分隔不同语句。 SQL文件 “SQL类型”参数为“Script”时参数有效，待执行SQL文件的路径，需要满足以下要求。 最多为1023字符，不能包含;l&>,<'$特殊字符，且不可为空或全空格。 执行程序路径可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS：以“obs://”开头。示例： obs://wordcount/program/xxx.jar。 HDFS：以“/user”开头。数据导入HDFS请参考 说明 存储在OBS上的文件路径支持以“obs://”开头格式。如需使用该格式提交作业，访问OBS需要配置对应权限。 创建集群时开启“OBS权限控制”功能时，可直接使用“obs://”路径，无需单独配置。 创建集群时未开启或不支持“OBS权限控制”功能时，请参考 运行程序参数 可选参数，为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 常用运行程序参数如下表“运行程序参数”。 服务配置参数 可选参数，用于为本次执行的作业修改服务配置参数。该参数的修改仅适用于本次执行的作业，如需对集群永久生效，请参考 增加，如需删除参数，请单击右侧“删除”。 常用服务配置参数如下表“服务配置参数”。 命令参考 用于展示提交作业时提交到后台执行的命令。

参数 描述 数据库实例名称 默认为创建迁移任务时选择的关系型数据库实例，不可进行修改。 数据库用户名 源数据库对应的数据库用户名。 数据库密码 源数据库对应的数据库密码。任务为启动中、全量迁移、增量迁移、增量迁移失败状态时，可在“基本信息”页面的“迁移信息”区域，单击“源库密码”后的“替换密码”，在弹出的对话框中修改密码。

天翼云数据传输服务DTS(TeleDB DTS)是一种集数据迁移和数据实时同步于一体的数据传输服务。它支持关系型数据库、NoSQL数据库间的数据传输,致力于解决远距离、毫秒级异步数据传输难题。

Spark SQL作业操作步骤 在“ 设置 > 参数配置”中配置如下参数，其中x为优先级取值。 spark.sql.dli.job.priorityx 1. 登录DLI管理控制台。 2. 单击“作业管理 > SQL作业”。 3. 选择待配置的作业，单击操作列下的编辑。 4. 在“ 设置 > 参数配置”中配置spark.sql.dli.job.priority参数。

相关软件及获取方式 PV driver Windows私有镜像优化过程中，使用的PV driver软件包及获取路径如下表所示。 PV driver软件包及获取路径 软件包 适用操作系统 获取方式 ::: pvdriverwin2008R264bit.zip Windows Server 2008 R2 64bit pvdriverwin201264bit.zip Windows Server 2012 64bit pvdriverwin2012R264bit.zip Windows Server 2012 R2 64bit pvdriverwin201664bit.zip Windows Server 2016 64bit UVP VMTools Windows私有镜像优化过程中，使用的UVP VMTools软件包及获取路径如下表所示。 UVP VMTools软件包及获取路径 软件包 适用操作系统 获取方式 ::: vmtoolsWIN2008x86.zip Windows Server 2008x86 vmtoolsWIN2008x64.zip Windows Server 2008x64 vmtoolsWIN2008R2x64.zip Windows Server 2008 R2x64 vmtoolsWIN2012x64.zip Windows Server 2012x64 vmtoolsWIN2012R2x64.zip Windows Server 2012 R2x64 vmtoolsWIN2016x64.zip Windows Server 2016x64 Windows Server 2019x64

参数 参数说明 作业名称 作业名称，只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 说明 建议不同的作业设置不同的名称。 SQL类型 SQL查询语句提交类型。 SQL Script SQL语句 “SQL类型”参数为“SQL”时参数有效，请输入待运行的SQL语句，然后单击“检查”来检查SQL语句的正确性，确保输入语句正确。如果同时需要提交多条语句并执行，使用“;”分隔不同语句。 SQL文件 “SQL类型”参数为“Script”时参数有效，待执行SQL文件的路径，需要满足以下要求。 最多为1023字符，不能包含;l&>,<'$特殊字符，且不可为空或全空格。 执行程序路径可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS：以“obs://”开头。示例： obs://wordcount/program/xxx.jar。 HDFS：以“/user”开头。数据导入HDFS请参考 说明 存储在OBS上的文件路径支持以“obs://”开头格式。如需使用该格式提交作业，访问OBS需要配置对应权限。 创建集群时开启“OBS权限控制”功能时，可直接使用“obs://”路径，无需单独配置。 创建集群时未开启或不支持“OBS权限控制”功能时，请参考 运行程序参数 可选参数，为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 常用运行程序参数如下表“运行程序参数”。 服务配置参数 可选参数，用于为本次执行的作业修改服务配置参数。该参数的修改仅适用于本次执行的作业，如需对集群永久生效，请参考 增加，如需删除参数，请单击右侧“删除”。 常用服务配置参数如下表“服务配置参数”。 命令参考 用于展示提交作业时提交到后台执行的命令。

本文介绍云容器引擎Serverless版的使用限制。 使用Serverless容器前，需要注意以下使用限制： 不支持DaemonSet型的工作负载，如果想要使用，您可以通过将DaemonSet重新配置为Pod的Sidecar容器来运行。 不支持在Pod的manifest中指定HostPath和HostNetwork。 不支持Privileged权限容器，您可使用Security Context为Pod添加Capability。 不支持NodePort类型的Service。

{Loop.dataArray} ：For循环算子输入的数据集，是一个二维数组。 {Loop.current}：由于For循环算子在处理数据集的时候，是一行一行进行处理的，那Loop.current就表示当前处理到的某行数据，Loop.current是一个一维数组，一般定义格式为 {Loop.current[0]}、 {Loop.current[1]}或其它，0表示遍历到当前行的第一个值。 {Loop.offset}：For循环算子在处理数据集时当前的偏移量，从0开始。 {Job.getNodeOutput('preNodeName')}：获取前面节点的输出。 使用案例 案例场景 因数据规整要求，需要周期性地将多组DLI源数据表数据导入到对应的DLI目的表，如下表所示。 需要导入的列表情况 源数据表名 目的表名 anew a b2 b c3 c d1 d c5 e b1 f 如果通过SQL节点分别执行导入脚本，需要开发大量脚本和节点，导致重复性工作。在这种情况下，我们可以使用For Each算子进行循环作业，节省开发工作量。 配置方法 1. 准备源表和目的表。为了便于后续作业运行验证，需要先创建DLI源数据表和目的表，并给源数据表插入数据。 创建DLI表。您可以在DataArts Studio数据开发中，新建DLI SQL脚本执行以下SQL命令，也可以在数据湖探索（DLI）服务控制台中的SQL编辑器中执行以下SQL命令： / 创建数据表 / CREATE TABLE anew (name STRING, score INT) STORED AS PARQUET; CREATE TABLE b2 (name STRING, score INT) STORED AS PARQUET; CREATE TABLE c3 (name STRING, score INT) STORED AS PARQUET; CREATE TABLE d1 (name STRING, score INT) STORED AS PARQUET; CREATE TABLE c5 (name STRING, score INT) STORED AS PARQUET; CREATE TABLE b1 (name STRING, score INT) STORED AS PARQUET; CREATE TABLE a (name STRING, score INT) STORED AS PARQUET; CREATE TABLE b (name STRING, score INT) STORED AS PARQUET; CREATE TABLE c (name STRING, score INT) STORED AS PARQUET; CREATE TABLE d (name STRING, score INT) STORED AS PARQUET; CREATE TABLE e (name STRING, score INT) STORED AS PARQUET; CREATE TABLE f (name STRING, score INT) STORED AS PARQUET; 给源数据表插入数据。您可以在DataArts Studio数据开发模块中，新建DLI SQL脚本执行以下SQL命令，也可以在数据湖探索（DLI）服务控制台中的SQL编辑器中执行以下SQL命令： / 源数据表插入数据 / INSERT INTO anew VALUES ('ZHAO','90'),('QIAN','88'),('SUN','93'); INSERT INTO b2 VALUES ('LI','94'),('ZHOU','85'); INSERT INTO c3 VALUES ('WU','79'); INSERT INTO d1 VALUES ('ZHENG','87'),('WANG','97'); INSERT INTO c5 VALUES ('FENG','83'); INSERT INTO b1 VALUES ('CEHN','99'); 2. 准备数据集数据。您可以通过以下方式之一获取数据集： 您可以将上表数据导入到DLI表中，然后将SQL脚本读取的结果作为数据集。 您可以将上表数据保存在OBS的CSV文件中，然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件，然后将OBS外表查询的结果作为数据集。DLI创建外表请参见，DWS创建外表请参见。 您可以将上表数据保存在HDFS的CSV文件中，然后通过HIVE SQL创建Hive外表关联这个CSV文件，然后将HIVE外表查询的结果作为数据集。DLI创建外表请参见。 本例以方式1进行说明，将上表中的数据导入到DLI表（TableList）中。您可以在DataArts Studio数据开发模块中，新建DLI SQL脚本执行以下SQL命令导入数据，也可以在数据湖探索（DLI）服务控制台中的SQL编辑器中执行以下SQL命令： / 创建数据表TABLELIST，然后插入表1数据，最后查看生成的表数据 / CREATE TABLE TableList (Source STRING, Destination STRING) STORED AS PARQUET; INSERT INTO TableList VALUES ('anew','a'),('b2','b'),('c3','c'),('d1','d'),('c5','e'),('b1','f'); SELECT FROM TableList; 生成的TableList表数据如下： 详见下图：TableList表数据 3. 创建要循环运行的子作业ForeachDemo。在本次操作中，定义循环执行的是一个包含了DLI SQL节点的任务。 进入DataArts Studio数据开发模块选择“作业开发”页面，新建作业ForeachDemo，然后选择DLI SQL节点，编排下图所示的作业。 DLI SQL的语句中把要替换的变量配成{}这种参数的形式。在下面的SQL语句中，所做的操作是把{Source}表中的数据全部导入{Destination}中，{fromTable}、${toTable} 就是要替换的变量参数。SQL语句为： INSERT INTO {Destination} select from {Source}; 说明 此处不能使用EL表达式

场景 问题 大Key 客户端执行命令的时长变慢 大Key Redis内存达到maxmemory参数定义的内存使用上限，导致操作阻塞或重要的Key被逐出，更可能引发OOM导致被操作系统杀死 大Key 对大Key频繁执行读请求，会占用大量网络带宽，导致服务变慢，同时易影响其他使用的服务 大Key 对大Key执行修改或删除，可能造成主库较长时间的阻塞，进而可能引发同步中断或主从切换 大Key 对集群版或CLUSTER版实例，容易造成内存使用不均 热Key 占用大量的CPU资源，影响其他请求响应，导致整体性能降低 热Key 对集群版或CLUSTER版实例，容易造成分片压力分配不均的情况。会导致单个分片成为性能瓶颈点 热Key 容易造成缓存击穿。可能超出缓存的承受能力，缓存处理不过来。大量业务请求可能直接访问后端数据库，数据库承受不了大量请求访问可能导致服务不可用，严重影响业务

[server 2/3] [module 2/12] 20260311 13:44:36 CST+0800 Upgrading cs for hblock3 Check[√], Stop[√], Update[√], Start[√] [server 3/3] [module 2/12] 20260311 13:45:20 CST+0800 Upgrading storfsBase Update[√] [module 3/12] 20260311 13:45:29 CST+0800 Upgrading ls for hblock1 Check[√], Stop[√], Update[√], Start[√] [server 1/3] [module 4/12] 20260311 13:45:51 CST+0800 Upgrading ls for hblock2 Check[√], Stop[√], Update[√], Start[√] [server 2/3] [module 4/12] 20260311 13:46:08 CST+0800 Upgrading ls for hblock3 Check[√], Stop[√], Update[√], Start[√] [server 3/3] [module 4/12] 20260311 13:46:27 CST+0800 Upgrading mdm for hblock2 Check[√], Stop[√], Update[√], Start[√] [server 1/3] [module 5/12] 20260311 13:46:38 CST+0800 Upgrading mdm for hblock1 Check[√], Stop[√], Update[√], Start[√] [server 2/3] [module 5/12] 20260311 13:46:53 CST+0800 Upgrading mdm for hblock3 Update[√] [server 3/3] [module 5/12] 20260311 13:46:57 CST+0800 Upgrading ds1 for hblock1 Check[√], Stop[√], Update[√], Start[√] [service 1/1] [server 1/3] [module 6/12] 20260311 13:47:10 CST+0800 Upgrading ds1 for hblock2 Check[√], Stop[√], Update[√], Start[√]

为助力企业客户能更方便快捷的将已有业务迁移至天翼云分布式数据库或基于天翼云分布式数据库打造全新的应用，TeleDB不仅努力提升内核性能和管控资源全生命周期管理平台的易用性，还不断丰富周边的生态。目前已实现如下功能：如支持强大的GIS地理信息系统、支持异构数据复制能力、支持集群负载均衡能力和支持JSON数据类型等。 支持强大的GIS地理信息系统 GIS地理信息系统是指一个空间数据库，它通过SQL语言高效的进行空间数据管理、数量测量与几何拓扑分析对地球表层（包括大气层）空间中的地理分布数据进行采集、储存、管理、运算、分析、显示和描述。TeleDB透过集群化的PostGis插件，使其更好的支持强大的GIS地理信息系统。 说明 PostGIS插件不仅实现了Open Geospatial Consortium 所提出的基本要素类（点、线、面、多点、多线、多面等）的SQL实现参考。PostGIS还能使用wellknown text与wellknown binary在数据库中存储空间对象。wellknown text是一种用文本表示空间对象的注记方法，wellknown是一种用二进制流表示空间对象的存储方法。 GIS地理信息系统目前支持提供了如下的空间特性： 定义了一些基本的集合实体类型。 定义了一系列的函数和操作符来实现几何类型的操作和运算。 引入空间数据索引。 异构数据复制能力 在实际业务中，会涉及到非常多的TeleDB同其他数据库，包括PostgreSQL，MySQL，Oracle等的数据同步的需求。为了满足TeleDB和其它数据库包括PostgreSQL，MySQL，Oracle等实现数据同步，TeleDB开发了一款性能高效，安全可靠，功能完善的异构数据库复制工具。通过异构数据复制工具，让数据能够很好的在多个数据库中实现共享。 异构数据复制逻辑图如下： 异构数据复制原理主要通过数据实时同步、数据一致性同步和多种不同的数据同步方式组成。 数据实时同步 ： 同步数据需准实时的（分钟级）由源库同步到目标库。 数据一致性同步：异构数据库同步具备高可靠性，当发生断网、服务器重启、服务器宕机一段时间恢复后等场景下，保障同步数据的最终一致性。 数据同步方式：TeleDB支持对所有数据的全量同步和对变化数据的增量同步，以及配置同步任务。 全量同步：一般在系统迁移中，有历史数据的迁移，一次需要支持高效快速的将历史数据迁移到新系统的能力，称为全量同步。一般在全量同步完成后，会切换为下文提到的增量同步模式。 增量同步：同步工具实时跟踪数据改变情况，并及时将增量数据同步到目标库。 定时同步：支持配置类似定时任务，支持周期性向目标进行数据同步。

本节介绍了如何使用Psycopg连接云数据库GaussDB 数据库。 Psycopg是一种用于执行SQL语句的PythonAPI，可以为PostgreSQL、云数据库GaussDB 数据库提供统一访问接口，应用程序可基于它进行数据操作。Psycopg2是对libpq的封装，主要使用C语言实现，既高效又安全。它具有客户端游标和服务器端游标、异步通信和通知、支持“COPY TO/COPY FROM”功能。支持多种类型Python开箱即用，适配PostgreSQL数据类型；通过灵活的对象适配系统，可以扩展和定制适配。Psycopg2兼容Unicode和Python 3。 云数据库GaussDB 数据库提供了对Psycopg2特性的支持，并且支持psycopg2通过SSL模式链接。 表 Psycopg支持平台 操作系统 平台 EulerOS 2.5 x8664位 EulerOS 2.8 ARM64位 前提条件 获取Python驱动包， 解压后有两个文件夹： − psycopg2：psycopg2库文件。 − lib：lib库文件。 在使用驱动之前，需要做如下操作： a. 先解压版本对应驱动包，使用root用户将psycopg2拷贝到python安装目录下的sitepackages文件夹下。 b. 修改psycopg2目录权限为755。 c. 将psycopg2目录添加到环境变量$PYTHONPATH，并使之生效。 d. 对于非数据库用户，需要将解压后的lib目录，配置在LDLIBRARYPATH中。  在创建数据库连接之前，需要先加载如下数据库驱动程序： import psycopg2 连接数据库 步骤 1 使用.ini文件（python的configparser包可以解析这种类型的配置文件）保存数据库连接的配置信息。 步骤 2 使用psycopg2.connect函数获得connection对象。 步骤 3 使用connection对象创建cursor对象。

本章节主要介绍数据仓库服务入门前的准备工作。 本指南是一个入门教程，向您演示如何创建示例DWS 集群，连接示例DWS 集群数据库、导入存储在OBS中的示例数据和分析示例数据的流程。您可以使用该入门教程评估DWS 服务。 在开始创建DWS 集群之前，请确保您已完成如下前提条件： 确定集群端口 在创建DWS 集群时需要指定一个端口供SQL客户端或应用程序通过该端口访问集群。 如果您的客户端机器位于防火墙之后，则您需要有一个可用的开放端口，这样才能从SQL客户端工具连接到集群并进行查询分析。 如果您不了解可用的开放端口，则请联系网络管理员，在您的防火墙中确定一个开放端口。DWS 支持的端口范围为8000～30000。 在集群创建之后无法更改集群的端口号，请务必确保在集群创建过程中指定的端口为可用的开放端口。