函数计算提供了一个统一的执行环境，使得您的函数能够无缝地访问和集成各种云服务和其他资源。 无论是天翼云提供的服务如消息服务、对象存储服务、数据库服务，还是您自建的服务，甚至是调用其他函数计算实例，这些操作在函数内部执行时，与您在本地环境中的操作体验是一致的。 要实现这些服务的访问，您需要确保您的函数代码中包含了必要的依赖库。这些依赖库应当与您的函数代码一起被打包，并上传至函数计算平台。一旦部署完成，您的函数就可以在执行时调用这些依赖库，从而与外部服务进行交互。

本文介绍网络异常工具的使用方法。 对象存储ZOS提供网络异常工具。您可以在界面中，选择网络异常的问题，查询对应的解决方案。 使用方法 使用网络异常工具的步骤如下： 1. 点击进入网络异常工具。 2. 点击“常见网络异常”中的具体网络问题。工具当前支持4种常见网络异常问题，分别是：Connection refused、Connection timeout、Socket timeout、Connection reset。 3. 可以看到对应的问题原因及解决方案。

本章节主要介绍在DRDS控制台查看操作日志的步骤。 操作步骤 1. 在天翼云官网首页的顶部菜单栏，选择产品 > 数据库 > 关系型数据库 > 分布式关系型数据库 ，进入分布式关系型数据库产品页面。然后单击管理控制台 ，进入概览页面。 2. 在左侧导航栏，选择DRDS > 操作记录 ，进入操作日志页面。然后在顶部菜单栏，选择区域和项目。 您可以在操作日志列表中查看用户在控制台执行的各项操作，包括来源、用户名、操作分类、操作类型、操作对象名称、状态、操作对象ID以及操作时间。 3. 在操作日志列表上方，设置操作分类、操作类型、操作对象、操作内容、用户名以及操作时间，进行筛选查询。 支持的操作分类包括：DBPROXY（DRDS实例）、DBPROXYGROUP（DRDS实例分组）、RDS（MySQL实例）、GiServer（全局索引）、DBPROXYCDC节点（日志节点）和DBPROXYZKCDC（元数据同步工具），操作对象包括各个分类下的实例。 对于各操作分类，所支持查看的操作类型如下表所示： 说明 具体操作类型以实际界面显示为准，本文仅作参考。 操作日志发布之前的历史任务也会进行展示。 操作分类 操作类型 DBPROXY 新增集群、删除集群 DBPROXY 新增节点、删除节点 DBPROXY 新增关联RDS、删除关联RDS DBPROXY 启动参数设置 DBPROXY 执行ddl语句 DBPROXY ddl审计设置 DBPROXY 创建库表、删除库表 DBPROXY 分片规则设置 DBPROXY 创建用户、删除用户、修改密码、编辑用户、添加用户权限、修改用户权限、删除用户权限、设置用户角色 DBPROXY 创建逻辑库、删除逻辑库 DBPROXY 新增角色、添加角色权限、删除角色权限、删除角色 DBPROXY 重启节点、停止节点、批量停止节点、发布节点 DBPROXY 分片变更 DBPROXY 设置字段加密配置 DBPROXY 修改日志配置 DBPROXY 设置GC算法 DBPROXYGROUP 新增分组、修改分组、删除分组、分组属性设置 DBPROXYGROUP 新增/修改黑/白名单、删除黑/白名单 DBPROXYGROUP 关联RDS属性设置 DBPROXYGROUP 新增分组DML审计、更新分组DML审计、删除分组DML审计 DBPROXYGROUP 新建用户分组、修改用户分组 RDS 新增RDS集群、删除RDS集群 RDS 新增节点、修改节点、删除节点 GISERVER 新增集群、删除集群 GISERVER 新增节点、发布节点、停止节点、批量停止节点、重启节点 GISERVER 重置GTID GISERVER 节点属性设置 GISERVER 启动参数设置 GISERVER 关联缓存设置 GISERVER 关联DBProxy设置 GISERVER 修改日志设置 DBPROXYCDC 部署日志节点、操作日志节点、日志节点修改密码、重新初始化日志节点、发布日志节点 DBPROXYZKCDC 部署元数据同步工具、修改元数据同步工具、删除元数据同步工具、操作元数据同步工具

本章节介绍 HDFS数据均衡。 HDFS数据均衡机制确保数据在集群中均匀分布，避免某些节点过载而其他节点空闲，从而优化集群性能和存储利用率。 HDFS Balancer HDFS Balancer是HDFS自带的数据均衡工具，用于在DataNode之间重新分配数据块，使各节点的存储使用率保持在一个合理的差距范围内。它通过扫描各 DataNode 存储使用率，对比预设平衡阈值，将过载节点的数据块迁移至空闲节点，迁移过程严格遵循 HDFS 副本放置策略，确保数据可靠性。工具支持后台运行，可灵活配置平衡阈值与迁移带宽，避免占用过多集群资源。数据均衡后，能有效降低部分节点过载风险，提升 HDFS 读写性能与集群整体稳定性，是保障大规模 HDFS 集群长期高效运行的关键手段。 工作原理 Balancer计算各DataNode的存储使用率。 识别需要移动的数据块（从高使用率节点到低使用率节点）。 制定移动计划（考虑数据块优先级和网络拓扑）。 执行数据块复制和删除操作。 重复直到所有节点的使用率差距在阈值内。 使用方法 1、登录客户端，切换用户到hdfs，完成Kerberos认证 plaintext kinit kt /etc/security/keytabs/hdfs.keytab klist kt /etc/security/keytabs/hdfs.keytab sed n 4p awk '{print $NF}' 2、启动HDFS Balancer plaintext hdfs daemon start balancer HDFS Balancer提供自定义参数，可按需配置。配置参考如下： 命令行参数： 配置项 默认值 描述 policy datanode 有效值：datanode 、blockpool datanode：用所有nameservices存储使用之和来计算节点存储使用率。 blockpool：只用当前迭代的nameservice存储使用来计算存储使用率。 threshold 10 需要配置为0100 的正整数。集群中需要存在节点大于或小于平均存储使用的10%才会启动balance。 source 设置哪些节点作为数据源，设置为ip或hostname；多个节点用","分割。 include 设置参与balance的节点，设置为ip或hostname；多个节点用","分割；不能和exclude 同时配置。 exclude 设置不参与balance的节点，设置为ip或hostname；多个节点用","分割 ；不能和include 同时配置。 blockpools 设置哪些blockpool参与balance；多个blockpool用","分割。 asService 表示长期运行；默认每5min执行一次。 相关配置参数： 配置项 默认值 描述 dfs.namenode.getblocks.maxqps 20 限制balancer每秒执行getblocks的次数。 dfs.balancer.dispatcherThreads 200 可同时调度多少个 。 dfs.balancer.movedWinWidth 5400000 单位ms；表示movedBlock的保留窗口时间；保留已经moved的block多长时间。 dfs.balancer.moverThreads 1000 最大并发多少个move。 dfs.datanode.balance.max.concurrent.moves 100 每个 最多并发执行多少个move；上限受限于服务端配置。 dfs.balancer.getBlocks.size 2147483648 每次向namenode获取多少数据量的blcok。 dfs.balancer.getBlocks.minblocksize 10485760 获取block的最小size。 dfs.balancer.maxsizetomove 10737418240 一次迭代最大移动的数据量。 dfs.balancer.service.interval 300000 单位ms；配置asService时生效；定义balancer执行周期。 HDFS Balancer日志路径：/var/log/hadoop/hdfs/hadoophdfsbalancer .log 注意 1、执行HDFS Balancer时，DataNode端可使用的带宽默认是100MB/s，若需要调整带宽，可在执行HDFS Balancer前通过如下命令调整： plaintext

数据所在位置 使用条件 迁移方法 迁移速度评估 使用限制 物理机文件系统 物理机可以访问待迁移数据； 物理机和HPFS网络互通，保证可挂载文件系统； 命令拷贝 速度取决于物理机网卡，可多台并行拷贝。 只支持GPU裸金属物理机挂载 HPFSPOSIX 协议的并行文件系统。 弹性云主机文件系统 云主机可以访问待迁移数据； 弹性云主机和HPFS在同一VPC网络下，保证可挂载文件系统； 命令拷贝 速度取决于云主机配置的网络带宽，可多台并行拷贝。 只支持云主机挂载NFS协议的并行文件系统。 对象存储ZOS ZOS数据可以在互联网/内网环境下载； 互联网/内网下载的客户端和HPFS互通，保证可挂载文件系统； 工具迁移 客户端侧公网出口带宽直接影响上传时间。 通过互联网访问ZOS的数据，迁移过程会产生请求和流量等相关的费用。 客户本地 用户本地数据量巨大（几十TB），且数据归属于客户，可插拔盘操作； 用户在公有云有独立归属的数据迁移服务器可进行插盘操作； 数据迁移服务器和HPFS互通，保证可挂载文件系统； 数据快递 单USB口的机械硬盘可达到150MB/s。 专属资源的客户，拥有独立的机房设备。

引入依赖库 支持的依赖库说明 FunctionGraph支持引入标准库及第三方依赖库。 标准库 对于标准库，无论是在线编辑或是线下开发打包上传至FunctionGraph，均可以直接在代码中引入，使用其功能。 FunctionGraph支持的非标准库 FunctionGraph内置一些三方件，如下表所示。像标准库一样，在编写代码时直接引入，使用其功能。 Node.js Runtime集成的三方件 名称 功能 版本号 q 异步方法封装 1.5.1 co 异步流程控制 4.6.0 lodash 常用工具方法库 4.17.10 esdkobsnodejs OBS sdk 2.1.5 express 极简web开发框架 4.16.4 fgsexpress 在FunctionGraph和API Gateway之上使用现有的Node.js应用程序框架运行无服务器应用程序和REST API 。提供的示例允许您使用Express框架轻松构建无服务器Web应用程序/服务和RESTful API 。 1.0.1 request 简化http调用，支持HTTPS并默认遵循重定向 2.88.0 Python Runtime支持的非标准库 模块 功能 版本号 dateutil 日期/时间处理 2.6.0 requests http库 2.7.0 httplib2 httpclient 0.10.3 numpy 数学计算 1.13.1 redis redis客户端 2.10.5 obsclient OBS客户端 smnsdk 访问云smn服务 1.0.1 其他第三方库（除了上面表格列举的非标准三方库，FunctionGraph没有内置别的非标准三方库） 将依赖的第三方库打包，上传至OBS桶，在创建函数时配置依赖包的OBS存储地址，在函数代码中即可使用其功能。

本章节主要介绍MySQL数据迁移到MRS Hive分区表。 MapReduce服务（MapReduce Service，简称MRS）提供企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。 其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Loading）操作。对庞大的数据集查询需要耗费大量的时间去处理，在许多场景下，可以通过建立Hive分区方法减少每一次扫描的总数据量，这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务（CDM）可以请轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。 下面使用CDM将MySQL数据导入到MRS Hive分区表为例进行介绍。 操作场景 假设MySQL上有一张表tripdata，保存了自行车骑行记录，里面有起始时间、结束时间，起始站点、结束站点、骑手ID等信息，tripdata表字段定义如下图“MySQL表字段”所示。 使用CDM将MySQL中的表tripdata导入到MRS Hive分区表，流程如下： 1.在MRS Hive上创建Hive分区表 2.创建CDM集群并绑定EIP 3.创建MySQL连接 4.创建Hive连接 5.创建迁移作业

本节为您介绍数据库迁移工具订阅对象选择。 数据库迁移工具支持表级别对象选择、取消、搜索过滤以及导入功能。 可选对象 显示源库的表，如果要订阅表，通过勾选中表，点击中间箭头，将对象移到右侧的已选对象框中 已选对象 待订阅的对象，如果要取消订阅表，可以通过勾选中表，点击中间箭头，将对象移到左侧的可选对象中 搜索 基于搜索功能，用户可以快速在可选对象或已选对象搜索出表，该搜索功能支持模糊搜索

本节介绍分布式缓存服务Redis版产品定义。 产品定义 分布式缓存服务Redis版是一种兼容Redis协议的NoSQL内存数据库产品，具备高性能、高可用、可水平扩展的特性，提供丰富的产品类型满足用户高读写性能场景需求，主要用于持久化数据的存储或缓存数据的存储。 为什么选择天翼云分布式缓存服务Redis 全面兼容Redis协议：基于开源Redis协议进行安全加固，客户端兼容Redis协议。 丰富的产品规格实例：提供多种缓存实例规格，灵活满足应用的多样化需求。 可靠的备份与恢复机制：支持手动备份与定时自动备份，自定义备份策略，实现将已备份的数据恢复到缓存实例中。 完善的监控运维工具：提供完备的日志、监控和告警功能，异常情况能自动告警并通知相关人员，多种监控指标及服务器运行情况支撑实时、历史监控运维。 对比自建原生Redis的优势 对比自建原生Redis，天翼云分布式缓存服务具备以下优势： 差异项 天翼云分布式缓存服务Redis 原生Redis 安装部署 实时开通，支持一键升级，无需关心服务部署的硬件及软件。 需要自行完成采购硬件、机房托管、部署机器等工作，周期较长，且需要自行维护节点关系。 备份恢复 支持手动备份与定时自动备份，一键恢复还原备份点。 仅支持一次性全量恢复。 运维管理 提供可视化运维监控平台，支持数十种的监控指标的实时监控。 需使用管理方式复杂的第三方监控工具实现服务监控。 扩展能力 支持节点性能线性扩展，支持在线扩容，业务无感知。 并发受限，升级依赖社区。

本节介绍了使用mysqlbinlog工具查看Binlog备份文件的操作场景、操作步骤等相关内容。 操作场景 mysqlbinlog工具用于解析Binlog备份文件，包含在MySQL软件包中。您可在MySQL官网下载对应版本的MySQL软件包，解压并获取解压包中的mysqlbinlog工具（MySQL 5.6和5.7对应的mysqlbinlog版本均为3.4）。由于存在部分用户使用的mysqlbinlog工具版本太旧，无法正确解析Binlog备份文件，因此，为您整理了本文，指导您获取最新的mysqlbinlog工具。 RDS for MySQL也支持使用第三方工具解析Binlog。 操作方法 1. 下载MySQL软件包。 注意 软件包版本最好与当前您使用的MySQL大版本保持一致。 例如，您本地的MySQL版本为5.7.27，则下载如下版本和系统的软件包： − Product Version：5.7.27 − Operating System：LinuxGeneric 下载完成后的MySQL软件包名为：mysql5.7.27linuxglibc2.12x8664.tar.gz。 图 下载 2. 解压软件包，找到mysqlbinlog工具。 3. 执行如下命令，查看mysqlbinlog工具的版本信息。 plaintext [root@ecs] tar zxf mysql5.7.27linuxglibc2.12x8664.tar.gz [root@ecs] cd mysql5.7.27linuxglibc2.12x8664/bin [root@ecs] ll mysqlbinlog rwxrxrx 1 7161 31415 11310886 Jun 10 2019 mysqlbinlog [root@ecs] ./mysqlbinlog V ./mysqlbinlog Ver 3.4 for linuxglibc2.12 at x8664 4. 使用mysqlbinlog工具解析binlog。 以解析“mysqlbin.000001”为例： plaintext [root@ecs]

当您天翼云账号的可用额度（费用中心总览）不足以抵扣待结算账单时，您的账号将会立即进入欠费状态；相关服务将被冻结，不可继续使用。您可以及时为业务续费或释放相关业务资源，确保服务正常可用。 欠费通知 若您的账号发生欠费，系统会以邮件或短信的形式提醒您。请留意来自天翼云的提醒邮件、短信，避免影响业务正常使用。 欠费说明 从欠费之日起，系统将会终止为您提供 CAE 服务；同时，您在 CAE 上所创建的应用与任务实例将被停止。 为了保证您的业务不受影响，请及时续费。 说明如果您无需持续使用 CAE，请及时释放相关实例资源以避免持续产生费用： 若需删除 CAE 应用，请参见删除应用。 若您的 CAE 应用或任务集成使用了天翼云其他云服务，可能会产生额外费用；例如网络、存储、数据库、中间件、可观测等。在删除相关服务资源前，请注意做好数据备份。 欠费影响 当您的天翼云账号发生欠费，云应用引擎平台将会按照下列策略处理： 欠费时间未超过15天 将冻结您的云应用引擎服务，包括应用实例、任务等 当欠费时间超过15天 云应用引擎服务将进行停机 平台会保留您的应用数据与配置，如您需再次使用云应用引擎服务，请及时充值续费

术语 说明 日志项目 日志项目是用于管理日志服务的资源单元，通常可将某个独立项目/业务的日志对应至一个日志项目中。每个日志项目可包含多个日志单元。 日志单元 日志单元是进行日志数据的采集、存储、检索和分析的基本单元，日志数据以日志单元的方式进行管理，通常可将一个应用/服务下的日志采集至一个日志单元中。 日志 日志是应用系统运行过程中产生的记录数据，这些数据包括用户的操作、接口的访问、系统发生的错误等。通常以文本形式存储在应用系统所在的设备上。 采集器 云日志服务提供的日志采集工具。 主机组 主机组是一组需要采集日志的云主机列表，是一个虚拟分组，云日志服务通过主机组来管理所有需要通过采集器采集日志的云主机。 采集配置 采集配置是指采集器执行日志采集时的策略，包括文件采集路径、分词模式等。

本章节介绍DRDS最佳实践相关内容，从而帮助用户更好地使用DRDS。 章节名称 简介 分片数目的选择 介绍DRDS如何更合理地选择分片数目。 分片策略 介绍DRDS如何更合理地进行分片。 单片表和全局表 介绍了DRDS单片表和全局表的创建和使用。 读写分离 介绍了DRDS读写分离的配置与使用。 DRDS事务模型 介绍了DRDS提供针对分布式节点的场景下的分布式事务解决方案。 通过JDBC连接池连接DRDS 介绍了如何通过JDBC连接池与DRDS对接，实现数据操作。 数据迁移方案 介绍了通过数据同步工具进行DRDS数据迁移的详细操作步骤。 SQL使用规范 介绍了SQL使用规范的通用八个原则供用户参考。

本文介绍DMS助手功能，包括智能问答和对话管理。 功能介绍 DMS助手是一款专为数据库领域定制的智能问答机器人，旨在提供即时、精准的技术支持。它不仅内置了MySQL、PostgreSQL等主流数据库的知识库，还集成了DMS文档资源，能够高效响应您在使用数据库及DMS时可能遇到的各类问题： 数据库知识解答：对于数据库中的基础知识或专业术语，DMS助手能够提供全面而详尽的解释。例如，您可以提问：“数据库事务是什么？” 数据库参数说明：当您想要了解数据库中某项参数的具体详情时，DMS助手可以为您提供相关信息。例如，您可以提问：“MySQL中optimizersearchdepth默认值是什么？” 数据库操作指导：在您进行数据库操作遇到问题或需要指导时，DMS助手可以为您提供相关帮助和建议。例如，您可以提问：“我想创建一张student表，sql怎么写？” DMS使用帮助：当您想要了解DMS的特定功能或概念，或在使用DMS过程中遇到困难时，DMS助手可以为您提供解释和指导。例如，您可以提问：“DMS中的团队是什么意思？” 为了便于您核实答案的准确性，DMS助手在提供解答的同时，会附带官方文档的参考链接。这不仅方便您进行信息核实，也有助于您对相关主题进行更深入的学习和探索。 前提条件 用户已登录数据管理服务。 注意事项 请避免过于频繁发送消息，系统对消息的发送频率有限制。 每个对话允许的消息数量最多为100条。一旦达到上限，您将无法在当前对话中继续发送消息。如需继续提问，请新建一个对话。 您可以保留的历史对话数量上限为500条。如果达到这个限制，您将无法创建新的对话。在这种情况下，请考虑删除一些不再需要的旧对话，以释放空间供新的对话使用。

本章节主要介绍约束与限制。 CDM系统级限制和约束 1. 集群创建好以后不支持修改规格，如果需要使用更高规格的，需要重新创建一个集群。 2. ARM版本的CDM集群不支持Agent功能。CDM集群为ARM或X86版本，依赖于底层资源的架构。 3. CDM暂不支持控制迁移数据的速度，请避免在业务高峰期执行迁移数据的任务。 4. 当前CDM集群cdm.large实例规格网卡的基准/最大带宽为0.8/3 Gbps，单个实例一天传输数据量的理论极限值在8TB左右。同理，cdm.xlarge实例规格网卡的基准/最大带宽为4/10 Gbps，理论极限值在40TB左右；cdm.4xlarge实例规格网卡的基准/最大带宽为36/40 Gbps，理论极限值在360TB左右。对传输速度有要求的情况下可以使用多个数据集成实例实现。上述数据量为理论极限值，实际传输数据量受数据源类型、源和目的数据源读写性能、带宽等多方面因素制约，实测cdm.large规格最大可达到约8TB每天（大文件迁移到OBS场景）。推荐用户在正式迁移前先用小数据量实测进行速度摸底。 5. 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。 6. 文件迁移时，单个任务支持千万数量的文件，如果待迁移目录下文件过多，建议拆分到不同目录并创建多个任务。 7. 用户在CDM上配置的连接和作业支持导出到本地保存，考虑到密码的安全性，CDM不会将对应数据源的连接密码导出。因此在将作业配置重新导入到CDM前，需要手工编辑导出的JSON文件补充密码或在导入窗口配置密码。 8. 不支持集群自动升级到新版本，需要用户通过作业的导出和导入功能，实现升级到新版本。 9. 在无OBS的场景下，CDM系统不会自动备份用户的作业配置，需要用户通过作业的导出功能进行备份。 10. 如果配置了VPC对等连接，可能会出现对端VPC子网与CDM管理网重叠，从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移，或联系管理员在CDM后台为VPC对等连接添加特定路由。 11. CDM迁移，当目的端为DWS和NewSQL的时候，不支持将源端的主键和唯一索引等约束一起迁移过去。 12. CDM迁移作业时，需确保两个集群版本的JSON文件格式保持一致，才可以从将源集群的作业导入到目标集群。

产品优势 提供一站式的图形化管理界面，集成了计算、网络、存储等管理模块，使操作变得简单且高效。 配套安全监控服务，可保障服务的安全性，同时有效降低了维护成本，让用户能够更专注于业务开发。

导出流程 您可以将数据架构中已创建的流程导出到文件中。 1.在数据架构控制台，单击左侧导航树中的“流程设计”，进入流程设计页面。 2.单击流程列表上方的“导出”按钮，等待几秒钟后，页面右上角提示“流程导出成功”，可以查看导出的流程。 说明 “主题”或“流程”作为层级联动性质, 导出均默认为全量导出, 不支持筛选。 导入流程 1.在数据架构控制台，单击左侧导航树中的“流程设计”，进入流程设计页面。 2.单击流程列表上方的“导入”按钮导入流程。 3.在“导入流程”对话框中，根据页面提示配置如下参数，然后先单击“添加文件”后，再单击“上传文件”。 下表为导入配置参数说明 参数名 说明 更新已有数据 如果所要导入的流程，在DataArts Studio数据架构中已经存在，是否更新已有的流程。支持以下选项： 不更新 ：当流程已存在时，将直接跳过，不处理。 更新 ：当流程已存在时，更新已有的流程信息。 在导入流程时，只有创建或更新操作，不会删除已有的流程。 上传模板 选择所需导入的流程设计文件。 所需导入的流程设计文件，可以通过以下两种方式获得。 下载流程模板并填写模板： 在“导入配置”页签内，单击“下载流程模板”下载模板，然后根据业务需求填写好模板中的相关参数并保存后，先添加再上传，完成模板上传。模板参数的详细描述请参见下表。 导出的流程 ： 您可以将某个DataArts Studio实例的数据架构中已建立的流程设计信息导出到Excel文件中。导出后的文件可用于导入。导出流程的操作请参见上方“导出流程”。 下载的流程模板参数如下表所示，其中名称前带“ ”的参数为必填参数，名称前未带“ ”的参数为可选参数。一个流程需要填写一条记录。 参数名 说明 上级流程 第一层的流程，其上级流程为空，不用填。 非第一层的流程，其上级流程不能为空。上级流程为多级流程时，流程之间以“/”分隔。例如“集成产品开发/开发生命周期”。 名称 流程名称。 责任人 流程的责任人，可以手动输入名字或直接选择已有的责任人。 描述 流程的描述信息。 4. 导入结果会在“导入流程”对话框的“上次导入”中显示。如果导入结果为“成功”，单击“关闭”完成导入。如果导入失败，您可以在“备注”列查看失败原因，将模板文件修改正确后，再重新上传。

本文介绍如何批量更新、删除或插入数据。 批量更新 常用的批量更新为 update …… set …… from(values()) as ……，将values的值构成虚表，统一更新。 update table1 set col2tmp.col2 from (values (XXX,'XXX'),(XXX,'XXX'),(XXX,'XXX')) as tmp (col1,col2) where test.col1tmp.col1; 批量删除 使用truncate，直接将表所有数据行截断，无法进行回滚。 truncate tablename; drop，也是直接将表全部删除，不可回滚。不同在于，drop会将整个表数据与表结构全部删除，truncate会保留表结构，即表可以继续使用。 drop tablename; 批量插入 使用 insert into ... select的方法，对数据源限制较多。 insert into table1(col1, col2) select col1 , col2 from table2; 使用insert into … values (), () … ，SQL编写麻烦，数据量多时，较难检查其正确性。 insert into tablename(col1, col2) values (XXX, 'XXX'), (XXX, 'XXX'); 使用三方工具或者编程语言实现批量处理（推荐） 使用SQL编写批量数据处理其实较为繁琐，原因是SQL语句较为冗余，也不便于检查错误。因而生产中最为常用的方式，是使用其他编程语言的数据库驱动，利用该语言的开发便利性，批量导入数据，例如java语言连接数据库使用的jdbc，搭配上合适的函数框架，可以很轻松实现批量操作数据。

本节为您介绍云迁移服务CMS中数据库迁移工具数据订阅快速配置,包括注意事项及操作步骤。 注意事项 本文仅简单介绍数据订阅的通用配置流程，不同情况下的高级配置请阅读数据订阅。 操作步骤 1. 进入数据订阅的任务列表界面。 2. 单击“创建订阅”按钮，进入订阅任务配置界面。 3. 填写订阅任务的参数信息。 4. 填写好源库信息后，单击测试连接按钮。 5. 通过连接测试后点击“下一步：选择订阅对象”。 6. 将需要订阅的表选中，并点击“>”箭头，将表移到右侧已选对象框中。 7. 确定需要订阅的表后，点击“下一步:启动”，启动订阅任务。 8. 启动订阅任务后，即可查看订阅任务实时进度。

态势感知SA与企业主机安全HSS服务的区别。 服务含义区别 态势感知（Situation Awareness，SA）是可视化威胁检测和分析的安全管理平台 。着重呈现全局安全威胁攻击态势，统筹分析多服务威胁数据和云上安全威胁，帮助企业构建全局安全体系，呈现全局安全攻击态势。 主机安全服务（Host Security Service，HSS）是以工作负载为中心的安全产品，集成了主机 安全、容器 安全和 网页防篡改 ，旨在解决混合云、多云数据中心基础架构中服务器工作负载的独特保护要求。 简而言之，SA是呈现全局 安全态势的服务，HSS是提升主机 和容器安全性的服务。 服务功能区别 SA通过采集 全网安全数据 （包括HSS、WAF、AntiDDoS等安全服务检测数据），使用大数据AI、机器学习等分析技术，从资产安全、威胁告警、基线检查维度，分类呈现资产安全状况。 HSS通过在主机中安装Agent，使用AI、机器学习和深度算法等技术分析主机中风险，并从HSS云端防护中心下发检测和防护任务，全方位保障主机安全。同时可从可视化控制台，管理主机Agent上报的安全信息。 SA与HSS主要功能区别： 功能项 子功能项 共同点 不同点 资产安全 主机资产 呈现主机资产的整体安全状态。 SA：仅支持同步HSS主机资产风险信息，列表呈现各主机资产的整体安全状况。 HSS：不仅支持呈现主机的安全状况，还支持深度扫描主机中的帐号、端口、进程、Web目录、软件信息和自启动任务。 资产安全 网站资产 SA：支持检查和扫描网站安全状态，列表呈现各网站资产的整体安全状况。 HSS：不支持该功能。 基线检查 云服务基线 SA：针对云服务关键配置项，从“安全上云合规检查1.0”、“护网检查”风险类别，了解云服务风险配置的所在范围和风险配置数目。 HSS：不支持该功能。 基线检查 主机基线 SA：不支持该功能。 HSS：针对主机，提供基线检查功能，包括检测复杂策略、弱口令及配置详情，包括对主机配置基线通过率、主机配置风险TOP5、主机弱口令检测、主机弱口令风险TOP5的统计。

3.3 SM4工具类 import org.bouncycastle.jce.provider.BouncyCastleProvider; import javax.crypto.Cipher; import javax.crypto.KeyGenerator; import javax.crypto.SecretKey; import javax.crypto.spec.SecretKeySpec; import java.security.Security; public class SM4Util { static { Security.addProvider(new BouncyCastleProvider()); } // 生成SM4密钥 public static byte[] generateKey() { try{ KeyGenerator keyGenerator KeyGenerator.getInstance("SM4", "BC"); keyGenerator.init(128); // 可选 128 或 256 SecretKey secretKey keyGenerator.generateKey(); return secretKey.getEncoded(); } catch (Exception e) { //TODO 处理异常 } } // 加密 public static byte[] encrypt(byte[] keyBytes, byte[] data) { try{ SecretKeySpec keySpec new SecretKeySpec(keyBytes, "SM4"); Cipher cipher Cipher.getInstance("SM4/ECB/PKCS5Padding", "BC"); cipher.init(Cipher.ENCRYPTMODE, keySpec); return cipher.doFinal(data); } catch (Exception e) { //TODO 处理异常 } } // 解密 public static byte[] decrypt(byte[] keyBytes, byte[] encryptedData) { try{ SecretKeySpec keySpec new SecretKeySpec(keyBytes, "SM4"); Cipher cipher Cipher.getInstance("SM4/ECB/PKCS5Padding", "BC"); cipher.init(Cipher.DECRYPTMODE, keySpec); return cipher.doFinal(encryptedData); } catch (Exception e) { //TODO 处理异常 } } } 3.4 Hmacsm3工具类 import org.apache.commons.codec.binary.Base64; import org.bouncycastle.crypto.digests.SM3Digest; import org.bouncycastle.crypto.macs.HMac; import org.bouncycastle.crypto.params.KeyParameter; import java.security.SecureRandom; public class HmacSM3Util { / 计算 HMACSM3 @param key 密钥 @param data 数据 @return HMACSM3 值 / public static byte[] hmacSM3(byte[] key, byte[] data) { HMac hmac new HMac(new SM3Digest()); hmac.init(new KeyParameter(key)); hmac.update(data, 0, data.length); byte[] result new byte[hmac.getMacSize()]; hmac.doFinal(result, 0); return result; } / 生成指定长度的随机密钥 @param length 密钥长度（字节） @return 随机生成的密钥 / public static byte[] generateRandomKey(int length) { SecureRandom random new SecureRandom(); byte[] key new byte[length]; random.nextBytes(key); return key; } // 示例用法 public static void main(String[] args) { // 生成随机密钥 byte[] key generateRandomKey(16); // 16字节长度的随机密钥 // 待计算的数据 byte[] data "Hello, HMACSM3!".getBytes(); // 计算 HMACSM3 值 byte[] hmacValue hmacSM3(key, data); // 打印结果 System.out.println("HMACSM3 值: " + Base64.encodeBase64String(hmacValue)); } }

本文主要介绍如何使用备份创建镜像。 云主机备份支持将弹性云主机的备份创建为镜像，可利用镜像发放弹性云主机，达到快速恢复业务运行环境的目的。 当云主机被误删除的时候，可以使用云服务备份创建镜像达到恢复数据的目的。 前提条件 在进行本文操作之前，您需要完成以下准备工作： 请确保弹性云主机在备份前已完成如下操作： Linux弹性云主机优化并安装Cloudinit工具 Windows弹性云主机优化并安装Cloudbaseinit工具 创建镜像前备份的状态必须为“可用”，或者状态为“创建中”并在备份状态列显示“可用于创建镜像”时，才允许执行创建镜像操作。 说明 备份开始创建后会进入“创建中”的状态，一段时候过后，“创建中”的下方会出现“可用于创建镜像”的提示。此时，虽然备份仍在创建中，不能用于恢复，但是可以执行创建镜像的操作。 用于创建镜像的备份必须包含系统盘的备份。 仅支持使用弹性云主机的备份创建镜像，不支持使用物理机的备份创建镜像。 功能说明 考虑到由同一个备份创建的镜像都是相同的，为了节省镜像配额，一个备份只允许创建一个包含系统盘和所有数据盘的整机镜像，可通过这一个整机镜像发放多个弹性云主机。 已经创建过镜像的备份不允许手动或自动删除，如果想要删除备份，需要先删除该备份创建的镜像。如果备份是随备份策略产生，那在创建镜像后，该备份将不再计算在备份策略的保留规则内，即不会过期自动清理。 使用备份创建镜像时，镜像会对备份进行压缩，所以产生的镜像可能会比备份小。

本节为您介绍云迁移服务CMS中数据库迁移工具提供迁移对象选择。 数据库迁移工具提供迁移对象选择，用户可自行选择要迁移的表对象。 操作步骤： 1. 在可选对象方框中勾选要迁移的表或者结构对象，可以进行全选、取消全选、表名搜索操作。 2. 点击“>”箭头按钮，将选中的对象放置已选对象方框中，可进行全选、取消全选。 3. 点击“<”箭头按钮，可将选中的对象移回可选对象方框，不进行迁移。

本文介绍天翼云APP支持的管理工具 天翼云APP提供包括业务服务、财务工具、会员账号、开发运维等四类服务/工具，用户可根据分类选择需要使用的服务/工具 更多服务/工具正在接入中，敬请期待 管理常用工具 天翼云APP支持设置常用工具，用户可根据日常使用需要，添加常用工具入口，快速启动工具。 1、点击【更多应用】查看全部服务/工具 2、点击【编辑】按钮，添加或删除常用工具 3、点击【+】即可添加至常用工具，常用工具可点击【】删除，常用工具支持通过拖拽调整顺序

数据集准备 数据集下载 使用 wget 工具从指定地址下载数据集文件。以下命令行下载 alpaca 数据集为例： python 下载数据 cd ./dataset wget cd.. 【备选】使用模乐社区下载权重 apt install gitlfs git lfs install git clone 此过程会将数据集文件存储到指定目录中，下载完成后请检查文件完整性，为后续的数据预处理环节做好准备。 数据集预处理 下载完成后，需对原始数据集进行预处理，以便适配模型训练的需求。以下是预处理的关键步骤： python 处理数据 mkdir ./dataset/llama27bhf/ python ./tools/preprocessdata.py input ./dataset/train00000of00001a09b74b3ef9c3b56.parquet tokenizernameorpath ./modelfromhf/llama27bhf/ outputprefix ./dataset/llama27bhf/alpaca workers 4 loginterval 1000 tokenizertype PretrainedFromHF 运行完成后，终端显示如下信息： 通过以上步骤，您已成功将原始数据集转换为可直接用于训练的数据格式，此时也可以在文件管理器中看到生成的数据预处理文件。 模型训练

数据集准备 1.数据集下载 使用 wget 工具从指定地址下载数据集文件。以下命令行下载 alpaca 数据集为例： plaintext 下载数据 cd ./dataset wget cd.. 【备选】使用模乐社区下载权重 apt install gitlfs git lfs install git clone 此过程会将数据集文件存储到指定目录中，下载完成后请检查文件完整性，为后续的数据预处理环节做好准备。 2.数据集预处理 下载完成后，需对原始数据集进行预处理，以便适配模型训练的需求。以下是预处理的关键步骤： plaintext 处理数据 mkdir ./dataset/llama27bhf/ python ./tools/preprocessdata.py input ./dataset/train00000of00001a09b74b3ef9c3b56.parquet tokenizernameorpath ./modelfromhf/llama27bhf/ outputprefix ./dataset/llama27bhf/alpaca workers 4 loginterval 1000 tokenizertype PretrainedFromHF 运行完成后，终端显示如下信息： 通过以上步骤，您已成功将原始数据集转换为可直接用于训练的数据格式，此时也可以在文件管理器中看到生成的数据预处理文件。 模型训练

本节介绍云等保专区产品的功能特性。 云安全中心 云安全中心系统主要包含安全态势、资产中心、风险管理、威胁管理、分析中心、告警管理、编排响应、报表中心、集成配置以及数据源监控等功能。 主机安全 为云服务器提供基于客户端的防护，提供主机系统防护与加固、主机网络防护与加固等功能，具备业界领先的勒索专防专杀、网页防篡改、网络隔离与防护、补丁修复、外设管控、文件审计、违规外联检测与阻断等主机安全能力，帮您快速发现网站潜在安全隐患。 Web应用防火墙 精准覆盖各类Web应用攻击，为客户识别恶意请求，防御未知威胁，分钟级接入实现防入侵、防扫描、防攻击、防数据泄露、防CC攻击等防护，等保必备。 下一代防火墙 提供云上互联网边界和VPC边界的防护，包括：实时入侵检测与防御、全局统一访问控制、全流量分析可视化、日志审计与溯源分析。 堡垒机 4A统一安全管控平台，为企业提供集单点登录、统一资产管理、多终端访问协议、文件传输、会话协同等功能于一体的运维管理服务。 漏洞扫描 能够对Web应用的资产进行识别分类以及对Web应用进行深度弱点探测。通过漏洞产生的原理和渗透测试的方法，快速分析出被测目标所开放的端口服务和对应的协议信息，发现资产暴露面。漏洞库覆盖国内外常见CMS、中间件、操作系统等严重漏洞，帮助用户全面分析Web应用网络环境中存在的安全弱点。

3.3 SM4工具类 import org.bouncycastle.jce.provider.BouncyCastleProvider; import javax.crypto.Cipher; import javax.crypto.KeyGenerator; import javax.crypto.SecretKey; import javax.crypto.spec.SecretKeySpec; import java.security.Security; public class SM4Util { static { Security.addProvider(new BouncyCastleProvider()); } // 生成SM4密钥 public static byte[] generateKey() { try{ KeyGenerator keyGenerator KeyGenerator.getInstance("SM4", "BC"); keyGenerator.init(128); // 可选 128 或 256 SecretKey secretKey keyGenerator.generateKey(); return secretKey.getEncoded(); } catch (Exception e) { //TODO 处理异常 } } // 加密 public static byte[] encrypt(byte[] keyBytes, byte[] data) { try{ SecretKeySpec keySpec new SecretKeySpec(keyBytes, "SM4"); Cipher cipher Cipher.getInstance("SM4/ECB/PKCS5Padding", "BC"); cipher.init(Cipher.ENCRYPTMODE, keySpec); return cipher.doFinal(data); } catch (Exception e) { //TODO 处理异常 } } // 解密 public static byte[] decrypt(byte[] keyBytes, byte[] encryptedData) { try{ SecretKeySpec keySpec new SecretKeySpec(keyBytes, "SM4"); Cipher cipher Cipher.getInstance("SM4/ECB/PKCS5Padding", "BC"); cipher.init(Cipher.DECRYPTMODE, keySpec); return cipher.doFinal(encryptedData); } catch (Exception e) { //TODO 处理异常 } } } 3.4 Hmacsm3工具类 import org.apache.commons.codec.binary.Base64; import org.bouncycastle.crypto.digests.SM3Digest; import org.bouncycastle.crypto.macs.HMac; import org.bouncycastle.crypto.params.KeyParameter; import java.security.SecureRandom; public class HmacSM3Util { / 计算 HMACSM3 @param key 密钥 @param data 数据 @return HMACSM3 值 / public static byte[] hmacSM3(byte[] key, byte[] data) { HMac hmac new HMac(new SM3Digest()); hmac.init(new KeyParameter(key)); hmac.update(data, 0, data.length); byte[] result new byte[hmac.getMacSize()]; hmac.doFinal(result, 0); return result; } / 生成指定长度的随机密钥 @param length 密钥长度（字节） @return 随机生成的密钥 / public static byte[] generateRandomKey(int length) { SecureRandom random new SecureRandom(); byte[] key new byte[length]; random.nextBytes(key); return key; } // 示例用法 public static void main(String[] args) { // 生成随机密钥 byte[] key generateRandomKey(16); // 16字节长度的随机密钥 // 待计算的数据 byte[] data "Hello, HMACSM3!".getBytes(); // 计算 HMACSM3 值 byte[] hmacValue hmacSM3(key, data); // 打印结果 System.out.println("HMACSM3 值: " + Base64.encodeBase64String(hmacValue)); } }

本章节主要介绍数据质量的监控概述。 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。数据质量支持对离线数据的监控，当离线数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供了历史校验结果的管理，以便您对数据质量分析和定级。 另外，数据质量监控DQC支持根据数据架构中的数据标准，自动生成标准化的质量规则，并进行周期性的监控。 数据质量监控主界面包括以下功能模块。 功能 说明 总览 默认首页是总览页面，显示了数据表的报警和阻塞情况。 主要包括以下几部分内容： 所选周期内的作业数、实例数、异常表数，以及各种实例运行状态的分布和变化趋势情况。 当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 规则模板 质量规则模板是数据质量的核心功能，是配置规则的主要入口。它主要管理规则配置（内置模板和自定义模板）的相关功能。 质量作业 质量作业可将规则模板或自定义规则应用到表中，进行数据质量监控。 对账作业 对账作业可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 运维管理 运维管理用于查看规则运行状态，处理运维问题。 质量报告 系统根据作业的结果，会自动生成质量报告。

操作 使用限制 访问实例 若文档数据库实例未开通公网访问，则必须与弹性云主机在同一个虚拟私有云子网内才能访问。 文档数据库服务和弹性云主机在不同的安全组默认不能访问，需要在文档数据库服务安全组添加一条“入”的访问规则。文档数据库服务默认端口：8635，需要手动修改才能访问其它端口。 部署 实例所部署的弹性云主机，对用户不可见，即只允许应用程序通过IP地址和端口访问数据库。 数据库的rwuser权限 创建实例页面只提供管理员帐户rwuser权限。 修改数据库参数设置 用户创建的参数组中大部分数据库参数可以修改。 数据迁移 可以使用mongoexport和mongoimport命令行工具等方式迁移数据，具体请参见 存储引擎 支持WiredTiger存储引擎。 重启实例或节点 必须通过管理控制台操作重启实例。 查看备份文件 文档数据库服务在对象存储服务上的备份文件，对用户不可见。

本文为您了解主机监控功功能。 操作场景 使用主机监控可以帮助您及时快速了解云主机及物理机监控信息。 云主机监控分为基础监控、操作系统监控、进程监控，物理机监控包括CPU、内存、网络、磁盘等监控指标。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 您已经完成云产品的创建。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控”，进入监控概览页面。 4. 单击“主机监控”下拉菜单，选择“云主机监控”或“物理机监控”选项，进入对应云产品的监控页面。 5. 单击待查看的云服务资源所在行的“查看监控图表”，可查看该云产品中指定资源的监控图表。 说明 云主机、物理机监控数据采集依赖Agent插件，插件默认集成在在系统镜像中，用户无需手动安装。 如果云主机、物理机“监控状态”显示异常，用户可以手动排查定位问题及手动安装Agent插件。 如果云监控服务云主机、物理机列表页“监控状态”提示升级，用户只需点击升级按钮，即可完成Agent插件更新。

弹性云主机可以与其他产品集成丰富的解决方案,本文介绍弹性云主机与其他服务之间的关系。 弹性云主机与其他云服务的关系如图所示 弹性云主机与其他云服务的关系如表所示 服务名称 云主机与其他服务之间的关系 相关内容 镜像 镜像提供了运行云主机所需的信息，包括操作系统、初始化应用数据等。您可以通过镜像创建弹性云主机，提高弹性云主机的部署效率。 详细内容参见镜像文档 公共镜像 天翼云官方提供的基础镜像，均已获得正版授权，涵盖Windows Server系统镜像和主流的Linux系统镜像。云主机使用公共镜像可减少安全风险和漏洞，同时用户可通过使用公共镜像获得与实例一致的系统环境或软件，从而避免复杂的服务器配置问题，实现即开即用。 详细内容参见公共镜像文档 私有镜像 用户自行创建或导入的镜像，包含了初始系统环境、应用环境、软件配置等信息，可以节省重复配置的时间。云主机使用私有镜像可使云主机配置上具有高度的灵活性，满足用户个性化的需求。 详细内容参见[私有镜像文档](