DLI核心引擎：Spark+Flink Spark是用于大规模数据处理的统一分析引擎，聚焦于查询计算分析。DLI在开源Spark基础上进行了大量的性能优化与服务化改造，不仅兼容Apache Spark生态和接口，性能较开源提升了2.5倍，在小时级即可实现EB级数据查询分析。 Flink是一款分布式的计算引擎，可以用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时地处理一些实时数据流，实时地产生数据的结果。DLI在开源Flink基础上进行了特性增强和安全增强，提供了数据处理所必须的Stream SQL特性。 DLI服务架构：Serverless DLI是无服务器化的大数据查询分析服务，其优势在于： 自动扩缩容：根据业务负载，对计算资源进行预估和自动扩缩容。 如何访问DLI 服务平台提供了Web化的服务管理平台，既可以通过管理控制台和基于HTTPS请求的API（Application programming interface）管理方式来访问DLI，又可以通过JDBC客户端连接DLI服务端。 管理控制台方式 提交SQL作业、Spark作业或Flink作业，均可以使用管理控制台方式访问DLI服务。 API方式 如果用户需要将云平台上的DLI服务集成到第三方系统，用于二次开发，可以使用API方式访问DLI服务。

本文介绍如何使用云搜索Elasticsearch、Kibana、Logstash实例搭建日志分析平台。 使用ELK Stack（Elasticsearch、Logstash、Kibana、Beats）进行日志管理是一种流行的开源解决方案，用于集中式日志收集、存储、分析和可视化。ELK Stack可以从分布式系统中采集和聚合日志，帮助运维和开发人员更好地理解系统的运行状态、排查问题并监控关键业务指标。 本文将使用Filebeat、Logstash、Elasticsearch、Kibana搭建一个简单的日志分析平台，其中需要自行部署Filebeat并且打通和天翼云云搜索Elasticsearch、Kibana以及Logstash实例之间的网络。 ELK Stack组件 Elasticsearch 是一个分布式搜索引擎，作为ELK堆栈的核心，它负责存储和索引日志数据。Elasticsearch提供强大的全文搜索、过滤和分析功能，可以快速处理大规模数据并允许实时查询。 Logstash 是一个数据处理管道工具，负责从各种输入源收集数据，进行过滤、处理并将其输出到 Elasticsearch。Logstash 支持多种数据源（如文件、数据库、消息队列），并且能够通过过滤器对数据进行处理，比如解析、格式转换等。 Kibana 是一个数据可视化和分析工具，允许用户在浏览器中直观地查询和展示Elasticsearch 中存储的日志数据。Kibana提供多种图表、仪表盘和地图，可以帮助用户监控系统、分析日志、生成报表等。 Beats是一组轻量级数据收集器，用于将各种类型的数据发送到Elasticsearch或Logstash进行索引和分析。其中Filebeat是 ELK Stack 中的一个轻量级日志数据收集器，用于收集日志文件数据。它监视指定的日志文件或位置，并将其发送到Elasticsearch或Logstash以进行存储和分析。

为助力企业客户能更方便快捷的将已有业务迁移至天翼云分布式数据库或基于天翼云分布式数据库打造全新的应用，TeleDB不仅努力提升内核性能和管控资源全生命周期管理平台的易用性，还不断丰富周边的生态。目前已实现如下功能：如支持强大的GIS地理信息系统、支持异构数据复制能力、支持集群负载均衡能力和支持JSON数据类型等。 支持强大的GIS地理信息系统 GIS地理信息系统是指一个空间数据库，它通过SQL语言高效的进行空间数据管理、数量测量与几何拓扑分析对地球表层（包括大气层）空间中的地理分布数据进行采集、储存、管理、运算、分析、显示和描述。TeleDB透过集群化的PostGis插件，使其更好的支持强大的GIS地理信息系统。 说明 PostGIS插件不仅实现了Open Geospatial Consortium 所提出的基本要素类（点、线、面、多点、多线、多面等）的SQL实现参考。PostGIS还能使用wellknown text与wellknown binary在数据库中存储空间对象。wellknown text是一种用文本表示空间对象的注记方法，wellknown是一种用二进制流表示空间对象的存储方法。 GIS地理信息系统目前支持提供了如下的空间特性： 定义了一些基本的集合实体类型。 定义了一系列的函数和操作符来实现几何类型的操作和运算。 引入空间数据索引。 异构数据复制能力 在实际业务中，会涉及到非常多的TeleDB同其他数据库，包括PostgreSQL，MySQL，Oracle等的数据同步的需求。为了满足TeleDB和其它数据库包括PostgreSQL，MySQL，Oracle等实现数据同步，TeleDB开发了一款性能高效，安全可靠，功能完善的异构数据库复制工具。通过异构数据复制工具，让数据能够很好的在多个数据库中实现共享。 异构数据复制逻辑图如下： 异构数据复制原理主要通过数据实时同步、数据一致性同步和多种不同的数据同步方式组成。 数据实时同步 ： 同步数据需准实时的（分钟级）由源库同步到目标库。 数据一致性同步：异构数据库同步具备高可靠性，当发生断网、服务器重启、服务器宕机一段时间恢复后等场景下，保障同步数据的最终一致性。 数据同步方式：TeleDB支持对所有数据的全量同步和对变化数据的增量同步，以及配置同步任务。 全量同步：一般在系统迁移中，有历史数据的迁移，一次需要支持高效快速的将历史数据迁移到新系统的能力，称为全量同步。一般在全量同步完成后，会切换为下文提到的增量同步模式。 增量同步：同步工具实时跟踪数据改变情况，并及时将增量数据同步到目标库。 定时同步：支持配置类似定时任务，支持周期性向目标进行数据同步。

本文介绍如何在微信小程序引入验证码插件。 前提条件 已经订购边缘安全加速平台安全与加速服务，若未订购，请参见服务开通。 在控制台新增域名，请参见添加服务域名。 开通套餐为高级版及以上版本，支持验证码功能。 需先完成验证码配置。暂时未开放控制台，请通过提交工单给天翼云客服，由其人工操作开启。 目前支持小程序原生语言接入 注意 请勿在“微信开发者工具”的“游客模式”下接入验证码。 接入说明 1、添加插件 用管理员身份登录微信公众平台 ，且需使用接入小程序的相关账号。 选择设置 > 第三方设置 > 添加插件，在搜索框内输入关键字“ AOne 验证码”查找插件，并单击添加。 2、集成插件 引入验证码小程序插件。 使用验证码插件前，需要在 app.json 中声明验证码小程序插件，如下： html { "plugins": { "captchaplugin": { "version": "1.0.5", "provider": "wx10dca5c3b7d08b57" } } } 引入验证码小程序组件。 需要在页面.json 文件中需要引入自定义组件，js 代码如下： html { "usingComponents": { "aonecaptcha": "plugin://captchaplugin/aonecaptcha" } } 3、使用小程序插件 使用原生小程序语言接入时，需要在自定义的.wxml 文件中，使用验证码插件，wxml 代码如下： html 登录 组件参数说明： 字段名 值类型 默认值 说明 httpDomain String 无 验证码拦截的域名 captchaShow Boolean false 控制弹框显示 组件方法说明： 字段名 说明 success 成功回调 (code 状态码 0 成功,ticket 成功标识) close 关闭弹框 成功失败回调字段说明： 字段名 说明 code 状态码 ticket 成功标识 状态码code字段定义说明： 失败的状态页面会直接重新刷新，进行再次验证。 字段名 说明 0 成功，可以获取 ticket 1 验证数据格式有误 2 验证失败 3 验证动作超时 4 验证码版本不对 在自定义的.js 文件中，监听事件，代码如下： 2.1 打开弹框： html // 点击打开弹框 login: function () { this.setData({ captchaShow: true }) }, // 验证码成功回调 captchaSuccess: function (data) { console.log('验证码成功回调token:', data.detail) //获取验证码token，用于后端验证码校验 // code and ticket const detail data.detail this.setData({ ticket: data.detail.ticket, captchaShow: false, }) }, // 验证码关闭回调 captchaClose: function () { this.setData({ captchaShow: false, }) } })

项 目 约束和限制 迁移评估 TCO分析表只支持源端到天翼云端资源成本分析，并给出成本对比，成本分析饼图。 TCO分析表仅支持计算资源、数据库资源、对象存储资源、中间件RDS资源。 资源采集 资源采集分为离线、在线采集，其中离线采集通过调研模板填写源端资源真实信息，进行资源映射管理。 迁移组创建 每个待迁移资源在资源添加完成后都需进行迁移组的创建，便于后续迁移管理。 迁移计划创建 迁移计划建立在迁移组创建成功后，对待迁移资源进行选择。 迁移计划优先级 迁移计划优先级仅用于列表展示顺序进行标识。 迁移管理工具 目前仅支持服务器迁移服务（CMSSMS）、数据库迁移服务（CMSDMS）、数据迁移工具（CMSZMS）以及相应异构迁移工具。 特定需求限制 如果存在涉密文件、需要保持IP不变等特定需求，需要通过工单进行技术咨询，以满足相应需求。

基本概念 通过几个基本概念，可以帮助您更快了解什么是对象存储： 基础概念 概念解释 存储空间 Bucket 用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。 对象/文件 Object 存储数据的基本单元。一个对象实际是一个文件的数据与其相关属性信息的集合体。 存储区域 Region 天翼云媒体存储的分布地区，数据存放在这些区域的存储桶中。 访问域名 EndPoint 对象被存放到存储桶中，用户可通过访问域名访问和下载对象。 使用方式 工具 描述 :: 管理控制台 管理控制台以网页的形式为用户提供最简单且易上手的使用方式。通过管理控制台，用户可以使用直观的界面进行相应的操作。 XstorBrowser 本工具支持用户通过可视化界面进行操作。具体可参考：XstorBrowser简介与功能概述。 SDK SDK是对媒体存储提供的REST API进行的封装，用户直接调用SDK提供的接口函数进行使用。 API 对象存储提供REST形式的访问接口，用户可以直接调用相应接口完成操作。

客户价值 配置消息通知后，可以实时给用户发送翼MR集群健康状态，用户可以通过手机短信或邮箱实时接收到翼MR集群变更及组件告警信息。翼MR可以帮助用户轻松运维，实时监控，实时发送告警，操作灵活，大数据业务部署更加省心省力。 特性描述 翼MR联合消息通知服务(SMN)，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式。 首先，作为主题拥有者，我们可以先创建一个主题，并对主题设置访问控制权限来决定哪些发布者和订阅者可以通过该主题进行交流。翼MR将集群消息发送至您有权限发布消息的主题，然后所有订阅了该主题的订阅者（可以是手机短信、邮箱等）都将收到集群变更以及组件告警的消息。

本节主要介绍LevelDB到GeminiDB Redis的迁移方案。 LevelDB是一个开源的持久化KV单机数据库引擎，具有很高的随机写，顺序读/写性能，适合应用在写多读少的场景。其内部没有设计成C/S网络结构，使用时必须和服务部署在同一台服务器，对于服务的部署、使用有较大的限制。相比于在LevelDB基础上开发的RocksDB, LevelDB存在较多缺点，如无法很好的使用多核服务器的计算性能，无法支撑TB级数据存储，不支持从HDFS读取数据等。 GeminiDB Redis采用RocksDB作为存储引擎，兼容Redis协议，具有丰富的数据类型，可以满足LevelDB的使用需求。同时GeminiDB Redis对RocksDB进行深度定制，实现秒级分裂弹性扩容，扩缩容无需搬迁数据，快速而平滑，为LevelDB业务转到Redis生态提供了便利。 迁移原理 使用自研迁移工具leveldbport，和LevelDB部署在相同机器上，准备好配置文件，启动迁移即可自动完成全量与增量的迁移。 全量迁移对LevelDB数据进行快照，然后扫描整个数据库，将数据打包成GeminiDB Redis识别的格式，发送到GeminiDB Redis ，具有很高的迁移效率。 增量迁移解析LevelDB的wal文件，将LevelDB的操作解析出来，然后对其中的key进行分片，多线程进行发送。 使用须知 迁移工具需要部署在源端，对性能有一定消耗，可通过修改配置文件进行一定的控制。 迁移过程读取LevelDB的源数据文件，只读操作，理论上不会有数据受损风险。 迁移过程不需要停服。 若迁移过程出现故障，需要清理GeminiDB Redis实例，重新启动迁移。

本章节主要介绍翼MapReduce的安全增强特性。 翼MR作为一个海量数据管理和分析的平台，具备高安全性。翼MR主要从以下几个方面保障用户的数据和业务运行安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中，提供隔离的网络环境，保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能，为用户提供高安全、高可靠的网络隔离环境。 资源隔离 翼MR服务支持资源专属区内部署，专属区内物理资源隔离，用户可以在专属区内灵活地组合计算存储资源，包括专属计算资源+共享存储资源、共享计算资源+专属存储资源、专属计算资源+专属存储资源。 主机安全 翼MR支持与公有云安全服务集成，支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等。针对操作系统和端口部分，提供如下安全措施： 操作系统内核安全加固 更新操作系统最新补丁 操作系统权限控制 操作系统端口管理 操作系统协议与端口防攻击 应用安全 通过如下措施保证大数据业务正常运行： 身份鉴别和认证 Web应用安全 访问控制 审计安全 密码安全 数据安全 针对海量用户数据，提供如下措施保障客户数据的机密性、完整性和可用性。 容灾：翼MR支持将数据备份到OBS（对象存储服务）中，支持跨区域的高可靠性。 备份：翼MR支持针对DBService、NameNode、LDAP的元数据备份和对HDFS、HBase的业务数据备份。

相关服务 交互功能 弹性云服务器(ECS) RDSPostgreSQL配合弹性云服务器 (Elastic Cloud Server，简称ECS)一起使用，通过内网连接RDSPostgreSQL可以有效地降低应用响应时间、节省公网流量费用。 虚拟私有云(VPC) 对您的RDSPostgreSQL实例进行网络隔离和访问控制。 弹性IP(EIP) 为您的实例提供公网访问方式。 数据迁移工具(DTS) 使用数据复制服务，实现数据库平滑迁移上云。 数据库管理工具(DAS) 使用数据管理服务，通过专业优质的可视化操作界面，提高数据管理工作的效率和安全。 数据库专家服务 专家团队为您提供数据库安装部署、健康巡检、应急响应、性能调优、架构规划设计、数据迁移咨询、备份恢复咨询等各类数据库专业服务，解决数据库各类问题，为您的数据库系统保驾护航。

本节为您介绍云迁移服务CMS中数据库迁移工具数据迁移快速配置,包括注意事项及操作步骤。 注意事项 本文仅简单介绍数据迁移的通用配置流程，不同迁移类型在配置时略有不同。具体配置步骤请阅读数据迁移任务创建。 操作步骤 1. 进入数据迁移的任务列表界面。 2. 单击“创建任务”按钮，进入迁移任务配置界面。 数据库ip地址可以填写私有地址，只要安装迁移工具的节点能访问到即可，需要数据库开通白名单。 如果数据库部署在安装迁移agent的同一节点，填写数据库ip时不可填写127.0.0.1而要用本机的ip地址，因为迁移agent安装在docker中，使用127.0.0.1无法访问本地其他服务端口。 3. 填写好任务参数和源端以及目标数据库信息后，单击源端和目标端测试连接按钮。 4. 通过连接测试后点击“下一步：迁移对象”，勾选要迁移的对象。 5. 选中要迁移的表后，点击高级配置，进行表对象配置。 6. 如不需进行配置或配置完成，则点击“下一步：启动迁移”，即可查看迁移进度。

非对称数据加解密 非对称密钥加密通信的过程类似于对称加密，区别在于需要使用公钥进行数据加密，使用私钥进行数据解密。由于KMS中用户私钥不支持导出，使用者仅能通过接口调用私钥进行数据解密。 实际使用时，信息接收者将加密公钥分发给信息传送者，信息传送者使用公钥对敏感信息进行加密保护，信息传送者将敏感信息的密文传递给信息接收者，信息接收者使用私钥将敏感信息的密文解密。 云产品服务端加密 与天翼云产品联动，提供对云硬盘、对象存储、弹性文件、数据库等产品中的数据进行服务端加密，保证云上数据的安全性。用户只需通过云产品控制台一键勾选KMS加密功能，加解密过程透明无感知。 完整性保护 提供基于国密算法的完整性保护能力，通过SM3算法计算HMAC值以进行对比验证，实现完整性校验。 证书管理 提供高可用、高安全的证书托管能力，包括数字证书和Ukey证书，您可以通过KMS提供的云原生接口实现签名验签运算。 凭据管理 提供凭据的创建、检索、更新、删除等全生命周期管理服务，同时依托KMS密钥实现加密存储，轻松实现敏感凭据的中心化管理及安全保护。应用程序可以快速集成凭据服务API接口动态获取凭据值，有效规避程序硬编码或明文配置等风险问题。

本节包含通过全量备份文件恢复到自建PostgreSQL数据库的相关内容。 本章节介绍将下载的RDS for PostgreSQL全量备份文件恢复到自建PostgreSQL数据库的操作步骤。 如果您希望在本地重新建立一个同样体量PostgreSQL数据库，并且将RDS for PostgreSQL数据全部迁移，可以使用本章节操作将下载的.tar.gz文件在本地进行重建。 操作流程 1. 下载RDS for PostgreSQL实例中对应时间点的全备文件。 2. 将全备文件上传到本地用以重建数据库。 3. 使用tar解压工具将全备文件解压。 4. 保留自建数据库相关配置文件并通过os命令将解压的全备文件覆盖到自建数据库的data目录中。 5. 重启数据库，等待数据库恢复完成。 约束限制 本章节仅使用从RDS for PostgreSQL所有版本实例下载的全量备份文件在本地恢复到对应版本自建数据库，不包括增量备份的恢复操作。 自建PostgreSQL数据库内核小版本需与RDS for PostgreSQL版本号一致。 通过psql V或psql version命令，可以查看PostgreSQL内核版本。 仅支持恢复到本地为Linux操作系统的数据库，系统上需要安装tar解压工具。 通过sudo yum install tar命令安装tar解压工具。 在进行恢复阶段请勿在本地自建数据库运行其他业务或保留业务数据。 RDS for PostgreSQL有部分增强特性（如Failover Slot等），使用云上的物理备份恢复到开源自建数据库时执行部分SQL报错，需要将用到的增强特性删除，详见常见问题。 本地自建数据库的操作系统与云数据库的操作系统可能不一致，而PostgreSQL数据库部分索引的排序规则依赖操作系统，恢复到自建数据库后需要重建索引，需要重建的索引排查方法见官方文档。

本页面介绍云数据库ClickHouse的实践教程。 本页面以UK property prices和Brown University Benchmark数据集为例，演示了如何将测试数据集导入云数据库ClickHouse并进行数据检索与分析。 准备工作 在开始测试之前，需要完成以下准备工作： 1. 创建了目标云数据库ClickHouse实例。详细的操作步骤，请参考创建实例。 2. 创建了用于目标云数据库ClickHouse集群的数据库账号和密码。详细的操作步骤，请参考创建账号。 3. 确保导入数据及执行命令的机器可以连接到云数据库ClickHouse实例。 4. 根据云数据库ClickHouse集群的版本，下载并安装相应版本的clickhouseclient工具。 步骤说明 1. 打开命令行终端，并进入clickhouseclient工具所在的目录。 2. 使用clickhouseclient连接到云数据库ClickHouse集群，使用先前创建的数据库账号进行身份验证。 3. 下载相应数据集，这些数据集可以从开源网站获取。 4. 将数据集导入到云数据库ClickHouse集群中，可以使用clickhouseclient的导入命令进行数据导入。 5. 进行数据分析与查询，可以执行各种查询语句，比较查询性能指标如查询时间、吞吐量等。 通过执行以上步骤，您可以将测试数据集导入到云数据库ClickHouse中，并进行性能测试以评估系统的查询性能和吞吐量。 UK property prices数据集 该数据集包含有关英格兰和威尔士的房地产交易价格的数据，从1995年开始提供，未压缩形式下数据集的大小约为4 GiB（在云数据库ClickHouse中仅占用约278 MiB）。

本页将介绍数据库的基本使用问题以及解决方法。 MySQL 8.0是否支持全文索引 MySQL 8.0版支持全文检索，全文索引主要用于对文本类型的数据进行搜索，其关键字为FULLTEXT。以下是使用全文索引的一个示例： 1.创建表 CREATE TABLE test ( id bigint unsigned AUTOINCREMENT PRIMARY KEY, name varchar(255) NOT NULL, info varchar(255) NOT NULL, FULLTEXT (name) ) ENGINEInnoDB CHARSETutf8mb4; 2.在现有表上添加全文索引 ALTER TABLE test ADD FULLTEXT (info); 3.查看索引 SHOW INDEX FROM TEST; 4.使用索引 SELECT id,name,info FROM test WHERE MATCH(info) AGAINST('keyword'); 如何通过数据管理服务(DAS)执行SQL语句 数据管理服务（Data Admin Service,简称DAS），是一种基于管理控制台提供数据管理、结构管理、会话以及用户管理的服务，方便用户高效管理和安全使用数据。通过DAS执行SQL语句可以参考查询指引。 mysqlbinlog工具使用方法介绍 mysqlbinlog是MySQL的一个命令行工具，用于解析和显示二进制日志文件（binary log）。它提供了查看和分析二进制日志的功能，可用于恢复数据、数据复制、故障排除等场景。以下是mysqlbinlog工具的使用方法介绍： 基本语法： mysqlbinlog [options] [logfile [base64]roweventslogfile startpositionN [stoppositionN]] [options] 常用选项： u, userusername: 连接MySQL服务器的用户名。 p, password[password]: 连接MySQL服务器的密码。 h, hosthostname: 连接MySQL服务器的主机名。 P, portportnum: 连接MySQL服务器的端口号。 d, databasedatabasename: 指定要解析的特定数据库。 t, startdatetimedatetime: 指定要解析的起始日期时间。 R, rowevents: 显示基于行的事件。 v, verbose: 输出详细的解析信息。 使用示例： 1. 显示二进制日志文件的内容。 mysqlbinlog binlog.000001 2. 解析特定数据库的二进制日志文件。 mysqlbinlog databasemydb binlog.000001 3. 解析特定时间范围内的二进制日志文件。 mysqlbinlog startdatetime"20230601 00:00:00" stopdatetime"20230602 00:00:00" binlog.000001 4. 解析特定位置范围内的二进制日志文件。 mysqlbinlog startposition123456 stopposition123789 binlog.000001 5. 显示基于行的事件（适用于ROW格式的二进制日志）。 mysqlbinlog rowevents binlog.000001

本节主要介绍RocksDB到GeminiDB Redis的迁移方案。 RocksDB是FaceBook基于LevelDB开发的一个持久化KV单机数据库引擎，具有强大的顺序读写及随机写性能。相对于LevelDB，RocksDB做了许多优化，性能有了很大提升， 而且解决了LevelDB主动限制写的问题。作为一个数据库引擎，RocksDB没有设计成C/S网络结构，直接使用需要和服务部署在同一台服务器，对于服务的部署、使用有较大的限制。 GeminiDB Redis采用RocksDB作为存储引擎，兼容Redis协议具有丰富的数据类型，可以满足RocksDB的使用需求。同时GeminiDB Redis对RocksDB进行深度定制，实现秒级分裂弹性扩容，扩缩容无需搬迁数据，快速而平滑，为RocksDB业务转到Redis生态提供了便利。 迁移原理 使用自研迁移工具rocksdbport，和RocksDB部署在相同机器上，准备好配置文件，启动迁移即可自动完成全量与增量的迁移。 全量迁移对RocksDB数据进行快照，然后扫描整个数据库，将数据打包成GeminiDB Redis识别的格式，发送到GeminiDB Redis，具有很高的迁移效率。 增量迁移解析RocksDB的wal文件，将RocksDB的操作解析出来，然后对其中的key进行分片，多线程进行发送。 使用须知 迁移工具需要部署在源端，对性能有一定消耗，可通过修改配置文件进行一定的控制。 迁移过程读取RocksDB的源数据文件，只读操作，理论上不会有数据受损风险。 迁移过程不需要停服。 若迁移过程出现故障，需要清理GeminiDB Redis实例，重新启动迁移。

本文为您介绍应用接入点的概念及具体功能。 应用接入点是KMS提供的一种身份认证和访问控制机制，当应用需要使用密钥进行加解密时，可通过应用接入点对应用进行身份认证和行为管控。 应用接入点包含三个关键信息：权限规则、身份凭证和应用接入地址。 通过应用接入点访问KMS服务为私网访问，认证方式采用AK/SK方式，对应可集成服务SDK。关于服务SDK的详细介绍，请参见服务SDK。 说明 建议您为每个集成KMS的应用单独创建应用接入点，以确保访问控制权限的独立性。 当前KMS提供3个免费的应用接入点额度。 成功开通KMS服务实例后，KMS会在服务实例所在VPC自动生成并启用默认应用接入点（default）。 默认应用接入点生成后不会生成身份凭证并默认关闭权限规则开关，如需使用请自行创建和配置。 身份凭证 身份凭证用于对KMS资源访问者进行身份认证和行为鉴权。 当前KMS通过AK/SK的身份验证方式，其中包含AK（Accesskey）和SK（Secretkey）。 一个应用接入点支持创建多个身份凭证。 注意 生成访问凭证（AK/SK）后，您需要立即在弹窗中复制或下载文件，关闭后不再支持下载。若您未能成功保存，可删除后重新创建。 如果访问凭证（AK/SK）泄露，会带来数据泄露风险，建议妥善保管。 权限规则 应用接入点可配置对应的权限，包括可使用的密钥、证书等资源范围以及接口级操作权限。 允许访问的资源：应用允许访问的密钥、证书。 操作权限：应用允许使用的功能点。 说明 权限规则开关默认关闭，即允许访问当前账号下的所有资源及操作。若您需要为应用接入点配置特定权限，请开启开关并配置。 关于应用接入点权限的详细介绍请参考应用接入点权限。

本节为您介绍云迁移服务CMS中数据库迁移工具数据同步快速配置,包括注意事项及操作步骤。 注意事项 本文仅简单介绍数据同步的通用配置流程，不同同步类型在配置时略有不同。具体配置步骤请阅读数据同步任务创建。 操作步骤 1. 进入数据同步的任务列表界面。 2. 单击“创建任务”按钮，进入任务配置界面。 数据库地址可以填写私有地址，只要安装迁移工具的节点能访问到即可，需要数据库开通白名单。 如果数据库部署在安装迁移agent的同一节点，填写数据库ip时不可填写127.0.0.1而要用本机的ip地址，因为迁移agent安装在docker中，使用127.0.0.1无法访问本地其他服务端口。 3. 填写好信息配置和源数据库信息，单击测试连接按钮。 4. 通过连接测试后点击“下一步：启选择同步对象”。 5. 从可选对象列表中选择需要同步的表添加到已选对象后点击“下一步：转换规则配置”，对选择好的同步对象进行转换规则配置。 6. 规则配置好之后，点击“下一步：启动同步”，则可以看到同步进度界面

告警管理中的静默规则能够有效聚合告警信息，避免出现告警风暴现象。您可通过配置静默规则，自定义与告警事件相匹配的筛选条件，当满足相应条件时，符合要求的告警事件将被静默处理，不再进入后续的通知流程。 新建静默策略 1. 登录【应用性能监控控制台】，在左侧导航栏选择告警管理>静默策略。 2. 在静默策略页面单击新建静默策略。 3. 在新建静默策略页面设置静默策略名称。 4. 在静默事件匹配规则区域设置静默事件的匹配规则： 注意 静默策略优先于通知策略，即已被静默策略匹配到的告警事件将会被静默，无法再进行通知策略的事件匹配。创建通知策略的操作，请参见【通知策略】。 1. 选择数据来源。 指定来源：静默策略会针对指定来源（集成）的告警事件进行匹配规则过滤。 无预设来源：静默策略会针对所有告警事件进行匹配规则过滤。 2. 设置匹配规则表达式，您可以自定义标签或选择已有的标签。 已有的标签包括： 告警规则表达式指标中携带的标签。 系统自带的默认标签，默认标签说明如下。 分类 标签 说明 常用字段 alertname 告警规则名称 常用字段 carmsobjid 告警对象ID 常用字段 carmsobjtype 告警对象类型 常用字段 carmsobjname 告警对象名称 常用字段 alertGroup 告警规则的group属性 系统预置字段 ctyunarmsregioncode 资源池编码 系统预置字段 ctyunarmsregionname 资源池名称 系统预置字段 ctyunarmstenantcode 租户编码 系统预置字段 ctyunarmstenantname 租户名称 系统预置字段 ctyunarmsalertlevel 告警等级： 1一般 2次要 3重要 4紧急 系统预置字段 ctyunarmsalertruleid 告警规则ID 系统预置字段 ctyunarmsnotifystrategyid 告警通知策略ID 系统预置字段 ctyunarmsintegrationname 集成名称，ARMS默认上报的告警集成名称为ARMSDEFAULT。 系统预置字段 ctyunarmsalertrulefrequency 告警通知频率 说明 如果需同时满足多个匹配规则才告警，则单击添加条件编辑第二条匹配规则条件。 如果需满足任意一个匹配告警事件规则就告警，则单击添加规则编辑第二条匹配规则。 3. 设置静默规则生效时间。 持续生效 循环生效：选择每天或每周循环，然后单击添加，设置静默规则生效时间段。 自定义时间段：单击添加，自定义设置静默规则生效时间段。 4. 设置完成后，单击确认。

天翼云搜索服务的OpenSearch实例支持多种访问方式，本文将对各种访问方式适用场景进行简单介绍。 OpenSearch Dashboards访问 OpenSearch实例支持通过OpenSearch Dashboards可视化界面进行连接。用户可以通过登录页面输入用户名和密码访问实例，默认用户名为admin，密码为创建实例时设置的管理员密码。Dashboards提供了强大的数据可视化和管理功能。 Curl命令行方式 用户可以使用Curl命令行与OpenSearch实例进行通信。Curl命令允许执行多种操作，如创建索引、查询数据、更新和删除文档，适合用于快速测试和管理实例。 Python客户端访问 OpenSearch提供官方Python客户端（opensearchpy），允许开发者通过API与OpenSearch实例交互。该客户端适用于数据索引、复杂查询和自动化脚本，适合大规模数据处理和分析场景。 Java客户端访问 Java客户端提供对OpenSearch实例的深度集成，使用RestHighLevelClient等API与OpenSearch通信。Java客户端非常适合在企业级应用中进行复杂搜索、实时数据处理等操作，能够与Spring等框架很好地结合。 Go客户端访问 Go客户端支持与OpenSearch REST API高效交互，特别适合需要高并发、低延迟的应用。通过Go客户端，可以实现对OpenSearch实例的快速连接和操作，常用于高性能、可扩展的云搜索服务场景。

本文介绍如何将数据从其它云迁移到海量文件服务。 应用场景 在第三方云厂商存储大量数据的用户，如果想要将数据迁移至天翼云海量文件服务（后文简称OceanFS），传统方法需要先将存储在第三方云厂商上的数据下载到本地，再通过客户端手动上传到OceanFS，整个过程耗时又耗力，容易存在漏传、误传等问题。因此本文推荐您配置一个弹性云主机实例挂载OceanFS作为数据传输的中转节点，然后通过迁移工具将数据从本地至天翼云OceanFS。 FileZilla Client是一款强大且易用的跨平台FTP客户端软件，能帮助用户高效、稳定地进行多种协议的文件传输。本文基于FileZilla作为SFTP客户端，用户可根据需求选择合适的版本下载安装该客户端工具。 前提条件 已拥有一个NFS协议OceanFS文件系统。 准备一台与海量文件系统在同一VPC网络下的Linux弹性云主机（须配置弹性IP）。 同时保证该文件系统可挂载至弹性云主机上，即二者之间网络通畅。 准备工作 分别创建一个海量文件系统和一台弹性云主机，具体操作请参考创建海量文件系统、创建弹性云主机。 下载安装迁移客户端工具。 操作步骤 将第三方数据迁移至海量文件系统可以分为几个关键步骤：将第三方数据下载至本地 > 挂载海量文件系统 > 本地安装SFTP客户端并与挂载海量文件系统的弹性云主机建立连接 > 迁移本地数据到海量文件系统 。具体操作步骤如下： 1. 将第三方数据下载至本地目录。 2. 将海量文件系统挂载到云主机 。将海量文件系统挂载至Linux云主机中“/mnt/OceanFS”目录下，具体操作请参考挂载文件系统。 3. 本地安装SFTP客户端并与挂载海量文件系统的弹性云主机建立连接。 1）本地安装SFTP客户端，根据页面提示进行下载安装。 2）安装完成后输入主机、用户名、密码和端口，参数说明见下表。配置完成后，点击“快速连接”建立连接。 3）配置完成，点击“快速连接”，建立连接。 参数 说明 主机 弹性云主机绑定的公网IP，即弹性IP。 用户名 弹性云主机的用户名，例如root（注意：需要保证建立连接的用户拥有读写海量文件系统目录的权限）。 密码 弹性云主机用户登录密码，例如root用户登录密码。 端口 SFTP端口号，默认为22。 4）建立连接后，页面左侧为要迁移数据的目录，右侧为OceanFS文件目录路径（/mnt/OceanFS)。 4. 迁移数据 。在左侧区域想要迁移的文件或者目录上点击右键，然后点击“上传”即可完成迁移数据到海量文件系统上。

为什么Windows系统迁移完成后，目的端只能看到系统盘？ 当源端服务器的磁盘策略为共享磁盘脱机或者离线模式时，迁移后会导致数据盘处于离线状态。 解决方案 迁移完成后，如果后续不再进行同步操作，请直接在目的端服务器进行修改。 迁移完成后，如果还需要进行同步操作，请在源端服务器进行修改，修改后进行同步操作。 Windows迁移后无法上网 问题描述 Windows迁移成功后无法连接网络，提示“sms.5603Windows迁移后无法上网”。 问题分析 该问题可能是如下原因导致： 网络适配器驱动存在异常。 网络配置错误。 解决方案 网络适配器驱动存在异常。 1. 在设备管理器中寻找是否有异常的网络设备，使用自动搜索更新驱动程序软件更新驱动 , 然后重启目的端服务器。 2. 如果自动更新之后仍然不能上网，尝试先禁用该驱动，再重新启用该驱动，然后重启目的端服务器。 3. 如果进行上述操作后仍然不能上网，请找一台和目的端服务器在同一可用区可以上网的临时服务器，以挂载的方式将目的端服务器的一块数据盘挂载到临时服务器上。 1. 在临时服务器，下载vmtools工具安装包到目的端数据盘中（不要安装）。 2. 将该数据盘挂载回目的端服务器，然后登录目的端服务器找到该数据盘中的vmtools工具安装包进行安装。 3. 最后重启目的端服务器。 网络配置错误。 1.在 cmd中执行 ipconfig，查看内网IP与ECS控制台的内网IP是否一致，如果不一致，可能设置了静态IP，请修改为DHCP方式获取IP地址。 2.ping EIP可以ping通，外网域名无法ping通。请调整DNS配置。

本章节主要介绍创建并提交Spark Jar作业 。 操作场景 DLI可以查询存储在OBS中的数据，本节操作介绍使用DLI提交Spark Jar进行实时计算的操作步骤。 操作流程 使用DLI提交Spark作业进行实时计算。基本流程如下： 1.上传数据至OBS 2.创建队列 3.创建程序包 4.提交Spark作业 上传数据至OBS 开发Spark Jar作业程序，编译并打包为“sparkexamples.jar”。参考以下操作步骤上传该作业程序。 提交Spark作业之前，需要在OBS中上传数据文件。 1.登录管理控制台 2.在服务列表中，单击“存储”中的“对象存储服务OBS”，进入OBS管理控制台页面。 3.创建桶，这里以桶名“dlitestobs01”为例。 a. 单击“创建桶”。 b. 进入“创建桶”页面，输入“桶名称”。其他参数保持默认值或根据需要选择。 说明 创建OBS桶时，需要选择与DLI管理控制台相同的区域，不可跨区域执行操作。 c. 单击“立即创建”。 4.单击所建桶“dlitestobs01”，进入“对象”页面。 5.选择左侧列表中的“对象”，选择“上传对象”，将需要上传的文件，例如“sparkexamples.jar”上传到指定目录，单击“确定”。 例如，文件上传成功后，待分析的文件路径为“obs://dlitestobs01/sparkexamples.jar”。 说明 关于OBS管理控制台更多操作请参考《 OBS上传文件指导，请参见《 针对大文件场景，由于OBS管理控制台对文件大小和数量限制较多，所以推荐使用OBS工具上传大文件，如OBS Browser+上传。 OBS Browser+是一个比较常用的图形化工具，，支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。

本节介绍了安装并配置CloudbaseInit工具的操作场景、前提条件、安装CloudbaseInit工具、配置CloudbaseInit工具。 操作场景 为了保证使用私有镜像创建的新云主机可以通过“用户数据注入”功能注入初始化自定义信息（例如为云主机设置登录密码），建议您在创建私有镜像前安装CloudbaseInit工具。 不安装CloudbaseInit工具，将无法对云主机进行自定义配置，只能使用镜像原有密码登录云主机。 使用公共镜像创建的云主机，默认已经安装CloudbaseInit，不需要执行安装及配置操作。 使用外部镜像文件创建的云主机，请按照指导安装及配置CloudbaseInit。 前提条件 已为云主机绑定弹性公网IP。 已登录到云主机。 云主机的网卡属性为DHCP方式。 已安装一键式重置密码插件。 因为安装CloudbaseInit工具的操作步骤中如果有重启云主机的操作，可能导致密码被修改为一个随机密码，所以需要安装一键式重置密码插件重置密码。操作步骤请参考安装一键式重置密码插件。 安装CloudbaseInit工具 1. 在Windows操作系统中，单击“开始”，选择“控制面板 > 程序 > 程序和功能”查看是否安装CloudbaseInit。 − 是，无需重复安装，直接执行下文“配置CloudbaseInit工具”。 − 否，执行以下安装操作步骤。 2. 操作系统是否为Windows桌面版。 − 是，执行3。 − 否，若操作系统为Windows Server版本，请执行4。 3. 如果操作系统是Windows桌面版，如Windows 7或者Windows 10，那么需要在安装CloudbaseInit前确保Adminstrator账号未禁用。以Windows 7为例，具体操作请以实际为准。 a. 在操作系统中单击“开始”，选择的“控制面板 > 系统和安全 > 管理工具”。 b. 双击“计算机管理”。 c. 选择“系统工具 > 本地用户和组 > 用户”。 d. 右键单击“Administrator”，选择“属性”。 e. 确认已取消勾选“账户已禁用”选项。 4. 下载CloudbaseInit工具安装包。 根据Windows操作系统的不同位数，您需要下载不同版本的CloudbaseInit工具安装包。Cloudbase官网： CloudbaseInit分为稳定版本和Beta版本两种。 稳定版本获取路径： − 64位： − 32位： Beta版本获取路径： − 64位： − 32位： 5. 双击打开CloudbaseInit工具安装包开始安装。 6. 单击“Next”。 7. 勾选“I accept the terms in the License Agreement”，单击“Next”。 8. 使用CloudbaseInit默认安装路径进行安装，单击“Next”。 9. 在“Configuration options”窗口中，设置用户名为“Administrator”，日志输出串口选择“COM1”，且不勾选“Run CloudbaseInit service as LocalSystem”。如下图所示。 说明： 图片中的版本号仅供参考，请以实际情况为准。 设置参数 10. 单击“Next”。 11. 单击“Install”。 12. 在“Files in Use”窗口保留默认勾选“Close the application and attempt to restart them”，单击“OK”。 13. 操作系统是否为Windows桌面版。 − 是，执行15。 − 否，执行14。 14. 在“Completed the CloudbaseInit Setup Wizard ”窗口，请勿勾选“Run Sysprep to create a generalized Image. This is necessary if you plan to duplicate this instance, for example by creating a Glance image”及“Shutdown when Sysprep terminate”。如下图所示。 完成安装 说明： 图片中的版本号仅供参考，请以实际情况为准。 15. 单击“Finish”。

参数名 类型 说明 model string 实际执行任务的模型标识 created int32 任务创建 Unix 时间戳（秒） data object[] 图片结果数组。 子对象：url图片链接 /base64 数据； size图片像素尺寸，例如3104x1312 tools object[] 本次请求传入的工具配置，仅 5.0‑lite 有效 usage object 用量统计 generatedimages int 生成图片张数 outputtokens int 输出 token totaltokens int 总 token toolusage object 工具调用统计 toolusage.websearch int websearch 次数

本节为您介绍使用海量文件服务时四种常见的数据迁移场景。 文件系统需要挂载到计算服务后可被共享访问，可通过将文件系统挂载至一台可访问公网的弹性云主机后借助迁移工具实现数据迁移。常见的数据迁移场景有以下四种： 非天翼云数据迁移至海量文件服务 对象存数据迁移至海量文件服务 同账号不同资源池间的数据迁移 文件系统之间的数据迁移

本章节介绍Hive集成使用。 Hive 查询 Hudi 表 Hudi 表的元数据已由平台同步至 Hive Metastore，用户通过 Beeline 等 Hive 客户端即可按普通表方式查询，表数据的写入统一由 Spark/Flink 完成，Hive 侧只做读取。 平台同步的Hive 表 InputFormat 按表类型自动设置： 查询方式 InputFormat 说明 COW 表 / MOR 读优化查询 org.apache.hudi.hadoop.HoodieParquetInputFormat 读取基础文件（Parquet） MOR 表快照查询 org.apache.hudi.hadoop.realtime.HoodieParquetRealtimeInputFormat 读时合并基础文件与日志文件 查询COW 表与 Spark 引擎一致；针对 MOR 表，Hive 中通过表名后缀区分两种查询视图： plaintext 仅查询数据文件（基础文件）中的数据（读优化视图，ro 后缀） select id, name, datetime from hudidb.ordersmorro; 查询数据文件 + 日志文件中的最新数据（实时视图，rt 后缀） select id, name, datetime from hudidb.ordersmorrt; ro 表未包含未压缩日志中的最新更新数据，rt 表可查询到最新数据。若 Hive 中仅存在 ro 表（读优化同步），需读取最新数据时改用 Spark 快照查询，或等待/触发压缩后再查。 注意 MOR 表在 Hive 中查询时，若表 InputFormat 为 HoodieParquetInputFormat 则仅读取已压缩的基础文件（读优化查询），未压缩日志中的最新数据不含在结果内。 Hive 增量查询 Hive 中对 Hudi 表做增量查询，先设置 InputFormat 与增量属性，再按表属性指定的时刻拉取增量数据： plaintext SET hive.input.formatorg.apache.hudi.hadoop.hive.HoodieCombineHiveInputFormat; 增量属性通过建表时的表参数（TBLPROPERTIES）指定：hoodie.datasource.query.typeincremental 与 hoodie.datasource.read.begin.instanttime，查询语法与普通 SELECT 相同。 注意 Hive 侧增量查询功能与性能均有限，不推荐生产环境使用；生产环境的增量消费优先使用 Spark 增量查询或 Flink 流式读取。

迁移时长 因迁移速度受网络带宽，磁盘IO，CPU和内存占用率，文件大小、数量等因素影响，主机迁移服务无法准确的评估出迁移时长，迁移任务中“剩余迁移时间预测”仅供参考。 建议30天内完成数据迁移和业务割接。 由于增量同步受源端文件数目，有效簇连续性以及源端增量数据大小等多方面因素影响，因此主机迁移服务无法评估和保障同步时长。 迁移过程操作须知 迁移过程中，禁止对目的端服务器的系统、磁盘进行操作，包括但不限于切换操作系统、重装系统等。 迁移过程中，会对目的端服务器的磁盘进行格式化并重新分区，请迁移前做好数据备份以及确认目的端服务器磁盘可被格式化。 迁移过程中，Windows迁移和Linux块级迁移禁止重启SMSAgent。 迁移过程中，Linux文件级迁移重启SMSAgent支持断点续传，但仍然有出现异常的风险，非必要，建议不要重启SMSAgent。 如果迁移过程中出现报错，请及时收集迁移日志，以供技术人员定位问题。 迁移后须知 主机迁移服务属于系统迁移，可以保证迁移前后数据一致性，但无法确保迁移后业务能正常运行。应用能否成功部署，需要用户根据实际情况进行调整，SMS只负责数据迁移，不负责用户的业务调整。 主机迁移服务暂时不提供数据一致性校验工具，如果需要对数据进行校验，请自行选择第三方工具进行校验。

常见问题：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka实例，可以使用Smart Connect工具，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例，具体步骤请参考配置Kafka间的数据复制。 需要注意的是，云上Kafka实例为3副本存储，因此建议实例存储空间为原业务的单副本消息存储的3倍。

资源 资源说明 成本说明 VirtualBox工具 VirtualBox是一款开源免费跨平台的虚拟机软件。 VirtualBox官方下载地址： 免费 ISO镜像文件 用于为新创建的空虚拟机安装操作系统，需要用户自行提供。 可从Ubuntu官网下载： CloudInit工具（可选） 为了保证使用私有镜像创建的新云主机可以通过“用户数据注入”功能注入初始化自定义信息（例如为云主机设置登录密码）， 请在创建私有镜像前安装CloudInit工具。 获取方式：各操作系统获取方式不同，详见 免费 一键式重置密码插件（可选） 为了保证使用生成的镜像创建的新云主机可以实现一键式重置密码功能，建议您安装密码重置插件CloudResetPwdAgent， 可以应用一键式重置密码功能，给云主机设置新密码。 获取方式：32位操作系统下载地址： 64位操作系统下载地址： 免费

云服务名称 区域 支持IAM 支持企业项目 支持IAM 支持企业项目 系统策略 分布式关系型数据库 全局 是 是 是 是 有 关系数据库SQL Server版 全局 是 是 是 是 有 关系数据库MySQL版 全局 是 是 是 是 有 关系数据库PostgreSQL版 全局 是 是 是 是 有 文档数据库服务 全局 是 是 是 是 有 数据传输服务DTS 全局 是 是 是 是 有 分布式缓存服务Redis版 全局 是 是 是 是 有

按需服务 对于前期已开通按需版本的客户，仍可继续使用按需服务。按需服务无产品规格上的区分，根据业务情况创建所需的密钥或证书资源即可。 KMS服务会根据所创建的密钥类型及个数、API调用次数进行统计并计费。 按需版支持密钥类型 密钥类型 算法类型 保护级别 是否支持加解密 是否支持签名验签 对称密钥 AES256 Software HSM √ × 对称密钥 SM4 HSM √ × 非对称密钥 RSA2048 Software HSM √ √ 非对称密钥 SM2 HSM √ √ 按需版资源配额 默认主密钥：同一云产品在同一资源池仅有一个默认主密钥。 用户主密钥对称密钥：暂不限制创建个数。 用户主密钥非对称密钥：限制密钥的版本数量，同一用户在同一资源池最多创建50个版本。 客户端加密模块 客户端加密模块是一个在应用侧集成的密码运算模块，通过与密钥管理服务结合使用，提供数据加解密、文件加解密等功能，帮助在应用本地完成大型文件数据或高并发数据的加解密。 规格 描述 基础版 免费使用。 企业版 需购买license使用，具备合规认证。