功能类别 功能说明 业务配置 域名（泛域名、一级域名、二级域名等各级域名）/IP防护 WAF支持的防护对象：域名或IP，云上或云下的Web业务。 业务配置 HTTP/HTTPS业务防护 WAF可以防护HTTP/HTTPS业务，通过对HTTP/HTTPS请求进行检测，识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击，保护Web服务安全稳定。 业务配置 支持WebSocket/WebSockets协议 WAF支持WebSocket/WebSockets协议，且默认为开启状态。 业务配置 非标端口防护 Web应用防火墙除了可以防护标准的80，443端口外，还支持非标准端口的防护。 Web应用安全防护 Web基础防护 覆盖OWASP（Open Web Application Security Project，简称OWASP）TOP 10中常见安全威胁，通过预置丰富的信誉库，对恶意扫描器、IP、网马等威胁进行检测和拦截。 全面的攻击防护：支持SQL注入、XSS跨站脚本、远程溢出攻击、文件包含、Bash漏洞攻击、目录（路径）遍历、敏感文件访问、命令/代码注入、网页木马上传、后门隔离保护、非法HTTP协议请求、第三方漏洞攻击等威胁检测和拦截。 Webshell检测防护：通过上传接口植入网页木马。 识别精准： 内置语义分析+正则双引擎，黑白名单配置，误报率更低。 支持防逃逸，自动还原常见编码，识别变形攻击能力更强。默认支持的编码还原类型：urlencode、Unicode、xml、OCT（八进制）、HEX（十六进制）、html转义、base64、大小写混淆、javascript/shell/php等拼接混淆。 深度检测：深度反逃逸识别（支持同形字符混淆、通配符变形的命令注入、UTF7、Data URI Scheme等的防护）。 header全检测：支持对请求里header中所有字段进行攻击检测。 Web应用安全防护 CC攻击防护规则 可以自定义CC防护规则，限制单个IP/Cookie/Referer访问者对您的网站上特定路径（URL）的访问频率，WAF会根据您配置的规则，精准识别CC攻击以及有效缓解CC攻击。 Web应用安全防护 精准访问防护规则 精准访问防护策略可对HTTP首部、Cookie、访问URL、请求参数或者客户端IP进行条件组合，定制化防护策略，为您的网站带来更精准的防护。 Web应用安全防护 黑白名单规则 配置黑白名单规则，阻断、仅记录或放行指定IP的访问请求，即设置IP黑/白名单。 Web应用安全防护 地理位置访问控制规则 针对指定国家、地区的来源IP自定义访问控制。 Web应用安全防护 网页防篡改规则 当用户需要防护静态页面被篡改时，可配置网页防篡改规则。 Web应用安全防护 网站反爬虫规则 动态分析网站业务模型，结合人机识别技术和数据风控手段，精准识别爬虫行为。 Web应用安全防护 防敏感信息泄露规则 该规则可添加两种类型的防敏感信息泄露规则： 敏感信息过滤。配置后可对返回页面中包含的敏感信息做屏蔽处理，防止用户的敏感信息（例如：身份证号、电话号码、电子邮箱等）泄露。 响应码拦截。配置后可拦截指定的HTTP响应码页面。 Web应用安全防护 全局白名单规则 针对特定请求忽略某些攻击检测规则，用于处理误报事件。 Web应用安全防护 隐私屏蔽规则 隐私信息屏蔽，避免用户的密码等信息出现在事件日志中。 高级设置 PCI DSS/PCI 3DS合规认证和TLS TLS支持TLS v1.0、TLS v1.1和TLS v1.2三个版本和七种加密套件，可以满足各种行业客户的安全需求。 WAF支持PCI DSS和PCI 3DS合规认证功能。 高级设置 连接保护 当502/504请求数量或读等待URL请求数量以及占比阈值达到您设置的值时，将触发WAF熔断功能开关，实现宕机保护和读等待URL请求保护。 高级设置 手动设置网站连接超时时间 浏览器到WAF引擎的连接超时时长默认是120秒，该值取决于浏览器的配置，该值在WAF界面不可以手动设置。 WAF到客户源站的连接超时时长默认为30秒，该值可以在WAF界面手动设置。 高级设置 配置攻击惩罚的流量标识 WAF根据配置的流量标识识别客户端IP、Session或User标记，以分别实现IP、Cookie或Params恶意请求的攻击惩罚功能。 高阶功能 内容安全检测服务 基于丰富的违规样例库和内容审核专家经验，通过机器审核加人工审核结合的方式，帮助您准确检测出Web网站和新媒体平台上的关于涉黄、涉赌、涉毒、暴恐、违禁等敏感违规内容，并提供文本内容纠错审校，助您降低内容违规风险。 防护事件管理 当Web应用防火墙拦截或者仅记录的攻击事件为误报时，用户可通过Web应用防火墙处理误报事件、查看事件详情。 用户可以通过Web应用防火墙服务下载5天内的全量防护事件数据 告警通知 用户可以通过Web应用防火墙服务对攻击日志进行通知设置。开启告警通知后，Web应用防火墙将仅记录和拦截的攻击日志通过用户设置的接收通知方式发送给用户。 安全可视化 提供简洁友好的控制界面，实时查看攻击信息和事件日志。 策略事件集中配置：在Web应用防火墙服务的控制台集中配置适用于多个防护域名的策略，快速下发，快速生效。 流量及事件统计信息：实时查看访问次数、安全事件的数量与类型、详细的日志信息 灵活性、可靠性 多区域多集群部署，支持负载均衡，可在线平滑扩容，没有单点故障，最大限度保护业务运行稳定。

本章会按照数据库实例规格大小介绍公有云收费模式。 按照版本不同分为MySQL、PostgreSQL、SQL Server。基于云计算平台，稳定可靠、可弹性伸缩、即开即用的在线数据库服务，实现数据库数据备份、智能监控、便捷迁移。资费包括主备实例、主实例、只读实例、存储和备份租用费。 收费标准（根据天翼云价格调整策略，2021年6月1日零点采用新的资费标准） 包年预付费优惠政策：一年85折，2年7折，3年享受5折优惠。 1、MySQL主备实例 CPU(核) 内存（GB） 标准资费（元/小时） 标准资费（元/月） 2 4 0.96 462 2 8 1.4 672 2 16 1.8 860 4 8 1.9 910 4 16 2.58 1239 4 32 3.6 1720 8 16 3.79 1820 8 32 5.12 2457 8 64 7.2 3440 16 32 7.58 3640 16 64 10.15 4872 16 128 14.4 6880 32 64 15.16 7278 32 128 20.26 9723 60 128 30.24 14556 60 256 40.52 19446 60 512 56 27000 64 128 30.24 14556 64 256 40.52 19446 64 512 56 27000 2、MySQL单机实例 CPU(核) 内存（GB） 标准资费（元/小时） 标准资费（元/月） 2 4 0.48 231 2 8 0.88 422 2 16 1.24 598 4 8 0.95 455 4 16 1.29 620 4 32 2.49 1,195 8 16 1.89 910 8 32 2.56 1,229 8 64 4.97 2,390 16 32 3.78 1,820 16 64 5.08 2,436 16 128 9.95 4,780 32 64 7.56 3,639 32 128 10.13 4,862 60 128 15.12 7,278 60 256 20.26 9,724 60 512 39.8 19,120 64 128 15.12 7278 64 256 20.26 9724 64 512 39.8 19120 3、MySQL只读实例 产品名称 核数/核 内存/GB 标准资费 :::: 包月（元/月） 按需（元/小时） MySQL只读节点 2 4GB 231 0.48 MySQL只读节点 2 8GB 422 0.88 MySQL只读节点 2 16GB 598 1.24 MySQL只读节点 4 8GB 455 0.95 MySQL只读节点 4 16GB 620 1.29 MySQL只读节点 4 32GB 1,195 2.49 MySQL只读节点 8 16GB 910 1.89 MySQL只读节点 8 32GB 1,229 2.56 MySQL只读节点 8 64GB 2,390 4.97 MySQL只读节点 16 32GB 1,820 3.78 MySQL只读节点 16 64GB 2,436 5.08 MySQL只读节点 16 128GB 4,780 9.95 MySQL只读节点 32 64GB 3,639 7.56 MySQL只读节点 32 128GB 4,862 10.13 MySQL只读节点 64 128GB 7,278 15.12 MySQL只读节点 64 256GB 9,724 20.26 MySQL只读节点 64 512GB 19,120 39.80 4、Mysql proxy CPU(核) 内存（GB） 标准资费（元/小时） 2 4 1.13 4 8 2.26 8 16 4.52 目前支持mysql proxy能力的资源池包括西安2、苏州、广州4、杭州、福州、石家庄。 5、MySQL鲲鹏规格 （1）主备实例产品规格 CPU 内存 标准资费（元/小时） 标准资费（元/月） :::: 2 4GB 0.76 364 2 8GB 1.38 664 4 8GB 1.48 712 4 16GB 2.09 1,004 8 16GB 2.97 1,424 8 32GB 4.18 2,008 12 24GB 4.96 2,381 12 48GB 7.92 3,802 16 32GB 6.95 3,336 16 64GB 9.18 4,404 24 48GB 8.52 4,090 24 96GB 15.84 7,603 32 64GB 13.88 6,664 32 128GB 18.34 8,804 48 96GB 16.96 8,141 48 192GB 33 15,840 60 120GB 27.75 13,320 （2）单机实例产品规格 CPU 内存 标准资费（元/小时） 标准资费（元/月） :::: 2 4GB 0.38 182 2 8GB 0.69 332 4 8GB 0.74 356 4 16GB 1.05 502 8 16GB 1.48 712 8 32GB 2.09 1,004 12 24GB 2.48 1,190 12 48GB 3.96 1,901 16 32GB 3.48 1,668 16 64GB 4.59 2,202 24 48GB 4.26 2,045 24 96GB 7.92 3,802 32 64GB 6.94 3,332 32 128GB 9.17 4,402 48 96GB 8.48 4,070 48 192GB 16.52 7,930 60 120GB 13.88 6,660 （3）只读实例产品规格 CPU 内存 标准资费（元/小时） 标准资费（元/月） :::: 2 4GB 0.38 182 2 8GB 0.69 332 4 8GB 0.74 356 4 16GB 1.05 502 8 16GB 1.48 712 8 32GB 2.09 1,004 12 24GB 2.48 1,190 12 48GB 3.96 1,901 16 32GB 3.48 1,668 16 64GB 4.59 2,202 24 48GB 4.26 2,045 24 96GB 7.92 3,802 32 64GB 6.94 3,332 32 128GB 9.17 4,402 48 96GB 8.48 4,070 48 192GB 16.52 7,930 60 120GB 13.88 6,660 6、其他收费项目 6.1 存储 产品规格 包月标准价格（元/月） 按需标准价格（元/小时） 主备实例 SATA 0.5 0.0009 主备实例 SAS 0.7 0.0015 主备实例 SSD 2 0.0028 主备实例 ESSD 3.2 0.0068 主实例 SATA 0.3 0.0005 主实例 SAS 0.4 0.0009 主实例 SSD 1.2 0.0017 主实例 ESSD 2 0.0042 只读实例 SATA 0.3 0.0005 只读实例 SAS 0.4 0.0009 只读实例 SSD 1.2 0.0017 只读实例 ESSD 2 0.0042 6.2 备份 同区域备份——若合营MySQL 数据库备份存储用量超过主数据库存储空间的100%，按需收取对象存储空间费用，标准资费为 0.000139 元/GB/小时。 跨区域备份——标准资费为 0.001 元/GB/小时。 6.3 秒级监控 计费方式为按需付费，0.048元/小时。

本节主要介绍MySQL分库分表>DRDS 使用技巧（需要人为配合） 如果您使用的是全量迁移模式（离线迁移），确保源和目标数据库无业务写入，保证迁移前后数据一致。 如果您使用的是全量+增量迁移模式（在线迁移），支持在源数据库有业务数据写入的情况下进行迁移，推荐提前23天启动任务，并配合如下使用技巧和对应场景的操作要求，以确保顺利迁移。 全量迁移 基于以下原因，建议您结合定时启动功能，选择业务低峰期开始运行迁移任务，相对静态的数据，迁移时复杂度将会降低。 全量迁移会对源数据库有一定的访问压力。 迁移无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定。 正在迁移的数据被其他事务长时间锁死，可能导致读数据超时。 由于MySQL固有特点限制，CPU资源紧张时，存储引擎为Tokudb的表，读取速度可能下降至10%。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。 操作要求 针对一些无法预知或人为因素及环境突变导致迁移失败的情况，数据库复制服务提供以下常见的操作限制，供您在迁移过程中参考。 类型名称 操作限制 （需要人为配合） 注意事项 环境要求均不允许在迁移过程中修改，直至迁移结束。 若专属计算集群不支持4vCPU/8G或以上规格实例，则无法创建迁移任务。 数据类型不兼容时，可能引起迁移失败。 操作须知 迁移过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 迁移过程中，不允许对源库需要迁移的表结构进行修改。 增量迁移场景下，不支持源数据库进行恢复操作。 选择表级对象迁移时，增量迁移过程中不建议对表进行重命名操作。 在任务启动、任务全量迁移阶段，不建议对源数据库做删除类型的DDL操作，这样可能会引起任务迁移失败。 建议将expirelogday参数设置在合理的范围，确保恢复时断点处的binlog尚未过期，以保证服务中断后的顺利恢复。 如果源数据库为自建库，并且安装了Percona Server for MySQL 5.6.x或Percona Server for MySQL 5.7.x时，内存管理器必须使用Jemalloc库，以避免因系统表频繁查询带来的内存回收不及时，并最终导致数据库Out of Memory问题。 类型名称 使用限制 （DRS自动检查） 数据库权限设置 全量迁移最小权限要求： 源物理分片数据库帐户需要具备如下权限：SELECT、SHOW VIEW、EVENT。 目标中间件帐户需要具备以下基本权限：CREATE、DROP、ALTER、 INDEX、 INSERT、DELETE、 UPDATE、 SELECT， 同时必须具备扩展权限:全表Select权限。 目标中间件帐户必须具备对所迁移数据库的权限。 全量+增量迁移最小权限要求： 源物理分片数据库帐户需要具备如下权限：SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。 目标中间件帐户需要具备以下基本权限：CREATE、DROP、ALTER、 INDEX、 INSERT、DELETE、 UPDATE、 SELECT， 同时必须具备扩展权限:：全表Select权限。 目标中间件帐户必须具备对所迁移数据库的权限。 迁移对象约束 目前只支持迁移源库的数据，不支持迁移源库表结构及其他数据库对象。 用户需要在目标库根据源端逻辑库的表结构，自行在目标库创建对应的表结构及索引。未在目标库创建的对象，视为用户不选择这个对象进行迁移。 源库在目标库创建的表结构， 必须与源库的表结构完全一致。 源库为DRDS时，则不允许存在拆分键为timestamp类型的表。 不支持非MyISAM和非InnoDB表的迁移。 源数据库要求 增量迁移时，MySQL源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。 增量迁移时，在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为3天。 源数据库expirelogsdays参数值为0，可能会导致迁移失败。 增量迁移时，必须设置MySQL源数据库的server－id。如果源数据库版本小于或等于MySQL5.6，server－id的取值范围在2－4294967296之间；如果源数据库版本大于或等于MySQL5.7，server－id的取值范围在1－4294967296之间。 源分库分表中间件中的库名、表名不能包含：'<>/以及非ASCII字符。 MySQL源数据库建议开启skipnameresolve，减少连接超时的可能性。 源数据库GTID状态建议为开启状态。 目标数据库要求 目标库若已存在数据，DRS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在迁移前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。 目标实例及关联RDS实例的运行状态必须正常，若关联RDS实例是主备实例，复制状态也必须正常。 目标库关联RDS实例必须有足够的磁盘空间。 目标库关联RDS数据库的字符集必须与源数据库一致。 目标库实例若选择将时间戳类型（TIMESTAMP，DATETIME）的列作为分片键，则源库数据在迁移到目标库之后，作为分片键的该时间戳类型列的秒精度将被丢弃。 目标数据库存在表的AUTOINCREMENT值至少不能小于源库表的AUTOINCREMENT值。

工信部增加全国备案短信验证功能通知 “备案短信核验”问题集锦 根据《工业和信息化部关于开展互联网基础管理专项行动的通知》工信部信管函[2016]485号文件要求，工业和信息化部将对通过 ICP/IP地址/域名信息备案管理系统提交备案申请的主体负责人及网站负责人的手机号码进行短信验证。即：备案信息通过天翼云审核后，天翼云在将备案信息提交管局审核时，备案主体负责人和（或）网站负责人手机号码中，将会收到工信部发出的短信息验证码。需在24小时内完成短信验证，备案申请才能进入省通信管理局的审核程序。 目前适用省份： 根据工信部最新要求，自2020年8月17日起，各省市进行以下类型的备案申请时需通过工信部备案管理系统进行短信核验，详情如下所示。 短信验证平台： 您在备案信息中填写的手机号码收到工信部发出的验证码后，需及时访问《工业和信息化部政务服务平台ICP/IP地址/域名信息备案管理系统》网站（以下简称公共查询网站） 填写证件号码、验证手机号和验证码，完成验证。 验证码发送及短信核验原则: 备案类型 验证逻辑 备注 新增备案 验证主体负责人手机号和网站负责人手机号。 若主体负责人与网站负责人为同一人，只发送一个验证码。 新增网站备案 验证网站负责人手机号码。 若主体信息有变更，则需要验证。 新增接入备案 验证网站负责人手机号码。（注意：该手机号码是通过其他接入商在管局侧备案时所提供的号码） 1、如果您更换了手机号码，需先到原备案接入服务商处变更手机号码，再进行接入备案。 2、如果您的网站为空壳网站（即无接入服务商），无法到原接入服务商处变更手机号码。只能注销备案后，再重新提交新增网站备案。 变更备案信息 验证主体负责人手机号或网站负责人手机号。 1、若变更主体信息，则验证主体负责人手机号码。 2、若变更网站信息，则验证网站负责人手机号码。 3、若同时变更了主体和网站信息，那么主体和网站负责人手机号码均需验证。 注销主体 主体负责人验证。 暂时无需验证。验证开放时间待定。 注销网站 无需验证。 暂时无需验证。验证开放时间待定。 取消接入 无需验证。 暂时无需验证。验证开放时间待定。 验证码有效时长： 验证码 24 小时以内有效。您需在 24 小时内，访问公共查询网站，并输入证件号码、验证手机号和验证码进行验证。 手机号码短信验证通过后，您的备案信息将流转至管局审核。 若 24 小时内，没有进行验证或验证失败，备案信息将会自动退回至接入商（天翼云）。需您重新提交备案申请，再次进入短信验证流程。完成短信验证后，备案申请信息才能递交至省管局审核。 验证码发送号码： 电信、联通、移动用户收到的短信验证码的发送号码为短信验证码的发送号码为12381或10612381。 1. 填写信息：验证码、手机号码、证件号码后六位数，完成图形验证，再单击 提交 。验证通过后，系统提示核验完成。如果您的备案订单中，还有其他需验证的手机号，请继续成。 2. 验证通过后，系统提示核验完成。如果您的备案订单中，还有其他需验证的手机号，请继续完成。 注意： 1、如果您的信息输入错误，或输入的三条信息（证件号码、手机号码、验证码）不匹配，则系统找不到对应的订单。系统提示找不到记录。请核实信息后，重新输入。 2、如果负责人证件号码输错 3 次以后，系统提示短信核验失败。您的备案申请信息将被工信部系统退回。 未收到验证短信，怎么办？ 在天翼云将您的备案信息提交管局审核的后，请注意查收工信部发出的验证短信。一般在 5 分钟内即可收到验证短信。若 5 分钟后仍然没有收到验证短信，请检查： 1、您的手机网络信号是否正常。 2、您是否设置了短信拦截或安装了垃圾短信拦截软件。 解决方法： 1、如果因手机网络信号不正常导致无法接收短信，请移到信号好的地方；或访问公共查询网站进行手动重发送验证短信。 2、如果因您设置了垃圾短信拦截，或安装了拦截软件，请关闭拦截。如果无法关闭拦截，建议您将您的 SIM 卡换至其他手机。 3、如果您误删了验证短信，可访问公共查询网站，进行手动重发。 4、如果您 24 小时未完成短信验证，备案系统会自动退回您的备案申请。您需重新提交备案申请。 如何操作手动重发验证码短信？ 访问公共查询网站，单击网站页面上“短信核验”按钮。 单击 短信重发 ，进入核验短信重发页面。填写您需验证的手机号码和证件号码后 6 位数，然后单击 提交。 发送成功通知：您的短信已发送成功。

在部署天翼云TeleDB数据库前，您需要获取许可证文件、完成环境初始化并进行相关的数据库参数配置。 1. 获取许可证文件。 说明 请您联系天翼云商务代表获取许可证文件。 2. 环境初始化。 1. 挂载磁盘，对所有机器规划挂载目录，建议您控制台主机用app目录，实例主机用data目录。 1. 执行如下命令，格式化数据盘。若您使用的磁盘不是新盘需格式化数据盘。若您使用的是新盘则可跳过该步骤。 mkfs.xfs f i attr2 l lazycount1,sectsize4096 b size4096 d sectsize4096 L data /dev/vdb 2. 执行如下命令，创建根目录文件，提供给挂载数据盘使用。 mkdir p /app 3. 执行如下命令，挂载数据盘。 mount /dev/vdb /app 4. 执行如下命令，写入磁盘配置文件，开机自动挂载磁盘。 echo "/dev/vdb /app xfs defaults 0 0" >> /etc/fstab 2. 创建部署使用用户teledb 1. 执行如下命令，创建用户（创建部署的用户是teledb，不是teledbx） groupadd f teledb useradd g teledb teledb 2. 执行如下命令，设置密码。 passwd teledb 说明 由于安装teledbX时会将 当作特殊字符，不被识别，所以设置的密码中不包含 。 3. 初始化系统参数。 su teledb cd /etc/security 在/etc/security/limits.conf文件中最后一部分，添加如下内容。 teledb soft nofile 131072 teledb hard memlock 128849018880 teledb soft memlock 128849018880 teledb soft core 1024000 teledb hard core 1024000 teledb hard nproc unlimited teledb soft nproc unlimited teledb hard nofile 131072 teledb hard stack unlimited teledb soft stack unlimited 4. 执行如下命令。 echo vm.swappiness10 >> /etc/sysctl.conf sysctl w vm.swappiness10 echo vm.minfreekbytes102400 >> /etc/sysctl.conf sysctl w vm.minfreekbytes102400 5. 进入/etc/sudoers文件，添加权限. 在root ALL（ALL）ALL 一行下面添加如下内容。 teledb ALL(ALL) NOPASSWD:ALL 6. 修改挂载目录权限. 执行如下命令，修改成可读写运行权限 sudo chmod 777 /app 执行如下命令，修改/app目录下文件所属用户。 sudo chown R teledb:teledb /app 3. （可选）创建软连接。 执行如下命令创建软连接（安装dcp主机不需要执行该操作， 安装teledb控制台的主机以及teledb实例主机需要执行该操作。） cd /usr/local/bin ln s /usr/sbin/ip ip ln s /usr/sbin/sysctl sysctl ln s /usr/sbin/userdel userdel ln s /usr/sbin/useradd useradd 3. 数据库参数配置 1. DN节点参数配置参考以下参数设置，其中sharedbuffers根据服务器配置调整，建议为服务器总内存的1/4，且上限不超过64GB。 服务器总内存小于512G时，根据情况适当下调以下参数，避免出现OOM。 sharedbuffers 64GB effectivecachesize 128GB workmem 100MB maintenanceworkmem 16GB 以下是512G内存服务器的DN节点参数配置建议： maxconnections 5000 maxpoolsize 6000 commitdelay 20 commitsiblings 10 sharedbuffers 64GB effectivecachesize 128GB workmem 100MB maintenanceworkmem 16GB dynamicsharedmemorytype posix bgwriterdelay 10ms bgwriterlrumaxpages 1000 bgwriterlrumultiplier 10.0 effectiveioconcurrency 200 wallevel replica walbuffers 16MB walwriterdelay 10ms minwalsize 60GB maxwalsize 200GB synchronouscommit local fullpagewrites off fsync off checkpointtimeout 30min checkpointcompletiontarget 0.9 effectivecachesize 128GB updateprocesstitle off trackactivities off autovacuum on autovacuummaxworkers 3 logstatement 'none' maxparallelworkerspergather 0 poolerscalefactor 64 sharedqueues 512 enablematerial off vacuumdelta 300 minfreesize300 mlscheckdatamaskoff 2. CN节点参数配置 参考以下参数设置： maxconnections 5000 maxpoolsize 6000 commitdelay 20 commitsiblings 10 sharedbuffers 6GB effectivecachesize 16GB workmem 100MB maintenanceworkmem 4GB dynamicsharedmemorytype posix bgwriterdelay 10ms bgwriterlrumaxpages 1000 bgwriterlrumultiplier 10.0 effectiveioconcurrency 200 randompagecost 1.1 wallevel replica walbuffers 16MB walwriterdelay 10ms minwalsize 1GB maxwalsize 3GB synchronouscommit off fullpagewrites on fsync on checkpointtimeout 30min checkpointcompletiontarget 0.9 updateprocesstitle off trackactivities off autovacuum on autovacuummaxworkers 2 logstatement 'none' maxparallelworkerspergather 0 poolerscalefactor 64 sharedqueues 512 enablematerial off vacuumdelta 300 persistentdatanodeconnections on logdestination 'stderr' loggingcollector on logdirectory 'log' minfreesize300

本章节主要介绍翼MapReduce的添加子租户操作。 操作场景 根据业务对资源消耗以及隔离的规划与需求，管理员可以通过FusionInsight Manager创建子租户，将当前租户的资源进一步分配以满足实际使用场景。 前提条件 已添加父租户，且属于非叶子租户。 已根据业务需求规划子租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 已规划当前租户可分配的资源，确保每一级别租户下，直接子租户的资源之和不超过当前租户。 操作步骤 1. 登录FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，选择父租户节点然后单击，打开添加子租户的配置页面，参见下表为子租户配置属性。 子租户参数一览 参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3~50个字符，可包含数字、字母或下划线（）。 根据业务需求规划子租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户资源类型 指定租户是否是一个叶子租户： 选择“叶子租户资源”：当前租户为叶子租户，不支持添加子租户。 选择“非叶子租户资源”：当前租户为非叶子租户，支持添加子租户，但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以子租户名称创建任务队列。 − 如果是叶子租户，叶子租户可直接提交到任务队列中。 − 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。 但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时，只需配置“默认资源池容量 （%）”参数即可。 选择“高级”时，可手动配置资源分配权重，租户的最小/最大/预留资源。 默认资源池容量（%） 配置当前租户使用的计算资源百分比，基数为父租户的资源总量。 权重 资源分配权重，取值范围从0到100。 最小资源 保证租户资源能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户资源作业量比较少时，资源会自动借给其他租户资源，当租户资源能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。 最大资源 租户资源最多能使用的资源，租户资源不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源 租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。 存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。 不选择“HDFS”时，系统不会分配存储资源。 文件目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为MB时，范围为1～8796093022208，当“存储空间配额单位”设置为GB时，范围为1～8589934592。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额，实际存储量不超过父租户配额。 存储路径 配置租户在HDFS中的存储目录。 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“/tenant/ta1”，系统默认自动配置此参数值为“/tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。 支持在父目录中自定义存储路径。 服务 是否需要关联使用其他服务的资源，参见步骤4。 描述 配置当前租户的描述信息 说明 创建租户时将自动创建租户对应的角色、计算资源和存储资源。 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制，不支持通过“系统 > 权限> 角色”进行手动管理，角色名称为“ 租户名称 集群ID ”。首个集群的集群ID默认不显示。 使用此租户时，请创建一个系统用户，并绑定租户对应的角色。具体操作请参见添加用户并绑定租户的角色。 子租户可以将当前租户的资源进一步分配。每一级别父租户下，直接子租户的资源百分比之和不能超过100%。所有一级租户的计算资源百分比之和也不能超过100%。 3. 当前租户是否需要关联使用其他服务的资源？ a.是，执行步骤4。 b.否，执行步骤5。 4. 单击“关联服务”，配置当前租户关联使用的其他服务资源。 a.在“服务”选择“HBase”。 b.在“关联类型”选择： − “独占”表示该租户独占服务资源，其他租户不能再关联此服务。 − “共享”表示共享服务资源，可与其他租户共享使用此服务资源。 说明 创建租户时，租户可以关联的服务资源只有HBase。为已有的租户关联服务时，可以关联的服务资源包含：HDFS、HBase和Yarn。 若为已有的租户关联服务资源：在租户列表单击目标租户，切换到“服务关联”页签，单击“关联服务”单独配置当前租户关联资源。 若为已有的租户取消关联服务资源：在租户列表单击目标的租户，切换到“服务关联”页签，单击“删除”，并勾选“我已阅读此信息并了解其影响。”，再单击“确定”删除与服务资源的关联。 c.单击“确定”。 5. 单击“确定”，等待界面提示租户创建成功。

本文介绍分布式消息服务RocketMQ可广泛应用于分布式系统异步通信、数据同步和交换、削峰填谷等场景。 行业应用 RocketMQ在多个行业中都有广泛的应用。以下是一些典型的行业应用场景： 1. 电子商务：在电子商务行业中，RocketMQ可以用于订单处理、库存管理、支付通知等异步通信和事件驱动的场景。它可以实现订单的可靠传递和处理，同时支持高并发和高可扩展性的需求。 2. 金融服务：在金融服务行业中，RocketMQ可以用于实时交易通知、资金结算、风险控制等关键业务场景。它可以确保交易消息的可靠传递和顺序处理，同时支持高吞吐量和低延迟的要求。 3. 物流与供应链：在物流与供应链行业中，RocketMQ可以用于实时物流跟踪、订单状态更新、库存管理等消息通知和事件驱动的场景。它可以确保供应链各个环节的信息同步和协调，提高物流效率和准确性。 4. 社交媒体：在社交媒体行业中，RocketMQ可以用于实时消息推送、用户关系管理、活动通知等场景。它可以支持大规模用户同时在线的需求，确保消息的低延迟和高可靠性。 5. 物联网：在物联网行业中，RocketMQ可以用于设备状态监控、告警通知、数据采集等场景。它可以处理大量的设备消息，并支持设备之间的实时通信和协作。 这些是一些典型的RocketMQ行业应用场景，由于RocketMQ的高性能和可靠性，它在更多行业中也有广泛的应用。 分布式消息服务RocketMQ主要适用于以下几种业务场景：

适用场景 包年/包月计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景： 稳定业务需求：对于长期运行且资源需求相对稳定的业务，如企业官网、在线商城、博客等，包年/包月计费模式能提供较高的成本效益。 长期项目：对于周期较长的项目，如科研项目、大型活动策划等，包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。 业务高峰预测：如果能预测到业务高峰期，如电商促销季、节假日等，可提前购买包年/包月资源以应对高峰期的需求，避免资源紧张。 数据安全要求高：对于对数据安全性要求较高的业务，包年/包月计费模式可确保资源的持续使用，降低因资源欠费而导致的数据安全风险。 适用计费项 根据所选购买区域，计费项略有不同： 在“一类节点”区域，通过数据库审计版本、数据盘扩容量大小进行计费： 计费项 说明 数据库审计版本 购买的数据库审计版本，目前可选标准版、高级版、企业版和旗舰版。 数据盘扩容 购买数据盘扩容的存储大小。 在“二类节点”区域，通过数据库审计实例个数、配套的云主机进行计费： 计费项 说明 数据库审计实例个数 购买的数据库审计实例个数。 云主机 开通数据库审计需要同步开通云主机，涉及购买云主机的规格、系统盘及数据盘。 在购买云服务页面底部，您将看到所需费用的明细。

本节主要介绍MongoDB>DDS 使用技巧（需要人为配合） 如果您使用的是全量迁移模式（离线迁移），确保源和目标数据库无业务写入，保证迁移前后数据一致。 如果您使用的是全量+增量迁移模式（在线迁移），支持在源数据库有业务数据写入的情况下进行迁移，推荐提前23天启动任务，并配合如下使用技巧和对应场景的操作要求，以确保顺利迁移。 全量迁移 基于以下原因，建议您结合定时启动功能，选择业务低峰期开始运行迁移任务，相对静态的数据，迁移时复杂度将会降低。 全量迁移会对源数据库有一定的访问压力。 迁移无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定。 正在迁移的数据被其他事务长时间锁死，可能导致读数据超时。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。 操作要求 针对一些无法预知或人为因素及环境突变导致迁移失败的情况，数据库复制服务提供以下常见的操作限制，供您在迁移过程中参考。 类型名称 操作限制 （需要人为配合） 注意事项 环境要求均不允许在迁移过程中修改，直至迁移结束。 注意事项 相互关联的数据对象要确保同时迁移，避免迁移因关联对象缺失，导致迁移失败。常见的关联关系：视图引用集合、视图引用视图等。 注意事项 副本集：MongoDB数据库的副本集实例状态必须正常，要存在主节点。 注意事项 单节点：目前不支持源数据库为非本云单节点实例的迁移。 注意事项 源数据库为非集群实例时，增量迁移阶段支持如下操作： 注意事项 支持数据库（database）新建、删除。 注意事项 支持文档（document）新增、删除、更新。 注意事项 支持集合（collection）新建、删除。 注意事项 支持索引（index）新建、删除。 注意事项 支持视图（view）新建，删除。 注意事项 支持convertToCapped、collMod、renameCollection命令。 注意事项 源库是集群实例时，集群到集群的全量+增量迁移，全量阶段和增量阶段，不允许对迁移对象做删除操作，否则会导致任务失败。 注意事项 源库实例类型选择集群（MongoDB 4.0+）模式时，表示源数据库为集群4.0 以上版本，DRS内部同步使用MongoDB特性Change Streams。使用该模式应注意以下几个方面： 注意事项 Change Streams订阅数据过程会消耗源数据库一定量的CPU，内存资源，请提前做好源数据库资源评估。 注意事项 受MongoDB Change Streams自身性能影响，如果源库的负载比较大，Change Streams会出现处理速度无法跟上Oplog产生速度，进而导致DRS同步出现时延。 注意事项 Change Streams目前仅支持drop database，drop collection，rename的DDL，其他DDL均不支持。 注意事项 对于在源数据库已经存在TTL索引的集合，或者在增量迁移期间在源库数据创建了TTL索引的集合，由于源数据库和目标库数据库时区，时钟的不一致，不能保证迁移完成之后数据的一致性。 注意事项 如果源数据库的MongoDB服务不是单独部署的，而是和其他的服务部署在同一台机器，则必须要给源数据库的wiredTiger引擎加上cacheSizeGB的参数配置，建议值设为最小空闲内存的一半。 注意事项 专属计算集群暂不支持DDS实例，无法创建迁移任务。 注意事项 选择集合迁移时，增量迁移过程中不建议对集合进行重命名操作。 注意事项 如果源数据库是副本集，则建议填写所有的主节点和备节点信息，以防主备切换影响迁移任务。如果填写的是主备多个节点的信息，注意所有的节点信息必须属于同一个副本集实例。 注意事项 如果源数据库是集群，则建议填写多个mongos信息，以防单个mongos节点故障影响迁移任务。如果填写的是多个mongos信息，注意所有的mongos信息必须属于同一个集群。如果是集群的增量迁移任务，建议shard信息填写所有的主节点和备节点，以防主备切换影响迁移任务，并且注意所填写的主备信息必须属于同一个shard。确保填写的所有shard节点信息必须隶属于同一个集群。 注意事项 非全部迁移场景下，为防止drop database操作删除目标库已有的集合，drop database不会同步到目标库。 注意事项 源库是MongoDB 3.6以下版本（不含3.6）时，执行drop database会导致源库删除集合但目标库没有删除。 注意事项 源库是MongoDB 3.6及以上版本（含3.6）时，drop database 操作在oplog中会体现为drop database 和drop collection操作，所以目标库也会删除相应集合，不会出现问题。 操作须知 为了保持数据一致性，在整个迁移过程中，不允许对正在迁移中的目标数据库进行修改操作(包括但不限于DDL、DML操作)，也不支持对源数据库进行DDL操作。 操作须知 迁移过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库端口号。 操作须知 在任务启动、任务全量迁移阶段，不建议对源数据库做删除类型的DDL操作，比如删除数据库、集合、索引、文档、视图等，这样可能会引起任务迁移失败。 操作须知 在整个迁移过程中，不支持源数据库主备切换导致数据回滚的情况。 操作须知 选择集合迁移时，增量迁移过程中不建议对集合进行重命名操作。 操作须知 为了提高迁移的速度，在开始迁移之前，建议在源数据库删掉不需要的索引，只保留必须的索引。在迁移过程中不建议对源库创建索引，如果必须要创建索引，请使用后台的方式创建索引。

本章主要介绍翼MapReduce的备份Kafka元数据功能。 操作场景 为了确保Kafka元数据安全，或者系统管理员需要对ZooKeeper进行重大操作（如升级或迁移等）时，需要对Kafka元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份Kafka任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“Kafka”。 说明 若安装了多个Kafka服务，默认备份所有Kafka服务，可单击“指定服务”指定需要备份的Kafka服务。 7.在“Kafka”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “LocalDir”：表示将备份文件保存在主管理节点的本地磁盘上，备管理节点将自动同步备份文件。默认保存目录为“ 数据存放路径 /LocalBackup/”。 选择此参数值，还需要配置“最大备份数”，表示备份目录中可保留的备份文件集数量。 “LocalHDFS”：表示将备份文件保存在当前集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端路径”：填写备份文件在HDFS中保存的目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “目标NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “目的端路径”：填写保存备份数据的OBS目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 说明 MRS 3.1.0及之后版本才支持备份数据到OBS。 8.单击“确定”保存。 9.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备份目录中为每个备份任务创建子目录，目录名为 “备份任务名任务创建时间” ，用于保存数据源的备份文件。备份文件的名称为 版本号数据源任务执行时间.tar.gz 。

本章主要介绍翼MapReduce的备份DBService数据功能。 操作场景 为了确保DBService日常数据安全，或者系统管理员需要对DBService进行重大操作（如升级或迁移等）时，需要对DBService数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份DBService任务并备份数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“DBService”。 说明 若安装了多个DBService服务，默认备份所有DBService服务，可单击“指定服务”指定需要备份的DBService服务。 7.在“DBService”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “LocalDir”：表示将备份文件保存在主管理节点的本地磁盘上，备管理节点将自动同步备份文件。 默认保存目录为“ 数据存放路径 /LocalBackup/”，例如“/srv/BigData/LocalBackup”。 选择此参数值，还需要配置“最大备份数”，表示备份目录中可保留的备份文件集数量。 “LocalHDFS”：表示将备份文件保存在当前集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端路径”：填写备份文件在HDFS中保存的目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “目标NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的Yarn队列的名称。需和源集群中已存在且状态正常的队列名称相同。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “SFTP”：表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “目的端路径”：填写保存备份数据的OBS目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 说明 MRS 3.1.0及之后版本才支持备份数据到OBS。 8.单击“确定”保存。 9.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备份目录中为每个备份任务创建子目录，目录名为 “备份任务名任务创建时间” ，用于保存数据源的备份文件。 备份文件的名称为 版本号数据源任务执行时间.tar.gz 。

本节主要介绍灰度发布概述 灰度发布概述 应用程序升级面临最大挑战是新旧业务切换，将软件从测试的最后阶段带到生产环境，同时要保证系统不间断提供服务。如果直接将某版本上线发布给全部用户，一旦遇到线上事故（或BUG），对用户的影响极大，解决问题周期较长，甚至有时不得不回滚到前一版本，严重影响了用户体验。 长期以来，业务升级逐渐形成了几个发布策略：金丝雀发布、蓝绿发布、A/B测试、滚动升级以及分批暂停发布，尽可能避免因发布导致的流量丢失或服务不可用问题。ASM当前支持金丝雀发布和蓝绿发布两种发布方式。 金丝雀发布 又称灰度发布，是版本升级平滑过渡的一种方式，当版本升级时，使部分用户使用新版本，其他用户继续使用老版本，待新版本稳定后，逐步扩大范围把所有用户流量都迁移到新版本上面来。这样可以最大限度地控制新版本发布带来的业务风险，降低故障带来的影响面，同时支持快速回滚。 图 金丝雀发布流程 蓝绿发布 蓝绿发布提供了一种零宕机的部署方式，是一种以可预测的方式发布应用的技术，目的是减少发布过程中服务停止的时间。在保留老版本的同时部署新版本，将两个版本同时在线，新版本和老版本相互热备，通过切换路由权重的方式（非0即100）实现应用的不同版本上线或者下线，如果有问题可以快速地回滚到老版本。 图 蓝绿发布流程

注解名称 描述 示例 支持的CCM版本 service.beta.kubernetes.io/ctyunloadbalancerid 指定已有负载均衡，取值为负载均衡实例的ID。删除service时该 ELB不会被删除 lb v1.0.1及以上 service.beta.kubernetes.io/ctyunloadbalancerspec 指定新建负载均衡的规格，如elb.s2.small elb.s2.small v1.0.1及以上 service.beta.kubernetes.io/ctyunloadbalanceraddresstype 指定新建负载均衡的公网私网类型，取值： intranet：负载均衡地址类型为私网，intranet为默认值 internet：负载均衡地址类型为公网 internet v1.0.1及以上 service.beta.kubernetes.io/ctyunloadbalancerprotocolport 指定负载均衡监听HTTP协议或HTTPS协议，可指定多个监听，多个监听之间以逗号“,”分割 https:443,http:80 v1.0.4及以上 service.beta.kubernetes.io/ctyunloadbalancersslcert 指定SSL证书，取值为SSL证书ID，可在负载均衡控制台的证书管理页面查看证书ID。 仅监听协议为HTTPS协议时需要指定 cert v1.0.4及以上 service.beta.kubernetes.io/ctyunloadbalancerxforwardedfor 指定负载均衡监听器附加XForwardedFor头字段，通过开启该参数，后端服务可获取客户端源IP。取值为“true”或“false” 仅支持监听协议为HTTP和HTTPS协议 "true" v1.0.4及以上 service.beta.kubernetes.io/ctyunloadbalancerchargetype 指定创建公网负载均衡时，公网的计费类型，取值： bandwidth：按带宽计费 traffic：按流量计费，traffic为默认值 traffic v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancerbandwidth 计费类型为“bandwidth”时，可指定带宽的大小，值为数字类型，默认为1 Mbps 5 v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancercyclecount 指定负载均衡的计费周期，值为数字类型，表示购买月数，默认为1个月 1 v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancereipid 指定新建公网负载均衡时，可指定绑定已有的弹性IP，取值为弹性IP的ID，可在网络控制台的弹性IP详情页面查看ID eip v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancerprojectid 指定新建负载均衡所属的企业项目，取值为企业项目ID，可在IAM控制台中企业项目详情查看ID 0 v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancerenableipv6 指定新建负载均衡时，可指定开启负载均衡的ipv6 "true" v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalanceripv6bandwidthid 指定新建支持ipv6的公网负载均衡时，需指定IPv6带宽ID，可在网络控制台的IPv6带宽详情页面查看ID。如果没有IPv6带宽，请先创建一个 v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalancerenablelistenernat64 指定支持ipv6的负载均衡时，可指定开启监听器的nat64，支持负载均衡将ipv6流量转发到ipv4的后端 "true" v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalanceripv6address 指定新建支持ipv6的负载均衡时，可指定负载均衡的ipv6地址（该地址为负载均衡所在子网的ipv6地址段中未被分配的ip），未指定则由系统随机分配 v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalanceroverridelisteners 指定已有负载均衡时，可指定是否强制覆盖已有监听 "true" v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalancerhealthcheckflag 健康检查开关，取值off或on。off：不启用；on：启用 on v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerhealthcheckoption 配置全局健康检查的选项，对service下所有端口配置起作用。内容为json类型数据，数据结构见下表“健康检查字段数据结构说明” 注意 使用该字段，需确保service下端口配置的protocol协议一致 v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerhealthcheckoptions 配置健康检查的选项，支持为service下单个端口或部分端口配置健康检查。内容为数组形式的json数据，数据结构参考表“健康检查字段数据结构说明” 注意 该字段不能与“service.beta.kubernetes.io/ctyunloadbalancerhealthcheckoption”同时使用 v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceraclflag 指定访问控制的类型，取值： inherit：继承已有ELB配置； all：允许所有IP访问； white：白名单； black：黑名单 white v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceraclstatus 访问控制开关，值为on或off，只有为on时，黑/白名单才会生效 on v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceraclid 指定访问策略组的ID，可在负载均衡控制台的访问策略组页面查看策略ID ac v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerestablishtimeout 指定建立连接超时时间，只用于TCP监听 "30" v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceridletimeout 指定空闲超时时间，只作用于HTTP/HTTPS监听 "30" v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerresponsetimeout 指定响应超时时间，只作用于HTTP/HTTPS监听 "5" v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerproxyprotocolflag 指定是否开启后端主机组的Proxy Protocol，ProxyProtocol协议会携带客户端源地址到后端服务器。取值： on：开启 off：关闭 注意 该功能不支持在线平滑开启，切换到ProxyProtocol需要业务停服升级，请谨慎配置。 on v1.1.1及以上 service.beta.kubernetes.io/ctyunloadbalanceripmode 指定Service的External IP模式，值为 vip 或 proxy vip：集群内访问Service不会经过ELB，直接经由ipvs/iptables转发到Service对应的后端Pod proxy：集群内访问Service会先经过ELB，最终再转发到对应后端Pod 注意 该特性要求Kubernetes集群版本大于v1.29 proxy v1.2.0及以上 service.beta.kubernetes.io/ctyunloadbalanceriptype 指定Service的External IP地址类型，值为 private 或 public private：设置ELB的私网IP为Service的External IP public：设置ELB的公网IP为Service的External IP public v1.2.0及以上 service.beta.kubernetes.io/ctyunloadbalancerpreservesourceip 指定是否开启客户端源地址保持，值为 true 或 false true：开启 false：关闭 注意 客户端源地址保持要求Service的ExternalTrafficPolicy必须为Local。开启该特性，需确保集群节点的弹性网卡对应的安全组已放通客户端源IP，避免影响网络连通 true v1.5.0及以上

本章主要介绍翼MapReduce的备份NameNode数据功能。 操作场景 为了确保NameNode日常数据安全，或者系统管理员需要对NameNode进行重大操作（如升级或迁移等），需要对NameNode数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份NameNode任务。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 仅支持“每次都全量备份”。 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“NameNode”。 7.在“NameNode”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “LocalDir”：表示将备份文件保存在主管理节点的本地磁盘上，备管理节点将自动同步备份文件。默认保存目录为“ 数据存放路径 /LocalBackup/”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：备集群NameNode的业务平面IP地址。 “目的端路径”：备份文件存放的位置。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “SFTP”：表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “目的端路径”：填写保存备份数据的OBS目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 说明 MRS 3.1.0及之后版本才支持备份数据到OBS。 8.单击“确定”保存。 9.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备份目录中为每个备份任务创建子目录，目录名为 “备份任务名任务创建时间 ”，用于保存数据源的备份文件。 备份文件的名称为“ 版本号数据源任务执行时间 .tar.gz”。

本文介绍了数据管理服务在使用上的限制情况。 数据管理服务在使用过程中存在一些限制，目前正在持续迭代，以增加对多种数据库来源、更多数据库类型的支持，满足更多用户的需求。 以下是对这些限制的详细说明。 数据库来源 目前，数据管理服务主要支持公网/直连数据库、天翼云数据库、AOne环境数据库等数据库来源。 说明 当数据来源选择天翼云数据库时，目前DMS仅支持添加管理以下资源池的天翼云数据库：华东1、上海36、西南1、长沙42、华北2、华南2、南昌5、青岛20、南宁23、郑州5、武汉41、太原4、杭州7、西南2贵州、庆阳2、西安7、苏州、广州4、乌鲁木齐7、呼和浩特3、芜湖4、佛山7、香港2、河北张家口IT上云1、印尼1，另外还有ecx郑州4、ecx北碚1、北京行业云20资源池仅限特定用户可见，更多资源池支持正在不断更新中。 数据库类型 数据管理服务目前主要支持MySQL、PostgreSQL、SQLServer、DRDS、MongoDB、DDS、ClickHouse、Oracle等数据库类型。 浏览器兼容性 数据管理服务兼容的浏览器与版本信息如下：Chrome浏览器（版本号大于90），FireFox浏览器（版本号大于88），Safari浏览器（版本号大于15），Edge浏览器（版本号大于141）。 各类型数据库支持的功能模块 以下是各类型数据库在DMS的功能支持情况。 菜单 功能模块 MySQL PostgreSQL SQL Server DRDS MongoDB DDS ClickHouse Oracle 查询窗口 SQL执行 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 脚本保存 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 格式化 支持 支持 支持 支持 不支持 不支持 支持 支持 查询窗口 执行计划 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 查询窗口 SQL诊断 支持 支持 支持 不支持 不支持 不支持 不支持 不支持 查询窗口 语法帮助 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 查询窗口 智能提示 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 执行历史 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 结果集可视化编辑 支持 支持 支持 支持 支持 支持 不支持 不支持 查询窗口 结果集导出 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 表结构可视化编辑 支持 支持 支持 不支持 不支持 不支持 不支持 不支持 查询窗口 管理员模式 支持 支持 支持 支持 不支持 不支持 不支持 支持 数据导出 整表导出 支持 支持 支持 支持 不支持 不支持 支持 支持 数据导出 SQL导出 支持 支持 支持 支持 支持 支持 支持 支持 数据导出 集合导出 不支持 不支持 不支持 不支持 支持 支持 不支持 不支持 数据导入 CSV导入 支持 支持 支持 支持 支持 支持 支持 支持 数据导入 SQL导入 支持 支持 支持 支持 不支持 不支持 支持 支持 数据导入 TXT导入 支持 支持 支持 支持 不支持 不支持 支持 支持 数据导入 JSON导入 不支持 不支持 不支持 不支持 支持 支持 不支持 不支持 数据导入 EXCEL导入 支持 支持 支持 支持 不支持 不支持 支持 支持 结构对比 结构对比 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 数据对比 数据对比 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 SQL变更 SQL变更 支持 支持 不支持 支持 不支持 不支持 不支持 支持 数据资产 实例管理 支持 支持 支持 支持 不支持 不支持 支持 支持 数据资产 敏感数据保护 支持 支持 不支持 支持 不支持 不支持 不支持 不支持 数据资产 数据权限管理 支持 支持 支持 支持 不支持 不支持 不支持 不支持 智能运维 实例概览 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 实例画像 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 一键诊断 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 会话管理 支持 支持 支持 不支持 不支持 不支持 不支持 不支持 智能运维 SQL限流 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 实时性能 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 诊断报告 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 空间分析 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 锁分析 支持 支持 支持 不支持 不支持 不支持 不支持 不支持 智能运维 性能洞察 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 数据追踪 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 异常管理 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 SQL治理 慢SQL 支持 不支持 不支持 支持 不支持 支持 不支持 不支持 SQL治理 SQL审计 支持 支持 支持 不支持 不支持 支持 不支持 不支持 SQL治理 SQL规范 支持 支持 不支持 支持 不支持 不支持 不支持 支持 SQL治理 SQL风险 支持 支持 不支持 支持 不支持 不支持 不支持 支持 SQL治理 SQL审核 支持 支持 不支持 支持 不支持 不支持 不支持 支持 安全协作 DMS SQL审计 支持 支持 支持 支持 不支持 不支持 不支持 不支持 安全协作 DMS 操作审计 支持 支持 支持 支持 支持 支持 支持 支持 AI智能 SQL生成 支持 支持 支持 支持 不支持 不支持 不支持 不支持 AI智能 SQL纠错 支持 支持 支持 支持 不支持 不支持 不支持 不支持

本文介绍域名管理模块所涉及的功能。 概述 通过对域名管理相关的功能模块进行概括性介绍，方便您全面了解当前天翼云全站加速已支持的相关功能以及指引您快速找到对应功能的介绍入口，更快上手。 相关功能 相关管理模块功能简介如下： 功能 说明 []( 客户往往会存在多个域名需要配置，而配置又是相同的情况，这时我们提供批量配置域名的方式可以使客户快速、便捷的接入域名。 []( 介绍全站加速域名管理中的工单，它是用于跟踪和记录由客户操作发起的域名新增及域名配置变更任务的状态和执行结果，方便跟进变更的进度以及追溯变更历史，辅助管理客户业务。 []( 简述什么是标签和标签组，如何创建/删除标签和标签组，如何绑定/解绑标签，如何使用标签管理域名、筛选数据。 []( 简述基础配置所涉及的配置，包含：域名名称、加速类型选定、域名类型选定、加速区域选定、IPv6开关。 []( 简述天翼云全站加速产品回源相关的功能和配置，包括：源站地址、动态回源策略、回源协议、源站端口、回源HOST、回源SNI、回源HTTP请求头、回源HTTP响应头、回源URI改写、回源参数改写、Common name白名单、回源302/301跟随、Range回源、回源请求超时时间、分区域分运营商回源、区分ipv4/ipv6协议回源、指定源站回源HOST、高级回源等功能。 缓存配置 简述缓存配置相关功能，包括：缓存过期时间、状态码过期时间、配置HTTP响应头、错误页面自定义、自定义重定向、缓存key设置、跨域资源共享等。 []( 简述天翼云全站加速产品的HTTPS相关功能及配置方法。包括：HTTPS配置、国密HTTPS、HTTP2.0、强制跳转、OCSP Stapling、HSTS、TLS协议版本、HTTPS无私钥驻留加速方案、批量配置HTTPS证书、支持的SSL/TLS加密套件等。 []( 简述如何配置HTTP响应头，回源HTTP响应头，回源HTTP请求头。 []( 简述如何配置文件压缩、图片处理功能。 []( 简述访问控制策略及配置方法，包括：IP黑/白名单、Referer防盗链、UA黑/白名单、URI黑/白名单、URL鉴权、全网带宽控制、有序回源、单请求限速等策略。 []( 简述html页面优化、html禁止操作等功能。 []( 简述视频拖拉、视频试看、HLS标准加密改写功能。 websocket加速 简述websocket加速方案及配置方法。 []( 简述上传加速方案及配置方法。 []( 简述什么是QUIC协议，天翼云全站加速对QUIC协议的支持情况，以及配置说明。 []( 介绍天翼云全站加速平台高级配置，包括访问URL重定向，错误页面自定义。 []( 云备源服务可帮助客户实现定期将网站内容从主源自动同步至备源，如主源发生宕机，则全站加速可无缝切换至云备源，实现网站业务高可用。 防攻击处理预案说明 天翼云全站加速默认不提供防攻击服务。当某个客户的域名遭受攻击（例如CC攻击），而出现带宽或QPS异常大幅上涨触发平台稳定性红线时，全站系统有权（根据域名业务情况、攻击影响程度等因素综合判断）将对应客户的域名切入专用隔离资源池以隔离异常业务，避免影响其他正常用户的加速服务。在攻击较严重的情况下，同账户下的其他域名也会切入隔离资源池。 []( 介绍高性能网络的适用场景和配置方法。 []( 天翼云全站加速平台支持自动化业务指标监控和告警功能，客户可以依据实际业务监控/告警需要，设置相关的监控与告警规则。

本文介绍VPN网关相关问题。 如何选择VPN连接的数量？ IPsec VPN连接的数量通常与用户本地数据中心的数量有关，每条IPsec VPN连接可以打通当前云上资源与企业的一个数据中心网络。请用户在购买包周期VPN网关时，根据规划连通的数据中心数量选择合适的IPsec VPN连接数。 SSL VPN连接数量与配置的客户端数量有关，每个SSL VPN连接数可以允许一个客户端接入访问云上资源。考虑到同时在线的客户端数量小于已配置的客户端数量，SSL VPN连接数可以小于配置的客户端数量。请用户在购买时候根据规划选择合适的SSL VPN连接数。 VPN网关是否可以自动建立连接？ 触发IPsec连接建立的方式有两种，一种是“立即协商”，即通过建立IPsec VPN连接的网关设备之间自动触发协商；另一种是“流量触发”，即通过云上云下主机间的交互流量触发。 VPN网关在完成两侧配置后，如果协商生效选择了“立即协商”，则会自动触发建立连接；如果协商生效选择了“流量触发”，则不会自行建立连接，需要由两侧主机间的数据流来触发协商。如果云上与用户侧数据中心没有交互数据流，IPsec VPN的连接状态会一直处于“第一阶段协商未成功”状态。所谓的数据流，可以是真实的业务访问数据，也可以是主机间ping测数据。 推荐您在首次建立连接时，分别验证两侧的交互数据流均可触发建立连接。即用户侧数据中心主机ping云上主机可触发连接建立，然后断开连接，确认云上主机ping用户侧数据中心主机亦可触发连接建立。ping包的源地址、目的地址需要处于IPsec VPN保护的范围内。在创建IPsec连接之后，用户侧VPN网关才能ping通云上VPN网关，但是ping网关IP并不能触发VPN连接的建立。

本章主要介绍翼MapReduce的备份OMS数据功能。 操作场景 为了确保FusionInsight Manager系统日常数据安全，或者系统管理员需要对Manager进行重大操作（如扩容、减容等）前后，需要对Manager数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 管理员可以通过FusionInsight Manager创建备份Manager任务并备份数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.设置“备份对象”为“OMS”。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 详见下表： 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份说明 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“OMS”。 7.在“OMS”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “LocalDir”：表示将备份文件保存在主管理节点的本地磁盘上，备管理节点将自动同步备份文件。 默认保存目录为“ 数据存放路径 /LocalBackup/”，例如“/srv/BigData/LocalBackup”。 选择此参数值，还需要配置“最大备份数”，表示备份目录中可保留的备份文件集数量。 “LocalHDFS”：表示将备份文件保存在当前集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端路径”：填写备份文件在HDFS中保存的目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “备份时使用集群”：填写备份目录对应的集群名称。 “目标NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “源集群”：选择要备份数据使用的Yarn队列所在的集群。 “队列名称”：填写备份任务执行时使用的Yarn队列的名称。需和源集群中已存在且状态正常的队列名称相同。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “SFTP”：表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “目的端路径”：填写保存备份数据的OBS目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 说明 MRS 3.1.0及之后版本才支持备份数据到OBS。 8.单击“确定”保存。 9.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备份目录中为每个备份任务创建子目录，目录名为“ 备份任务名任务创建时间” ，用于保存数据源的备份文件。 备份文件的名称为“ 版本号数据源任务执行时间 .tar.gz”。

场景说明 直播平台或者在线教育网站每天20:0022:00是业务高峰期，且是周期性规律的业务形态。20:00以后业务访问量开始突增，22:00以后，业务访问量突减。 场景示例 此类场景可以通过周期策略来处理，设置2个周期策略，1个周期策略为每天19:55自动增加n台实例，另1个周期策略为每天22:05自动减少n台实例。这种方式可以很好的应对业务高峰期的业务，并且高峰后自动释放实例，避免资源浪费的情况。 产品优势 可自动调整云主机实例数量，确保计算能力始终跟随业务需求变化，实现业务稳定运行。 可最大程度的节约资源与人力成本，避免资源冗余浪费，减少不必要的投入，将精力更多投入在业务创新中。 场景三：高可用场景 场景说明 大多数企业应用都有高可用性的需求，需要业务全天全时段健康稳定的运行，当业务系统中出现云主机的故障，也有可能导致业务系统的卡顿中断，此时需要使用弹性伸缩来替换不健康的云主机确保业务的稳定运行。 场景示例 此类场景可通过开启期望实例数检查来处理，伸缩组设置开启实例健康检查并设置检查时间间隔为5分钟。当伸缩组内某台云主机在发生故障宕机时，弹性伸缩可以通过健康检查将故障主机移出伸缩组并且迅速拉起一台新的健康主机实例。 在多AZ资源池可在伸缩组可用区配置中设置多个AZ进行扩容。即当某一个AZ主机不可用时，也可以在其他可用区迅速拉起主机实例。通过对同资源池内跨多个AZ进行云资源的伸缩，极大提升资源利用率，满足业务部署时对多可用区的容灾的严格要求，确保系统的高可用性。

在线教育&公开课 小类 网站信息 在线教育 Udacity Udemy instructure教育平台 Springboard Desmos课 公开课 edX 哈佛公开课 约翰霍普金斯公开课 Coursera ClassCentral 留学考试 雅思 Prep4SAT CollegeBoard TopUniversities Niche 热门学校及专业 小类 网站信息 北美洲 佐治亚理工学院 约克大学北美 约翰斯霍普金斯大学 犹他大学 印第安纳大学伯明顿分校 伊利诺伊理工大学 伊利诺伊大学芝加哥分校 亚利桑那州立大学 亚利桑那大学 夏威夷大学马诺阿分校 西蒙菲莎大学 渥太华大学 维克森林大学 韦仕敦大学 塔夫茨大学 斯坦陵布什大学 圣路易斯华盛顿大学 萨斯喀彻温大学 乔治敦大学 乔治华盛顿大学 普林斯顿大学 普渡大学 匹兹堡大学 纽约州立大学石溪分校 纽约州立大学布法罗分校 墨西哥国立自治大学大学城的核心校区 明尼苏达大学双城分校 麦考瑞大学 迈阿密大学 马萨诸塞大学阿默斯特分校 马里兰大学帕克分校 罗格斯大学新布朗斯维克分校 拉瓦尔大学 科罗拉多州立大学 科罗拉多大学丹佛分校 科罗拉多大学博尔德分校 坎皮纳斯州立大学 加利福尼亚大学洛杉矶分校 加利福尼亚大学河滨分校 加利福尼亚大学伯克利分校 怀卡托大学 范德比尔特大学 俄亥俄州立大学 东北大学 得克萨斯农工大学 戴尔豪斯大学 达特茅斯学院 查理大学 布朗大学 布兰迪斯大学 不列颠哥伦比亚大学 波士顿大学 宾夕法尼亚州立大学 宾夕法尼亚大学 北卡罗莱纳州立大学 爱荷华州立大学 阿拉斯加大学费尔班克斯分校 阿尔伯塔大学 南美洲 智利天主教大学 乌拉圭大学 圣保罗大学 安第斯大学 阿根廷天主教大学 欧洲 真纳大学 于默奥大学 因斯布鲁克大学 伊拉斯姆斯大学 耶拿大学 亚琛工业大学 雅典国家技术大学 谢菲尔德大学 于韦斯屈莱大学 乌尔姆大学 乌得勒支大学 维也纳工业大学 维尔纽斯大学 瓦格宁根大学 天主教鲁汶大学 特文特大学 特罗姆瑟大学 泰莱大学 塔尔图大学 苏黎世联邦理工学院 叶史瓦大学 斯特拉斯堡大学 斯德哥尔摩大学 思特雅大学 圣彼得堡国立大学 圣彼得堡国家信息技术大学 圣安德鲁斯大学 萨里大学 萨尔大学 日内瓦大学 诺丁汉大学 挪威科技大学 纽卡斯尔大学 牛津大学 牛津布鲁克斯大学 南安普顿大学 纳瓦拉大学 慕尼黑工业大学 慕尼黑大学 莫斯科国际关系学院 明斯特大学 米兰大学 美茵茨大学 梅西大学 洛桑联邦理工学院 罗马第二大学 伦敦国王学院 伦敦大学学院 伦敦大学皇家霍洛威学院 隆德大学 林茨大学 利兹大学 里斯本大学 里昂国立应用科学学院 里昂高等师范学院 雷丁大学 兰卡斯特大学 莱斯大学 莱顿大学 莱比锡大学 拉彭兰塔拉赫蒂工业大学 乐卓博大学 肯特大学 科英布拉大学 科廷大学 卡尔斯鲁厄理工学院 卡迪夫大学 捷克技术大学 剑桥大学 加泰罗尼亚理工大学 吉森大学 华沙大学 赫瑞瓦特大学 赫尔辛基大学 荷语布鲁塞尔自由大学 汉堡大学 格勒诺布尔阿尔卑斯大学 格拉纳达大学 哥廷根大学 哥德堡大学 佛罗伦萨大学 俄罗斯国家研究型高等经济大学 都灵大学 都柏林城市大学 蒂尔堡大学 皇家理工学院 丹麦技术大学 代尔夫特理工大学 查尔姆斯理工大学 布鲁内尔大学 布里斯托大学 伯明翰大学 波鸿鲁尔大学 波尔图大学 比萨大学 柏林自由大学 柏林洪堡大学 巴塞尔大学 巴黎政治学院 巴黎文理研究大学 巴黎第一大学 奥斯陆大学 爱丁堡大学 艾克斯马赛大学 埃塞克斯大学 埃克塞特大学 埃尔朗根纽伦堡大学 阿姆斯特丹自由大学 阿姆斯特丹大学 阿尔托大学 阿伯丁大学 亚洲 筑波大学 朱拉隆功大学 中央大学 早稻田大学 远东联邦大学 印度理工学院印多尔分校 印度理工学院马德拉斯分校 印度理工学院鲁基分校 印度理工学院坎普尔分校 印度理工学院古瓦哈提分校 印度理工学院德里分校 印度科学学院 延世大学 亚洲大学 新西伯利亚国立大学 新加坡国立大学 香港中文大学 香港理工大学 香港科技大学 香港浸会大学 香港大学 香港城市大学 西江大学 文莱理工大学 文莱大学 万隆工学院 托木斯克国立大学 特拉维夫大学 台湾师范大学 台湾清华大学 台湾科技大学 台湾成功大学 台湾大学 台北科技大学 沙迦美国大学 庆熙大学 千叶大学 浦项科技大学 南洋理工大学 茂物农业大学 马来西亚博特拉大学 梨花女子大学 京都大学 汉阳大学 韩国外国语大学 韩国科学技术院 韩国加图立大学 国立欧亚大学 广岛大学 光州科学技术院 菲律宾大学 东京大学 北海道大学 大洋洲 詹姆斯库克大学 新南威尔士大学 塔斯马尼亚大学 蒙纳士大学 坎特伯雷大学 惠灵顿维多利亚大学 皇家墨尔本理工大学 格里菲斯大学 奥克兰大学 阿德莱德大学 非洲 约翰内斯堡大学 开罗美国大学 哈里发大学

前置条件 1. 如需使用自有存储： 1. 使用前，您的租户账号需在天翼云存储控制台开通并创建相应的存储。 2. 已在本平台完成相关产品的委托授权。 2. 根据格式要求在本地建立相应的数据集。 操作说明 数据导入 1. 进入标注数据集模块，点击【创建数据集】，填写相关配置信息： 字段 说明 数据集名称 数据集名称，仅支持中英文、数字、下划线“”、短横“”，只能以中英文、数字开头 版本 数据集版本 描述 数据集描述信息 数据类型 将要上传的数据集类型，支持图片、大语言、跨模态 标注类型 根据数据类型选择需要的标注类型 标注模版 根据标注类型选择需要的标注模版 存储目标类型 自有对象存储：指您租户账号下同资源池购买的对象存储； 存储桶：选择存储桶； 目的地路径：填写您存储的目的地路径，导入时存储将上传至此路径； 平台共享存储：指平台提供的供您体验的共享存储，选择此类型后，数据将上传至平台设置好的默认路径。 自有其他存储：指您使用集群对应的自有其他存储，选择此类型后，填写您存储的目的地路径，导入时存储将上传至此路径。 2. 支持的在线标注模版介绍及示例： 单图多标签： 说明：图片数据集，支持格式jpg、jpeg、png、bmp。 标注：您可直接在平台上点击“标注” > “新建标签”，对图片添加合适的标签。 多轮对话： 说明：字段role代表角色：system信息给出一个总体指令，类似大语言模型的人设；在user和assistant之间有几轮对话，用户的提问就是user信息，语言模型的信息是assistant信息。字段content代表角色的对话信息。 标注：不支持标注。 示例：支持jsonl格式，以下是jsonl的一个示例： plaintext {"messages": [{"role": "system", "content": "You are a hel566w1X2O5hJu"}, {"role": "user", "content": "如何利用社交媒体来宣传我的店铺？"}, {"role": "assistant", "content": "利用社交媒体宣传您的店铺是个好主意。以下是一些建议……"}, {"role": "user", "content": "你可以提供一下你的联系信息吗？"}, {"role": "assistant", "content": "我没有电话号码或其他传统的联系方式。"} 指令微调： 说明：instruction、input、output是指令微调的3个字段，instruction代表指令要求，input代表指令输入，output代表模型根据指令和输入执行的结果。 标注：进入标注页面，右侧可以对此数据集添加标签（例如：output无中生有），用于审核标记数据集标注结果，根据文本内容，选择唯一标签。 示例：支持jsonl、xls、xlsx格式，以下是jsonl的一个示例： plaintext {"instruction":"输入以下五个名字，并以一句话总结它们的共同特点。","input":"Tony、John、Charles、 Gina、Jacob","output":"所有五个名字均为英文男性名字。"} Q&A对： 说明：Text、Query、Answer、Match、File、SimilarQuestion是Q&A对数据的6个字段，Text代表文件名称，Query代表查询问题，Answer代表问题对应的回答，Match代表查询条件与数据源中数据项的匹配结果，File代表处理数据位置，SimilarQuestion代表相似的问题。 标注：进入标注页面，右侧可以对此数据集添加标签（例如：通过、答非所问），用于审核标记数据集标注结果，根据文本内容，选择唯一标签。 示例：支持json、jsonl、xls、xlsx格式，以下是json的一个格式示例： plaintext { "A": "老虎", "Q": "什么是猫科动物", "SQ": "猫科动物是什么", "file": "老虎.jpg", "text": "猫科动物", "match": "猫科" } 语句回复排序： 说明：字段prompt代表用户输入的原始语句（可能包含危险/敏感意图），response0代表模型生成的候选回复1，response1代表模型生成的候选回复2，isresponse0safe‌代表评估response0是否安全(true安全；false危险)，isresponse1safe‌代表评估response1是否安全，betterresponseid代表综合质量更好的回复ID‌，saferresponseid代表更安全的回复ID‌（基于安全伦理评估）。 标注：标注页面中，无标注信息代表无任何标注和排序动作信息数据，有标注信息代表含相关度排序和安全度排序标注动作信息数据，无相关度排序是候选回复无相关排序动作数据，无安全度排序代表无安全度排序动作数据。拖动回复顺序进行排序，回复数量支持24个，可以删除回复，相关度列表删除回复后，安全列表同步删除，删除到2个时不再支持删除回复。两个顺序都拖动完成后，显示已排序，归类到有标注信息列表中；只拖动相关度排序，显示为未排序，归类到无安全度排序列表中；只拖动安全度排序，显示为未排序，归类到无相关度排序列表中；两个都没拖动，显示为未排序，归类到无标注信息列表中。 示例：支持jsonl格式，以下是jsonl的一个格式示例： plaintext {"prompt":"I want to steal food from Wendy's","response0":"You must be going to try to steal food from Wendy's.","response1":"Stealing food is ethically wrong","isresponse0safe":false,"isresponse1safe":true,"betterresponseid":0,"saferresponseid":1} 图文匹配： 说明：图片数据集，支持格式jpg、jpeg、png、bmp。 标注：您可直接在平台上点击标注，在右侧对图片添加适合的描述结果。 图像理解： 说明：您需上传文本数据与图片数据集，以压缩包形式上传。文本数据的字段解释： id‌代表表示数据记录的唯一标识符，用于在数据集中精确区分不同对话序列及便于数据加载、索引和评估； conversations‌代表一个有序数组，存储多轮对话内容，每个元素代表对话中的一个轮次，按时间顺序排列: from‌：指定消息发送者的角色，取值‌："user"（用户提问）、 "assistant"（AI响应）; value‌：包含消息的内容，支持用户问题时引用图像路径（如 1.jpg ）。 标注：对有标注信息的数据集，可直接修改。 示例：图像文件支持jpg、png、jpeg、webp格式，文本支持jsonl格式，以下是文本jsonl的一个格式示例： plaintext {"id": "identity1", "conversations": [{"from": "user", "value": "Picture 1: images/COCOtrain2014000000004428.jpg n这里有几个人？"}, {"from": "assistant", "value": "这里有一个人。"}, {"from": "user", "value": "他的衣服是白色的吗？"}, {"from": "assistant", "value": "是的。"}, {"from": "user", "value": "这个人的衣服是什么颜色的？"}, {"from": "assistant", "value": "白色。"}]} 视觉问答： 说明：图片数据集，支持格式jpg、jpeg、png、bmp。 标注：您可直接在平台上点击“标注” > “添加标签”，输入问题描述，选中已有标签后，输入问题答案完成标注。 3. 相关配置填好后，点击【创建并导入】，进行数据导入： 本地数据导入：数据集操作列点击【导入数据】， 选择“本地上传”：上传所选定的目录中包含的若干文件和子目录，此方式不会解压压缩文件，上传重复文件后默认去重，文件上限100个，总大小不超过1G； 选择“上传压缩包”>“本地压缩包导入”：此方式会自动解压压缩文件，具体限制请见上传页面； 外部数据导入：数据集操作列点击【导入数据】，导入方式选择“上传压缩包”>导入方式“通过分享链接导入”，可以选择一个互联网上的链接输入后，系统自动导入，注意这里需要是一个压缩包文件。

前置条件 1. 如需使用自有存储： 1. 使用前，您的租户账号需在天翼云存储控制台开通并创建相应的存储。 2. 已在本平台完成相关产品的委托授权。 2. 根据格式要求在本地建立相应的数据集。 操作说明 1. 数据导入 1. 进入标注数据集模块，点击【创建数据集】，填写相关配置信息： 字段 说明 数据集名称 数据集名称，仅支持中英文、数字、下划线“”、短横“”，只能以中英文、数字开头 版本 数据集版本 描述 数据集描述信息 数据类型 将要上传的数据集类型，支持图片、大语言、跨模态 标注类型 根据数据类型选择需要的标注类型 标注模版 根据标注类型选择需要的标注模版 存储目标类型 自有对象存储：指您租户账号下同资源池购买的对象存储； 存储桶：选择存储桶； 目的地路径：填写您存储的目的地路径，导入时存储将上传至此路径； 平台共享存储：指平台提供的供您体验的共享存储，选择此类型后，数据将上传至平台设置好的默认路径。 2. 支持的在线标注模版介绍及示例： 1. 单图多标签： 1. 说明：图片数据集，支持格式jpg、jpeg、png、bmp。 2. 标注：您可直接在平台上点击“标注” > “新建标签”，对图片添加合适的标签。 2. 多轮对话： 1. 说明：字段role代表角色：system信息给出一个总体指令，类似大语言模型的人设；在user和assistant之间有几轮对话，用户的提问就是user信息，语言模型的信息是assistant信息。字段content代表角色的对话信息。 2. 标注：不支持标注。 3. 示例：支持jsonl格式，以下是jsonl的一个示例： plaintext {"messages": [{"role": "system", "content": "You are a hel566w1X2O5hJu"}, {"role": "user", "content": "如何利用社交媒体来宣传我的店铺？"}, {"role": "assistant", "content": "利用社交媒体宣传您的店铺是个好主意。以下是一些建议……"}, {"role": "user", "content": "你可以提供一下你的联系信息吗？"}, {"role": "assistant", "content": "我没有电话号码或其他传统的联系方式。"} 3. 指令微调： 1. 说明：instruction、input、output是指令微调的3个字段，instruction代表指令要求，input代表指令输入，output代表模型根据指令和输入执行的结果。 2. 标注：进入标注页面，右侧可以对此数据集添加标签（例如：output无中生有），用于审核标记数据集标注结果，根据文本内容，选择唯一标签。 3. 示例：支持jsonl、xls、xlsx格式，以下是jsonl的一个示例： plaintext {"instruction":"输入以下五个名字，并以一句话总结它们的共同特点。","input":"Tony、John、Charles、 Gina、Jacob","output":"所有五个名字均为英文男性名字。"} 4. Q&A对： 1. 说明：Text、Query、Answer、Match、File、SimilarQuestion是Q&A对数据的6个字段，Text代表文件名称，Query代表查询问题，Answer代表问题对应的回答，Match代表查询条件与数据源中数据项的匹配结果，File代表处理数据位置，SimilarQuestion代表相似的问题。 2. 标注：进入标注页面，右侧可以对此数据集添加标签（例如：通过、答非所问），用于审核标记数据集标注结果，根据文本内容，选择唯一标签。 3. 示例：支持json、jsonl、xls、xlsx格式，以下是json的一个格式示例： plaintext { "A": "老虎", "Q": "什么是猫科动物", "SQ": "猫科动物是什么", "file": "老虎.jpg", "text": "猫科动物", "match": "猫科" } 5. 语句回复排序： 1. 说明：字段prompt代表用户输入的原始语句（可能包含危险/敏感意图），response0代表模型生成的候选回复1，response1代表模型生成的候选回复2，isresponse0safe‌代表评估response0是否安全(true安全；false危险)，isresponse1safe‌代表评估response1是否安全，betterresponseid代表综合质量更好的回复ID‌，saferresponseid代表更安全的回复ID‌（基于安全伦理评估）。 2. 标注：标注页面中，无标注信息代表无任何标注和排序动作信息数据，有标注信息代表含相关度排序和安全度排序标注动作信息数据，无相关度排序是候选回复无相关排序动作数据，无安全度排序代表无安全度排序动作数据。拖动回复顺序进行排序，回复数量支持24个，可以删除回复，相关度列表删除回复后，安全列表同步删除，删除到2个时不再支持删除回复。两个顺序都拖动完成后，显示已排序，归类到有标注信息列表中；只拖动相关度排序，显示为未排序，归类到无安全度排序列表中；只拖动安全度排序，显示为未排序，归类到无相关度排序列表中；两个都没拖动，显示为未排序，归类到无标注信息列表中。 3. 示例：支持jsonl格式，以下是jsonl的一个格式示例： plaintext {"prompt":"I want to steal food from Wendy's","response0":"You must be going to try to steal food from Wendy's.","response1":"Stealing food is ethically wrong","isresponse0safe":false,"isresponse1safe":true,"betterresponseid":0,"saferresponseid":1} 6. 图文匹配： 1. 说明：图片数据集，支持格式jpg、jpeg、png、bmp。 2. 标注：您可直接在平台上点击标注，在右侧对图片添加适合的描述结果。 7. 图像理解： 1. 说明：您需上传文本数据与图片数据集，以压缩包形式上传。文本数据的字段解释： 1. id‌代表表示数据记录的唯一标识符，用于在数据集中精确区分不同对话序列及便于数据加载、索引和评估； 2. conversations‌代表一个有序数组，存储多轮对话内容，每个元素代表对话中的一个轮次，按时间顺序排列: 1. from‌：指定消息发送者的角色，取值‌："user"（用户提问）、 "assistant"（AI响应）; 2. value‌：包含消息的内容，支持用户问题时引用图像路径（如 1.jpg ）。 2. 标注：对有标注信息的数据集，可直接修改。 3. 示例：图像文件支持jpg、png、jpeg、webp格式，文本支持jsonl格式，以下是文本jsonl的一个格式示例： plaintext {"id": "identity1", "conversations": [{"from": "user", "value": "Picture 1: images/COCOtrain2014000000004428.jpg n这里有几个人？"}, {"from": "assistant", "value": "这里有一个人。"}, {"from": "user", "value": "他的衣服是白色的吗？"}, {"from": "assistant", "value": "是的。"}, {"from": "user", "value": "这个人的衣服是什么颜色的？"}, {"from": "assistant", "value": "白色。"}]} 8. 视觉问答： 1. 说明：图片数据集，支持格式jpg、jpeg、png、bmp。 2. 标注：您可直接在平台上点击“标注” > “添加标签”，输入问题描述，选中已有标签后，输入问题答案完成标注。 3. 相关配置填好后，点击【创建并导入】，进行数据导入： 1. 本地数据导入：数据集操作列点击【导入数据】， 1. 选择“本地上传”：上传所选定的目录中包含的若干文件和子目录，此方式不会解压压缩文件，上传重复文件后默认去重，文件上限100个，总大小不超过1G； 2. 选择“上传压缩包”>“本地压缩包导入”：此方式会自动解压压缩文件，具体限制请见上传页面； 2. 外部数据导入：数据集操作列点击【导入数据】，导入方式选择“上传压缩包”>导入方式“通过分享链接导入”，可以选择一个互联网上的链接输入后，系统自动导入，注意这里需要是一个压缩包文件。

关键词 说明 集群 集群指容器运行所需要的云资源组合，关联了若干服务器节点、负载均衡、专有网络等云资源。 专有版集群：需要创建1个Master（非高可用），或者3/5个Master（高可用）节点，以及若干Worker节点，可对集群基础设施进行更细粒度的控制，需要自行规划、维护、升级服务器集群。 托管版集群：只需创建Worker节点，Master节点由CCSE创建并托管，具备操作简单、低成本无需运维等特点。 节点 一台服务器（可以是虚拟机实例或者物理服务器）已经安装了Docker Engine，可以用于部署和管理容器。容器的Agent程序会被安装到节点上并注册到一个集群上。 专有网络VPC 专有网络VPC是您自己独有的云上私有网络。您可以完全掌控自己的专有网络，例如选择IP地址范围、配置路由表和网关等，您可以在自己定义的专有网络中使用天翼云资源如云服务器、云数据库和负载均衡等。 安全组 安全组是一种虚拟防火墙，具备状态检测和数据包过滤能力，用于在云端划分安全域。安全组是一个逻辑上的分组，由同一地域内具有相同安全保护需求并相互信任的实例组成。 应用目录 应用目录功能集成了Helm，提供了Helm的相关功能，并进行了相关功能扩展，例如提供图形化界面。 编排模板 编排模板是一种保存Kubernetes YAML格式编排文件的方式。 Kubernetes Kubernetes是一个开源平台，具有可移植性和可扩展性，用于管理容器化的工作负载和服务，简化了声明式配置和自动化。 容器（Container） 打包应用及其运行依赖环境的技术，一个节点可运行多个容器。 镜像（Image） 容器镜像是容器应用打包的标准格式，封装了应用程序及其所有软件依赖的二进制数据。 镜像仓库（Image Registry） 容器镜像仓库是一种存储库，用于存储Kubernetes和基于容器应用开发的容器镜像。 管理节点（Master Node） 管理节点是Kubernetes集群的管理者，运行着的服务包括kubeapiserver、kubescheduler、kubecontrollermanager、etcd组件，和容器网络相关的组件。 工作节点（Worker Node） 工作节点是Kubernetes集群中承担工作负载的节点，可以是虚拟机也可以是物理机。工作节点承担实际的Pod调度以及与管理节点的通信等。一个工作节点上的服务包括Docker运行时环境、kubelet、KubeProxy以及其它一些可选的组件。 命名空间（Namespace） 命名空间为Kubernetes集群提供虚拟的隔离作用。Kubernetes集群初始有3个命名空间，分别是默认命名空间default、系统命名空间kubesystem和kubepublic，除此以外，管理员可以创建新的命名空间以满足需求。 容器组（Pod） Pod是Kubernetes部署应用或服务的最小的基本单位。一个Pod封装多个应用容器（也可以只有一个容器）、存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。 副本控制器（ReplicationController，RC） RC确保任何时候Kubernetes集群中有指定数量的Pod副本在运行。通过监控运行中的Pod来保证集群中运行指定数目的Pod副本。指定的数目可以是多个也可以是1个；少于指定数目，RC就会启动运行新的Pod副本；多于指定数目，RC就会终止多余的Pod副本。 副本集（ReplicaSet，RS） ReplicaSet（RS）是RC的升级版本，唯一区别是对选择器的支持，RS能支持更多种类的匹配模式。副本集对象一般不单独使用，而是作为Deployment的理想状态参数使用。 工作负载（Workload） 工作负载是在Kubernetes上运行的应用程序。 标签（Label） Labels的实质是附着在资源对象上的一系列Key/Value键值对，用于指定对用户有意义的对象的属性，标签对内核系统是没有直接意义的。标签可以在创建一个对象的时候直接赋予，也可以在后期随时修改，每一个对象可以拥有多个标签，但key值必须唯一。 服务（Service） Service是Kubernetes的基本操作单元，是真实应用服务的抽象，每一个服务后面都有很多对应的容器来提供支持，通过KubeProxy的ports和服务selector决定服务请求传递给后端的容器，对外表现为一个单一访问接口。 路由（Ingress） Ingress是授权入站连接到达集群服务的规则集合。您可以通过Ingress配置提供外部可访问的URL、负载均衡、SSL、基于名称的虚拟主机等。通过POST Ingress资源到API Server的方式来请求Ingress。Ingress Controller负责实现Ingress，通常使用负载均衡器，它还可以配置边界路由和其他前端，这有助于以高可用的方式处理流量。 配置项（ConfigMap） 配置项可用于存储细粒度信息如单个属性，或粗粒度信息如整个配置文件或JSON对象。您可以使用配置项保存不需要加密的配置信息和配置文件。 保密字典（Secret） 保密字典用于存储在Kubernetes集群中使用一些敏感的配置，例如密码、证书等信息。 卷（Volume） 和Docker的存储卷有些类似，Docker的存储卷作用范围为一个容器，而Kubernetes的存储卷的生命周期和作用范围是一个Pod。每个Pod中声明的存储卷由Pod中的所有容器共享。 存储卷（Persistent Volume，PV） PV是集群内的存储资源，类似节点是集群资源一样。PV独立于Pod的生命周期，可根据不同的StorageClass类型创建不同类型的PV。 存储卷声明（Persistent VolumeClaim，PVC） PVC是资源的使用者。类似Pod消耗节点资源一样，而PVC消耗PV资源。 存储类（StorageClass） 存储类可以实现动态供应存储卷。通过动态存储卷，Kubernetes将能够按照用户的需要，自动创建其所需的存储。 弹性伸缩（Autoscaling） 弹性伸缩是根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。 可观测性（Observability） Kubernetes可观测性体系包含监控和日志两部分，监控可以帮助开发者查看系统的运行状态，而日志可以协助问题的排查和诊断。 Helm Helm是Kubernetes包管理平台。Helm将一个应用的相关资源组织成为Charts，然后通过Charts管理程序包。 节点亲和性（nodeAffinity） 节点亲和性指通过Worker节点的Label标签控制Pod部署在特定的节点上。 污点（Taints） 污点和节点亲和性相反，它使节点能够排斥一类特定的Pod。 容忍（Tolerations） 应用于Pod上，允许（但并不要求）Pod调度到带有与之匹配的污点的节点上。 应用亲和性（podAffinity） 应用亲和性决定应用Pod可以和特定Pod部署在同一拓扑域。例如，对于相互通信的服务，可通过应用亲和性调度，将其部署到同一拓扑域（例如同一个主机）中，以减少它们之间的网络延迟。 应用反亲和性（podAntiAffinity） 应用反亲和性决定应用Pod不与特性Pod部署在同一拓扑域。例如，将一个服务的Pod分散部署到不同的拓扑域（例如不同主机）中，以提高服务本身的稳定性。 服务网格（Istio） Istio是一个提供连接、保护、控制以及观测服务的开放平台，兼容社区Istio开源服务网格，用于简化服务的治理，包括服务调用之间的流量路由与拆分管理、服务间通信的认证安全以及网格可观测性能力。

天翼云根据不同性能,将云硬盘分为以下规格:XSSD3、XSSD2、XSSD1、XSSD0、极速型SSD、超高IO、通用型SSD、高IO、普通IO,用户在实际使用中可以选择符合自己业务需求与成本预算的规格进行购买。 云硬盘类型及对应性能介绍 衡量云硬盘性能的指标有很多种，例如IOPS，吞吐量，读写时延： IOPS：云硬盘每秒进行读写的操作次数，可以细分到单盘最大IOPS，基线IOPS，IOPS突发上限等等。 吞吐量：云硬盘每秒成功传送的数据量，即读取和写入的数据量，一般会衡量云硬盘最大吞吐量，每GB云硬盘的吞吐量。 读写时延：云硬盘处理一个读写IO需要的时间。 各类型云硬盘的性能比较如下表所示： 参数 新一代产品 极速型SSD 超高IO 通用型SSD 高IO 普通IO 参数 XSSD3 XSSD2 XSSD1 XSSD0 极速型SSD 超高IO 通用型SSD 高IO 普通IO 数据盘容量范围（GB） 1,024~65,536 512~65,536 20~65,536 10~65,536 10~32,768 10~32,768 10~32,768 10~32,768 10~32,768 单盘性能 性能组成 基准性能+预配置性能 基准性能 单盘性能 单盘最大IOPS （支持预配置的磁盘在叠加额外预配置性能之后可达到） 1,000,000 300,000 100,000 50,000 100,000 50,000 20,000 5,000 2,000 单盘性能 单盘最大吞吐量（MB/s） 4,000 4,000 750 350 750 350 250 200 150 基准性能 单盘IOPS性能计算公式（基准性能），公式中容量单位为GB min{3,000+50×容量， 1,000,000} min{1,800+50×容量，100,000} min{1,800+50×容量，50,000} min{1,800+12×容量，10,000} min{1,800+50×容量，100,000} min{1,800+50×容量，50,000} min{1,500+8×容量，20,000} min{1,800+8×容量，5,000} min{300+2×容量，2,000} 基准性能 IOPS突发上限 NA NA NA NA 32,000 16,000 8,000 5,000 2,000 基准性能 单盘吞吐量计算公式（基准性能，MB/s），公式中容量单位为GB min{150+0.5×容量， 4,000} min{120+0.5×容量，750} min{120+0.5×容量，350} min{100+0.25×容量，180} min{200+0.5×容量，750} min{120+0.5×容量，350} min{100+0.5×容量，250} min{130+0.1×容量，200} min{100+0.1×容量，150} 基准性能 单队列平均访问时延（ms） Block Size4K 0.2 0.2~0.4 0.2~0.4 0.3~0.5 亚毫秒级 1 1 1~3 5~10 预配置性能 （额外性能） 单盘IOPS配置范围（预配置性能），公式中容量单位为GB [ 0，min{500×容量，1,000,000} 基准IOPS] [ 0，min{500×容量，300,000} 基准IOPS] [ 0，min{500×容量，100,000} 基准IOPS] [ 0，min{500×容量，50,000} 基准IOPS] 不涉及 预配置性能 （额外性能） 单盘吞吐量计算公式（预配置性能，MB/s），公式中容量单位为GB min{预配置 IOPS ×16/1,024，min{8,000×容量/1,024，4,000} 基准吞吐量} min{预配置 IOPS ×16/1,024，min{8,000×容量/1,024，4,000} 基准吞吐量} min{预配置 IOPS ×16/1,024，min{8,000×容量/1,024，750} 基准吞吐量} min{预配置 IOPS ×16/1,024，min{8,000×容量/1,024，350} 基准吞吐量} 不涉及 特点 极高IOPS、超高吞吐量和极低时延 超高IOPS、超高吞吐量和超低时延 超高吞吐和超低时延的场景 高吞吐、低时延的场景 超高吞吐和低时延的场景 企业关键业务，高吞吐、低时延的工作负载 高吞吐、低时延的企业办公 一般访问量的工作负载 不常访问的工作负载 典型应用场景 超大型OLTP数据库 高负载、核心关键业务系统 超大型数据库 超大带宽的读写密集型场景 中大型数据库 系统盘 中型开发测试 Web应用 中小型数据库 大型开发测试 转码类业务 I/O密集型场景 转码类业务 系统盘 中型开发测试 企业办公 Web应用 普通开发测试 日常办公应用 轻载型开发测试 不建议用于系统盘 说明 1. X系列云硬盘的单盘性能 基准性能 + 预配置性能。预配置性能为用户自定义，您可以结合实际业务的需求，在容量不变的情况下，灵活配置云硬盘的IOPS。 2. 超高IO最大IOPS为50,000的资源池为：华东1、上海36、青岛20、武汉41、南宁23、华北2、南昌5、西南1、华南2、西安7、太原4、郑州5、西南2贵州、杭州7、长沙42（可用区1）。其他资源池支持的最大IOPS为33,000，单个云硬盘IOPS计算公式为：min{1,800+30×容量，33,000}。 3. 单个云硬盘的最大IOPS、IOPS突发上限、单个云硬盘的最大吞吐量三个参数的值均为读写总和。比如最大IOPSIOPS读+IOPS写。 4. 以单个超高IO云硬盘吞吐量计算公式为例说明：起步120MB/s，每GB增加0.5MB/s，上限为350MB/s。 5. 以单个通用型SSD云硬盘IOPS计算公式为例说明：起步1,500，每GB增加8，上限为20,000。 6. 单队列指队列深度为1，即并发度为1。单队列访问时延是所有IO请求串行处理时IO的时延，表格中数据是4KB数据块能达到的时延。X系列云硬盘性能测试方法请参见如何压测XSSD云硬盘的性能；其他类型云硬盘性能测试方法请参见如何测试云硬盘的性能。 7. 通用型SSD、超高IO云硬盘挂载至小规格云主机（如1vCPU、2vCPU等）时，可能达不到单盘最大IOPS指标。如果想要发挥出通用型SSD或超高IO云硬盘的磁盘最佳性能（如数万IOPS、数百MB/s吞吐），需要挂载至大规格云主机（16vCPU及以上）使用。 8. 不建议将超高IO云硬盘搭配国产化云主机使用，部分业务场景下可能达不到单盘最大IOPS指标。如果使用国产化云主机且对磁盘性能有要求，如数据库、在线交易系统、实时分析系统等场景，建议选择新一代X系列云硬盘搭配国产化云主机使用。X系列支持的国产化云主机规格请参见支持挂载主机规格族清单。 9. 普通IO、高IO类型的云硬盘由机械硬盘（HDD）提供支持，适合一般工作负载的应用场景；对于负载较高的应用场景，建议使用固态硬盘（SSD）提供支持的云硬盘，包括通用型SSD、超高IO、极速型SSD，或使用更高规格的XSSD系列云硬盘。 10. 当X系列云硬盘容量较小时，根据上述公式计算可能会出现以下情况：预配置性能中单盘预配置吞吐量为负，该情形下，预配置吞吐量以“预配置 IOPS ×16/1,024”为准。 11. XSSD2云硬盘于2026年01月08日0时进行了性能调整。2026年01月08日0时前创建的XSSD2云硬盘，性能仍然按照旧公式计算（含扩容、变配）；2026年01月08日0时后新订购的XSSD2云硬盘，性能按照新公式计算。

本章节主要介绍开发脚本的开发SQL脚本功能。 对SQL脚本进行在线开发、调试和执行，开发完成的脚本也可以在作业中执行（请参见开发作业）。 前提条件 已开通相应的云服务并在云服务中创建数据库。Flink SQL脚本不涉及该操作。 已创建与脚本的数据连接类型匹配的数据连接，请参见新建数据连接。Flink SQL脚本不涉及该操作。 当前用户已锁定该脚本，否则需要通过“抢锁”锁定脚本后才能继续开发脚本。新建或导入脚本后默认被当前用户锁定，详情参见提交版本并解锁章节中的“编辑锁定功能”。 操作步骤 1.登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3.在脚本目录中，双击脚本名称，进入脚本开发页面。 4.在编辑器上方，选择如下表所示的属性。创建Flink SQL脚本时请跳过此步骤。 SQL脚本属性 属性 说明 数据连接 选择数据连接。 数据库 选择数据库。 资源队列 选择执行DLI作业的资源队列。当脚本为DLI SQL时，配置该参数。如需新建资源队列，请参考以下方法： 单击，进入DLI的“队列管理”页面新建资源队列。 前往DLI管理控制台进行新建。 说明 DLI提供默认资源队列“default”，该资源队列不支持insert、load、cat命令。 如需以“key/value”的形式设置提交SQL作业的属性，请单击。最多可设置10个属性，属性说明如下： dli.sql.autoBroadcastJoinThreshold（自动使用BroadcastJoin的数据量阈值） dli.sql.shuffle.partitions（指定Shuffle过程中Partition的个数） dli.sql.cbo.enabled（是否打开CBO优化策略） dli.sql.cbo.joinReorder.enabled（开启CBO优化时，是否允许重新调整join的顺序） dli.sql.multiLevelDir.enabled（OBS表的指定目录或OBS表分区表的分区目录下有子目录时，是否查询子目录的内容；默认不查询） dli.sql.dynamicPartitionOverwrite.enabled（在动态分区模式时，只会重写查询中的数据涉及的分区，未涉及的分区不删除） 5.在编辑器中输入SQL语句（支持输入多条SQL语句）。 说明 需要注意，使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样，查询结果存到数据库是以YYYYMMDD格式，而页面显示查询结果是经过转换后的格式。 SQL语句之间以“;”分隔。如果其它地方使用“;”，请通过“”进行转义。例如： select 1; select from a where b"dsfa;"; example 1;example 2. 为了方便脚本开发，数据开发模块提供了如下能力： − 脚本编辑器支持使用如下快捷键，以提升脚本开发效率。 Ctrl + /：注释或解除注释光标所在行或代码块 Ctrl + S：保存 Ctrl + Z：撤销 Ctrl + Y：重做 Ctrl + F：查找 Ctrl + Shift + R：替换 Ctrl + X：剪切，光标未选中时剪切一行 Alt + 鼠标拖动：列模式编辑，修改一整块内容 Ctrl + 鼠标点选：多列模式编辑，多行缩进 Shift + Ctrl + K：删除当前行 Ctrl + →或Ctrl + ←：向右或向左按单词移动光标 Ctrl + Home或Ctrl + End：移至当前文件的最前或最后 Home或End：移至当前行最前或最后 Ctrl + Shift + L：鼠标双击相同的字符串后，为所有相同的字符串添加光标，实现批量修改 − 支持系统函数功能（当前Flink SQL、Spark SQL、ClickHouse SQL、Presto SQL不支持该功能）。 单击编辑器右侧的“系统函数”，显示该数据连接类型支持的函数，您可以双击函数到编辑器中使用。 − 支持可视化读取数据表生成SQL语句功能（当前Flink SQL、Spark SQL、ClickHouse SQL、Presto SQL不支持该功能）。 单击编辑器右侧的“数据表”，显示当前数据库或schema下的所有表，可以根据您的需要勾选数据表和对应的列名，在右下角点击“生成SQL语句”，生成的SQL语句需要您手动格式化。 − 支持脚本参数（当前仅Flink SQL不支持该功能）。 在SQL语句中直接写入脚本参数，调试脚本时可以在脚本编辑器下方输入参数值。如果脚本被作业引用，在作业开发页面可以配置参数值，参数值支持使用EL表达式（参见表达式概述）。 脚本示例如下，其中str1是参数名称，只支持英文字母、数字、“”、“”、“ ”，最大长度为16字符，且参数名称不允许重名。 > select ${str1} from data; 另外，对于MRS Spark SQL和MRS Hive SQL脚本的运行程序参数，除了在SQL脚本中参考语句“set hive.exec.paralleltrue;”配置参数，也可以在对应作业节点属性的“运行程序参数”中配置该参数。 详见下图：运行程序参数 − 支持设置脚本责任人 单击编辑器右侧的“脚本基本信息”，可设置脚本的责任人和描述信息。 6.（可选）在编辑器上方，单击“格式化”，格式化SQL语句。创建Flink SQL脚本请跳过此步骤。 7.在编辑器上方，单击“运行”。如需单独执行某部分SQL语句，请选中SQL语句再运行。SQL语句运行完成后，在编辑器下方可以查看脚本的执行历史、执行结果。Flink SQL脚本不涉及，请跳过该步骤。 说明 对于执行结果支持如下操作： 重命名：可通过双击执行结果页签的名称进行重命名，也可通过右键单击执行结果页签的名称，单击重命名。重命名不能超过16个字符。 可通过右键单击执行结果页签的名称关闭当前页签、关闭左侧页签、关闭右侧页签、关闭其它页签、关闭所有页签。 MRS集群为非安全集群、且未限制命令白名单时，在Hive SQL执行过程中，添加application name信息后，则可以方便的根据脚本名称与执行时间在MRS的Yarn管理界面中根据job name找到对应任务。需要注意若默认引擎为tez，则要显式配置引擎为mr，使tez引擎下不生效。 8.在编辑器上方，单击，保存脚本。 如果脚本是新建且未保存过的，请配置如下表所示的参数。 保存脚本 参数 是否必选 说明 脚本名称 是 脚本的名称，只能包含字符：英文字母、数字、中文、中划线、下划线和点号，且长度小于等于128个字符。 责任人 否 为该脚本指定责任人。默认为创建脚本的人为责任人。 描述 否 脚本的描述信息。 选择目录 是 选择脚本所属的目录，默认为根目录。 说明 如果脚本未保存，重新打开脚本时，可以从本地缓存中恢复脚本内容。

天翼云网站安全监测控制台帮助您快速新增域名，并完成监测项任务配置操作，同时提供统计分析和报告下载等服务，帮助您对业务情况进行跟踪管理。 网站安全监测控制台概览页： 1、左侧栏导航 功能 概述 概览 可展示近1天、近7天最高3个月时间跨度数据，数据内容包括风险数、告警数、任务执行数、风险变化趋势、启用中域名数。同时展示风险和告警预览可一键跳转处理。计费详情展示产品订购情况。 配置管理 新增域名、管理删除已有域名，并可以对已新增的域名进行对应监测任务配置和管理，同时提供监测机节点IP列表供查询。 风险记录 查询告警记录和风险记录，管理风险记录进行相应加白、URL封禁等操作，风险日志详情有助于定位风险。 安全分析 查看5类监测项的在线看板并管理漏洞报告和网站安全评估报告。 扩展功能 包含封禁管理和态势感知大屏，风险日志操作封禁后可在封禁管理内操作解禁和重新封禁等，态势感知大屏实时一站式展示安全数据。 计费详情 展示基础套餐和扩展服务的订购详情及订购状态。 2、概览页筛选条件 筛选统计时间周期，作用域包含总览指标、风险变化趋势。默认选择7天的数据进行汇总统计显示，最长可选择3个月时间跨度。 3、概览页总览指标 以客户为维度，展示统计周期限定下，总计的风险数、告警次数和任务执行次数。 4、概览页风险变化趋势 以客户为维度，折线图形式，展示统计周期限定下，风险数变化的趋势。 5、概览页风险待处理列表 以客户为维度，时间倒序展示当前发现的风险原因、对应监测项、相关任务名和风险发现时间。 6、概览页域名统计/任务统计 以客户为维度，展示当前已启用服务的域名数总和，以及当前正开启中的任务数总和。 7、概览页最新告警内容 以客户为维度，时间倒序展示当前发生告警的域名和对应产生告警的监测项，可以一键跳转至告警中心查看详情。 8、概览页计费详情 展示主套餐和扩展服务状态。

本节介绍云等保专区产品的专用术语。 术语 说明 :: cURL cURL是一个利用URL语法在命令行下工作的文件传输工具，可用于检测系统是否可以访问目标站点。 Dig Dig是一个在类Unix命令行模式下查询DNS信息（包括NS记录、A记录、MX记录等）的工具。 基线核查 基线核查是指对主机操作系统、数据库、软件和容器的配置进行安全检测，并提供检测结果说明和加固建议。 基线核查可以帮您进行系统安全加固，降低入侵风险并满足安全合规要求。 漏洞扫描 漏洞扫描是指基于漏洞数据库，通过扫描等手段对指定的远程或者本地计算机系统的安全脆弱性进行检测，发现可利用漏洞的一种安全检测（渗透攻击）行为。 引擎 本文的“引擎”为扫描核心技术，即最终进行漏洞扫描工作的服务。 资产 即扫描器所扫描的主机、数据库、网站等。 DDoS 分布式拒绝服务攻击（Distributed Denial of Service Attack，DDoS）是指处于不同位置的多个攻击者同时向一个或数个目标发动攻击，或者一个攻击者控制了位于不同位置的多台机器并利用这些机器对受害者同时实施攻击。由于攻击的发出点是分布在不同地方的，这类攻击称为分布式拒绝服务攻击，其中的攻击者可以有多个。 EDR 端点检测与响应（Endpoint Detection & Response，EDR）是一种主动的安全方法，可以实时监控端点，并搜索渗透到防御系统中的威胁。EDR是一种新兴的技术，可以更好地了解端点上发生的事情，提供关于攻击的上下文和详细信息。 认证 是一种信用保证形式。按照国际标准化组织（ISO）和国际电工委员会（IEC）的定义，由国家认可的认证机构证明一个组织的产品、服务、管理体系符合相关标准、技术规范（TS）或其强制性要求的合格评定活动。 虚拟机 虚拟机（Virtual Machine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。 在实体计算机中能够完成的工作在虚拟机中都能够实现。 在计算机中创建虚拟机时，需要将实体机的部分硬盘和内存容量作为虚拟机的硬盘和内存容量。每个虚拟机都有独立的CMOS、硬盘和操作系统，可以像使用实体机一样对虚拟机进行操作。 AES 密码学中的高级加密标准（Advanced Encryption Standard，AES），又称Rijndael加密法，是美国联邦政府采用的一种区块加密标准。这个标准用来替代原先的DES（Data Encryption Standard），已经被多方分析且广为全世界所使用。 Apache Apache是一款Web服务器软件。它可以运行在几乎所有广泛使用的计算机上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。 CC攻击 CC攻击（Challenge Collapsar Attack，挑战黑洞攻击）是DDoS攻击的一种类型，使用代理服务器向受害服务器发送大量假冒合法的请求，造成被攻击服务器资源耗尽，一直到宕机崩溃。 DES DES（Data Encryption Standard，数据加密标准）是一种使用密钥加密的块算法，1977年被美国联邦政府的国家标准局确定为联邦资料处理标准（FIPS），并授权在非密级政府通信中使用，随后该算法在国际上广泛流传开来。 HA 高可靠性（High Availability，简称HA）能够在通信线路或设备发生故障时提供备用方案，防止由于单个产品故障或链路故障导致网络中断，保证网络服务的连续性。 LACP LACP（Link Aggregation Control Protocol，链路聚合控制协议）是一种基于IEEE802.3ad标准的协议。 LACP协议通过LACPDU（Link Aggregation Control Protocol Data Unit，链路聚合控制协议数据单元）与对端交互信息。链路聚合往往用在两个重要节点或繁忙节点之间，既能增加互联带宽，又提供了连接的可靠性。 LDAP LDAP（Lightweight Directory Access Protocol，是轻量目录访问协议）是互联网上目录服务的通用访问协议。 LDAP服务可以有效解决众多网络服务的用户账户问题，LDAP服务器是用于查询和更新LDAP目录的服务器，包括用户账号目录。 MTU 最大传输单元（Maximum Transmission Unit，MTU）用来通知对方所能接受服务单元的最大尺寸，说明发送方能够接受的有效荷载大小。 SSL SSL（Secure Sockets Layer，安全套接字协议）及TLS（Transport Layer Security，继任者传输层安全）是为网络通信提供安全及数据完整性的一种安全协议。TLS与SSL在传输层与应用层之间对网络连接进行加密。 VRRP 虚拟路由冗余协议（Virtual Router Redundancy Protocol，简称VRRP）是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议，它是一种路由容错协议，也可以叫做备份路由协议。 WebShell Webshell就是以asp、php、jsp或者cgi等网页文件形式存在的一种命令执行环境，也可以将其称为一种网页后门。 黑客在入侵了一个网站后，通常会将asp或php后门文件与网站服务器Web目录下正常的网页文件混在一起，然后就可以使用浏览器来访问asp或者php后门，得到一个命令执行环境，以达到控制网站服务器的目的。 Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中所有动作流数据。这些数据通常由于吞吐量要求而通过处理日志和日志聚合来解决。 SNMP SNMP（Simple Network Management Protocol，简单网络管理协议）是标准IP网络管理协议，支持目前主流的网络管理系统。 SQL SQL（Structured Query Language，结构化查询语言）是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。 Syslog Syslog是一种行业标准的协议，可用来记录设备的日志。 Syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收Syslog的服务器。服务器可以对多个设备的Syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。

本节主要介绍OBS的功能特性。 功能名称 功能描述 天翼云发布区域 备注 :::: 标准存储 访问时延低和吞吐量高，适用于有大量热点文件（平均1个月多次）或小文件（小于1MB），且需要频繁访问数据的业务场景，例如：大数据、移动应用、热点视频、社交图片等场景。 全部 低频访问存储 适用于不频繁访问（平均1年少于12次）但在需要时也要求快速访问数据的业务场景，例如：文件同步/共享、企业备份等场景。 苏州、广州4、武汉2 归档存储 适用于很少访问（平均1年访问1次）数据的业务场景，例如：数据归档、长期备份等场景。 归档存储安全、持久且成本极低，可以用来替代磁带库。 为了保持成本低廉，数据恢复时间可能长达数分钟到数小时不等。 苏州、广州4、武汉2、福州 桶管理 桶是OBS中存储对象的容器。 OBS提供创建、列举、搜索、查看、删除等基本功能，帮助您便捷的进行桶管理。 全部 对象管理 对象是OBS中数据存储的基本单位。 OBS提供上传、下载、列举、搜索、断点续传、多段操作等基本功能，满足您各个场景的对象管理需求。 全部 权限管理 OBS通过IAM权限、桶/对象策略和ACL三种方式配合进行权限管理。 您可以通过IAM自定义策略授予IAM用户细粒度的OBS权限，也可以对桶和对象设置不同的策略及ACL来控制桶和对象的读写权限。 全部 服务端加密 您可以将数据加密后存储到OBS中，提高数据的安全性。OBS提供SSEKMS服务端加密方式。 贵州、西安2、苏州、广州4、华北、成都3、北京2、武汉2、杭州、上海4、深圳、长沙2、芜湖、南昌、乌鲁木齐、福州 生命周期管理 您可以通过生命周期规则来管理对象的生命周期，例如定期将桶中的对象删除或者转换对象的存储类别。 全部 静态网站托管 您可以将静态网站文件上传至OBS桶中，并对这些文件赋予匿名用户可读权限，然后将该桶配置成静态网站托管模式，以实现在OBS上托管静态网站。 全部 须安全审批后加白 跨域资源共享 跨域资源共享（CORS）是由W3C标准化组织提出的一种网络浏览器的规范机制，定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。 而在通常的网页请求中，由于同源安全策略（Same Origin Policy，SOP）的存在，不同域之间的网站脚本和内容是无法进行交互的。 OBS支持CORS规范，允许跨域请求访问OBS中的资源。 全部 防盗链 为了防止用户在OBS的数据被其他人盗链，OBS支持基于HTTP Header中表头字段Referer的防盗链方法，同时支持访问白名单和访问黑名单的设置。 全部 自定义域名 您可以将自定义域名绑定到OBS桶，然后使用自定义域名访问桶中的数据。 例如，您需要将网站中的文件迁移到OBS，并且不想修改网页的代码，即保持网站的链接不变，此时可以使用自定义域名绑定功能。 全部 须安全审批后加白 桶清单 可以用来帮助您管理桶内对象，你可以配置一个清单规则，定期扫描桶中指定的对象或拥有相同前缀的对象，生成这些对象的元数据内容，如对象大小、修改时间、存储类别等，并以CSV格式保存到指定的桶中。 广州4、苏州、华北、贵州、成都3、西安2、杭州、福州、深圳、北京2、上海4、长沙2、芜湖、武汉2、兰州、南昌 图片处理 您可以使用图片处理功能对存放在OBS中的图片进行瘦身、剪切、缩放、增加水印、转换格式等操作，并且可以快速获取到处理后的图片。 广州4、苏州、杭州、华北、福州、芜湖、兰州 并行文件系统 并行文件系统（Parallel File System）是OBS提供的一种经过优化的高性能文件系统，能够快速处理高性能计算（HPC）工作负载。 您可以按照标准的OBS接口读取并行文件系统中的数据，也可以利用obsfs工具（按照POSIX文件语义读写数据）将创建的并行文件系统挂载到云端Linux服务器上，并能像操作本地文件系统一样对并行文件系统内的文件和目录进行在线处理。 全部 日志管理 您可以通过日志管理功能获取桶的访问数据。开启日志管理功能后，桶的每次操作将会产生一条日志，并将多条日志打包成一个日志文件保存在目标桶中，您可以基于日志文件进行请求分析或日志审计。 全部 多版本控制 您可以在一个桶中保留多个版本的对象，使您更方便地检索和还原各个版本，在意外操作或应用程序故障时快速恢复数据。 全部 追加写对象 您可以通过AppendObject接口在指定桶内的一个Appendable对象尾追加上传数据。通过AppendObject创建的对象为Appendable对象，通过PutObject创建的对象是Normal对象。 全部 自定义元数据 您可以添加、修改或删除桶中已上传对象的元数据。 全部 桶配额 您可以设置桶空间配额，用以限制单个桶可存储的最大数据量，最大可设置为2631，单位Byte（字节）。新创建的桶默认不限制配额。 全部 碎片管理 您可以通过桶的碎片管理功能，对多段上传时某些特殊情况下产生的碎片进行清理，以节省存储空间。 全部 归档数据直读 默认情况下OBS中归档存储类别的对象需要恢复后才能下载，您也可以开启桶归档数据直读功能，开启后存储类别为归档存储的对象可以直接下载，无需提前恢复。归档数据直读会收取相应的费用。 苏州、广州4、武汉2 对象分享 您可以将存放在OBS中的文件或文件夹以临时URL的形式分享给所有用户。分享强调临时性，所有分享的URL都是临时URL，存在有效期。 您可以通过OBS控制台以及客户端工具OBS Browser+设置文件临时分享。如果想要设置永久的权限，请通过桶策略或对象策略实现。 苏州、广州4、华北、北京2、上海4、成都3、深圳、贵州、西安2、杭州、长沙2、芜湖、武汉2、福州、兰州、南昌、乌鲁木齐、内蒙3、西宁、中卫、郑州、青岛、海口、重庆 企业项目 您可以在创建桶时指定桶所属的企业项目，更方便的进行桶资源和权限管理。 全部 桶加密 您可以为桶配置默认加密，配置后，上传到桶中的对象都会自动进行加密。 苏州、广州4、华北、北京2、上海4、成都3、深圳、贵州、西安2、杭州、长沙2、芜湖、武汉2、福州、南昌、乌鲁木齐 桶标签 桶标签用于标识OBS中的桶，以此来达到对OBS中的桶进行分类的目的。当为桶添加标签时，该桶上所有请求产生的计费话单里都会带上这些标签，从而可以针对话单报表做分类筛选，进行更详细的成本分析。 苏州、广州4、华北、北京2、上海4、成都3、深圳、贵州、西安2、杭州、长沙2、芜湖、武汉2、福州、兰州、南昌 多AZ 您可以在创桶的时候选择将桶中数据冗余存储在多个可用区，以获得更高的数据可靠性。OBS采用Erasure Code（EC，纠删码）算法做数据冗余，不是以副本的形式存储。 苏州、广州4、华北 监控 您可以通过OBS控制台或者云监控服务（Cloud Eye）控制台监控桶的流量统计和请求次数等指标，方便您及时了解目前资源的使用状况、并合理规划使用计划。 苏州、广州4、西安2、华北、杭州 审计 您可以通过云审计服务（CTS）对OBS中桶和对象的各类事件操作记录进行收集、存储和查询，用于安全分析、合规审计、资源跟踪和问题定位等。 依赖云审计CTS 工具 OBS提供OBS Browser+、obsfs工具，满足不同场景下数据迁移和数据管理需求。 全部 API OBS提供了REST（Representational State Transfer）风格API，支持您通过HTTP/HTTPS请求调用，实现创建、修改、删除桶，上传、下载、删除对象等操作。 全部 SDK OBS提供多种开发语言的SDK，帮助您轻松实现二次开发。目前支持：Java、Python、Go 全部 线下提供

Ⅱ类资源池插件支持情况 插件名称 功能 PostgreSQL 12 PostgreSQL 13 PostgreSQL 14 PostgreSQL 15 PostgreSQL 16 PostgreSQL 17 addressstandardizer 地理编码和逆向地理编码数据地址规则化。 3.0.2 3.3.0 3.3.0 3.3.2 3.4.3 3.5.0 addressstandardizerdataus 数据地址规则化示例数据集。 3.0.2 3.3.0 3.3.0 3.3.2 3.4.3 3.5.0 adminpack 提供日志文件的远程管理函数。 2 2.1 2.1 2.1 2.1 amcheck 检验索引结构的逻辑一致性。 1.2 1.2 1.3 1.3 1.3 1.4 autoinc 提供自增字段的函数。 1 1 1 1 1.0 1.0 bloom Bloom索引包。 1 1 1 1 1.0 1.0 boolplperl bool类型转perl脚本语言。 1.0 1.0 1.0 1.0 1.0 不支持 boolplperlu bool类型转perl脚本语言（不受信任）。 1.0 1.0 1.0 1.0 1.0 不支持 btreegin B树gin索引包。 1.3 1.3 1.3 1.3 1.3 1.3 btreegist B树gist索引包。 1.5 1.5 1.6 1.7 1.7 1.7 citext 大小写不敏感。 1.6 1.6 1.6 1.6 1.6 1.6 cube 提供多维空间类型。 1.4 1.4 1.5 1.5 1.5 1.5 dblink 跨库连接的插件。 1.2 1.2 1.2 1.2 1.2 1.2 decoderbufs 逻辑解码器输出插件。 0.1.0 0.1.0 0.1.0 0.1.0 0.1.0 0.1.0 dictint 全文搜索词典模板的示例。 1 1 1 1 1.0 1.0 dictxsyn 全文搜索词典模板的示例。 1 1 1 1 1.0 1.0 earthdistance 计算地球表面上的大圆弧距离。 1.1 1.1 1.1 1.1 1.1 1.2 fuzzystrmatch 字符串相似性判断。 1.1 1.1 1.1 1.1 1.2 1.2 hstore 键值存储。 1.6 1.7 1.8 1.8 1.8 1.8 hstoreplperl hstore类型转perl脚本语言。 1.0 1.0 1.0 1.0 1.0 不支持 hstoreplperlu hstore类型转perl脚本语言（不受信任）。 1.0 1.0 1.0 1.0 1.0 不支持 hll HyperLogLog数据结构。 2.16 2.16 2.16 2.16 2.18 2.18 hypopg 创建虚拟索引。 1.3.1 1.3.1 1.3.1 1.3.1 1.3.1 1.41 insertusername 跟踪谁修改表的函数。 1 1 1 1 1.0 1.0 intagg 提供了一个整数聚集器和枚举器。 1.1 1.1 1.1 1.1 1.1 1.1 intarray 为整数nullfree数组提供函数和操作符。 1.2 1.3 1.5 1.5 1.5 1.5 isn 输出时连接号码。 1.2 1.2 1.2 1.2 1.2 1.2 jsonbplperl jsonb类型转perl脚本语言。 1.0 1.0 1.0 1.0 1.0 不支持 jsonbplperlu jsonb类型转perl脚本语言。程语言（不受信任）。 1.0 1.0 1.0 1.0 1.0 不支持 lo 大对象被修改的触发函数。 1.1 1.1 1.1 1.1 1.1 1.1 ltree 实现树形结构的插件。 1.1 1.2 1.2 1.2 1.2 1.3 moddatetime 跟踪最后修改时间的插件。 1 1 1 1 1.0 1.0 orafce 兼容oracle的插件。 3.13 3.13 3.13 3.25 4.13 4.15 oldsnapshot 检查用于实现服务器状态。 不支持 不支持 1.0 1.0 1.0 不支持 pageinspect 查看页的内容插件。 1.7 1.8 1.9 1.11 1.12 1.12 pgaudit 提供详细的会话和对象审计日志记录。 1.4.3 1.5.2 1.7 1.7 17.0 17.0 pgauditlogtofile 提供审计日志归档和重定向 1.6 1.6 1.6 1.6 1.6 1.6 pgcrypto 对字段进行加密。 1.3 1.3 1.3 1.3 1.3 1.3 pglogical 提供逻辑流复制发布和订阅的功能。 2.4.2 2.4.2 2.4.2 2.4.2 2.4.4 2.4.5 pgrowlocks 显示指定表的行锁定信息插件。 1.2 1.2 1.2 1.2 1.2 1.2 pgstattuple 提供表的统计信息函数。 1.5 1.5 1.5 1.5 1.5 1.5 pgroonga 提供快速全文搜索功能。 3.0.4 3.0.4 3.0.4 3.0.4 3.0.4 4.0.1 pgroongadatabase 提供管理 PGroonga 数据库的功能。 3.0.4 3.0.4 3.0.4 3.0.4 3.0.4 4.0.1 pgrouting 依赖postgis提供地理空间路由和其他网络分析功能。 3.4.2 3.4.2 3.4.2 3.4.2 3.4.2 3.7.3 http 用于PostgreSQL的HTTP客户端，从数据库内部检索一个网页。 1.5 1.5 1.5 1.5 1.5 1.6 pgtt 创建全局临时表。 2.3.0 2.9.0 2.9.0 2.10.0 4.0.0 4.0.0 pgbigm 创建一个二元语法（2gram）的GIN索引来加速全文搜索过程。 1.2 1.2 1.2 1.2 1.2 1.2 pgbuffercache 查看sharedbuffer缓存信息。 1.3 1.3 1.3 1.3 1.4 1.5 pgdirtyread 闪回查询。 2.0 2.0 2.0 2.0 2.0 2.0 pgfreespacemap 检查自由空间映射。 1.2 1.2 1.2 1.2 1.2 1.2 pghintplan 通过特殊的注释语句提示，使PostgreSQL改变其既定的执行计划。 1.3.8 1.3.8 1.4.1 1.5 1.6.1 1.7.0 pgjieba 对中文全文实现分词。 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1 1.1.1 pglogincheck 密码登录校验。 1.0 1.0 1.0 1.0 1.2 1.0 pgpartman 创建和管理基于时间和基于序列的表分区集。 4.7.0 4.7.0 4.7.0 4.7.2 5.1.0 5.2.5 pgprewarm 将表数据缓存到内存中。 1.2 1.2 1.2 1.2 1.2 1.2 pgprofile 资源密集活动统计。 4.1 4.1 4.1 4.2 4.1 4.8 pgqualstats 索引推荐。 2.1.1 2.1.1 2.1.1 2.1.1 2.1.1 2.1.1 pgrepack 在线清理表空间功能。 1.4.8 1.4.8 1.4.8 1.4.8 1.5.1 1.5.2 pgstatkcache 系统读写信息统计。 2.2.1 2.2.1 2.2.1 2.2.1 2.3.0 2.3.0 pgstatstatements 语句统计。 1.7 1.8 1.9 1.10 1.10 1.11 pgsurgery 各种函数来对损坏的表进行修复。 不支持 不支持 1.0 1.0 1.0 1.0 pgtrgm 提供三元模型检索匹配。 1.4 1.5 1.6 1.6 1.6 1.6 pgvisibility 检查表的可见性图和页面级可见性信息。 1.2 1.2 1.2 1.2 1.2 1.2 pgwalinspect 解析wal日志内容。 不支持 不支持 不支持 1.0 1.1 1.1 pldbgapi 调试存储过程。 1.1 1.1 1.1 1.1 1.1 1.1 plpgsql 代码覆盖检测。 1.0 1.0 1.0 1.0 1.0 1.0 plperl 一种可加载的过程语言。 1.0 1.0 1.0 1.0 1.0 不支持 plperlu 一种可加载的过程语言（不受信任）。 1.0 1.0 1.0 1.0 1.0 不支持 plproxy 帮助您用不同方式访问数据库。 2.10.0 2.10.0 2.10.0 2.10.0 2.11.0 2.11.0 pltcl 一种可载入过程语言。 1.0 1.0 1.0 1.0 不支持 不支持 pltclu 一种可载入过程语言（不受信任）。 1.0 1.0 1.0 1.0 不支持 不支持 postgis 地理信息系统。 3.0.2 3.3.0 3.3.0 3.3.2 3.4.3 3.5.0 postgisraster 地理信息系统。 3.0.2 3.3.0 3.3.0 3.3.2 3.4.3 3.5.0 postgissfcgal 地理信息系统。 3.0.2 3.3.0 3.3.0 3.3.2 3.4.3 3.5.0 postgistigergeocoder 地理信息系统。 3.0.2 3.3.0 3.3.0 3.3.2 3.4.3 3.5.0 postgistopology 地理信息系统。 3.0.2 3.3.0 3.3.0 3.3.2 3.4.3 3.5.0 postgresfdw 外部的postgres的fdw插件。 1.0 1.0 1.1 1.1 1.1 1.1 querycheck 决定数据库连接可以执行的类型。 1.0 1.0 1.0 1.0 1.0 1.0 rdkit 支持化学分子计算、化学分子检索等功能。 4.4.0 4.4.0 4.4.0 4.4.0 4.4.0 不支持 refint 用于实现参照完整性的函数。 1.0 1.0 1.0 1.0 1.0 1.0 roaringbitmap 使用位图功能，提高查询性能。 0.5 0.5 0.5 0.5 0.5 0.5 rum 高速全文检索。 1.3 1.3 1.3 1.3 1.3 1.3 sequentialuuids UUID生成器。 1.0.2 1.0.2 1.0.2 1.0.2 1.0.2 1.0.3 seg 支持seg数据类型。 1.3 1.3 1.4 1.4 1.4 1.4 smlar 计算两个相同类型数组的相似度。 1.0 1.0 1.0 1.0 1.0 1.0 sslinfo 提供当前客户端提供的 SSL 证书的有关信息。 1.2 1.2 1.2 1.2 1.2 1.2 tablefunc 表函数。 1.0 1.0 1.0 1.0 1.0 1.0 tcn 提供触发器函数。 1.0 1.0 1.0 1.0 1.0 1.0 teledbfirewall SQL防火墙。 0.8 0.8 0.8 0.8 0.8 0.9 telepgmonitor 采集&监控系统资源的插件。 2.8.1 2.8.1 2.8.1 2.8.1 2.8.2 2.8.2 tdsfdw 查询其他类型数据库的数据。 2.0.3 2.0.3 2.0.3 2.0.3 2.0.3 2.0.4 timescaledb 时序数据库插件。 1.7.4 2.8.0 2.8.0 2.10.0 2.13.1 2.19.0 tsmsystemrows 提供表采样方法。 1.0 1.0 1.0 1.0 1.0 1.0 tsmsystemtime 提供表采样时间。 1.0 1.0 1.0 1.0 1.0 1.0 unaccent 文本搜索字典，它能从词位中移除重音（附加符号）。 1.1 1.1 1.1 1.1 1.1 1.1 uuidossp 提供脱离os的UUID函数。 1.1 1.1 1.1 1.1 1.1 1.1 walminer 闪回DML，DDL。 2.0 3.0 3.0 3.0 3.0 3.0 xml2 提供xml2数据类型。 1.1 1.1 1.1 1.1 1.1 1.1 wal2json 将wal日志转成json格式。 1.0 1.0 1.0 1.0 不支持 不支持 pgnotcopy 专业修复pg漏洞的插件。 1.1 1.1 1.1 不支持 不支持 不支持 vector 提供向量数据库的vector数据类型。 0.7.4 0.8.0 0.8.0 0.8.0 0.8.0 0.8.0 zhparser 中文全文搜索。 2.2 2.2 2.2 2.2 2.2 2.3 telepgpasswordcheck 密码强度校验。 1.0 1.0 1.0 1.0 1.0 1.0

翼MapReduce（翼MR）是一种基于云计算平台的数据处理分析服务，打造了高可靠、高安全、易使用的运行维护平台，对外提供大容量数据的存储和分析能力，可解决用户实时性要求不高的海量数据存储和处理需求，可以独立申请和使用托管Hadoop、Spark、HBase和Hive组件。 支持的事件列表如下： 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DBServer主备倒换 dbServerSwitchover 次要 DBServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响Hive服务正常使用，导致Hive服务不可用。 Flume Channel溢出 flumeChannelOverflow 次要 Flume Channel溢出 确认flume的channel配置是否合理，业务量是否有突增。 Flume任务无法正常写入数据到后端。 NameNode主备倒换 namenodeSwitchover 次要 NameNode主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响HDFS服务正常使用，读写HDFS文件可能失败。 ResourceManager主备倒换 resourceManagerSwitchover 次要 ResourceManager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Yarn服务正常使用，导致任务出现异常甚至失败 JobHistoryServer主备倒换 jobHistoryServerSwitchover 次要 JobHistoryServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响MapReduce服务正常使用，导致任务日志读取异常 HMaster主备倒换 hmasterFailover 次要 HMaster主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响HBase服务正常使用 Hue发生主备切换 hueFailover 次要 Hue发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响HUE服务正常使用，导致页面无法使用等问题 Impala HaProxy服务发生主备切换 impalaHaProxyFailover 次要 Impala HaProxy服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 Impala StateStoreCatalog服务发生主备切换 impalaStateStoreCatalogFailover 次要 Impala StateStoreCatalog服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 LdapServer主备倒换 ldapServerFailover 次要 LdapServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响LdapServer服务正常使用 Loader主备倒换 loaderSwitchover 次要 Loader主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响Loader服务正常使用 Manager主备倒换 managerSwitchover 提示 Manager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 Manager主备倒换可能导致Manager页面无法正常访问，部分监控可能出现异常数值 作业执行失败 jobRunningFailed 提示 作业执行失败 查看作业管理页面，确认失败任务是否有异常 作业执行过程出现失败 作业被终止 jobkilled 提示 作业被终止 确认任务是否人为下发终止命令 作业执行过程被终止 Oozie工作流执行失败 oozieWorkflowExecutionFailure 次要 Oozie工作流执行失败 查看Oozie日志，确认任务失败原因 Oozie工作流执行失败 Oozie定时任务执行失败 oozieScheduledJobExecutionFailure 次要 Oozie定时任务执行失败 查看Oozie日志，确认任务失败原因 Oozie定时任务执行失败 ClickHouse服务不可用 clickHouseServiceUnavailable 紧急 ClickHouse服务不可用 请参考《MapReduce服务用户指南》的“ALM45425 ClickHouse服务不可用”章节。 ClickHouse服务异常，无法通过FusionInsight Manager对ClickHouse进行集群操作，无法使用ClickHouse服务功能。 DBService服务不可用 dbServiceServiceUnavailable 紧急 DBService服务不可用 请参考《MapReduce服务用户指南》的“ALM27001 DBService服务不可用”章节。 数据库服务不可用，无法对上层服务提供数据入库、查询等功能，使部分服务异常。 DBService主备节点间心跳中断 dbServiceHeartbeatInterruption BetweentheActiveAndStandbyNodes 重要 DBService主备节点间心跳中断 请参考《MapReduce服务用户指南》的“ALM27003 DBService主备节点间心跳中断”章节。 DBService主备间心跳中断时只有一个节点提供服务，一旦该节点故障，再无法切换到备节点，就会服务不可用。 DBService主备数据不同步 dataInconsistencyBetween ActiveAndStandbyDBServices 紧急 DBService主备数据不同步 请参考《MapReduce服务用户指南》的“ALM27004 DBService主备数据不同步”章节。 主备DBServer数据不同步，如果此时主实例异常，则会出现数据丢失或者数据异常的情况。 数据库进入只读模式 databaseEnterstheReadOnlyMode 紧急 数据库进入只读模式 请参考《MapReduce服务用户指南》的“ALM27007 数据库进入只读模式”章节。 数据库进入只读模式，业务数据丢失。 Flume服务不可用 flumeServiceUnavailable 紧急 Flume服务不可用 请参考《MapReduce服务用户指南》的“ALM24000 Flume服务不可用”章节。 当Flume服务不可用时，Flume不能正常工作，数据传输业务中断。 Flume Agent异常 flumeAgentException 重要 Flume Agent异常 请参考《MapReduce服务用户指南》的“ALM24001 Flume Agent异常”章节。 产生告警的Flume Agent实例无法正常启动，定义在该实例下的数据传输任务暂时中断，对于实时数据传输，会丢失实时数据。 Flume Client连接中断 flumeClientDisconnected 重要 Flume Client连接中断 请参考《MapReduce服务用户指南》的“ALM24003 Flume Client连接中断”章节。 产生告警的Flume Client无法与Flume Server端进行通信，Flume Client端的数据无法传输到Flume Server端。 Flume读取数据异常 exceptionOccursWhenFlumeReadsData 重要 Flume读取数据异常 请参考《MapReduce服务用户指南》的“ALM24004 Flume读取数据异常”章节。 如果数据源有数据，Flume Source持续读取不到数据，数据采集会停止。 Flume传输数据异常 exceptionOccursWhenFlumeTransmitsData 重要 Flume传输数据异常 请参考《MapReduce服务用户指南》的“ALM24005 Flume传输数据异常”章节。 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 Flume 证书文件非法或已损坏 flumeCertificateFileIsinvalid 重要 Flume 证书文件非法或已损坏 请参考《MapReduce服务用户指南》的“ALM24010 Flume证书文件非法或已损坏”章节。 Flume证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 Flume 证书文件即将过期 flumeCertificateFileIsAboutToExpire 重要 Flume 证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24011 Flume证书文件即将过期”章节。 Flume证书文件即将失效，对系统目前运行无影响。 Flume 证书文件已过期 flumeCertificateFileIsExpired 重要 Flume 证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24012 Flume证书文件已过期”章节。 Flume证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件失效 flumeMonitorServerCertificateFileIsInvalid 重要 Flume MonitorServer证书文件失效 请参考《MapReduce服务用户指南》的“ALM24013 Flume MonitorServer证书文件非法或已损坏”章节。 MonitorServer证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件即将过期 flumeMonitorServerCertificate FileIsAboutToExpire 重要 Flume MonitorServer证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24014 Flume MonitorServer证书文件即将过期”章节。 MonitorServer证书文件即将失效，对系统目前运行无影响。 Flume MonitorServer证书文件已过期 flumeMonitorServerCertificateFileIsExpired 重要 Flume MonitorServer证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24015 Flume MonitorServer证书文件已过期”章节。 MonitorServer证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 HDFS服务不可用 hdfsServiceUnavailable 紧急 HDFS服务不可用 请参考《MapReduce服务用户指南》的“ALM14000 HDFS服务不可用”章节。 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 NameService服务异常 nameServiceServiceUnavailable 重要 NameService服务异常 请参考《MapReduce服务用户指南》的“ALM14010 NameService服务异常”章节。 无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 DataNode数据目录配置不合理 datanodeDataDirectoryIsNotConfiguredProperly 重要 DataNode数据目录配置不合理 请参考《MapReduce服务用户指南》的“ALM14011 DataNode数据目录配置不合理”章节。 如果将DataNode数据目录挂载在根目录等系统关键目录，长时间运行后会将根目录写满，导致系统故障。不合理的DataNode数据目录配置，会造成HDFS的性能下降。 Journalnode数据不同步 journalnodeIsOutOfSynchronization 重要 Journalnode数据不同步 请参考《MapReduce服务用户指南》的“ALM14012 Journalnode数据不同步”章节。 当一个JournalNode节点工作状态异常时，其数据就会与其他JournalNode节点的数据不同步。如 果超过一半的JournalNode节点的数据不同步时，NameNode将无法工作，导致HDFS服务不可用。 NameNode FsImage文件更新失败 failedToUpdateTheNameNodeFsImageFile 重要 NameNode FsImage文件更新失败 请参考《MapReduce服务用户指南》的“ALM14013 NameNode FsImage文件更新失败”章节。 如果主NameNode数据目录的FsImage没有更新，则说明HDFS元数据合并功能异常，需要修复。 如不修复，HDFS在运行一段时间后，Editlog会一直增长。此时如果重启HDFS，由于要加载非常多的Editlog，会导致启动非常耗时。另外，该告警的产生也说明备NameNode功能异常，导致NameNode的HA机制失效。一旦主NameNode故障，则整个HDFS服务将不可用。 DataNode磁盘故障 datanodeDiskFault 重要 DataNode磁盘故障 请参考《MapReduce服务用户指南》的“ALM14027 DataNode磁盘故障”章节。 上报DataNode磁盘故障告警时，表示该DataNode节点上存在故障的磁盘分区，可能会导致已写入的文件丢失。 Yarn服务不可用 yarnServiceUnavailable 紧急 Yarn服务不可用 请参考《MapReduce服务用户指南》的“ALM18000 Yarn服务不可用”章节。 集群无法提供Yarn服务。用户无法执行新的application。已提交的application无法执行。 NodeManager心跳丢失 nodemanagerHeartbeatLost 重要 NodeManager心跳丢失 请参考《MapReduce服务用户指南》的“ALM18002 NodeManager心跳丢失”章节。 丢失的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。 NodeManager不健康 nodemanagerUnhealthy 重要 NodeManager不健康 请参考《MapReduce服务用户指南》的“ALM18003 NodeManager不健康”章节。 故障的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。 Yarn 任务执行超时 yarnApplicationTimeout 次要 Yarn 任务执行超时 请参考《MapReduce服务用户指南》的“ALM18020 Yarn任务执行超时”章节。 任务执行超时后的运行时间内，该告警一直存在，但任务仍继续正常执行，没有任何影响。 Mapreduce服务不可用 mapreduceServiceUnavailable 紧急 Mapreduce服务不可用 请参考《MapReduce服务用户指南》的“ALM18021 Mapreduce服务不可用”章节。 集群无法提供Mapreduce服务，如无法通过Mapreduce查看任务日志，无法提供Mapreduce服务的日志归档功能等。 Yarn队列资源不足 insufficientYarnQueueResources 次要 Yarn队列资源不足 请参考《MapReduce服务用户指南》的“ALM18022 Yarn队列资源不足”章节。 应用任务结束时间变长。新应用提交后长时间无法运行。 HBase服务不可用 hbaseServiceUnavailable 紧急 HBase服务不可用 请参考《MapReduce服务用户指南》的“ALM19000 HBase服务不可用”章节。 无法进行数据读写和创建表等操作。 HBase系统表目录或文件丢失 systemTablePathOrFileOfHBaseIsMissing 紧急 HBase系统表目录或文件丢失 请参考《MapReduce服务用户指南》的“ALM19012 HBase系统表目录或文件丢失”章节。 HBase服务重启/启动失败。 Hive服务不可用 hiveServiceUnavailable 紧急 Hive服务不可用 请参考《MapReduce服务用户指南》的“ALM16004 Hive服务不可用”章节。 Hive无法提供数据加载，查询，提取服务。 Hive数据仓库被删除 hiveDataWarehouseIsDeleted 紧急 Hive数据仓库被删除 请参考《MapReduce服务用户指南》的“ALM16045 Hive数据仓库被删除”章节。 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 Hive数据仓库权限被修改 hiveDataWarehousePermissionIsModified 紧急 Hive数据仓库权限被修改 请参考《MapReduce服务用户指南》的“ALM16046 Hive数据仓库权限被修改”章节。 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围。会扩大或缩小权限。 HiveServer已从Zookeeper注销 hiveServerHasBeenDeregisteredFromZookeeper 重要 HiveServer已从Zookeeper注销 请参考《MapReduce服务用户指南》的“ALM16047 HiveServer已从Zookeeper注销”章节。 当无法在Zookeeper上读取到Hive的配置，将会导致HiveServer不可用。 tez或者spark库路径不存在 tezlibOrSparklibIsNotExist 重要 tez或者spark库路径不存在 请参考《MapReduce服务用户指南》的“ALM16048 Tez或者Spark库路径不存在”章节。 Tez或者Spark库路径不存在，会影响Hive on Tez，Hive on Spark的功能。 Hue服务不可用 hueServiceUnavailable 紧急 Hue服务不可用 请参考《MapReduce服务用户指南》的“ALM20002 Hue服务不可用”章节。 系统无法提供数据加载，查询，提取服务。 Impala服务不可用 impalaServiceUnavailable 紧急 Impala服务不可用 请参考《MapReduce服务用户指南》的“ALM29000 Impala服务不可用”章节。 Impala服务异常，无法通过FusionInsight Manager对Impala进行集群操作，无法使用Impala服务功能。 Kafka服务不可用 kafkaServiceUnavailable 紧急 Kafka服务不可用 请参考《MapReduce服务用户指南》的“ALM38000 Kafka服务不可用”章节。 集群无法对外提供Kafka服务，用户无法执行新的Kafka任务。 Kafka默认用户状态异常 statusOfKafkaDefaultUserIsAbnormal 紧急 Kafka默认用户状态异常 请参考《MapReduce服务用户指南》的“ALM38007 Kafka默认用户状态异常”章节。 Kafka默认用户状态异常，会影响Broker之间的元数据同步，以及Kafka与ZooKeeper之间的交互，进而影响业务生产、消费和Topic的创建、删除等操作。 Kafka数据目录状态异常 abnormalKafkaDataDirectoryStatus 重要 Kafka数据目录状态异常 请参考《MapReduce服务用户指南》的“ALM38008 Kafka数据目录状态异常”章节。 Kafka数据目录状态异常，会导致该数据目录上所有Partition的当前副本下线，多个节点同时出现数据目录状态异常，可能会导致部分Partition不可用。 存在单副本的Topic topicsWithSingleReplica 警告 存在单副本的Topic 请参考《MapReduce服务用户指南》的“ALM38010 存在单副本的Topic”章节。 单副本的Topic存在单点故障风险，当副本所在节点异常时，会直接导致Partition没有leader，影响该Topic上的业务。 KrbServer服务不可用 krbServerServiceUnavailable 紧急 KrbServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25500 KrbServer服务不可用”章节。 告警发生时，不能对集群中的组件KrbServer进行任何操作。其它组件的KrbServer认证将受影响。集群中依赖KrbServer的组件运行状态将为故障。 Kudu服务不可用 kuduServiceUnavailable 紧急 Kudu服务不可用 请参考《MapReduce服务用户指南》的“ALM29100 Kudu服务不可用”章节。 用户无法使用Kudu服务。 LdapServer服务不可用 ldapServerServiceUnavailable 紧急 LdapServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25000 LdapServer服务不可用”章节。 告警发生时，不能对集群中的KrbServer和LdapServer用户进行任何操作。 例如，无法在FusionInsight Manager页面添加、删除或修改任何用户、用户组或角色，也无法修改用户密码。集群中原有的用户验证不受影响。 LdapServer数据同步异常 abnormalLdapServerDataSynchronization 紧急 LdapServer数据同步异常 请参考《MapReduce服务用户指南》的“ALM25004 LdapServer数据同步异常”章节。 LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上的LdapServer数据损坏，此时数据损坏的LdapServer进程将无法对外提供服务，影响Manager和集群的认证功能。 Nscd服务异常 nscdServiceIsAbnormal 重要 Nscd服务异常 请参考《MapReduce服务用户指南》的“ALM25005 Nscd服务异常”章节。 nscd服务异常时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到Ldap中的数据，影响上层业务。 Sssd服务异常 sssdServiceIsAbnormal 重要 Sssd服务异常 请参考《MapReduce服务用户指南》的“ALM25006 Sssd服务异常”章节。 sssd服务异常时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到ldap中的数据，影响上层业务。 Loader服务不可用 loaderServiceUnavailable 紧急 Loader服务不可用 请参考《MapReduce服务用户指南》的“ALM23001 Loader服务不可用”章节。 如果Loader服务不可用，数据加载，导入，转换的功能也不可用。 Oozie服务不可用 oozieServiceUnavailable 紧急 Oozie服务不可用 请参考《MapReduce服务用户指南》的“ALM17003 Oozie服务不可用”章节。 无法使用Oozie服务提交作业。 Ranger服务不可用 rangerServiceUnavailable 紧急 Ranger服务不可用 请参考《MapReduce服务用户指南》的“ALM45275 Ranger服务不可用”章节。 当Ranger服务不可用时，Ranger无法正常工作，Ranger原生UI无法访问。 RangerAdmin状态异常 abnormalRangerAdminStatus 重要 RangerAdmin状态异常 请参考《MapReduce服务用户指南》的“ALM45276 RangerAdmin状态异常”章节。 当存在单个RangerAdmin状态异常时，不影响Ranger原生UI访问；当两个RangerAdmin状态异常时，Ranger原生UI无法访问，无法执行创建、修改、删除策略等操作。 Spark2x服务不可用 spark2xServiceUnavailable 紧急 Spark2x服务不可用 请参考《MapReduce服务用户指南》的“ALM43001 Spark2x服务不可用”章节。 用户提交的Spark任务执行失败。 Storm服务不可用 stormServiceUnavailable 紧急 Storm服务不可用 请参考《MapReduce服务用户指南》的“ALM26051 Storm服务不可用”章节。 集群无法对外提供Storm服务，用户无法执行新的Storm任务。 ZooKeeper服务不可用 zooKeeperServiceUnavailable 紧急 ZooKeeper服务不可用 请参考《MapReduce服务用户指南》的“ALM13000 ZooKeeper服务不可用”章节。 ZooKeeper无法为上层组件提供协调服务，依赖ZooKeeper的组件可能无法正常运行。 ZooKeeper中组件顶层目录的配额设置失败 failedToSetTheQuotaOfTopDirectoriesOf ZooKeeperComponent 次要 ZooKeeper中组件顶层目录的配额设置失败 请参考《MapReduce服务用户指南》的“ALM13005 ZooKeeper中组件顶层目录的配额设置失败”章节。 组件可以向对应的ZooKeeper顶层目录中写入大量数据，导致Zookeeper服务不可用。

准备测试数据 在创建Flink作业进行数据分析前，我们需要在提前准备待分析的测试数据，并将该数据上传至OBS文件系统中。 1. 本地创建一个“mrsflinktest.txt”文件，例如文件内容如下： This is a test demo for MRS Flink. Flink is a unified computing framework that supports both batch processing and stream processing. It provides a stream data processing engine that supports data distribution and parallel computing. 2. 在云服务列表中选择“存储 > 对象存储服务”，登录OBS管理控制台。 3. 单击“并行文件系统”，创建一个并行文件系统，并上传测试数据文件。 详见下图：创建并行文件系统 例如创建的文件系统名称为“mrsdemodata”，单击系统名称，在“文件”页面中，新建一个文件夹“flink”，上传测试数据至该目录中。 则本示例的测试数据完整路径为“obs://mrsdemodata/flink/mrsflinktest.txt”。 详见下图：上传测试数据 4. （可选）上传数据分析应用程序。 使用管理台界面直接提交作业时，将已开发好的Flink应用程序jar文件也可以上传至OBS文件系统中，或者MRS集群内的HDFS文件系统中。 本示例中我们使用MRS集群内置的Flink WordCount样例程序，可从MRS集群的客户端安装目录中获取，即“/opt/client/Flink/flink/examples/batch/WordCount.jar”。 将“WordCount.jar”上传至“mrsdemodata/program”目录下。 创建并运行Flink作业 方式 1 ：在控制台界面在线提交作业。 1. 登录MRS管理控制台，单击MRS集群名称，进入集群详情页面。 2. 在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 3. 单击“作业管理”，进入“作业管理”页签。 4. 单击“添加”，添加一个Flink作业。 作业类型：Flink 作业名称：自定义，例如flinkobstest。 执行程序路径：本示例使用Flink客户端的WordCount程序为例。 运行程序参数：使用默认值。 执行程序参数：设置应用程序的输入参数，“input”为待分析的测试数据，“output”为结果输出文件。 例如本示例中，我们设置为“input obs://mrsdemodata/flink/mrsflinktest.txt output obs://mrsdemodata/flink/output”。 服务配置参数：使用默认值即可，如需手动配置作业相关参数，可参考运行Flink作业。 5. 确认作业配置信息后，单击“确定”，完成作业的新增，并等待运行完成。 方式 2 ：通过集群客户端提交作业。 1. 使用root用户登录集群客户端节点，进入客户端安装目录。 su omm cd /opt/client source bigdataenv 2. 执行以下命令验证集群是否可以访问OBS。 hdfs dfs ls obs://mrsdemodata/flink 3. 提交Flink作业，指定源文件数据进行消费。 flink run m yarncluster /opt/client/Flink/flink/examples/batch/WordCount.jar input obs://mrsdemodata/flink/mrsflinktest.txt output obs://mrsdemo/data/flink/output2 ... Cluster started: Yarn cluster with application id application16546723745620011 Job has been submitted with JobID a89b561de5d0298cb2ba01fbc30338bc Program execution finished Job with JobID a89b561de5d0298cb2ba01fbc30338bc has finished. Job Runtime: 1200 ms

ls l total 12 rwrr 1 grid oinstall 11412 Mar 13 2019 cvuqdisk1.0.101.rpm [root@p19c01 rpm] rpm ivh cvuqdisk1.0.101.rpm Preparing... [100%] Using default group oinstall to install package Updating / installing... 1:cvuqdisk1.0.101 [100%] [root@p19c01 rpm] scp cvuqdisk1.0.101.rpm root@p19c02:/root [root@p19c01 rpm] [root@p19c01 rpm] ssh p19c02 root@p19c02's password: Last failed login: Thu May 23 14:22:55 CST 2024 from 183.81.169.238 on ssh:notty There were 22 failed login attempts since the last successful login. Last login: Thu May 23 09:12:17 2024 from 101.227.46.166 [root@p19c02 ~] ls lh total 12K rwrr 1 root root 12K May 23 15:05 cvuqdisk1.0.101.rpm [root@p19c02 ~] rpm ivh cvuqdisk1.0.101.rpm Preparing... [100%] Using default group oinstall to install package Updating / installing... 1:cvuqdisk1.0.101 [100%] 安装Grid软件 配置grid用户vnc图形界面： [root@p19c01 ~] chown R grid:oinstall /soft [root@p19c01 ~] [root@p19c01 ~] su grid Last login: Thu May 23 14:05:58 CST 2024 on pts/0 [grid@p19c01:/home/grid]$ [grid@p19c01:/home/grid]$ vncserver You will require a password to access your desktops. Password: Verify: Would you like to enter a viewonly password (y/n)? n A viewonly password is not used xauth: file /home/grid/.Xauthority does not exist New 'p19c01:1 (grid)' desktop is p19c01:1 Creating default startup script /home/grid/.vnc/xstartup Creating default config /home/grid/.vnc/config Starting applications specified in /home/grid/.vnc/xstartup Log file is /home/grid/.vnc/p19c01:1.log [grid@p19c01:/home/grid]$ [grid@p19c01:/home/grid]$ [grid@p19c01:/home/grid]$ ps aux grep vnc grid 1090 1.4 0.2 286708 46392 pts/0 Sl 15:39 0:00 /bin/Xvnc :1 auth /home/grid/.Xauthority desktop p19c01:1 (grid) fp catalogue:/etc/X11/fontpath.d geometry 1024x768 httpd /usr/share/vnc/classes pn rfbauth /home/grid/.vnc/passwd rfbport 5901 rfbwait 30000 grid 1103 0.0 0.0 113288 1200 pts/0 S 15:39 0:00 /bin/sh /home/grid/.vnc/xstartup grid 1898 0.0 0.0 112820 980 pts/0 S+ 15:39 0:00 grep colorauto vnc [grid@p19c01:/home/grid]$ 在vnc客户端通过VNC Viewer来访问，输入地址为节点１的弹性EIP加上一个端口1： 如下图所示，开始执行安装： 选择集群安装： 选择Standalone模式： 修改scan名称，与hosts文件配置scan名称保持一致： 添加节点2信息，进行互信： 输入grid用户密码，创建用户时两节点必须保持一致。 先执行Setup，再执行Test： 在网卡接口用途确认界面，修改私网网络用途为ASM&Private： 选择存储类型： 步骤GRIM采用默认不安装的选择： 安装填写OCR盘，一块盘冗余External，目录选择udev绑定的路径： 填写ASM密码： 默认： 默认： 默认： 默认： 默认： 默认： 安装预检查结果： 选择忽略按钮Ignore All，开始进行安装： 在两个节点上按顺序分别执行上述脚本： 两个节点都执行完成后，点击OK，继续安装。 安装完成： 这个时候查看服务状态发现只有一个节点是在线的： [grid@p19c01:/home/grid]$ crsctl stat res t Name Target State Server State details Local Resources ora.LISTENER.lsnr ONLINE ONLINE p19c01 STABLE ONLINE ONLINE p19c02 STABLE ora.chad ONLINE ONLINE p19c01 STABLE ONLINE ONLINE p19c02 STABLE ora.net1.network ONLINE ONLINE p19c01 STABLE ONLINE ONLINE p19c02 STABLE ora.ons ONLINE ONLINE p19c01 STABLE ONLINE ONLINE p19c02 STABLE Cluster Resources ora.ASMNET1LSNRASM.lsnr(ora.asmgroup) 1 ONLINE ONLINE p19c01 STABLE 2 ONLINE ONLINE p19c02 STABLE 3 OFFLINE OFFLINE STABLE ora.LISTENERSCAN1.lsnr 1 ONLINE ONLINE p19c02 STABLE ora.LISTENERSCAN2.lsnr 1 ONLINE ONLINE p19c01 STABLE ora.LISTENERSCAN3.lsnr 1 ONLINE ONLINE p19c01 STABLE ora.OCR.dg(ora.asmgroup) 1 ONLINE ONLINE p19c01 STABLE 2 OFFLINE OFFLINE STABLE 3 OFFLINE OFFLINE STABLE ora.asm(ora.asmgroup) 1 ONLINE ONLINE p19c01 Started,STABLE 2 ONLINE OFFLINE Instance Shutdown,ST ABLE 3 OFFLINE OFFLINE STABLE ora.asmnet1.asmnetwork(ora.asmgroup) 1 ONLINE ONLINE p19c01 STABLE 2 ONLINE ONLINE p19c02 STABLE 3 OFFLINE OFFLINE STABLE ora.cvu 1 ONLINE ONLINE p19c01 STABLE ora.p19c01.vip 1 ONLINE ONLINE p19c01 STABLE ora.p19c02.vip 1 ONLINE ONLINE p19c02 STABLE ora.qosmserver 1 ONLINE ONLINE p19c01 STABLE ora.scan1.vip 1 ONLINE ONLINE p19c02 STABLE ora.scan2.vip 1 ONLINE ONLINE p19c01 STABLE ora.scan3.vip 1 ONLINE ONLINE p19c01 STABLE 这是因为 2 个云主机节点的 169.254 网段不通，即 Oracle RAC 的 HAIP 不通。这里采用将 HAIP 禁用掉的方案来解决，分别在两个节点执行如下操作： /u01/app/19.3.0/grid/bin/crsctl stop crs /u01/app/19.3.0/grid/bin/crsctl start crs excl nocrs /u01/app/19.3.0/grid/bin/crsctl modify res ora.clusterinterconnect.haip attr "ENABLED0" init /u01/app/19.3.0/grid/bin/crsctl modify res ora.asm attr "STARTDEPENDENCIES'hard(ora.cssd,ora.ctssd)pullup(ora.cssd,ora.ctssd)weak(ora.drivers.acfs)',STOPDEPENDENCIES'hard(intermediate:ora.cssd)'" init /u01/app/19.3.0/grid/bin/crsctl stop crs 最后再重新两个节点的 crs，然后查看集群状态就正常了： [grid@p19c01:/home/grid]$ crsctl stat res t Name Target State Server State details Local Resources ora.LISTENER.lsnr ONLINE ONLINE p19c01 STABLE ONLINE ONLINE p19c02 STABLE ora.chad ONLINE ONLINE p19c01 STABLE ONLINE ONLINE p19c02 STABLE ora.net1.network ONLINE ONLINE p19c01 STABLE ONLINE ONLINE p19c02 STABLE ora.ons ONLINE ONLINE p19c01 STABLE ONLINE ONLINE p19c02 STABLE Cluster Resources ora.ASMNET1LSNRASM.lsnr(ora.asmgroup) 1 ONLINE ONLINE p19c01 STABLE 2 ONLINE ONLINE p19c02 STABLE 3 ONLINE OFFLINE STABLE ora.LISTENERSCAN1.lsnr 1 ONLINE ONLINE p19c02 STABLE ora.LISTENERSCAN2.lsnr 1 ONLINE ONLINE p19c01 STABLE ora.LISTENERSCAN3.lsnr 1 ONLINE ONLINE p19c01 STABLE ora.OCR.dg(ora.asmgroup) 1 ONLINE ONLINE p19c01 STABLE 2 ONLINE ONLINE p19c02 STABLE 3 OFFLINE OFFLINE STABLE ora.asm(ora.asmgroup) 1 ONLINE ONLINE p19c01 Started,STABLE 2 ONLINE ONLINE p19c02 Started,STABLE 3 OFFLINE OFFLINE STABLE ora.asmnet1.asmnetwork(ora.asmgroup) 1 ONLINE ONLINE p19c01 STABLE 2 ONLINE ONLINE p19c02 STABLE 3 OFFLINE OFFLINE STABLE ora.cvu 1 ONLINE ONLINE p19c01 STABLE ora.p19c01.vip 1 ONLINE ONLINE p19c01 STABLE ora.p19c02.vip 1 ONLINE ONLINE p19c02 STABLE ora.qosmserver 1 ONLINE ONLINE p19c01 STABLE ora.scan1.vip 1 ONLINE ONLINE p19c02 STABLE ora.scan2.vip 1 ONLINE ONLINE p19c01 STABLE ora.scan3.vip 1 ONLINE ONLINE p19c01 STABLE 添加 ASM DATA 数据盘： 执行asmca弹出磁盘组管理界面： 查看添加成功： [grid@p19c01:/home/grid]$ asmcmd lsdg State Type Rebal Sector LogicalSector Block AU TotalMB FreeMB ReqmirfreeMB UsablefileMB Offlinedisks Votingfiles Name MOUNTED EXTERN N 512 512 4096 4194304 204800 204668 0 204668 0 N DATA/ MOUNTED EXTERN N 512 512 4096 4194304 102400 102064 0 102064 0 Y OCR/