本文介绍DRDS怎么进行分片。 DRDS通过数据分片的方式，将业务数据拆分到多个MySQL实例上进行分片存储。 逻辑库 用户创建逻辑库时，可以自行选择哪些MySQL存储该库及每个MySQL上存储几个分片。 逻辑表 DRDS支持全局表、分片表、单片表、库内分表、库内分桶等表类型，DRDS支持简单Hash、字符串哈希、范围哈希、枚举哈希等多种分片算法。用户创建逻辑表时，根据实际情况需求进行创建，创建时需要指定表类型、哪个字段作为分片键、分片算法。 全局表，表存储在所有MySQL上，每个MySQL都包含该表的全量数据。 分片表，表按分片的方式存储在MySQL上，每个MySQL存储该表的一部分数据。 单片表，表只存储在其中一个MySQL的一个分片上。 库内分表，表经过分片后，仍然很大，则可以对表再次进行拆分，选定另一个字段作为库内分表的分片键进行拆分存储。库内分表也属于分片表。 库内分桶，表经过分片后，仍然很大，对表进行再次拆分，不过拆分方式是按分桶的方式进行拆分，区别于库内分表需要选定另一个字段作为分片键，库内分桶不需要指定另一个字段，只要指定分桶数量。 分片建议 用户在进行数据分片之前，建议考虑事务、分布式JOIN等场景，尽量将事务边界范围缩小到单个MySQL分片上，尽量避免分布式JOIN、跨库JOIN。 建议同一个业务中心的表，按照同一个维度进行数据拆分，比如用户中心，都按照用户ID进行分片，这样使用的时候可以最大程度减少分布式事务、分布式JOIN的情况，降低系统负载。 全局表适合存储配置类数据（比如菜单、区域）类型的表，数据量不大，表变更极少。 分片表适合于超大表，建议千万级以上大表才使用分片表。 数据量小（少于千万级）的表，建议使用单片表即可。 使用DRDS时，建议所有SQL语句的查询条件都能携带分片键，这样可以达到最高的执行效率，避免SQL广播。

选择合理的分片键 分片键的选取需要保障数据分布足够离散，每个分片的存储容量均衡，并能够将数据操作均匀分发到集群中的所有分片中。 如果分片键选取不佳，可能会导致各个分片负载不均，出现 jumbo chunk 导致无法分裂等问题。而且分片键一旦确定之后，不能在运行过程中进行变更，需要按新分片键创建新表后重新导入数据。 一般选取分片键时，会考虑以下因素： 分片键的区分度 分片键的取值基数决定了最多能包含多少个 chunk，如果取值基数太小，则会导致 chunk 数量很低，可能会有负载不均的问题。比如按照“性别”来设置分片键就不是合理的选择，因为 “性别” 只有 “男”、“女” 2 种取值，这样最多 2 个 chunk。 分片键的取值分布是否均匀 如果分片键的取值存在热点，也可能导致分片负载不均。比如以 “国家” 作为片建，会由于各个国家之间人口的差异出现负载不均，人口多的国家存储量大请求多，而人口少的国家存储量小请求少。对于这种场景，可以考虑使用复合键来作为分片键，降低出现热点的概率。 是否会按照分片键单调写入 如果业务按照分片键递增或者递减的趋势进行读写，则可能在某一时刻请求集中在某个 chunk 上，无法发挥集群多个分片的优势。比如对于存储日志的场景，如果按照日志创建时间进行范围分片，则在某一时间内一直对同一个 chunk 进行写入。对于这种场景，可以考虑复合分片键或者哈希分片来避免这种情况。 查询模型是否包含分片键 在确定分片键后，需要考虑业务的查询请求中是否包含有分片键。mongos 节点会根据查询请求中的分片键将请求转发到对应的 shard server 中。如果查询请求中不包含分片键，则 mongos 节点会将请求广播到后端的所有 shard server，进行 scatter/gather 模式的查询，此时查询性能会有所下降。

本小节主要介绍RDSPostgreSQL的pgrepack插件使用方法。 操作场景 RDSPostgreSQL支持通过 pgrepack 插件在线清理表空间，有效解决因对全表大量更新等操作引起的表膨胀问题。pgrepack无需获取排它锁，相比CLUSTER或VACUUM FULL更加轻量化。 前提条件 请确保您的实例内核大版本满足，本插件所支持的内核版本，请参考支持的版本插件列表。 注意事项 pgrepack需要额外的存储空间。全表repack时，剩余存储空间大小需要至少是待repack表大小的2倍。 pgrepack无法操作临时表。 pgrepack无法操作GiST索引。 重建表和索引时会占用较多的磁盘IO，使用时请提前评估是否影响业务。 在pgrepack运行期间，目标表上不能执行除vacuum和analyze之外的任何DDL指令。 插件使用 安装插件 CREATE EXTENSION IF NOT EXISTS pgrepack; 卸载插件 DROP EXTENSION IF EXISTSpgrepack; 使用示例 使用 pgrepack插件清理表。 1. 创建测试表 sql create table pgrepacktest(id bigint primary key, name varchar); insert into pgrepacktest select i , tochar(random()100000, 'FM000000') from generateseries(1, 1000000) i; delete from pgrepacktest where id in (select i from generateseries(1, 600000, 2) i); select pgsizepretty(pgrelationsize('pgrepacktest')); 2. 清理测试表 shell cd . setenv.sh cd bin ./pgrepack host port dbname usernameroot nosuperusercheck nokillbackend t pgrepacktest ：RDSPostgreSQL实例的安装目录 ：RDSPostgreSQL实例的IP地址。 ：RDSPostgreSQL实例的端口。 ：表pgrepacktest所在的数据库。 3. 查看清理后的表大小 sql select pgsizepretty(pgrelationsize('pgrepacktest'));

本文主要介绍数据库代理基本概念。 什么是数据库代理 RDS PostgreSQL数据库代理是为数据库提供读写分离功能的组件，可以使用一个连接地址实现读写请求的自动转发。 适用场景 请求量非常大，导致数据库实例负载过高的场景。 连接数非常多，导致数据库实例负载过高的场景。 只读场景或其他隔离需求。 读写分离优势 自动读写分离 提供数据库代理地址，通过该地址即可自动实现读写请求的转发，无需手动配置和维护多个地址，同时，数据库原生的访问方式不受影响。 RDS读写分离功能提供一个数据库代理地址，您连接该地址后即可对主实例和只读实例进行读写操作，读写请求被自动转发到对应实例，可降低维护成本。 自动配置 在添加和删除只读实例的场景，数据库代理应用程序无需做任何修改，即可自动更新配置。 自动检测 数据库代理会实时对主实例以及只读实际进行检查，当发现某个实例或节点出现异常或者节点延迟超过阈值时，将不再分配读请求给该实例，读写请求在剩余的健康实例间进行分配，保障故障情况下的可靠性。 注意 只支持为高可用实例开通代理，不支持单节点实例、只读实例开通代理。 数据库代理、只读实例和主实例均独立收费，三者互不干扰。相关计费详情，请参考： 当主实例变更配置或增删只读实例时可能会出现连接闪断。 开启数据库代理后，新增只读实例或只读实例重启，只有新的连接的请求才会转发到新的只读实例或重启的只读实例，旧的连接请求不会变化。 退订代理不会对数据库实例产生影响，数据库实例原有的访问方式不受影响。 退订主实例将会同时退订实例的数据库代理。 数据库代理功能当前仅在部分资源池开放，开放资源池可见

进度监控接口 通过实现上传过程监控接口，从而可以在上传过程中掌握您的大文件上传进度。常用的监听事件有： REQUESTCONTENTLENGTHEVENT（要在请求中发送的对象内容长度的事件） TRANSFERSTARTEDEVENT（上传开始事件） TRANSFERPARTSTARTEDEVENT（开始上传分片事件） TRANSFERPARTCOMPLETEDEVENT（分片上传完毕事件） TRANSFERCOMPLETEDEVENT（上传完毕事件） TRANSFERFAILEDEVENT（上传失败事件） TRANSFERPARTFAILEDEVENT（上传分片失败事件） 当有相应场景发生时progressChanged，则会产生相应的事件回调，即可调用您的监控代码从而掌握对象的上传进度。 以下为进度监控代码。 java ProgressListener progressListener new ProgressListener() { private long totalBytes 1; private long transferredBytes 0; private long startTime System.currentTimeMillis(); private final Object lock new Object(); // 用于线程安全更新进度 @Override public void progressChanged(ProgressEvent event) { switch (event.getEventType()) { case REQUESTCONTENTLENGTHEVENT: totalBytes event.getBytes(); System.out.printf("总大小: %,d bytes%n", totalBytes); break; case TRANSFERSTARTEDEVENT: System.out.println("[开始] 文件传输启动"); startTime System.currentTimeMillis(); break; case CLIENTREQUESTSUCCESSEVENT: System.out.printf("[秒传] 文件已存在服务端 (大小: %.2fMB)%n", event.getBytes() / 1024.0 / 1024); break; case TRANSFERPARTSTARTEDEVENT: long encodedStart event.getBytes(); int partNumber (int) (encodedStart >> 32); long partSize encodedStart & 0xFFFFFFFFL; System.out.printf("[分片] %d 开始上传 (大小: %.2fMB)%n", partNumber, partSize / 1024.0 / 1024); break; case TRANSFERPARTCOMPLETEDEVENT: long encodedComplete event.getBytes(); long actualBytes encodedComplete & 0xFFFFFFFFL; synchronized (lock) { transferredBytes + actualBytes; } printProgress(); break; case TRANSFERCOMPLETEDEVENT: System.out.println("n[完成] 所有分片上传成功"); printFinalStats(); break; case TRANSFERFAILEDEVENT: System.err.println("n[失败] 文件传输异常终止"); printFinalStats(); break; case TRANSFERPARTFAILEDEVENT: long encodedFail event.getBytes(); int failedPart (int) (encodedFail >> 32); System.err.printf("[异常] 分片

普通上传 媒体存储支持普通上传的方式。可以上传小于5GB的文件，推荐上传小于2GB的文件。 使用方式 操作途径 使用方式 SDK 媒体存储支持多种语言SDK，请从SDK概览页面选择进入对应的开发指南查阅。 原生接口 可参考：上传对象。 分片上传 通过分片上传，用户可以最大程度提高上传效率同时避免任务失败。分片上传允许将单个对象按照一定的大小分割成多个数据分片，作为一组分片分别上传。 用户可以独立上传或者按任意顺序上传对象的分片。如果其中某个分片传输失败，可以重新传输该分片且不会影响其他分片。 当对象的所有分片都上传后，媒体存储会将这些分片合并起来，然后创建该对象。 适用场景 大文件加速上传，对于大小超过5GB的对象推荐使用分片上传以加快上传速度 网络不稳定或较差时，推荐使用分片上传，当出现上传失败的时候，用户仅需重传失败的分片。 分片上传流程 1. 初始化分片上传任务：开始分片上传时，媒体存储将首先初始化分片上传任务并返回分片上传的唯一标识符uploadId。无论您何时上传分片、合并分片或取消分片上传任务，都必须包括此上传uploadId。 2. 上传每个分片：上传分片时，每一个分片的顺序是通过上传过程中指定的partNumber来确定，所以除了指定uploadId，还必须指定分片编号partNumber，partNumber的数量在初始化时自动决定。用户可以并发上传这些碎片，可结合本地网络状况和设备能力综合考虑并发个数。 3. 合并分片：合并分片时，媒体存储通过按升序的分片编号规范化分片来创建对象。成功完成请求后，分片将不再存在。用户可以选择取消分片上传任务，之后无法再次使用该上传ID上传任何分片，同时已上传的部分将形成文件碎片并占用存储空间。如果任何分片上传已在进行中，即使用户已执行中止操作，它们仍可以上传成功或失败。

本页简要介绍了分布式融合数据库HTAP的产品定义。 分布式融合数据库HTAP是既支持在线事务处理 (OLTP) 又支持在线分析处理 (OLAP) 的融合型云原生分布式数据库，具有兼容MySQL协议、高性能、实时分析的特点，适用于数据规模大、高可用、高吞吐等业务场景。 分布式融合数据库HTAP主要由管理节点、计算节点和存储节点组成，整体技术架构如下： 管理节点：整个集群的元信息管理模块，负责存储集群元信息（包括整体拓扑结构和节点实时的数据分布情况），为分布式事务分配事务 ID，同时还会根据存储节点实时上报的数据分布状态，下发数据调度命令给具体的存储节点。管理节点集群由 3 个管理节点构成，具备高可用能力。 计算节点：SQL 层，支持 MySQL 协议，负责接收客户端的连接，执行 SQL 解析和优化，最终生成分布式执行计划，将实际的数据读取请求转发给底层的存储节点。计算节点本身是无状态的，多个计算节点构成计算节点集群，通过负载均衡组件（如 LVS、HAProxy 或 F5）对外提供统一的接入地址。 存储节点 行存节点：一个支持事务的分布式KeyValue存储引擎，负责存储数据。数据按范围分片存储，每个数据分片负责存储一段 Key 范围（从 StartKey 到 EndKey 的左闭右开区间）的数据，每个行存节点会负责多个数据分片。行存节点 API 原生支持分布式事务，默认提供了 SI (Snapshot Isolation) 的隔离级别，是SQL 层支持分布式事务的核心基础。SQL 层做完 SQL 解析后，会将 SQL 的执行计划转换为对行存节点 API 的实际调用。另外，行存节点中的数据都会自动维护多副本（默认为三副本），天然支持高可用和自动故障转移。 列存节点：一类可选的存储节点，其内部以列式的形式存储数据，主要的功能是为分析型的场景加速。

问题现象 已知存在某DLI表，但在DLI页面查询不到该表。 问题根因 已有表但是查询不到时，大概率是因为当前登录的用户没有对该表的查询和操作权限。 解决措施 联系创建该表的用户，让该用户给需要操作该表的其他用户赋予查询和操作的权限。赋权操作如下： 1.使用创建表的用户账号登录到DLI管理控制台，选择“数据管理 > 库表管理”。 2.单击对应的数据库名称，进入到表管理界面。在对应表的“操作”列，单击“权限管理”，进入到表权限管理界面。 3.单击“授权”，授权对象选择“用户授权”，用户名选择需要授权的用户名，勾选对应需要操作的权限。如“查询表”、“插入”等根据需要勾选。 4.单击“确定”完成权限授权。 5.授权完成后，再使用已授权的用户登录DLI控制台，查看是否能正常查询到对应表。 OBS表压缩率较高 当Parquet/Orc格式的OBS表对应的文件压缩率较高时（跟文本相比，超过5倍压缩率），建议在提交导入数据到DLI表作业时，在submitjob请求体conf字段中配置“dli.sql.files.maxPartitionBytes33554432”，该配置项默认值为128MB，将其配置成32MB，可以减少单个任务读取的数据量，避免因过高的压缩比，导致解压后单个任务处理的数据量过大。 如何避免字符码不一致导致的乱码 DLI只支持UTF8文本格式。 执行创建表和导入操作时，用户的数据需要是以UTF8编码。 删除表后再重新创建同名的表，需要对操作该表的用户和项目重新赋权 问题场景 A用户通过SQL作业在某数据库下创建了表testTable，并且授权testTable给B用户插入和删除表数据的权限。后续A用户删除了表testTable，并重新创建了同名的表testTable，如果希望B用户继续保留插入和删除表testTable数据的权限，则需要重新对该表进行权限赋予。

FusionInsight HD和Apache Hadoop数据源约束 FusionInsight HD和Apache Hadoop数据源在用户本地数据中心部署时，由于读写Hadoop文件需要访问集群的所有节点，需要为每个节点都放通网络访问。 数据仓库服务(DWS) 和FusionInsight LibrA数据源约束 DWS主键或表只有一个字段时，要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时，如果选择自动建表，主键必须为以下类型，未设置主键的情况下至少要有一个字段是以下类型，否则会无法创建表导致CDM作业失败。 1. INTEGER TYPES：TINYINT，SMALLINT，INT，BIGINT，NUMERIC/DECIMAL 2. CHARACTER TYPES：CHAR，BPCHAR，VARCHAR，VARCHAR2，NVARCHAR2，TEXT 3. DATA/TIME TYPES：DATE，TIME，TIMETZ，TIMESTAMP，TIMESTAMPTZ，INTERVAL，SMALLDATETIME DWS字符类型字段认为空字符串（''）是空值，有非空约束的字段无法插入空字符串（''），这点与MySQL行为不一致，MySQL不认为空字符串（''）是空值。从MySQL迁移到DWS时，可能会因为上述原因导致迁移失败。 使用GDS模式快速导入数据到DWS时，需要配置相关安全组或防火墙策略，允许DWS/LibrA的数据节点访问CDM IP地址的25000端口。 使用GDS模式导入数据到DWS时，CDM会自动创建外表（foreign table）用于数据导入，表名以UUID结尾（例如：cdmtestaecf3f8n0z73dsl72d0d1dk4lcir8cd），作业失败正常会自动删除，极端情况下可能需要用户手工清理。 对象存储服务（OBS ）数据源约束 1. 迁移文件时系统会自动并发，任务配置中的“抽取并发数”无效。 2. 不支持断点续传。CDM传文件失败会产生OBS碎片，需要用户到OBS控制台清理碎片文件避免空间占用。 3. 不支持对象多版本的迁移。 4. 增量迁移时，单个作业的源端目录下的文件数量或对象数量，根据CDM集群规格分别有如下限制：大规格集群30万、中规格集群20万、小规格集群10万。如果单目录下文件或对象数量超过限制，需要按照子目录来拆分成多个迁移作业。

分布式消息服务RocketMQ为您提供优质的服务体验,本文带您了解分布式消息服务RocketMQ的产品优势。 分布式消息服务RocketMQ的产品优势主要包括以下几个方面： 堆积并发 支持亿级消息堆积，在海量消息堆积下队列性能影响很小，并可通过队列数扩展，提升系统并发能力。 分布式消息服务RocketMQ具有较强的消息堆积能力，主要以下几个方面实现和保障。 消息存储机制：RocketMQ使用基于磁盘的消息存储机制，可以持久化大量的消息到磁盘中，避免消息丢失。 消息发送速度：RocketMQ具有高吞吐量和低延迟的特点，可以快速处理大量的消息发送请求。 消息消费速度：RocketMQ支持水平扩展和负载均衡机制，可以实现高并发的消息消费能力。 存储容量：由于RocketMQ使用磁盘存储消息，因此它的存储容量可以非常大。可以通过添加更多的磁盘来扩展存储容量。 分布式消息服务RocketMQ具有很高的并发能力，RocketMQ的并发能力主要体现于以下几个方面： 集群模式：RocketMQ支持将消息队列集群化部署，通过增加Broker节点和消费者实例，可以提高整体系统的并发处理能力。每个Broker节点和消费者实例都可以处理独立的消息流，从而实现并发处理。 分区模式：RocketMQ支持将消息划分为多个分区，每个分区可以由不同的Broker节点处理。通过使用分区模式，可以将消息负载均衡到不同的节点上，从而提高并发处理能力。 异步发送模式：RocketMQ提供了异步发送消息的方式，发送者将消息发送给Broker后立即返回，无需等待确认。这种方式可以提高发送消息的并发能力，同时也会带来一定的消息丢失的风险。 消费者线程数：RocketMQ的消费者可以通过增加线程数来提高并发处理能力。每个线程可以独立地从Broker节点拉取消息并进行处理。需要注意的是，过多的线程数可能会对系统的性能产生负面影响，需要根据实际情况进行调优。

适用场景 客户端存在Range请求，且源站支持Range，可响应指定范围内的内容数据时，建议开启分片回源功能，以提高文件分发效率及缓存利用率。 一般源站内容是视频、APP等大文件的场景下，建议开启分片回源功能。 注意事项 开启分片回源前需确认源站是否支持Range请求，即源站能够响应对应范围内的206文件分片内容，如果源站不支持Range请求，开启分片回源可能会导致资源无法缓存。 开启分片回源时（非自适应回源），边缘安全加速会将用户请求（无论原始请求是否为Range请求）拆分成若干个Range请求回源，以一个100MB的文件为例，在分片回源开启时，边缘安全加速获取完整文件需要回源100次，一定程度上会增加回源访问请求数和并发量，请合理设置分片大小。默认Range分片大小为1MB，即：如果客户端请求Range: bytes0100，则在CDN节点回源时会将Range请求扩大为1MB。 请在新增域名时明确是否开启分片回源，以及开启分片回源的具体分片大小；一旦域名CNAME至我司产生流量后，建议不要轻易变更分片回源功能的分片大小，否则可能会产生较高回源；如确实有调整需求，请在提交工单时特殊说明。 配置说明 该功能暂不支持客户自助配置，如需使用，请通过提交工单给天翼云客服，由其人工操作开启。 提交工单时，请您提供如下信息： 1. 回源分片大小，默认为1MB；如需设置为其他值，请详细说明。 2. 开启分片回源功能的范围，默认为域名粒度；如需设置为仅部分文件，请说明具体的文件范围，例如xx目录，或xx文件后缀（如.mp4、.flv等）。 3. 如需开启自适应回源，请特殊说明。

容器配置 Pod中可以配置多个容器，您可以单击右侧“添加容器”为Pod配置多个容器。 容器名称：为容器命名。 镜像更新策略：选择是否总是拉取镜像。 镜像名称：选择容器使用的镜像，支持多种镜像来源。 镜像版本：选择需要部署的镜像版本。 资源配额：配置 CPU 和内存的申请值和限制值。 初始化容器：选择是否作为初始化容器。 生命周期：设置容器生命周期 环境变量：设置容器运行环境的变量。 数据存储：挂载本地存储或云存储。 镜像访问凭证：选择访问镜像仓库的凭证。 高级配置 设置任务期望成功数，并行数，超时时间(秒)，重试次数，设置标签与注解、网络配置等： 期望成功数：即completions，指定job需要成功运行Pods的数量。 并行数：任务负载执行过程中允许同时创建的最大实例数，并行数应不大于实例数。 超时时间(秒)：当任务执行超出该时间时，任务将会被标识为执行失败，任务下的所有实例都会被删除。为空时表示不设置超时时间。 重试次数：即backoffLimit，指定job失败后进行重试的次数。默认是6次，每次失败后重试会有延迟时间，该时间是指数级增长，最长时间是6min。 重启策略：Job失败了是从不重启还是只要失败了就重启。 完成模式：非索引: 当执行成功的Pod数达到实例数时， Job执行成功. Job中每一个Pod都是同质的，他们之间是独立无关。索引: 系统会为每个Pod分配索引值，取值为 0 到实例数1。每个分配了索引的Pod都执行成功，则Job执行成功。索引模式下，Job中的Pod命名遵循$(jobname)$(index)模式 挂起任务：默认任务创建后被立即执行。选择挂起任务后，任务创建后处于挂起状态；将其关闭后，任务继续执行。单击右下角“创建工作负载”完成创建。

性能保障型负载均衡 性能保障型负载均衡适用于对性能有较高要求的应用场景，能够提供更强大的性能和扩展能力。 性能保障型负载均衡为收费产品，为集群模式部署，支持经典型升级为性能保障型，支持规格升级、降级。 经典型升级性能保障型 随着业务规模发展，存量经典型实例的性能无法满足业务需求时，可选择升级性能保障型，以获得更高的负载性能和性能保障 注意 经典型升级性能保障型，升级过程涉及底层迁移，有秒级流量中断，建议在业务低谷时段维护窗口操作。 规格升级、降级 升配：当用户业务快速增长，当前规格无法满足性能要求时，可使用规格变配功能，平滑升级更高规格； 降配：用户购买规格过大，或业务量出现持续一段时间的低谷时，可选择降配，将大规格降低成小规格，节省使用成本； 性能保障型负载均衡有如下规格： 规格 最大并发连接数 新建连接数（CPS） QPS（HTTP） QPS（HTTPS） 标准型I 100000 10000 10000 2000 标准型II 200000 20000 20000 4000 增强型I 400000 30000 30000 6000 增强型II 600000 50000 50000 10000 高阶型I 1000000 50000 50000 10000 高阶型II 2000000 100000 80000 16000 超强型I 4000000 200000 100000 20000 超强型II 10000000 500000 200000 40000 超强型II应用型 10000000 500000 200000 100000 超强型III 20000000 1000000 300000 300000 说明 在支持性能保障型负载均衡的资源池中，高阶型II、超强型I、超强型II、超强型II应用型、超强型III规格的负载均衡实例默认不支持创建。如果您在集群模式资源池需要使用高阶型II、超强型I、超强型II、超强型II应用型、超强型III规格的负载均衡实例，可以通过天翼云控制台提工单进行申请。性能保障型负载均衡提供项目定制型规格，最大支持2000万并发、100万CPS、100万QPS，如有需求，请联系客户经理。

本文带您了解该方案的具体配置步骤。 步骤一：创建云上VPC环境 配置云专线需要做好云上VPC和本地数据中心的网段规划，确保云上VPC网段和本地IDC网段没有冲突或重叠。 用户可以将其VPC内的服务资源配置为终端节点服务。 具体操作步骤参见虚拟私有云创建VPC、子网搭建私有网络。 步骤二：开通云专线 1. 云专线的开通参见云专线开通云专线。 2. 专线网关添加客户侧路由，点击专线网关名称，在客户侧路由页签下，点击添加路由，配置如下： IP类型：可选择IPv4、IPv6和双栈 客户侧子网段：客户侧子网网段 路由模式：静态或BGP 绑定入云物理专线，并设置物理专线优先级 配置完成，点击确定，完成专线网关客户侧路由。 3. 专线网关添加VPC，点击专线网关名称，在VPC页签下，点击“添加VPC”，配置如下： VPC实例类型：同账号 VPC：在下拉框中选中已创建的VPC VPC ID：跟据VPC名称自动生成 VPC网段：选则指定的VPC网段 类型：可选择IPv4、IPv6和双栈 子网：选定VPC中的子网 权重：表示当前专线网关到VPC侧路由的权重，多条路由的权重相等时采用负载均衡模式进行流量传输；某条路由的权重值越大，表示该路由优先级越高，可选择0、100 配置完成，点击确定，完成添加VPC。 4. VPC添加完成，客户侧子网将自动发布到VPC默认路由表中。下一跳为云专线网关，下一跳地址为专线网关名称，目的地址为客户侧子网网段。 5. 专线网关在添加云侧路由配置时支持自定义地址段添加，用于把IDC机房访问Internet的流量引入VPC。在VPC页签下，点击VPC后的其他目的网段配置，填写VPC终端节点所在子网的网段。 配置完成，点击确定，完成添加。

类型 独享型 共享型 部署模式 负载均衡实例资源独享，实例的性能不受其它实例的影响，您可根据业务需要选择不同规格的实例。 集群部署，同资源池实例 资源共享 ，实例的性能会受其它实例的影响。 实例规格 提供多种规格供选择，不同规格的实例提供差异化的性能指标。 不支持选择实例规格。 性能 当选择多个可用区后，对应的性能规格（新建连接数/并发连接数等）加倍。 例如：单实例最大支持2kw并发，那么双AZ就支持4kw并发。 不提供性能保障。 可用区 支持自定义可用区。 对于公网访问，会根据源IP的不同将流量分配到创建的多个AZ中的ELB上，多个AZ的ELB性能加倍。 对于内网访问： 当从创建ELB的AZ发起访问时，流量将被分配到本AZ中的ELB上，当本AZ的ELB不可用时，容灾到创建的其他AZ的ELB上。 如果本AZ的ELB正常，但是本AZ的流量超过规格，业务也会受影响，内网场景要考虑客户端访问的均衡性。内网流量使用率建议通过AZ粒度监控观察是否超限。 当从未创建ELB的AZ访问时，会根据源IP的不同将流量分配到创建的多个AZ中的ELB上。 对于云专线访问，流量优先分配到专线对接的AZ下部署的ELB，否则分配到其他AZ下的ELB。 对于客户端跨VPC访问，流量优先分配至源VPC子网所在AZ部署的ELB，否则分配到其他AZ下的ELB。 不涉及。 收费 按实例规格计费。 实例免费。 产品定位 具备强大的四层和七层处理能力，支持多种应用协议和高级转发策略。 基础的四层与七层处理能力。 推荐场景 大流量高并发的业务场景，如大型网站、云原生应用、车联网、多可用区容灾应用等。 流量负载较低的业务场景，如小型网站和普通应用。

本文主要介绍如何创建弹性云主机。 操作场景 假如您有一个Web应用，由于业务量比较大，需要使用两个弹性云主机进行业务负载分担。 共享型负载均衡可以将访问流量根据流量分配策略分发到后端多台云主机，实现业务的负载分担。同时消除了单点故障，提升了业务的可用性。 前提条件 后端主机的安全组已经开通了业务需要使用的端口（也可以先开通所有端口，业务部署完成后再限制不使用的端口）。 由于共享型弹性负载均衡通过“100.125.0.0/16”网段的IP与后端主机互访，为了保证健康检查功能正常使用，后端主机的安全组必须开通“100.125.0.0/16”网段。 说明 共享型实例四层监听器开启“获取客户端IP”功能后，后端主机安全组规则和网络ACL规则均无需放通100.125.0.0/16网段及客户端IP地址。 独享型负载均衡四层监听器未开启“跨VPC后端”功能时，后端主机安全组规则和网络ACL规则均无需放通ELB所在的VPC网段。 创建弹性云主机 负载均衡只负责流量转发，不具备处理请求的能力。因此，需要通过ECS实例处理用户的请求。 在当前场景中，弹性云主机需要创建并绑定弹性IP （简称EIP）。ECS绑定EIP仅作为本次示例中配置ECS后端业务所需，用户实际使用时，需要根据自身业务规划确定ECS是否绑定EIP。 1. 登录管理控制台； 2. 在管理控制台左上角选择区域和项目； 3. 选择“服务列表 > 计算 > 弹性云主机”； 4. 在“弹性云主机”界面单击“创建弹性云主机”，根据界面提示配置参数，并单击“立即申请”； 示例中使用的两台弹性云主机的规格如下： 创建的弹性云主机规格表 参数项 参数值 名称 ECS01、ECS02 操作系统 CentOS 7.2 64bit CPU 2vCPUs 内存 4GB 系统盘 40GB 数据盘 100GB 公网带宽 5 Mbit/s 5. 单击“提交”。

删除系统数据 当系统数据盘使用率高于95%后，可能导致系统故障无法使用。为确保系统数据盘的正常使用，您可参考本小节配置自动删除或定期手动删除系统数据。 通过自动或手动删除的系统数据，主要为数据盘暂存的文件，包括历史会话视频大文件、本地备份的日志文件、本地备份的系统配置文件等。 系统数据被删除后，默认不可找回，请谨慎操作。 约束限制 “手动删除”不能删除具体某一天的数据。手动删除选择日期，即删除该日期之前的全部数据。 前提条件 用户已获取“系统”模块管理权限。 配置自动删除 1 登录云堡垒机系统。 2 选择“系统 > 数据维护 > 存储配置”，进入系统存储配置管理页面。 3 在“自动删除”区域，单击“编辑”，弹出自动删除配置窗口，配置相关参数。 配置自动删除 配置自动删除 参数 说明 自动删除 选择开启或关闭自动删除功能，默认。 l，表示开启自动删除功能。根据数据存储时间和数据盘空间使用率，触发自动清除。 l，表示关闭自动删除功能。 自动删除（天）前数据 数据存储天数超过设定时长，将会被自动清除。 l 默认为180天。 l 取值范围为1～10000，单位为天。 空间满时覆盖之前数据 数据盘使用率超过90%时，将自动删除数据。 选择开启或关闭，默认。 l，表示关闭该功能。 l，表示开启该功能。 l 自动删除规则： − 系统每隔30min检查一次数据盘使用率。当使用率低于90%时，则停止删除。 − 优先删除存储时间更久远的数据，默认先删除180天之前的数据。 − 若删除180天之前数据后，数据盘使用率仍高于90%，则逐日依次删除数据。 − 当天数据不能被自动删除。 4 单击“确认”，返回存储配置管理页面，查看配置的自动删除信息。 自动删除配置信息

单字段索引 比如 coll表中有如下格式的文档： json { "id" : ObjectId("64bde367d89fa22ccaa281e9"), "score" : 98, "name" : "zhang san" } { "id" : ObjectId("64bde367d89fa22ccaa281ea"), "score" : 88, "name" : "li si" } 随着业务的增长，文档数逐渐变多后，如果想要按照 score 进行排序并提取 top 10 的文档就显得比较困难，因为涉及到全表扫描和内存排序。 此时可以按照 score 字段创建索引来加速查询，使用 mongo shell 创建索引的命令如下： db.coll.createIndex({score:1}) 命令中包含的 score 字段表示索引的 key， 1 表示升序，1 表示降序。文档数据库服务会按照 score 字段创建索引，底层实现为 btree 形式。用户通过 score 字段进行等值查询或者排序时，文档数据库服务会自动选择索引进行加速。 用户也可以在连接上实例后，通过下面的命令查看目前表中包含哪些索引： db.coll.getIndexes() 多字段复合索引 假设 coll 表中有如下文档： { "id" : ObjectId("64bde367d89fa22ccaa281e9"), "score" : 98, "name" : "zhang san" } { "id" : ObjectId("64bde367d89fa22ccaa281ea"), "score" : 88, "name" : "li si" } { "id" : ObjectId("64bde73ad89fa22ccaa281eb"), "score" : 98, "name" : "wang wu" } { "id" : ObjectId("64bde73ad89fa22ccaa281ec"), "score" : 98, "name" : "ma liu" } 如果希望查询 score98 的所有文档，并按照 name 字段进行升序排序。 此时可以对 score 和 name 字段创建复合索引，使用 mongo shell 创建复合索引的命令如下： db.coll.createIndex({score:1, name:1}) 复合索引比单字段索引能够处理的场景更多，比如上述复合索引既可以处理 score+name 联合查询的场景，也能处理只按照 score 等值查询和排序的场景。 但是使用复合索引也有一些注意事项： 复合索引遵循前缀匹配原则。比如 {score: 1, name: 1} 复合索引能处理按照 score 查询的场景，但是不能处理按照 name 查询的场景。因此在建索引时需要特别注意字段顺序。 字段越多，索引的存储空间越大。比如用户只有按照 score 字段进行查询和排序的场景，就没有必要创建复合索引了。

性能分析 在左侧菜单栏选择“总览 > 性能分析”进入性能分析页面，可查看审计到SQL的性能，包括执行时长和执行次数等信息，为DBA改进数据库性能提供参考数据。 查看SQL性能的主要指标。 整体平均耗时：指定时间范围内，SQL总执行时长/执行总数，耗时1s及以上，雷达图满格。 低谷时平均耗时：指定时间范围内有且SQL数量最少的时段，耗时1ms及以上，雷达图满格。 高峰时平均耗时：时间范围内，审计日志数量最多的单位小时内总执行时长/执行总数，耗时1s及以上，雷达图满格。 慢SQL操作类型：时间范围内，执行时长超过1s的语句的操作类型，15种及以上，雷达图满格。 慢SQL数量与占比：时间范围内，执行时长超过1s的语句数量/语句总数，占比100%，雷达图满格。 查看平均耗时趋势。 可查看SQL平均耗时趋势图，支持与昨天、上周和上月进行对比。 查看审计日志的执行时长的分布情况。 面积越大即代表平均耗时越长，颜色越深即代表SQL数量越多。将光标悬停于对应的区域可以看到具体的信息，包含资产、IP和端口、数据库名、平均耗时和执行次数。 查看慢SQL来源。 支持从客户端IP和数据库账号两个维度统计慢SQL的数量。 查看SQL语句的性能排行。 分四个TOP排行，分别是平均执行时长TOP、执行次数TOP、总执行时长TOP和执行时长TOP。其中前三个TOP根据SQL模板进行统计，最后一个执行时长TOP根据审计日志进行统计。点击 可以跳转到TOP SQL页面查看更多的排行信息。

本章节主要介绍高频问题 新创建应用、服务等资源后，AOM界面为何不实时显示监控数据？ 当您新创建了主机、应用、组件、进程等资源后，ICAgent会以10分钟为周期进行周期性监控数据上报，AOM界面需要等待一个上报周期后方可展示相关监控数据。 删除主机、工作负载等资源后，AOM界面为何仍然显示资源状态为正常？ 当您在CCE集群中删除了主机或工作负载等资源后，在AOM“主机监控”或“容器监控”界面显示资源状态仍为正常。此为正常现象，这是由于AOM“主机监控”或“容器监控”界面不会立即将资源状态置为已删除，而是会等待30分钟后将已删除的资源状态置为已删除。 如果界面上点击升级操作失败，该怎么办？ 自定义集群场景下，如果界面上点击升级操作失败，您可以登录到vm节点上，直接执行安装命令再次安装即可。 ICAgent的安装是覆盖式安装，无需先卸载，直接安装即可。 采集的日志文件是什么类型的？ 在配置日志采集路径时，若日志采集路径配置的是目录，则默认采集目录下的日志（只采集.log、 .trace和 .out类型的文本日志文件）；若配置的为具体某个文件，则直接采集对应文件。指定文件必须为文本文件，不支持其他类型（例如二进制日志文件）的日志文件。 采集器ICAgent对资源的占用大吗？例如内存、CPU。 AOM对基础指标的采集，包含VM、容器、进程的CPU、内存等基础指标。 资源消耗：对此类指标采集时，采集器ICAgent对资源的消耗和容器、进程个数相关。 正常业务量情况下，采集器ICAgent消耗内存约30M、单核CPU约3%。 使用限制：单节点上运行容器个数小于1000个。 保护机制： 采集器ICAgent对CPU资源的消耗最大不超过2核。 当采集器ICAgent对内存的消耗超过min{4G，节点物理内存/2}时，AOM将启动采集器重启保护。

参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框，在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明 若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据库名称 是 默认选择SQL脚本中设置的数据库，支持修改。 DLI环境变量 否 环境变量配置项需要以"dli.sql."或"spark.sql."开头。 环境变量的key为dli.sql.shuffle.partitions或dli.sql.autoBroadcastJoinThreshold时，不能包含><符号。 如果作业和脚本中同时配置了同名的参数，作业中配置的值会覆盖脚本中的值。 队列名称 是 默认选择SQL脚本中设置的DLI队列，支持修改。如需新建资源队列，请参考以下方法： 单击 ，进入DLI的“队列管理”页面新建资源队列。 前往DLI管理控制台进行新建。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用 刷新按钮同步。 节点名称 是 默认显示为SQL脚本的名称，支持修改。规则如下：节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 是否记录脏数据 是 单击 选择节点是否记录脏数据。 是：记录脏数据 否：不记录脏数据

我需要购买多大的存储库？ 手动备份场景 如果仅进行一次性手动备份，建议存储库容量大于等于所需要备份资源的容量总和的2倍。 说明 为更好的进行数据保护，备份副本建议至少保留2个。 自动备份场景 如果需要自动备份，可以使用以下公式估算应创建的存储库大小： 存储库容量(GB) （磁盘容量(GB) + 备份保留时长(天) / 备份周期(天) 磁盘每日变化数据量(GB)） 120% 建议您在按照上述公式完成估算后，可以根据实际业务情况进行调整。 存储库按需计费和扣款周期是多少？ 存储库按需计费是每小时计费，先使用后付款。详细的服务资费标准请参考计费说明章节。 如何退订旧版云主机备份（CSB S）的资源包？ 如您需要迁移资源至云服务备份，迁移之前拥有的CSBS资源包将不能迁移，可以提工单或者联系您的客户经理进行退订，退订规则可以参考退订规则说明。 为什么创建策略时提示用户权限不足？ 如果用户账户存在欠费或无余额的情况，则无法进行创建策略、添加标签等操作。 如何退订存储库？ 如您不需要再使用包年包月付费模式的存储库存放备份，可以提工单或者联系您的客户经理进行退订，退订规则可以参考退订规则说明。 为什么新版服务中的备份也会出现在旧版服务？ 如果您已完成旧版服务迁移备份至新版服务，在新版的云服务备份服务创建备份后，会同时在旧版的云硬盘备份服务中产生相同的备份记录。这是由于底层机制，旧版的云硬盘备份会展示包括云服务备份、云主机备份以及云硬盘备份产生的所有备份，但这些备份不会重复计费，仅作为界面展示。 如果您希望删除旧版云硬盘备份服务中的备份，需要在新版服务中找到对应的备份进行删除，则旧版服务的备份也会同时删除，无法在旧版服务中删除。

本文介绍安全加速计费类问题。 停用安全加速服务后，为什么仍有一部分费用产生？ 造成该情况的原因主要有以下两种： 1. 在停用安全加速服务后，若客户LocalDNS服务器中缓存未过期，LocalDNS会继续把访问已停用安全加速域名的请求解析到加速节点，造成少量安全加速流量计费。 2. 一些下载类软件也存在LocalDNS缓存，在这部分缓存过期前，下载类软件也会把访问已停用安全加速域名的请求解析到加速节点上，造成少量安全加速流量计费。 安全加速中基础带宽方式中日流量计费和日带宽峰值计费是否支持互相变更计费方式？ 此两种计费方式之间可以自由切换，新的计费方式将在下一个计费周期生效。需需要注意的是，一个计费周期内，仅能变更一次。 安全加速的收费项都有哪些？ 安全加速主要有两大功能项：waf防护功能和CC流量清洗功能，每个功能项下面会有不同的计费项 当用户开通了waf防护功能时： 计费项包括：waf防护包+上行+下行总带宽的日峰值带宽/流量+防护请求数+静态https请求数，按日扣费 当用户开通了CC流量清洗功能时： 计费项包括：CC流量清洗包+弹性带宽阶梯+上行+下行总带宽的日峰值带宽/流量+静态https请求数+动态请求数 当用户同时开通waf防护功能和CC流量清洗功能时： 计费项包括：waf防护包+上行+下行总带宽的日峰值带宽+防护请求数+CC流量清洗包+弹性带宽阶梯+静态https请求数，按日扣费 安全加速，但是没有开启https的功能，是否需要收费安全加速，但是没有开启https的功能，是否需要收费 使用安全加速，但是没有使用https的功能，是不会针对https的请求数去费用的。

本章节主要介绍管理租户目录。 操作场景 用户根据业务需求，可以在MRS Manager对指定租户使用的HDFS存储目录，进行管理操作。支持用户对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 已添加关联了HDFS存储资源的租户。 操作步骤 查看租户目录 1. 在MRS Manager，单击“租户管理”。 2. 在左侧租户列表，单击目标的租户。 3. 单击“资源”页签。 4. 查看“HDFS存储”表格。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。 指定租户目录的“存储空间配额 (MB)”列表示租户目录的存储空间大小。 添加租户目录 1. 在MRS Manager，单击“租户管理”。 2. 在左侧租户列表，单击需要添加HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS存储”表格，单击“添加目录”。 “父目录”选择一个父租户的存储目录。 该参数仅适用于子租户。如果父租户有多个目录，请选择其中任何一个。 “路径”填写租户目录的路径。 说明 如果当前租户不是子租户，新路径将在HDFS的根目录下创建。 如果当前租户是一个子租户，新路径将在指定的目录下创建。 完整的HDFS存储目录最多包含1023个字符。HDFS目录名称包含数字、大小写字母、空格和下划线。空格只能在HDFS目录名称的中间使用。 “文件目录数上限”填写文件和目录数量配额。 “文件目录数上限”为可选参数，取值范围从1到9223372036854775806。 “存储空间配额 (MB)”填写租户目录的存储空间大小。 “存储空间配额 (MB)”的取值范围从1到8796093022208。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间球所有副本文件在HDFS中占用磁盘空间大小总和。例如“存储空间配额”设置为“500”，则实际只能保存约500/2250MB大小的文件。 5. 单击“确定”完成租户目录添加，系统将在HDFS根目录下创建租户的目录。

本章节主要介绍ALM38009 Broker磁盘IO繁忙的告警。 告警解释 系统每60秒周期性检测Kafka各个磁盘的IO情况，当检测到某个Broker上的Kafka数据目录磁盘IO超出阈值（默认80%）时，产生该告警。 平滑次数为3，当该磁盘IO低于阈值（默认80%）时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 数据目录名称 Kafka磁盘IO频繁的数据目录名称 对系统的影响 Partition所在的磁盘分区IO过于繁忙，产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大，当前Partition的设置不合理。 处理步骤 检查Topic副本数配置 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击此告警所在行的，查看定位信息中上报告警的“主题名”。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > KafkaTopic监控”，搜索发生告警的Topic，查看副本数量。 2. 如果副本数量值大于3，则考虑减少该Topic的复制因子（减少为3）。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划： kafkareassignpartitions.sh zookeeper {zkhost}:{port} /kafka reassignmentjsonfile {manual assignment json file path} execute 例如： /opt/Bigdata/client/Kafka/kafka/bin/kafkareassignpartitions.sh zookeeper 10.149.0.90:2181,10.149.0.91:2181,10.149.0.92:2181/kafka reassignmentjsonfile expandclusterreassignment.json execute 说明 在expandclusterreassignment.json文件中描述该Topic的Partition迁移到哪些Broker。其中json文件中的内容格式为：{"partitions":[{"topic": " topicName ","partition":1,"replicas": [1,2,3] }],"version":1}。 3. 观察一段时间，看告警是否消失。如果告警没有消失，执行步骤5。

处理步骤 检查堆内存使用量 1.在FusionInsight Manager界面，选择“运维 > 告警 > 告警 > Yarn ResourceManager堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例的主机名。 2.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > ResourceManager（对应上报告警实例主机名）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“ResourceManager内存使用率”。查看堆内存使用情况。 3.查看ResourceManager使用的堆内存是否已达到ResourceManager设定的最大堆内存的95%。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置 > ResourceManager > 系统”。将“GCOPTS”参数根据实际情况调大，并单击“保存”，保存完成后重启角色实例。 说明 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下： 集群中的NodeManager实例数据达到100，ResourceManager实例的JVM参数建议配置为：Xms4G Xmx4GXX:NewSize512M XX:MaxNewSize1G。 集群中的NodeManager实例数据达到200，ResourceManager实例的JVM参数建议配置为：Xms6G Xmx6GXX:NewSize512M XX:MaxNewSize1G。 集群中的NodeManager实例数据达到500，ResourceManager实例的JVM参数建议配置为：Xms10G Xmx10G XX:NewSize1GXX:MaxNewSize2G。 集群中的NodeManager实例数据达到1000，ResourceManager实例的JVM参数建议配置为：Xms20G Xmx20GXX:NewSize1G XX:MaxNewSize2G。 集群中的NodeManager实例数据达到2000，ResourceManager实例的JVM参数建议配置为：Xms40G Xmx40GXX:NewSize2G XX:MaxNewSize4G。 集群中的NodeManager实例数据达到3000，ResourceManager实例的JVM参数建议配置为：Xms60G Xmx60GXX:NewSize2G XX:MaxNewSize4G。 集群中的NodeManager实例数据达到4000，ResourceManager实例的JVM参数建议配置为：Xms80G Xmx80GXX:NewSize2G XX:MaxNewSize4G。 集群中的NodeManager实例数据达到5000，ResourceManager实例的JVM参数建议配置为：Xms100G Xmx100GXX:NewSize3G XX:MaxNewSize6G。 5.观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍ALM14017 NameNode直接内存使用率超过阈值的告警。 告警解释 系统每30秒周期性检测HDFS服务直接内存使用状态，当检测到NameNode实例直接内存使用率超出阈值（最大内存的90%）时，产生该告警。 直接内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14017 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NameNode可用直接内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点NameNode实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击告警“ALM14017 NameNode直接内存使用率超过阈值”所在行的下拉菜单，在“定位信息”中查看告警上报的角色名并确定实例的IP地址。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例 > NameNode（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“NameNode内存使用详情”。查看直接内存使用情况。 3.查看NameNode使用的直接内存是否已达到NameNode设定的最大直接内存的90%(默认阈值)。 是，执行步骤4。 否，执行步骤8。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > NameNode > 全部配置”。查看“GCOPTS”参数中是否存在“XX:MaxDirectMemorySize”。 是，执行步骤5。 否，执行步骤6。 5.在“GCOPTS”中把参数“XX:MaxDirectMemorySize”删除。保存配置，并重启NameNode实例。 6.查看告警信息，是否存在告警“ALM14007 NameNode堆内存使用率超过阈值”。 是，查看“ALM14007 NameNode堆内存使用率超过阈值”进行处理。 否，执行步骤7。 7.观察界面告警是否清除。 是，处理完毕。 否，执行步骤8。

本节主要介绍概述 库管理功能面介绍 库管理 功能面编号说明 功能名称 说明 :: 库信息 显示当前库名称、IP地址、字符集和可跳转的SQL窗口。 Schema列表 通过不同的Schema，在同一数据库下设置不同的模式管理数据。 对象列表 包括表、视图、存储过程、触发器和序列五部分。 元数据采集 允许DAS仅自动采集实例中的库名、表名、字段名等结构定义数据（不包含您的表里的实际数据）。 说明 实例表过多时，系统不会发起元数据采集，也不加载表列表，避免对数据库性能产生影响。 列表详情 各对象的实际操作区域。 说明 进入库管理页面有2种方式： 您可从顶部导航菜单栏，单击“库管理”进入管理页面。 您也可从首页数据库列表操作栏中，单击“库管理”进入管理页面。 对象列表 PostgreSQL数据库主要对表、视图、存储过程、触发器和序列等对象进行管理。本数据库不提供可视化的窗口创建对象，若您想新建对象，请直接在SQL窗口中创建。 表管理具体操作指导，请参考表管理。 视图管理具体操作指导，请参考视图管理。 存储过程管理具体操作指导，请参考存储过程管理。 触发器管理具体操作指导，请参考触发器管理。 序列管理具体操作指导，请参考序列。

对比维度 云硬盘EVS 弹性文件服务SFS 对象存储OBS 极速文件存储SFS Turbo 概念 云硬盘（Elastic Volume Service）可以为云主机提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求，适用于分布式文件系统、开发测试、数据仓库以及高性能计算等场景。 SFS为用户提供一个完全托管的共享文件存储，能够弹性伸缩至PB规模，具备高可用性和持久性，为海量数据、高带宽型应用提供有力支持。适用于多种应用场景，包括HPC、媒体处理、文件共享、内容管理和Web服务等。 对象存储服务（Object Storage Service，OBS）提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。 SFS Turbo为用户提供一个完全托管的共享文件存储，能够弹性伸缩至320TB规模，具备高可用性和持久性，为海量的小文件、低延迟高IOPS型应用提供有力支持。适用于多种应用场景，包括高性能网站、日志存储、压缩解压、DevOps、企业办公、容器应用等。 存储数据的逻辑 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。 存放的是对象，可以直接存放文件，文件会自动产生对应的系统元数据，用户也可以自定义文件的元数据。 存放的是文件，会以文件和文件夹的层次结构来整理和呈现数据。 访问方式 只能在ECS/BMS中挂载使用，不能被操作系统应用直接访问，需要格式化成文件系统进行访问。 在ECS/BMS中通过网络协议挂载使用。需要指定网络地址进行访问，也可以将网络地址映射为本地目录后进行访问。 可以通过互联网或专线访问。需要指定桶地址进行访问，使用的是HTTP和HTTPS等传输协议。 提供标准的文件访问协议NFS（仅支持NFSv3），用户可以将现有应用和工具与SFS Turbo无缝集成。 静态数据卷 支持 支持 支持 支持 动态数据卷 支持 支持 支持 不支持 主要特点 非共享存储，每个云盘只能在单个节点挂载。 共享存储，可提供高性能、高吞吐存储服务。 共享存储，用户态文件系统。 高性能、高带宽、共享存储。 应用场景 HPC高性能计算、企业核心集群应用、企业应用系统和开发测试等。说明高性能计算：主要是高速率、高IOPS的需求，用于作为高性能存储，比如工业设计、能源勘探等。 HPC高性能计算、媒体处理、内容管理和Web服务、大数据和分析应用程序等。说明高性能计算：主要是高带宽的需求，用于共享文件存储，比如基因测序、图片渲染等。 大数据分析、静态网站托管、在线视频点播、基因测序、智能视频监控、备份归档、企业云盘（网盘）等。 高性能网站、日志存储、DevOps、企业办公等。 容量 TB级别 PB级别 EB级别 TB级别 时延 1~2ms 3~20ms 10ms 1~2ms IOPS/TPS 单盘33K 2K 千万级 100K 带宽 MB/s级别 GB/s级别 TB/s级别 GB/s级别

服务名 功能特性 需求管理 提供多项目管理、敏捷迭代管理、里程碑管理、需求管理、缺陷跟踪、多维度统计报表等功能。 迭代计划和时间线，有效管理项目计划。 树表、任务墙等多种视图，方便查看项目工作。 多种项目统计图表，随时掌握项目开展情况。 在线文件库，批量文档托管，信息传递不失真。 代码托管 提供安全、可靠、高效的分布式代码托管服务。包括代码克隆/下载/提交/推送/比较/合并/分支等功能。 基于Git的分布式版本控制，提升跨地域跨团队协同开发效率。 关联项目任务，保障项目高效交付。 增强的安全防护能力，IP白名单与代码仓库访问日志审计。 代码仓库提交信息统计，基于时间轴的贡献者代码提交统计。 代码检查 提供可协作的一站式代码检查服务。 一站式：覆盖主流编程语言、主流编码标准、SDLC集成等。 灵活易用的检查方式：支持代码提交检查、定时执行检查，支持多分支检查。 可协作：提供问题责任人自动归属、提供问题修改建议、可聚焦处理新问题等。 编译构建 快速、安全的云上编译构建服务。 内置C/C++/Java/…等主流语言的构建模板，并支持自定义构建模板。 可配置执行计划，支持开启提交代码触发执行、定时执行等多种构建执行计划。 界面傻瓜式配置，无需用户编写构建配置文件。 同时支持容器镜像和通用软件包的归档。 构建完成时支持消息通知。 内置支持主流语言的构建环境镜像，也可使用自定义构建环境镜像。 支持多个构建步骤，可实现构建过程的灵活编排。 部署 提供可视化、一键式部署服务，支持并行部署和流水线无缝集成。 提供丰富的部署步骤，满足用户不同的部署场景。 支持对虚拟主机部署、物理主机部署、容器部署以及微服务应用部署等多种部署形态。 支持文件的复制、删除、修改、解压；支持Ansible、Shell命令、Shell脚本等通用部署能力。 部署界面简洁化配置，无须编写部署脚本。支持部署步骤的拖拉拽灵活编排。 预置Tomcat、SpringBoot、Django等系统模板，同时支持用户创建自定义模板。基于部署模板库，可以制 标准的部署流程，实现的快速创建，方便团队内部推广。 提供错误日志分析能力，对于失败的情况，支持错误日志关键字匹配FAQ，并提供详细的排查解决方案。 支持自定义参数，在时由用户指定参数值，用指定值替换相应参数部署。 提供对主机和主机组管理能力。支持主机（组）的增删改查；支持主机批量删除，批量连通性验证；主机连通 支持EIP直连、代理机连接以及模式下的VPC直连。 和主机组均支持项目下角色和权限的二维矩阵。 测试计划 提供业内首推一站式自动化测试工厂解决方案，覆盖测试设计、测试用例、测试管理、接口自动化测试。 DevOps敏捷测试理念，打通测试计划、测试设计、测试用例、测试执行和测试报告的全流程测试活动，提供缺陷上报、质量看板等方式多维度评估产品质量，帮助用户高效管理测试活动，保障产品高质量交付。 测试设计：使用启发式思维导图的形式进行测试用例设计和评审，更加直观，效率更高。支持Xmind直接导入生成在线思维导图测试设计；支持在线编辑思维导图; 支持4层测试设计方法（特性场景功能点用例）；一键批量生成测试用例；覆盖功能、接口、安全等全领域测试设计，输出测试方案；可以通过测试策略模板快速创建用例，也可以自定义模板形成自己的测试资产。 测试管理：成熟的测试用例管理系统，可以开展用例设计、测试执行、缺陷提交、质量报告，提高测试效率；记录修改历史，避免漏测、误测，易追溯审计，规范测试流程。融入全生命周期追溯、测试计划、团队多角色协作、敏捷测试、需求驱动测试等理念，覆盖测试需求管理、测试任务分配、测试任务执行、测试进度管理、测试覆盖率管理、测试结果管理、缺陷管理、质量报告、测试仪表盘，一站式管理功能，提供适合不同团队规模、流程的自定义能力。 接口自动化测试：基于接口URL或者Swagger文档生成的接口脚本模板快速编排接口测试用例，集成流水线，支持微服务测试。测试用例免代码编写，技术门槛低，适合接口开发者、接口消费者、测试人员、业务人员等不同角色使用。一键导入Swagger接口定义自动生成脚本模板，基于脚本模板组装编排、管理接口自动化测试用例。支持HTTP和HTTPS协议，可视化用例编辑界面，丰富的预置检查点、内置变量，支持自定义变量、参数传递、持续自动化测试。 制品仓库 面向软件开发者提供制品管理的云服务，提供软件仓库、发布包下载、发布包元数据管理等功能，通过安全可靠的软件仓库，实现软件包版本管理，提升发布质量和效率，实现产品的持续发布。 支持文件重命名、批量删除、批量恢复、页面上传和下载、文件名搜索等文件操作。 编译构建属性自动关联软件包，编译构建的产物自动归档到软件发布库。 支持构建服务一键归档、部署服务从发布库一键获取软件包。 支持Maven、npm、Go、PyPI、RPM、Debian等多种制品类型仓库，支持新建仓库、上传下载制品、搜索制品等能力。 流水线 提供可视化、可编排的CI/CD持续交付软件生产线，帮助企业快速转型实现DevOps持续交付高效自动化，缩短应用TTM（Time to Market）交付周期，提升研发效率。 流水线自定义编排：可根据用户使用场景的需要，对构建、代码检查、子流水线、部署、流水线控制（延时执行、人工审核）、接口测试等多种类型的任务进行纳管和执行编排。 流水线可视化增删改查：提供图形化界面基础的流水线创建、编辑、删除和执行状态查看功能。其中，查看功能支持跳转到对应的自动化任务界面查看其日志等详情信息。 流水线权限管理：支持用户针对流水线任务设置指定帐号的权限控制，权限基于帐号所属角色操作权限进行控制，包含基础的查看、编辑、执行、删除权限控制。 流水线历史执行记录：支持查看流水线最近31天的历史执行记录。 流水线消息通知：用户可根据需要设置事件类型的通知状态，包括是否发送服务动态和邮件通知。 流水线部分任务执行：根据用户需求，可选择流水线中的某一个或多个任务单独执行。 流水线执行参数配置：流水线支持自定义参数，在执行时由用户指定参数值，任务用指定值替换相应参数执行。 流水线串/并行执行配置：根据用户需求，可配置同一阶段内的任务串行执行或并行执行。

本章主要介绍功能特性 表 软件开发生产线各服务功能特性 服务名 功能特性 需求管理 提供多项目管理、敏捷迭代管理、里程碑管理、需求管理、缺陷跟踪、多维度统计报表等功能。 迭代计划和时间线，有效管理项目计划。 树表、任务墙等多种视图，方便查看项目工作。 多种项目统计图表，随时掌握项目开展情况。 在线文件库，批量文档托管，信息传递不失真。 代码托管 提供安全、可靠、高效的分布式代码托管服务。包括代码克隆/下载/提交/推送/比较/合并/分支等功能。 基于Git的分布式版本控制，提升跨地域跨团队协同开发效率。 关联项目任务，保障项目高效交付。 增强的安全防护能力，IP白名单与代码仓库访问日志审计。 代码仓库提交信息统计，基于时间轴的贡献者代码提交统计。 代码检查 提供可协作的一站式代码检查服务。 一站式：覆盖主流编程语言、主流编码标准、SDLC集成等。 灵活易用的检查方式：支持代码提交检查、定时执行检查，支持多分支检查。 可协作：提供问题责任人自动归属、提供问题修改建议、可聚焦处理新问题等。 编译构建 快速、安全的云上编译构建服务。 内置C/C++/Java/…等主流语言的构建模板，并支持自定义构建模板。 可配置执行计划，支持开启提交代码触发执行、定时执行等多种构建执行计划。 界面傻瓜式配置，无需用户编写构建配置文件。 同时支持容器镜像和通用软件包的归档。 构建完成时支持消息通知。 内置支持主流语言的构建环境镜像，也可使用自定义构建环境镜像。 支持多个构建步骤，可实现构建过程的灵活编排。 部署 提供可视化、一键式部署服务，支持并行部署和流水线无缝集成。 提供丰富的部署步骤，满足用户不同的部署场景。 支持对虚拟主机部署、物理主机部署、容器部署以及微服务应用部署等多种部署形态。 支持文件的复制、删除、修改、解压；支持Ansible、Shell命令、Shell脚本等通用部署能力。 部署界面简洁化配置，无须编写部署脚本。支持部署步骤的拖拉拽灵活编排。 预置Tomcat、SpringBoot、Django等系统模板，同时支持用户创建自定义模板。基于部署模板库，可以制 标准的部署流程，实现的快速创建，方便团队内部推广。 提供错误日志分析能力，对于失败的情况，支持错误日志关键字匹配FAQ，并提供详细的排查解决方案。 支持自定义参数，在时由用户指定参数值，用指定值替换相应参数部署。 提供对主机和主机组管理能力。支持主机（组）的增删改查；支持主机批量删除，批量连通性验证；主机连通 支持EIP直连、代理机连接以及模式下的VPC直连。 和主机组均支持项目下角色和权限的二维矩阵。 测试计划 提供业内首推一站式自动化测试工厂解决方案，覆盖测试设计、测试用例、测试管理、接口自动化测试。 DevOps敏捷测试理念，打通测试计划、测试设计、测试用例、测试执行和测试报告的全流程测试活动，提供缺陷上报、质量看板等方式多维度评估产品质量，帮助用户高效管理测试活动，保障产品高质量交付。 测试设计：使用启发式思维导图的形式进行测试用例设计和评审，更加直观，效率更高。支持Xmind直接导入生成在线思维导图测试设计；支持在线编辑思维导图; 支持4层测试设计方法（特性场景功能点用例）；一键批量生成测试用例；覆盖功能、接口、安全等全领域测试设计，输出测试方案；可以通过测试策略模板快速创建用例，也可以自定义模板形成自己的测试资产。 测试管理：成熟的测试用例管理系统，可以开展用例设计、测试执行、缺陷提交、质量报告，提高测试效率；记录修改历史，避免漏测、误测，易追溯审计，规范测试流程。融入全生命周期追溯、测试计划、团队多角色协作、敏捷测试、需求驱动测试等理念，覆盖测试需求管理、测试任务分配、测试任务执行、测试进度管理、测试覆盖率管理、测试结果管理、缺陷管理、质量报告、测试仪表盘，一站式管理功能，提供适合不同团队规模、流程的自定义能力。 接口自动化测试：基于接口URL或者Swagger文档生成的接口脚本模板快速编排接口测试用例，集成流水线，支持微服务测试。测试用例免代码编写，技术门槛低，适合接口开发者、接口消费者、测试人员、业务人员等不同角色使用。一键导入Swagger接口定义自动生成脚本模板，基于脚本模板组装编排、管理接口自动化测试用例。支持HTTP和HTTPS协议，可视化用例编辑界面，丰富的预置检查点、内置变量，支持自定义变量、参数传递、持续自动化测试。 制品仓库 面向软件开发者提供制品管理的云服务，提供软件仓库、发布包下载、发布包元数据管理等功能，通过安全可靠的软件仓库，实现软件包版本管理，提升发布质量和效率，实现产品的持续发布。 支持文件重命名、批量删除、批量恢复、页面上传和下载、文件名搜索等文件操作。 编译构建属性自动关联软件包，编译构建的产物自动归档到软件发布库。 支持构建服务一键归档、部署服务从发布库一键获取软件包。 支持Maven、npm、Go、PyPI、RPM、Debian等多种制品类型仓库，支持新建仓库、上传下载制品、搜索制品等能力。 流水线 提供可视化、可编排的CI/CD持续交付软件生产线，帮助企业快速转型实现DevOps持续交付高效自动化，缩短应用TTM（Time to Market）交付周期，提升研发效率。 流水线自定义编排：可根据用户使用场景的需要，对构建、代码检查、子流水线、部署、流水线控制（延时执行、人工审核）、接口测试等多种类型的任务进行纳管和执行编排。 流水线可视化增删改查：提供图形化界面基础的流水线创建、编辑、删除和执行状态查看功能。其中，查看功能支持跳转到对应的自动化任务界面查看其日志等详情信息。 流水线权限管理：支持用户针对流水线任务设置指定帐号的权限控制，权限基于帐号所属角色操作权限进行控制，包含基础的查看、编辑、执行、删除权限控制。 流水线历史执行记录：支持查看流水线最近31天的历史执行记录。 流水线消息通知：用户可根据需要设置事件类型的通知状态，包括是否发送服务动态和邮件通知。 流水线部分任务执行：根据用户需求，可选择流水线中的某一个或多个任务单独执行。 流水线执行参数配置：流水线支持自定义参数，在执行时由用户指定参数值，任务用指定值替换相应参数执行。 流水线串/并行执行配置：根据用户需求，可配置同一阶段内的任务串行执行或并行执行。 说明 若您在使用软件开发生产线过程中所填写或上传的数据，可能有不确定的用户数据涉及敏感信息，为确保数据安全，请优先加密。

本章节介绍如何创建数据类追踪器。 云审计服务提供的追踪器分两类，包括管理类追踪器和数据类追踪器。 管理类追踪器用于记录管理事件，即针对所有云资源的操作日志，例如创建、登录、删除等。 数据类追踪器用于记录数据事件，即针对租户对OBS桶中的数据的操作日志，例如上传、下载等。 操作场景 云审计服务支持创建数据类事件追踪器，用于记录数据操作日志。数据类追踪器用于记录数据事件，即针对租户对OBS桶中的数据的操作日志，例如上传、下载等。 在开通云审计服务时，系统已为您自动创建了一个管理事件追踪器，管理事件追踪器只能有一个，故后续您自行创建的追踪器均为数据类事件追踪器。 使用限制 CTS仅记录最近7天内的操作事件，您需要配置追踪器来保存更长时间的事件，否则将无法追溯7天前的操作事件。追踪器会将事件持续保存到您指定的LTS日志流或者OBS桶中。 前提条件 已开通云审计服务。 创建数据类事件追踪器 1. 登录管理控制台。 2. 在服务列表选择“管理与部署 > 云审计服务 CTS”，进入云审计服务页面。 3. 在左侧导航栏选择“追踪器”，单击页面右上角的“创建追踪器”。 4. 基本信息。新建“追踪器名称”便于识别。单击“下一步”，基本信息填写成功。 数据类事件追踪器命名规则：名称只能包含大小写字母、数字、和，且必须由大小写字母或数字开头。名称不能为空，且输入长度不能超过32个字符。名称不能为“system”或“systemtrace”。 5. 在选择追踪对象页面，填写相关参数，详细参数说明见表 选择追踪对象参数表 ，单击“下一步”。 6. 在配置转储页面，填写相关参数，单击“下一步”。用户通过云审计控制台只能查询最近7天的操作记录，如果需要查询超过7天的操作记录，您必须配置转储到对象存储服务（OBS）或配置转储到云日志服务（LTS）。具体参数说明参见表 配置转储到OBS参数列表和表 配置转储到LTS参数列表。 7. 预览追踪器信息无误后，单击“创建”完成追踪器的创建。 表 选择追踪对象参数表 参数名称 参数说明 数据事件来源 数据事件的存储容器，默认为OBS桶。 OBS桶名称 在下拉列表中选择对应OBS桶。 创建完成后，OBS桶名称不可修改。 事件操作类型 数据操作类型分为“读操作”和“写操作”，读操作指的是从OBS桶中获取或下载对象数据，写操作指的是向OBS桶中上传或写入对象数据。 勾选“读操作”后，CTS只会记录读操作类型的数据事件。 勾选“写操作”后，CTS只会记录写操作类型的数据事件。 您可以在OBS服务的页面的“表2 云审计服务支持的OBS数据事件操作列表”中，查看当前支持云审计的全部OBS操作数据事件，以及查看具体有哪些读操作类型事件和写操作类型事件。 表 配置转储到OBS参数列表 参数名称 参数说明 转储到OBS 当“转储到OBS”开关打开时，您可以选择已存在的OBS桶，并配置事件文件前缀。 如果“转储到OBS”开关关闭时，则无需配置相应参数。 选择OBS 选择已有OBS桶：选择当前区域已创建的OBS桶。 OBS桶名称 当“选择OBS”选择“新建OBS桶”时，直接新建OBS桶名称。OBS桶名称不能为空，仅支持小写字母、数字、“”和“.”，且长度范围为363个字符。禁止两个“.”相邻（如“my..bucket”），禁止“.”和“”相邻（如“my.bucket”和“my.bucket”），禁止使用ip为桶名称。 当“选择OBS”选择“选择已有OBS桶”时，可以选择已存在的OBS桶。 保存周期 转储至OBS桶中日志的保存周期。该配置会修改被选择桶的桶策略，影响范围为桶内的所有文件。不同类型、不同级别的合规认证标准对审计日志的保存时间有不同的要求，建议设置保存周期不低于180天。 数据类事件追踪器：保存周期支持设置为30天、60天、90天、180天、三年和沿用OBS配置。 事件文件名前缀 用于标识被转储的事件文件，该字段支持用户自定义，会自动添加在转储事件文件的文件名前端，方便用户快速进行筛选。事件文件名前缀只能由英文字母、数字、下划线（）、中划线（）和小数点（.）组成，且长度范围为064个字符。 表 配置转储到LTS参数列表 参数名称 参数说明 转储到LTS 当“转储到LTS”开关打开时，表示操作事件将转储到日志流中。 日志组名称 当“转储到LTS”开关打开时，日志组名称默认为“CTS”。如果“转储到LTS”开关关闭时，则无需配置该参数。