本页主要介绍了高并发场景写入的热点问题与解决方法。 高并发写入最佳实践 分布式融合数据库HTAP支持线性扩展，通过均衡调度可以尽可能将业务的写负载均匀地分布到不同的计算或存储节点上，更好地利用上整体系统资源，以满足业务高并发写入场景下的数据存储需求。然而，在某些场景下，仍然可能会出现部分业务写负载不能被很好地分散，导致某些节点负载过高，引发性能瓶颈或不均衡的情况，无法发挥出分布式架构的优势，从而影响了整体的性能，这种情况通常称为写热点问题。 下文阐述了分布式融合数据库HTAP的数据分布原理，高并发写入场景下热点产生的原因，以及如何规避或者优化写热点问题。 数据分布原理 数据分片 分布式融合数据库HTAP采用 KeyValue 模型作为数据的存储模型，数据按范围分片存储，每个数据分片负责存储一段 Key 范围（从 StartKey 到 EndKey 的左闭右开区间）的数据，每个行存节点会负责多个数据分片。当一个分片持续写入数据，导致分片数据过大，超过一定阈值，系统会将该数据分片分裂为两个数据分片。相反的，如果相邻的两个数据分片过小，系统则会自动触发将它们合并成一个数据分片。 数据采用多副本存储，通过 MultiRaft 协议实现数据强一致性，确保少数副本发生故障时不影响可用性。每个分片对应一个Raft Group，由 Raft Leader 负责处理数据的读写。分布式融合数据库HTAP的管理节点会动态地将分片 Raft Leader 调度到不同的存储节点上，实现负载均衡。

本章节主要介绍恢复快照。 恢复快照约束 集群粒度快照恢复 集群粒度恢复分为两个主要步骤： 1. 恢复数据：即备份工具将备份集中的数据并行的恢复到各个实例的数据目录中，实例包括主CN，主DN等。 2. 重建备DN：即主DN恢复完之后，备DN使用全量Build的方式重建出来，这个过程也是并行执行。 说明 综上恢复过程要比备份过程耗时要久一些，通常需要备份时间1.5~2倍的耗时。 集群级恢复后参数与备份时一致，恢复到新集群时需保证和原集群规格一致，如果新集群规格小的话可能会导致恢复失败。 恢复快照到新集群 操作场景 用户需要查看集群过去某个时刻的快照数据时，必须先恢复快照到新集群。 恢复快照到新集群时，恢复时长是由快照备份的数据量所决定的。如果快照备份的数据量大，恢复就比较慢。如果快照备份的数据量小，恢复就相对比较快。 自动快照是增量备份，在恢复快照时，DWS 会将最近一次的全量备份到本次快照之间的所有快照一起用于恢复集群。自动快照的备份频率是可以设置的，如果一周只备份一次，当增量数据量较大时，就会出现备份慢的情况，因此，建议适当地增加备份频率。 须知 恢复快照到新集群的功能目前仅支持备份设备为OBS的快照。 恢复快照时默认创建一个与原始集群规格相同、节点数也相同的新集群。 当前恢复到新集群操作可保证原业务不中断。 使用冷热表后，不支持使用快照将冷数据恢复到新集群。

动态指令互动 面临挑战：高峰时段，玩家账号登录、道具交易、指令互动、语音聊天等动态交互指令卡顿，游戏体验差，用户流失。 方案优势：天翼云全站加速通过智能调度，实时探测优质路径，确保游戏动态指令及互动消息的传输时延最小。 游戏出海 面临挑战：随着游戏行业出海势头强劲，跨境玩家同服对战延时，用户体验差，跨国网络的速度和稳定性成为首要难题。 方案优势：天翼云全站加速为游戏出海、跨境玩家提供海外加速服务，海外节点本地覆盖，方便游戏玩家就近接入，提升全球访问的性能和稳定性。 源站高可用性 面临挑战：游戏推广期间，源站流量暴增，源站带宽扩容效率低，负载过大，需要保障游戏网站的持续高可用性。 方案优势：天翼云全站加速提供源站监控、多源负载均衡、节点热备，实时弹性扩容等策略，可有效缓解源站压力，保障业务连续性和高可用性。 方案价值 极致用户体验 纯自研流量调度、动态选路等关键技术，全平台实时网络监测，智能选择优质访问链路，保障玩家获得全球优质的访问体验。 数据安全传输 支持全链路HTTPS安全传输，HTTPS双向认证，防劫持防篡改，保护数据安全。 高可用保障 分布式三网节点弹性扩容、丰富负载均衡策略、源站监控，助力构建高可用的游戏网络架构。 优质资源及链路 国内拥有1800+个节点覆盖，覆盖多运营商、主要省份和城市无盲点。海外覆盖遍布亚洲、美洲、欧洲、非洲等主要国家和城市。便于玩家就近接入。 精细化属地支持 31省本地化的销售网络体系，724小时技术支持，VIP客户一对一专属项目经理。

本章节主要介绍ALM45176 OBS元数据接口调用成功率低于阈值的告警。 告警解释 系统每30秒周期性检测OBS元数据接口调用成功率是否小于阈值，当检测到小于所设置阈值时就会产生该告警 。 当OBS元数据接口调用成功率大于阈值时，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 45176 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS元数据接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > OBS元数据接口调用成功率低于阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 1. 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS元数据操作”中勾选“OBS接口调用成功率”，单击“确定”，查看OBS元数据接口调用成功率，确定是否有接口调用成功率低于阈值。 是，执行步骤3。 否，执行步骤5。 2. 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS元数据接口调用成功率”，将阈值或平滑次数参数的值根据实际情况调小。 3. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤5。

本章节主要介绍ALM45177 OBS数据读操作接口调用成功率低于阈值的告警。 告警解释 系统每30秒周期性检测OBS数据读操作接口调用成功率是否小于阈值，当检测到小于所设置阈值时就会产生该告警 。 当OBS数据读操作接口调用成功率大于阈值时，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 45177 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据读操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > OBS数据读操作接口调用成功率低于阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 1. 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS数据读操作”中勾选“OBS数据读操作接口调用成功率”，单击“确定”，查看OBS数据读操作接口调用成功率，确定是否有接口调用成功率低于阈值。 是，执行步骤3。 否，执行步骤5。 2. 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS数据读操作接口调用成功率”，将阈值或平滑次数参数的值根据实际情况调小。 3. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤5。

本章节主要介绍部分Redis命令使用时的限制。 Key相关命令使用限制 使用KEYS命令时，若缓存数据量较大，可能会较长时间阻塞其它业务命令操作，甚至可能过高地占用额外内存。因此使用KEYS命令时请尽量描述精确的pattern、不要使用“keys ”进行全通配。建议尽量避免在生产环境使用，否则会影响服务的健康运行。 Server相关命令使用限制 当用户执行比较耗时的命令（如flushall）时，可能会导致缓存实例在命令执行期间对外不响应用户的其它命令，造成状态监控失效，此时Console上缓存实例的状态会变成异常，命令执行结束后，实例状态会恢复正常。 使用FLUSHDB、FLUSHALL命令时，若缓存数据量较大，可能会较长时间阻塞其它业务命令操作。 EVAL和EVALSHA相关命令使用限制 使用EVAL和EVALSHA命令时，命令参数中必须带有至少1个key。否则客户端会提示“ERR eval/evalsha numkeys must be bigger than zero in redis cluster mode”的错误。 使用EVAL和EVALSHA命令时，DCS Redis集群实例使用第一个key来计算slot，用户代码需要保证操作的key是在同一个slot，具体请参考 使用EVAL命令时： 建议使用前先了解Redis的lua脚本特性，具体可参考 lua脚本的执行超时时间为5秒钟，建议不要在lua脚本中使用比较耗时的代码，比如长时间的sleep、大的循环等语句 调用lua脚本时，建议不要使用随机函数去指定key，否则在主备节点上执行结果不一致，从而导致主备节点数据不一致。

方案正文 insert操作 insert写法规范 不建议逐条insert，推荐使用insert into values (),()..();语法。 MySQL的JDBC连接的url中要加rewriteBatchedStatements参数，并保证5.1.13以上版本的驱动，才能实现批量插入。MySQL JDBC驱动在默认情况下会无视executeBatch()语句，把预计批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，批量插入实际上是单条插入，直接造成较低的性能。只有把rewriteBatchedStatements参数置为true, 驱动才会批量执行SQL。另外这个选项对INSERT/UPDATE/DELETE操作都有效。 拆分字段的值：不建议使用函数、表达式、子查询等，推荐使用常量值。 普通字段的值：不建议使用子查询，推荐使用常量、函数、表达式。 大批量数据导入 推荐使用loaddata local infile来实现大批量数据导入。 数据迁移场景 建议使用mysqldump导出sql文件，再使用mysql source命令导入。 autoincrement字段 DRDS使用Sequence来实现autoincrement语义，并保证全局唯一。 赋值：若使用autoincrement字段，建议不要在values子句中赋值，否则容易造成主键冲突。如果在values中赋了值，建议使用alter sequence语句更改。 步长：autoincrement字段步长建议不要设置成1，会导致性能低下。默认设置成1000。 update与delete操作 普通更新 进行update/delete操作时，where条件建议带上拆分字段； 无法带上拆分字段的场景，建议控制并发度，控制更新/删除涉及的数据条数。建议先用select查出相应的数据，double check确保数据范围无误后再实行update/delete操作。 拆分字段更新 条数限制：DRDS拆分字段更新有数据量限制，一般不能超过10000条数据，数据量越少越好。若超过10000条数据，建议用改重建表的方式来做，或者是拆分成多次update操作来等价实现。 操作的时机：建议选择在业务低谷期做。 关联操作 不建议进行表关联更新、表关联删除操作，即不建议进行多张表同时进行update/delete操作。 子查询及limit操作 不建议update/delete语句中含有子查询。不建议update/delete语句中含有limit或order by limit语句。 select操作 Order by 及 Limit函数 "order by limit offset, count"场景，禁止给offset赋大数值，即禁止深度翻页。 Group by函数 不建议selectlist部分含有非group by列。 不支持不可下推的groupconcat聚合函数内含有order by子句。 不建议distinct、group by字段多于3项。 不建议join、或者子查询操作之后含有group by操作 不建议使用count(distinct ),sum(distinct )操作。 Join函数 select场景，建议join条件是每个表的拆分字段或使用广播表，或者是驱动表是一个小表（inner/left join驱动表是左表，right join驱动表是右表）。 不建议两个大表直接进行join操作。 不建议join on condition中含有非等值操作。 如遇到临时表超限（Temp table limit exceeded）报错，说明JOIN中间数据产生了临时表且超限，建议进行SQL调优。 不建议5张表以上进行join操作。 join查询操作建议不要开启事务。 不建议在事务中进行join查询，开启事务会影响DRDS对join算法的选择，无法使用最高效的算法。 子查询 不建议子查询包含在OR表达式中，或者是子查询的关联条件包含在OR表达式中 不建议使用含有limit的标量子查询，如 select (select x from t2 where t2.id t.id limit 1),a,b from t。 如果子查询和主表都路由到同一分片，建议在SQL前加/+dbxxx/来精准路由。 不建议子查询内部含有join语句。 不建议写嵌套子查询。 不建议ROW表达式跟子查询做比较操作，如 select from t where (a,b,c)(select x,y,z from t2 where …)。 不建议selectlist里面含有超过2个以上的子查询 。 DDL DDL执行时机 对已有表进行DDL操作时建议放在业务低峰期进行。 分片数 创建新拆分表时建议结合实际数据量进行合理预估，总分片数满足需求即可。不建议使用超出实际需求的分片数，拆分表分片数并非越多越好 高危DDL 进行高危DDL时请仔细校验SQL后谨慎操作，如DROP TABLE, TRUNCATE TABLE等操作。 DDL失败修复 DDL命令如遇报错，可以使用"check table 表名"命令对各个分片表结构进行校验，识别出失败的分片进行针对性修复。如ALTER TABLE命令遭遇失败可以在命令前添加/+allowalterreruntrue/，开启ALTER语句的幂等可重入执行后重试，直到check table 命令提示各个分片表结构达到一致则可认为执行成功。 MDL锁导致执行DDL报错 背景：为保证DDL的可用性，DRDS内部在执行DDL前会检查底层RDS相关表是否存在MDL锁。 若存在MDL锁,，则DDL会提前报错退出。 可能出现的问题：若系统中存在慢SQL，执行时间为几分钟不等，那么可能被MDL锁所阻拦，无法执行DDL。 解决方案1：在DRDS控制台提高参数“ddlprecheckmdlthresholdtime”的大小, 如提高到30分钟(1800秒)。 解决方案2：执行show metadata lock查看是否因为持有慢事务的MDL锁阻塞了DDL的执行。若存在阻塞, 可以使用kill physical threadId@host:port 来关闭底层慢事务。配合/+allowalterreruntrue /的hint, 以及check table来查看和执行，直到DDL彻底执行完。 DDL长时间卡死 在业务低峰期执行DDL时如果遇到长时间卡死情况，请另开会话执行xa recover命令查看是否有慢事务存在，如存在慢事务挂起请及时联系值班人员解决。

高可用性与灾备 对象存储系统通常具有内建的高可用性和多地冗余能力，可以确保数据的持久性和可靠性。即使计算节点发生故障，数据仍然安全地存储在对象存储中，计算资源可以快速恢复并重新处理数据。 灵活的数据管理 存算分离的架构允许用户更灵活地管理数据生命周期。例如，可以将冷数据移至对象存储，并在需要时动态加载到计算节点进行分析。这样，用户能够更好地控制数据的访问模式和存储成本。 技术实现与应用 实现存算分离需要配置搜索引擎与对象存储系统的连接。用户可以通过搜索引擎的 API 和配置文件，指定外部对象存储作为数据的存储位置。计算节点在进行索引或查询操作时，会根据需要从对象存储中拉取数据，这个过程是透明且自动化的。 搜索引擎还提供了工具和接口，使用户能够监控存算分离的运行状态，调整数据加载和处理的策略。无论是对大规模数据集的批处理，还是实时查询场景，搜索引擎的存算分离功能都能够提供高效的解决方案。 操作示例 我们以Elasticsearch为例，点击对应实例的“数据管理备份管理”，开启备份。根据引导开通ZOS服务，创建存储桶，填写对象存储的AK/SK。具体操作可参考创建快照备份。 1. 开通好备份功能之后，创建测试index： plaintext PUT myindex { "settings": { "numberofshards": 1, "numberofreplicas": 0 }, "mappings": { "properties": { "name": { "type": "text" }, "age": { "type": "integer" } } } } 2. 插入数据： plaintext POST myindex/doc { "name": "John Doe", "age": 30 } POST myindex/doc { "name": "Jane Doe", "age": 25 } 在备份管理页面，点击手动备份，填写备份名称、存储路径、备份对象等信息。备份对象我们选择索引，填写索引名称“myindex”。点击确认。备份状态变成“已生成”，就成功备份了。 在索引管理页面，删除“myindex”索引。删除成功后，索引管理查询没有“myindex”索引。 3. 数据恢复： 如果需要继续使用“myindex”索引的场景，回到备份管理页面，针对生成的快照点击备份恢复，点击确认，等待恢复完成。 在索引管理页面，看到“myindex”索引又恢复到实例中即可正常使用查询分析等功能。 通过支持对象存储实现存算分离，搜索引擎在数据管理和系统架构方面提供了更大的灵活性和扩展性。无论是在弹性扩展、成本优化，还是在高可用性与灾备、灵活数据管理等场景中，存算分离都能够帮助用户更高效地利用资源，构建健壮且经济高效的分布式搜索和分析系统。

本章主要介绍产品优势 一站式软件开发生产线 软件开发全流程覆盖：支持需求管理、代码托管、流水线、代码检查、编译构建、部署、测试计划、制品仓库等全生命周期软件开发服务。 开箱即用，云上开发，全流程规范可视，高效异地协作。 研发安全BuiltIn 在应用设计、开发、测试、运行等全流程提供安全规范及防护能力，支撑应用研发供应链安全有效落地。 提供针对于代码质量安全、Web漏洞、主机漏洞、开源漏洞及合规、移动应用安全等多种安全合规检查能力。 高质高效敏捷交付 支持代码检查、构建、测试、部署任务自定义和全面自动化并提供可视化编排的持续交付流水线，一键应用部署，上线发布零等待。 需求管理、代码检查、测试计划、流水线门禁等内置经验规范，有效提升应用研发质量，问题早发现。

本节为您介绍如何修改和删除已创建的自定义策略。 修改自定义策略 修改自定义策略名称、描述和内容。 1. 管理员在IAM控制台左侧导航窗格中，选择“权限管理>权限”页签。 2. 在指定策略的操作列中单击“编辑”，或者单击需要修改的策略名称，进入策略详情页。 3. 可根据需要修改“策略名称”和“策略描述”。 4. 按可视化视图配置自定义策略方式修改策略。 5. 单击“确定”完成修改。 删除自定义策略 说明 如果当前自定义策略已被授权给用户组或委托，则无法删除。移除该用户组或委托中的自定义策略后，才可删除自定义策略。 1. 管理员在IAM控制台左侧导航窗格中，选择“权限管理>权限”。 2. 在指定策略的操作列中单击“删除”。 3. 单击“确定”完成删除。

设置tag字段 设置结构化配置时，可以对日志维度信息进行tag字段设置，设置完成后可以在可视化界面对设置字段进行SQL查询。 1. 在字段提取步骤中选择“tag字段”页签。 2. 单击“添加字段”。 3. 在tag字段列表中“字段名称”，输入需要设置 tag字段名称，例如hostIP。 说明 tag字段功能上线前设置的结构化配置，在修改结构化配置进行tag字段设置时，系统tag不会带出示例字段。 4. 如需添加多个字段可单击“添加字段”，继续添加。 5. 设置完成后单击“保存”。 说明 tag支持的系统字段包括：category、clusterId、clusterName、containerName、hostIP、hostId、hostName、nameSpace、pathFile、podName。 tag不支持的系统字段包括：groupName、logStream、lineNum、content、logContent、logContentSize、collectTime。 日志提取字段和tag字段可以同时设置。

本节介绍网页防篡改（原生版）的产品优势。 方便易用 只需在Web服务器一键安装Agent，简单配置防护策略即可实现防护，全部操作都有可视化界面，方便用户使用。 灵活配置 防护策略支持自定义配置，按需指定防护的进程和文件类型，支持各类网站文件的保护。 安全可靠 产品实现自我保护机制，防止被篡改，采用加密传输与服务端通信，保证数据安全。通过5000+台服务器的运行实践，稳定性高达99.998%，2分钟内离线自动重启机制，保障系统始终处于检测状态。 节约资源 正常的系统负载情况下，CPU占用率<1%，内存占用<40M，消耗极低。在系统负载过高时，Agent会主动降级运行（CPU占用率<1%），严格限制对系统资源的占用，确保业务系统正常运行。

本节主要介绍NAT产品与其它服务的关系 相关服务 交互功能 云专线 通过云专线接入VPC的本地服务器，可以通过公网NAT网关访问公网或为公网提供服务。 虚拟专用网络 通过VPN可以在远端用户和VPC之间建立一条安全加密的公网通信隧道。为通过公网NAT网关访问公网提供了更加安全的访问。 弹性云主机 公网NAT网关可以为弹性云主机提供访问公网或者为公网提供服务的能力。 虚拟私有云 虚拟私有云内的弹性云主机与Internet互连。 弹性IP 实现VPC中的云主机以公网NAT网关的形式共享弹性公网IP访问公网或为公网提供服务。 云监控 查看NAT网关的监控数据，还可以获取可视化监控图表。

系统策略 云服务在IAM预置的常用权限集合，称为系统策略。管理员给用户组授权时，可以直接使用这些系统策略，系统策略只能使用，不能修改和删除，如何选择对应的系统策略，可从“系统策略”中查询。 自定义策略 如果系统策略无法满足授权要求，管理员可以根据各服务支持的权限，创建自定义策略，并通过给用户组授予自定义策略来进行精细的访问控制，自定义策略是对系统策略的扩展和补充。您可以通过可视化和JSON视图完成自定义策略的配置。如何创建自定义策略，可参考“创建自定义策略”。 操作实践 操作方式及指引请参考“用户指南”。

数据库迁移服务 数据库迁移工具（CMSDMS，Database Migration Service）是云迁移(CMS)的数据库迁移工具，其具备高效、稳定、易用的特点；它提供了评估、数据迁移、数据同步和数据订阅四大核心能力,通过提供统一操作台、一站式迁移流程和高效的迁移性能，降低了企业同/异构数据库迁移技术门槛，实现企业数据快速上云。 数据迁移服务 数据迁移服务（CMSZMS，ZOS Migration Service）是云迁移(CMS)的数据迁移工具，其具备可视化、稳定、易用的特点；支持将来自亚马逊、阿里云、腾讯云、华为云、天翼云 OOS 和 XOS 的数据迁移到ZOS 进行存储，并提供了灵活的迁移策略,通过功能组合满足各类需求与场景，实现企业数据快速上云。

1.创建数据库 在使用DataArts Studio数据集成将数据迁移上云之前，我们需要在目的端数据湖中创建目标数据库。根据数据湖治理落地流程，建议您在数据湖中为SDI层、DWI层、DWR层和DM层分别创建一个数据库，从而对数据进行分层分库。数据分层是后面在数据架构中将涉及到的概念，此处可先简单了解，在数据架构时将深入了解与操作。 您可以参考以下任一一种方式在数据湖中创建数据库。 您可以在DataArts Studio数据开发模块中，可视化方式创建数据库，具体操作请参见“数据开发 > 数据管理 > 新建数据库”章节。 您可以通过在DataArts Studio数据开发模块或数据湖产品的SQL编辑器上，开发并执行用于创建数据库的SQL脚本，从而创建数据库。在DataArts Studio数据开发模块开发脚本的具体操作请参见“数据开发 > 脚本开发 > 开发脚本> 开发SQL脚本”章节；数据湖产品的SQL编辑器上的具体操作请参见对应数据湖产品的帮助文档。 2.创建数据表 在使用DataArts Studio数据集成将数据迁移上云之前，我们需要在目的端数据湖的SDI层数据库中创建一个目标表，用于存储原始数据。批量数据迁移场景下，关系型数据库之间的迁移和关系型数据库到Hive的迁移支持自动创建目标表，这种情况下可以不预先在目的端数据库中创建目标表。 您可以参考以下任一一种方式在数据湖中创建原始数据表。如果表字段个数较多，建议使用编写SQL脚本的方式创建表。 您可以在DataArts Studio数据开发模块中，可视化方式创建数据表，具体操作请参见“数据开发 > 数据管理 > 新建数据表”章节。 您可以通过在DataArts Studio数据开发模块或数据湖产品的SQL编辑器上，开发并执行用于创建数据表的SQL脚本，从而创建数据表。在DataArts Studio数据开发模块开发脚本的具体操作请参见“数据开发 > 脚本开发 > 开发脚本> 开发SQL脚本”章节；数据湖产品的SQL编辑器上的具体操作请参见对应数据湖产品的帮助文档。

本章节介绍DDS的自定义策略。 如果系统预置的DDS权限，不满足您的授权要求，可以创建自定义策略。 目前天翼云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 本章为您介绍常用的DDS自定义策略样例。 DDS自定义策略样例 示例1：授权用户创建文档数据库实例 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "dds:instance:create" ] } ] } 示例2：拒绝用户删除文档数据库实例 拒绝策略需要同时配合其他策略使用，否则没有实际作用。用户被授予的策略中，一个授权项的作用如果同时存在Allow和Deny，则遵循 Deny优先原则 。 如果您给用户授予DDS FullAccess的系统策略，但不希望用户拥有DDS FullAccess中定义的删除文档数据库实例权限，您可以创建一条拒绝删除文档数据库实例的自定义策略，然后同时将DDS FullAccess和拒绝策略授予用户，根据Deny优先原则，则用户可以对DDS执行除了删除文档数据库实例外的所有操作。拒绝策略示例如下： { "Version": "1.1", "Statement": [ { "Effect": "Deny" "Action": [ "dds:instance:deleteInstance" ], } ] } 示例3：多个授权项策略 一个自定义策略中可以包含多个授权项，且除了可以包含本服务的授权项外，还可以包含其他服务的授权项，可以包含的其他服务必须跟本服务同属性，即都是项目级服务或都是全局级服务。多个授权语句策略描述如下： { "Version": "1.1", "Statement": [ { "Action": [ "dds:instance:create", "dds:instance:modify", "dds:instance:deleteInstance", "vpc:publicIps:list", "vpc:publicIps:update" ], "Effect": "Allow" } ] } 实例4：授权资源策略 一个自定义策略可以设置资源策略，表示在当前的action下面，拥有哪些资源的操作权限，目前支持实例名称的配置，可以用来表示通配符。授权资源策略的描述如下: { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "dds:instance:list" ] }, { "Effect": "Allow", "Action": [ "dds:instance:modify" ], "Resource": [ "DDS:::instanceName:dds" ] } ] }

云硬盘服务 可以将云硬盘挂载至物理机，并可以随时扩容云硬盘容量。 虚拟私有云 为物理机提供一个逻辑上完全隔离的专有网络，您还可以在VPC中定义安全组、VPN、IP地址段、带宽等网络特性。用户可以通过VPC方便地管理、配置内部网络，进行安全、快捷的网络变更。同时，用户可以自定义安全组内与组间物理机的访问规则，加强物理机的安全保护。 镜像服务 您可以通过镜像创建物理机，提高物理机的部署效率。 云监控服务 当您开通了物理机后，安装telescope软件并完成相关配置，即可在云监控服务查看物理机的监控数据，还可以获取可视化监控图表。如何配置物理机带内监控，请参考《主机监控配置》。

本文将为您介绍标签管理的应用场景。 使用标签查找资源 场景说明 当账号下管理的云资源变多，想要快速的找到某一类型的云资源，可通过标签实现某一类型云资源的快速查找。 场景示意图 产品优势 基于标签进行云资源的查找，帮助提升云资源管理效率。 使用标签做成本分析 场景说明 若客户想要以自身实际的业务场景做云资源的成本分析，可通过提前定义标签并为资源绑定标签后，在费用中心成本管理成本分析选择标签维度做成本分析的可视化展示。 场景示意图 产品优势 客户可基于本身的业务诉求，通过标签管理的方式自定义成本分析维度。

本页介绍了数据库迁移的常见问题及解决方法。 为什么要采用mysqldump等工具迁移数据库 mysqldump是一种常用的数据库迁移工具，其操作简单但会造成数据库较长时间停机，适用于数据量不大的数据迁移。 天翼云关系数据库MySQL版提供的服务兼容原数据库，将本地数据库迁移至云数据库的过程和将数据库从一台服务器迁移另一台服务器一样。您也可以根据您的需要使用其他数据库迁移方案进行数据库迁移。 数据库实例迁移中产生binlog文件导致存储空间不足怎么办 数据库实例会定期清理过期的binlog，但数据库实例在迁移过程中，短时间内产生大量binlog文件，导致存储空间不足，会影响业务正常运行 。所以在订购实例和进行数据库迁移之前，请参看以下建议： 及时清理过期数据。 建议用户在选择实例存储空间大小时不仅仅考虑数据文件的大小，同时还要考虑日志文件的大小以及给存储空间保留一定的冗余。 若原来申请的数据库磁盘容量不足，建议用户扩容磁盘空间，确保磁盘空间足够。操作方法请参考用户指南实例管理存储空间扩容。 怎样将其他数据库引擎的数据导入到MySQL实例 相同引擎数据库之间数据导入导出，称之为同构型数据库之间数据导入导出。同构型数据库导入导出可以使用数据库迁移工具来实现如mysqldump。 不同引擎数据库之间数据导入导出，称之为异构型数据库之间数据导入导出。异构型数据库之间由于格式不同，一般不支持直接导入导出，通常需要第三方软件，通过数据复制的方式来实现。比如，先使用工具从Oracle中，以文本的格式导出表记录，然后利用Load语句导入到InnoDB引擎。

本章节主要介绍操作类问题中的集群管理问题。 无法成功创建数据仓库集群时怎么处理？ 请检查用户账户余额是否少于100元，是否已经没有配额创建新的数据仓库集群，以及是否存在网络问题。 如账户余额、配额、网络均未发现问题，请联系客户经理，请客户经理联系后台服务人员为您排查原因并解决问题。 如何清理与回收存储空间？ DWS 数据仓库中保存的数据在删除后，可能没有释放占用的磁盘空间形成脏数据，导致磁盘浪费、创建及恢复快照性能下降等问题，如何清理？ 清理与回收存储空间对系统的影响如下： 删除无用的脏数据，释放存储空间。 数据库将进行大量读写操作，可能影响正常使用，建议选择空闲时间执行。 数据库的存储空间越大，即数据可能越多，清理的时间越长。 清理与回收存储空间操作步骤如下： 1.连接数据库。具体操作步骤请参见《数据仓库服务用户指南》中“连接集群”章节。 2.执行以下命令，清理与回收存储空间。 VACUUM FULL; 默认清理当前用户在数据库中，拥有权限的每一个表。没有权限的表则直接跳过回收操作。 当系统显示以下内容时，表示清理完成： VACUUM VACUUM FULL回收所有过期的行空间，但是它需要对每个正在处理的表进行独占锁定，并且可能需要很长时间才能完成大型分布式数据库表。一般建议对指定表执行VACUUM FULL，若需要对整个数据库执行VACUUM FULL，建议在数据库维护期间操作。 使用FULL参数会导致统计信息丢失，如果需要收集统计信息，请在语句命令中加上analyze关键字。例如，执行 VACUUM FULL ANALYZE; 命令。VACUUM的语法请参见《数据仓库服务数据库开发指南》中的相关章节。

读写分离实例 读写分离实例当前只支持x86 CPU类型，具体规格如表。 Redis 4.0和Redis 5.0 读写分离实例的连接数限制暂不支持修改。 单个数据节点带宽限制(MB/s)总带宽限制(MB/s)/副本数(主+从)。 单个节点参考性能(QPS)参考性能(QPS)/副本数(主+从)。 读写分离实例使用限制： 读写分离实例读请求会发送到从节点，从节点从主节点同步数据会有一定的时延。 请确保业务侧不依赖主从同步的时延，如果对主从同步时延有依赖的场景，不适用读写分离实例，请考虑主备或集群。 读写分离实例适用于写少读多的场景，如果写流量过大，可能导致主从断连，或断连后主从同步失败，导致读请求性能下降。 写流量大的场景请考虑主备或集群 。 从节点故障后，需要一定的时间从主节点全量同步数据，同步数据期间，从节点不对外提供服务，此时实例读请求性能会下降。 推荐使用<32G内存规格的实例，内存规格越小，主从全量同步数据时间越少，同步断链时间越短。 Redis 4.0和Redis 5.0 读写分离实例产品规格 规格 实例可使用内存 (GB) 副本数 ( 主 + 从 ) 连接数限制 ( 默认 / 最大可配 ) 总带宽限制 (MB/s) 单个数据节点带宽限制 (MB/s) 参考性能 单个节点参考性能 (QPS) 产品规格编码 (对应 API的speccode) 8 8 2 20,000 192 96 160,000 80,000 redis.ha.xu1.large.p2.8 8 8 3 30,000 288 96 240,000 80,000 redis.ha.xu1.large.p3.8 8 8 4 40,000 384 96 320,000 80,000 redis.ha.xu1.large.p4.8 8 8 5 50,000 480 96 400,000 80,000 redis.ha.xu1.large.p5.8 8 8 6 60,000 576 96 480,000 80,000 redis.ha.xu1.large.p6.8 16 16 2 20,000 192 96 160,000 80,000 redis.ha.xu1.large.p2.16 16 16 3 30,000 288 96 240,000 80,000 redis.ha.xu1.large.p3.16 16 16 4 40,000 384 96 320,000 80,000 redis.ha.xu1.large.p4.16 16 16 5 50,000 480 96 400,000 80,000 redis.ha.xu1.large.p5.16 16 16 6 60,000 576 96 480,000 80,000 redis.ha.xu1.large.p6.16 32 32 2 20,000 192 96 160,000 80,000 redis.ha.xu1.large.p2.32 32 32 3 30,000 288 96 240,000 80,000 redis.ha.xu1.large.p3.32 32 32 4 40,000 384 96 320,000 80,000 redis.ha.xu1.large.p4.32 32 32 5 50,000 480 96 400,000 80,000 redis.ha.xu1.large.p5.32 32 32 6 60,000 576 96 480,000 80,000 redis.ha.xu1.large.p6.32

本文主要介绍安全加速应用场景。 场景架构图 政企客户 客户特点 ：政企行业的门户网站作为政府、企业的互联网信息服务的重要渠道，有着很重要的作用，要求网站需要保证稳定的运行。 客户需求： 大型会议、特殊时期重保 。 防止被黑、被挂马、篡改等安全事件发生。 用户、公民敏感信息不能被窃取。 产品推荐： 安全加速（推荐同时购买WAF、抗D服务） 天翼云安全加速能够防御政企网站被入侵、页面篡改、数据泄露、后门、博彩暗链、JS挖矿等WEB安全风险的同时能够进行DDOS、CC流量清洗，保证政企网站的稳定运行。 产品优势： 丰富的资源覆盖。 国内拥有丰富的节点覆盖承载能力，覆盖多运营商、主要省份和城市无盲点。 加速节点可根据需求随时增加，致力于客户的发展壮大。 金融网站 客户特点： 业务系统对业务可用性要求非常高，同时需要保障用户个人数据和资金安全，一旦发生安全问题，也可能会引发投资人恐慌，对公司造成很大的影响。 客户需求 ： 官网、信用卡中心等业务稳定加速运行。 纪念币等发行时突发流量应对。 攻防演练、护网行动保障。 恶意DDoS攻击防护，无俱黑客勒索。 防撞库、暴力破解等。 产品推荐： 安全加速（推荐同时购买WAF、抗D服务） 天翼云安全加速不仅能够提升网站的访问速度，还对网站的安全进行防护；天翼云安全加速对金融网站加速的同时还提供防御金融行业面临的SQL注入、跨站、撞库拖库、数据泄露等多种WEB安全风险，并防御大规模流量攻击，保障网站稳定运行的同时维护用户个人数据和资金安全，满足PCIDSS合规要求。 产品优势： 可靠的安全防护。 分布式集群防护，单点故障自动转移，确保网站的高可用性。 利用大平台优势，基于全网、全行业流量的攻击数据，结合机器学习算法，构建一套智能防护体系。 精准防护，域名粒度的防护策略，结合客户自身业务定制化防护策略。 电子商务网站 客户特点： 业务对用户体验实时性要求较高，并且存在用户个人账号信息被盗、敏感信息泄露等问题，若存在可用性或者安全问题会造成交易问题，流失客户。 客户需求： 业务可用性稳定性保障。 营销活动减少业务欺诈。 用户信息、订单等数据不被窃取。 产品推荐： 安全加速（推荐购买WAF服务） 天翼云安全加速不仅能够提升网站的访问速度，满足用户操作的实时性，还对网站的安全进行防护，通过账号安全防护提供的三大能力：撞库防护、暴力破解防护、批量注册防护防止用户个人账户被恶意盗取；另外，通过敏感词防护，能够避免网站上的敏感信息如身份证号码、手机号、地址、邮箱被泄露。此外，天翼云安全加速对电子商务网站加速的同时还提供防御金融行业面临的SQL注入、跨站、撞库拖库、数据泄露等多种WEB安全风险，并防御大规模流量攻击，避免网站被恶意刷票引起的访问崩溃，保障网站稳定运行。 产品优势： 特色的安全防护。 敏感信息回显脱敏，保护用的身份证号、手机号和卡号等敏感信息。 撞库攻击防护，防止网站撞库攻击，保护网站用户数据安全。 恶意挖矿防护，识别js挖矿脚本，避免访问网站的用户被利用成“挖矿机”。 客户端防广告，移除客户端被插入的广告，保护内容安全。

参数 说明 策略配置方式 可视化视图 策略名称 自定义 策略内容 效果 允许 策略内容 被授权用户 授权用户：匿名用户 用户策略：包含以上用户 策略内容 资源 资源范围：同时选择当前桶和桶内对象 资源策略：包含以上资源 策略内容 动作 选择动作：Get 和List 操作策略：包含以上动作 策略内容 条件 条件运算符：IpAddress 键：SourceIp 值： 如果ECS使用公网DNS，取值为：ECS的弹性IP地址 如果ECS使用天翼云内网DNS，取值为：100.64.0.0/10,214.0.0.0/7,ECS的私有IP地址 说明 取值需要同时配置三个IP地址（IP地址段），之间用英文逗号（,）隔开。 其中，100网段和214网段为ECS内网访问OBS的网

天翼云 Prometheus 监控服务对接开源 Prometheus 生态，提供多种开箱即用的预置监控大盘，且提供全面托管的 Prometheus 服务。 什么是Prometheus实例 Prometheus实例是天翼云可观测监控服务中用于管理数据采集、存储与分析的核心逻辑单元，包含预配置的数据采集规则、时序数据库、可视化监控面板及告警策略等功能模块。 产品优势 集成便捷：提供一站式解决方案，显著降低可观测系统的部署与运维复杂度。 成本可控：相较自建方案，天翼云可观测Prometheus监控服务具备更优的性价比优势。 生态融合：深度集成天翼云容器服务，实现无缝对接。 专业护航：享有天翼云官方提供的专业技术支持体系。 注意 目前Prometheus监控服务仅于华东1、华南2、西南1上线。

本章节介绍云原生网关CGW子产品的应用场景 流量接入&服务治理 传统的服务架构中采用流量网关+业务网关实现流量接入与分发；云原生网关融合了流量网关和业务网关能力，作为微服务架构中东西向和南北向流量的入口，提供了tls卸载，服务发现，请求路由，负载均衡，熔断限流等流量治理能力。 认证鉴权 在云上发布的服务一般需要对前端的请求进行认证鉴权，云原生网关提供了jwt、oidc、ip黑白名单及一系列扩展插件，实现对应用请求的身份认证和访问控制。 可视化运维 微服务网关提供丰富的可观测能力，包括指标监控，日志监控及全链路追踪能力；无需特殊配置即可获取丰富的可观测能力。

相关服务 交互功能 弹性云服务器(ECS) RDSPostgreSQL配合弹性云服务器 (Elastic Cloud Server，简称ECS)一起使用，通过内网连接RDSPostgreSQL可以有效地降低应用响应时间、节省公网流量费用。 虚拟私有云(VPC) 对您的RDSPostgreSQL实例进行网络隔离和访问控制。 弹性IP(EIP) 为您的实例提供公网访问方式。 数据迁移工具(DTS) 使用数据复制服务，实现数据库平滑迁移上云。 数据库管理工具(DAS) 使用数据管理服务，通过专业优质的可视化操作界面，提高数据管理工作的效率和安全。 数据库专家服务 专家团队为您提供数据库安装部署、健康巡检、应急响应、性能调优、架构规划设计、数据迁移咨询、备份恢复咨询等各类数据库专业服务，解决数据库各类问题，为您的数据库系统保驾护航。

数据安全专区权限及授权项 策略支持的操作与授权项相对应，授权项列表说明如下： 权限：允许或拒绝IAM用户某项操作。 授权项：授权操作对应的权限三元组，创建自定义策略时，支持可视化JSON视图写入权限三元组实现策略配置。 权限类型：授权操作对应的读写类型。 权限 授权项 权限类型（读/写） dszSecAdmin dszAudAdmin dszSysAdmin dszAuthAdmin dszApproveAdmin 数据安全专区订单业务员 查询实例列表 dsz.instance.query 读 ✓ ✓ ✓ ✓ ✓ × 实例开机 dsz.instance:start 写 ✓ ✓ ✓ ✓ ✓ × 实例关机 dsz.instance:stop 写 ✓ ✓ ✓ ✓ ✓ × 实例升级 dsz.instance:update 写 ✓ ✓ ✓ ✓ ✓ × 通过IAM授权使用数据安全专区 详细操作请参考： 1. 创建用户组和授权 2. 创建IAM用户和登录

: > 7.0.5 官方说明请参见： 说明 如果您在业务中需要一个永不过期的Token，您也可以选择 Token的机制，但还是推荐使用 排查方案 CCE提供以下排查方式供用户参考（CCE 1.21及以上版本的集群均涉及）： 排查集群中使用的插件版本。 若用户集群中有使用2.23.34及以下版本Prometheus 插件，则需升级至2.23.34以上版本。 若用户集群中有使用1.15.0及以下版本npd插件，则需升级至最新版本。 通过kubectl连接集群，并通过kubectl get raw "/metrics" grep stale查询，可以看到一个名为serviceaccountstaletokenstotal的指标。 如果该值大于0，则表示当前集群可能存在某些负载正在使用过低的clientgo版本情况，此时请您排查自己部署的应用中是否有该情况出现。如果存在，则尽快将clientgo版本升级至社区指定的版本之上（至少不低于CCE集群的两个大版本，如部署在1.23集群上的应用需要使用1.19版本以上的Kubernetes依赖库）。

本文为您介绍模型推理服务缓存命中能力。 缓存命中概念 在大模型API的实际调用中，许多场景（如长文档问答、多轮对话、带有大量 System Prompt 的角色扮演）会反复向模型发送相同的前置内容。缓存命中是一项旨在优化此类场景的高效计算机制，系统会将您请求中的重复前置内容进行缓存，当您后续的请求携带相同的前置内容时，模型无需重新计算这些 Token。从而降低使用成本，命中缓存的输入Token将享受折扣价。 支持的模型 支持缓存命中能力的模型见各模型卡片，或前往按需计费模式Tokens查看。 如何提升缓存命中率 在分布式集群架构下，为了提升缓存命中率，您可以在调用模型服务时传入特定的自定义参数。 1. 提升命中率的参数接入说明 在调用支持缓存命中能力的模型时，您可以在请求体Body中携带上下文会话标识参数。 参数名称：promptcachekey 参数限制：最大长度不超过64个字符。 参数要求：建议传入具有唯一性的字符串（如用户的 UserID、会话的 SessionID、文档的 DocumentID 等）。属于同一长文档阅读或同一用户连续对话的请求，建议保持该参数值一致。 2. 调用请求示例 (cURL) plaintext curl location request POST ' header 'Authorization: Bearer xxx' header 'ContentType: application/json' header 'Accept: /' dataraw '{ "model": "xxx", "promptcachekey": "myprefixcachekey001", "messages": [ { "role": "user", "content": "请对北京与上海这两座中国顶级一线城市进行全面、深度、多角度、客观中立的对比分析。" } ], "maxtokens": 200, "temperature": 0.6, "topp": 0.7, "repetitionpenalty": 1.0, "stream": true, "enablethinking": true, "streamoptions": { "includeusage": true } }'

本平台提供了以下三种途径进行数据的上传/下载,请根据您的需求选择合适的方式。 1. 科研助手控制台上传/下载数据,该方法操作简单而且不用额外工具。 2. JupyterLab上传/下载数据,该方法适用于在开发机中使用JupyterLab时上传/下载数据。优点是使用简便,但是只支持文件不支持文件夹,文件大小不能超过2G。 3.通过网盘提供数据。 控制台上传/下载数据 前提条件 准备好需要上传的文件，目前中心代理模式下上传数据集大小限制为100M，分片3M。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【数据集管理】。 3. 选择一个数据集，在操作栏中单击【查看】按钮。 4. 在【数据集管理 】页面点击【本地上传】按钮。 5. 选择【上传文件 】或【上传文件夹 】，在弹出的页面选择具体的文件或文件夹，并点击【上传】，完成文件上传。 6. 在【数据集管理 】页面点击【下载】按钮，进行文件下载。 JupyterLab上传/下载数据 前提条件 1. 已创建接入方式为JupyterLab的开发机。 2. 准备好需要上传的文件，该方法支持文件不支持文件夹，文件大小不能超过2G。不建议传输大文件。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【开发机】。 3. 在【开发机】页面中，打开一个运行中的JupyterLab开发机。选择挂载的数据集目录，并点击进入。 4. 按照下图操作指引，在JupyterLab页面上传或下载数据。 网盘上传/下载数据 使用方法详见网盘数据集

本文介绍了科研助手一种先付费再使用的包年包月计费模式。 适用场景 包周期计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求。以下是一些适用于包周期计费模式的业务场景： 稳定业务需求：对于长期运行且资源需求相对稳定的业务，例如大模型训练单任务运行时间较长的场景，包周期计费模式能提供较高的成本效益。 长期项目：对于周期较长的项目，例如科研类的模型训练，包周期计费模式可以确保在整个项目周期内资源的稳定使用。 约束限制 包周期的资源不能关机，不能更换资源规格，关机即退订。 适用计费项 计算资源（vCPU、GPU和NPU）支持包周期。 计费周期 包周期资源的计费周期是根据您购买的时长来确定的（以北京时间为准）。一个计费周期的起点是您开通或续费资源的时间（精确到秒），终点则是到期日的对应时间点。 例如，如果您在2024/04/06 15:50:04购买了一个时长为一个月的专属资源池，那么其计费周期为：2024/04/06 15:50:04 ~ 2024/05/08 15:50:04。 到期影响 购买后，在计费周期内资源正常运行；资源到期而未续费时，则进入冻结期。 到期预警 包周期资源在到期前7天内，用户将会收到系统推送的预警消息，消息将通过邮件和短信通知用户。 到期后影响 当您的包周期资源到期未释放且未续费，则包周期的资源将进入冻结状态，冻结期间无法删除资源，您可以选择续费解冻。若长时间未续费，那么计算资源（vCPU、GPU和和MEM）将被释放，数据无法恢复。