本章主要介绍翼MapReduce的恢复OMS数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对FusionInsight Manager系统进行重大数据调整等操作后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，需要对Manager进行恢复数据操作。 管理员可以通过FusionInsight Manager创建恢复Manager任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Manager数据。 对系统的影响 恢复过程中需要重启Controller，重启时FusionInsight Manager无法登录和操作。 恢复过程中需要重启所有集群，集群重启时无法访问。 Manager数据恢复后，会丢失从备份时刻到恢复时刻之间的数据，例如系统设置、用户信息、告警信息或审计信息。可能导致无法查询到数据，或者某个用户无法访问集群。 Manager数据恢复后，系统将强制各集群的LdapServer从OLadp同步一次数据。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查OMS资源状态是否正常，检查各集群的LdapServer实例状态是否正常。如果不正常，不能执行恢复操作。 检查集群主机和服务的状态是否正常。如果不正常，不能执行恢复操作。 检查恢复数据时集群主机拓扑结构与备份数据时是否相同。如果不相同，不能执行恢复操作，必须重新备份。 检查恢复数据时集群中已添加的服务与备份数据时是否相同。如果不相同，不能执行恢复操作，必须重新备份。 停止依赖集群运行的上层业务应用。

本节主要介绍负载不均衡的常见处理方法。 对于集群方式部署的实例，常见Shard间负载不均衡，一般有如下原因：没有做分片，片键选择不正确，不做chunk预置，shard间均衡速度低于数据插入速度等。 排查方法 步骤 1 通过客户端连接数据库。 步骤 2 执行如下命令，查看分片信息。 mongos> sh.status() Sharding Status sharding version: { "id" : 1, "minCompatibleVersion" : 5, "currentVersion" : 6, "clusterId" : ObjectId("60f9d67ad4876dd0fe01af84") } shards: { "id" : "shard1", "host" : "shard1/172.16.51.249:8637,172.16.63.156:8637", "state" : 1 } { "id" : "shard2", "host" : "shard2/172.16.12.98:8637,172.16.53.36:8637", "state" : 1 } active mongoses: "4.0.3" : 2 autosplit: Currently enabled: yes balancer: Currently enabled: yes Currently running: yes Collections with active migrations: test.coll started at Wed Jul 28 2021 11:40:41 GMT+0000 (UTC) Failed balancer rounds in last 5 attempts: 0 Migration Results for the last 24 hours: 300 : Success databases: { "id" : "test", "primary" : "shard2", "partitioned" : true, "version" : { "uuid" : UUID("d612d134a4994428ab21b53e8f866f67"), "lastMod" : 1 } } test.coll shard key: { "id" : "hashed" } unique: false balancing: true chunks: shard1 20 shard2 20 “databases”中列出的所有数据库都是通过enableSharding开放了分片的库。 “test.coll”表示开启分片的namespace信息，其中test为集合所在的库名，coll为开启分片的集合名。 “shard key”表示前面集合的分片键，分片方式“id : hashed”表示通过id进行哈希分片，如果是“id : 1”，则代表通过id的范围进行分片。 “chunks”代表分片的分布情况。 步骤 3 根据步骤2查询出的结果，分析分片信息。 1. 如果业务性能存在瓶颈的数据库和集合，在上述“databases”以及子项中不存在，则说明业务集合没有进行分片。对于集群来说这意味着业务只有一个Shard承载，没有应用DDS的水平扩展能力。 此场景下可以通过如下的命令开启分片，充分发挥实例的水平扩展能力。 mongos> sh.enableSharding(" ") mongos> use admin mongos> db.runCommand({shardcollection:" . ",key:{"keyname": }}) 2. 如果“shardKey”分片片键选择不合理，也会导致负载不均衡。典型场景有业务热点数据分布在某个范围内，而分片的片键选择范围分片的方式，那么可能会出现热点数据所在的chunk对应的Shard负载会明显的高于其他Shard，最终导致整体性能出现瓶颈。 此场景下可以通过重新设计片键的分布方式来达到目标，比如将范围分片修改为哈希分片。 mongos> db.runCommand({shardcollection:" . ",key:{"keyname": }}) 说明 一个集合选择了分片方式，则不能在原集合上随时修改。所在集合在设计阶段需要充分考虑分片方式。 更多关于设置数据分片的内容请参见 3. 如果存在集中大批量的插入数据的场景，数据量超过单shard承载能力的话，可能会出现Balance速度赶不上插入速度，导致主shard存储空间占用率过高。 此场景可以使用sar命令查看服务器网络连接情况，分析每个网卡的传输量和是否达到传输上限。 sar n DEV 1 //1为间隔时间 Average: IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil Average: lo 1926.94 1926.94 25573.92 25573.92 0.00 0.00 0.00 0.00 Average: A10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: A11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: NIC0 5.17 1.48 0.44 0.92 0.00 0.00 0.00 0.00 Average: NIC1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: A00 8173.06 92420.66 97102.22 133305.09 0.00 0.00 0.00 0.00 Average: A01 11431.37 9373.06 156950.45 494.40 0.00 0.00 0.00 0.00 Average: B30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 Average: B31 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 说明 “rxkB/s”为每秒接收的kB数。 “txkB/s”为每秒发送的kB数。 检查完后，按“Ctrl+Z”键退出查看。 对于网络过高的情况，建议对MQL语句进行分析，优化思路，降低带宽消耗，提升规格扩大网络吞吐能力。 建议排查业务是否存在分片集合的情况消息中未携带ShardKey的情况，此场景下请求消息会进行广播，增加带宽消耗。 控制客户端并发线程数，降低网络带宽流量。 以上操作无法解决问题时，请及时提升实例规格，高规格节点对应更高网络吞吐能力的虚拟机。

本节介绍如何配置Kafka之间的数据复制。 本章节介绍如何创建Kafka数据复制的Smart Connect任务，通过Smart Connect任务可以在两个Kafka实例之间，实现数据的单向或双向复制。 源Kafka实例中的数据会实时同步到目标Kafka实例中。 约束与限制 一个实例最多创建18个Smart Connect任务。 使用Kafka数据复制时，两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中，请先打通网络。 Smart Connect任务创建成功后，不支持修改任务参数。 确保目标Kafka实例Topic的“批处理消息最大值”大于等于524288字节，否则会导致数据无法同步。如果目标Kafka实例没有创建Topic，在数据同步时会自动创建Topic，此Topic的“批处理消息最大值”和源Kafka实例Topic相同，此时需要确保源Kafka实例Topic的“批处理消息最大值”大于等于524288字节。修改“批处理消息最大值”的方法请参考修改Kafka Topic配置。 前提条件 已开启Smart Connect。 已创建Kafka实例，且实例状态为“运行中”。 配置Kafka间的数据复制 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、单击“创建Smart Connect任务”，进入“创建smart connect”页面。 7、在“connect任务名称”中，输入Smart Connect任务的名称，用于区分不同的Smart Connect任务。任务名称需要符合命名规则：长度为4~64个字符，只能由英文字母、数字、中划线、下划线组成。 8、在“预置类型”中，选择“Kafka数据复制”。 9、在“当前kafka”区域，设置实例别名。实例别名需要符合命名规则：长度为1~20个字符，只能由英文字母、数字、中划线、下划线组成。 实例别名用于以下两个场景中： 开启“重命名Topic”，且“同步方式”为“推送”/“双向”时，当前Kafka实例的别名作为前缀添加到对端Kafka实例的Topic名称前，形成Topic新的名称。例如当前Kafka实例别名为A，对端Kafka实例的Topic名称为test，重命名后的Topic为A.test。 Kafka数据复制的Smart Connect任务创建成功后，当前Kafka实例会自动创建“mm2offsetsyncs. 对端Kafka实例别名 .internal”的Topic。如果Smart Connect任务开启了“同步消费进度”功能，且“同步方式”为“拉取”/“双向”时，当前Kafka实例还会自动创建“ 对端Kafka实例别名 .checkpoints.internal”的Topic。这两个Topic用于存储内部数据，如果删除，会导致同步数据失败。 10、在“对端kafka”区域，设置以下参数。 表11 对端Kafka实例参数说明 参数 参数说明 实例别名 设置实例别名，实例别名需要符合命名规则：长度为1~20个字符，只能由英文字母、数字、中划线、下划线组成。 实例别名用于以下两个场景中： 开启“重命名Topic”，且“同步方式”为“拉取”/“双向”时，对端Kafka实例的别名作为前缀添加到当前Kafka实例的Topic名称前，形成Topic新的名称。例如对端Kafka实例别名为B，当前Kafka实例的Topic名称为test01，重命名后的Topic为B.test01。 Kafka数据复制的Smart Connect任务创建成功后，如果Smart Connect任务开启了“同步消费进度”功能，且“同步方式”为“推送”/“双向”时，对端Kafka实例会自动创建“当前Kafka实例别名 .checkpoints.internal”的Topic。此Topic用于存储内部数据，如果删除，会导致同步数据失败。 配置类型 支持以下两种配置类型： Kafka地址：输入Kafka实例的连接信息。对端Kafka实例和当前Kafka实例处于不同的VPC下时，请选择此配置类型。 实例名称：选择已创建的Kafka实例。对端Kafka实例和当前Kafka实例处于相同的VPC下时，建议选择此配置类型。 实例名称 “配置类型”为“实例名称”，且对端Kafka实例和当前Kafka实例处于相同的VPC下时，需要设置。 在下拉列表中，选择已创建的Kafka实例。 Kafka地址 “配置类型”为“Kafka地址”时，需要设置。 输入Kafka实例的连接地址和端口号。 使用Kafka数据复制时，两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中，请先打通网络。 认证方式 支持以下认证方式： SASLSSL：表示实例已开启SASLSSL认证，客户端连接Kafka实例时采用SASL认证，数据通过SSL证书进行加密传输。 SASLPLAINTEXT：表示实例开启SASLPLAINTEXT认证，客户端连接Kafka实例时采用SASL认证，数据通过明文传输。 PLAINTEXT：表示实例未开启认证。 认证机制 “认证方式”为“SASLSSL”/“SASLPLAINTEXT”时，需要设置。 SCRAMSHA512：采用哈希算法对用户名与密码生成凭证，进行身份校验的安全认证机制，比PLAIN机制安全性更高。 PLAIN：一种简单的用户名密码校验机制。 用户名 “认证方式”为“SASLSSL”/“SASLPLAINTEXT”时，需要设置。 首次开启密文接入时设置的用户名，或者创建用户时设置的用户名。 密码 “认证方式”为“SASLSSL”/“SASLPLAINTEXT”时，需要设置。 首次开启密文接入时设置的密码，或者创建用户时设置的密码。 Smart Connect任务创建成功后，如果您修改了对端实例的认证方式、认证机制或者密码，会导致同步任务失败。 您需要删除当前Smart Connect任务，然后重新创建新的Smart Connect任务。 11、在“规则配置”区域，设置以下参数。 表12 复制数据规则参数说明 参数 参数说明 同步方式 支持以下三种同步方式： 拉取：把对端Kafka实例数据复制到当前Kafka实例中。 推送：把当前Kafka实例数据复制到对端Kafka实例中。 双向：两端Kafka实例数据进行双向复制。 Topics 设置需要进行数据复制的Topic。 正则表达式：通过正则表达式匹配Topic。 输入/选择：输入Topic名称，如果需要输入多个Topic名称，先输入一个Topic名称，按“Enter”，然后再输入下一个，按“Enter”，依次输入。或者在下拉列表中，选择Topic。最多输入/选择20个Topic。 Topic名称以internal结尾时（例如：topic.internal），此Topic的数据不会被同步。 任务数 数据复制的任务数。默认值为2，建议保持默认值。 如果“同步方式”为“双向”，实际任务数设置的任务数2。 重命名 Topic 在目标Topic名称前添加源端Kafka实例的别名，形成目标Topic新的名称。例如源端实例别名为A，目标Topic名称为test，重命名后的目标Topic为A.test。 两端实例数据双向复制时，开启“重命名Topic”，防止循环复制。 添加来源header 目标Topic接收复制的消息，此消息header中包含消息来源。 两端实例数据双向复制时，默认开启“添加来源header”，防止循环复制。 同步消费进度 开启“同步消费进度”后，将消费者消费进度同步到目标Kafka实例。 开启“同步消费进度”后，您需要注意以下几点： 源端Kafka实例和目标端Kafka实例不能同时消费，否则会导致同步的消费进度异常。 同步消费进度的频率为每分钟一次，因此会导致目标端的消费进度可能会略小于源端，造成部分消息被重复消费，所以需要消费者客户端业务逻辑兼容重复消费的场景。 从源端同步的offset与目标端的offset并非一致关系，而是映射关系，如果消费进度由消费者客户端自行维护，消费者客户端从消费源端Kafka实例变为消费目标端Kafka实例后，不向目标端Kafka实例获取消费进度，可能会导致offset错误或消费进度重置。 副本数 在对端实例中自动创建Topic时，指定Topic的副本数，此参数值不能超过对端实例的代理数。 如果对端实例中设置了“default.replication.factor”，此参数的优先级高于“default.replication.factor”。 启动偏移量 支持两种偏移量： 最早：最小偏移量，即获取最早的数据。 最新：最大偏移量，即获取最新的数据。 压缩算法 复制消息所使用的压缩算法。 topic映射 通过Topic映射，您可以自定义目标端Topic名称。 最多新增20个Topic映射。不能同时设置“重命名Topic”和“topic映射”。 配置复制数据规则时需要注意以下几点： 创建双向数据复制任务时，为了防止循环复制，控制台限定必须开启“重命名Topic”或者“添加来源header”。如果您在两个实例间，对同一个Topic分别创建拉取和推送的任务，即形成双向数据复制，且两个任务都未开启“重命名Topic”和“添加来源header”，此时会导致数据循环复制。 如果创建两个或以上配置完全相同的任务，即重复创建任务，且任务已开启“同步消费进度”，此时会导致数据重复复制，且目标Topic消费进度异常。 12、（可选）在页面右下角单击“开始检测”，测试两端Kafka实例的连通性。 显示“连通性检测成功”时，表示两端Kafka实例可以正常连接。 13、单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。 Kafka数据复制的Smart Connect任务创建成功后，Kafka会自动创建以下Topic。 当前Kafka实例会自动创建“mm2offsetsyncs. 对端Kafka实例别名 .internal”的Topic。如果Smart Connect任务开启了“同步消费进度”功能，且“同步方式”为“拉取”/“双向”时，当前Kafka实例还会自动创建“ 对端Kafka实例别名 .checkpoints.internal”的Topic。这两个Topic用于存储内部数据，如果删除，会导致同步数据失败。 如果Smart Connect任务开启了“同步消费进度”功能，“同步方式”为“推送”/“双向”时，对端Kafka实例会自动创建“ 当前Kafka实例别名 .checkpoints.internal”的Topic。此Topic用于存储内部数据，如果删除，会导致同步数据失败。 结束

GDS简介 GPUDirect Storage（GDS）是NVIDIA推出的一项关键技术，用于实现GPU显存与兼容存储系统之间的直接数据通路，从而绕过CPU和系统内存拷贝。该技术旨在解决高性能计算与AI训练场景中，存储I/O可能成为整体性能瓶颈的问题。其主要优势包括： 1. 降低数据访问延迟：缩短GPU等待数据的时间。 2. 提高有效带宽：最大化GPU从存储读取和写入数据的吞吐量。 3. 释放CPU资源：减少CPU在I/O路径上的介入，使其更专注于计算任务。 天翼云高性能并行文件服务HPFS已支持GPUDirect Storage技术。用户可在基于NVIDIA GPU的主机上，部署支持GDS的应用程序，并通过cuFile API直接访问HPFS文件系统。实测表明，相较于传统的POSIX API标准访问方式，此项优化可带来约30% 的吞吐性能提升，显著加速GPU数据处理流水线。 GDS原理 通过传统的POSIX API读取流程如下： plaintext int fd open(...) void sysmembuf, gpumembuf; sysmembuf malloc(bufsize); cudaMalloc(gpumembuf, bufsize); pread(fd, sysmembuf, bufsize); cudaMemcpy(sysmembuf, gpumembuf, bufsize, H2D); cuStreamSynchronize(0); 使用GDS API可以绕过CPU直接从HPFS读取，使得数据不经过内存直接从HPFS复制GPU显存，大幅提升性能: plaintext int fd open(filename, ODIRECT,...) CUFileHandlet fh; CUFileDescrt desc; desc.typeCUFILEHANDLETYPEOPAQUEFD; desc.handle.fd fd; cuFileHandleRegister(&fh, &desc); void gpumembuf; cudaMalloc(gpumembuf, bufsize); cuFileRead(&fh, gpumembuf, bufsize, ...);

GDS简介 GPUDirect Storage（GDS）是NVIDIA推出的一项关键技术，用于实现GPU显存与兼容存储系统之间的直接数据通路，从而绕过CPU和系统内存拷贝。该技术旨在解决高性能计算与AI训练场景中，存储I/O可能成为整体性能瓶颈的问题。其主要优势包括： 1. 降低数据访问延迟：缩短GPU等待数据的时间。 2. 提高有效带宽：最大化GPU从存储读取和写入数据的吞吐量。 3. 释放CPU资源：减少CPU在I/O路径上的介入，使其更专注于计算任务。 天翼云高性能并行文件服务HPFS已支持GPUDirect Storage技术。用户可在基于NVIDIA GPU的主机上，部署支持GDS的应用程序，并通过cuFile API直接访问HPFS文件系统。实测表明，相较于传统的POSIX API标准访问方式，此项优化可带来约30% 的吞吐性能提升，显著加速GPU数据处理流水线。 GDS原理 通过传统的POSIX API读取流程如下： plaintext int fd open(...) void sysmembuf, gpumembuf; sysmembuf malloc(bufsize); cudaMalloc(gpumembuf, bufsize); pread(fd, sysmembuf, bufsize); cudaMemcpy(sysmembuf, gpumembuf, bufsize, H2D); cuStreamSynchronize(0); 使用GDS API可以绕过CPU直接从HPFS读取，使得数据不经过内存直接从HPFS复制GPU显存，大幅提升性能: plaintext int fd open(filename, ODIRECT,...) CUFileHandlet fh; CUFileDescrt desc; desc.typeCUFILEHANDLETYPEOPAQUEFD; desc.handle.fd fd; cuFileHandleRegister(&fh, &desc); void gpumembuf; cudaMalloc(gpumembuf, bufsize); cuFileRead(&fh, gpumembuf, bufsize, ...);

本章节主要介绍云搜索服务（ES）的产品定义。 云搜索服务（简称ES）是一个基于Elasticsearch、OpenSearch且完全托管的在线分布式搜索服务，为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。云搜索服务是ELK生态的一系列软件集合，为您全方位提供托管的ELK生态云服务，兼容Elasticsearch、Logstash、Kibana、Cerebro等软件。 Elasticsearch和OpenSearch Elasticsearch、OpenSearch是开源搜索引擎，可以实现单机和集群部署，并提供托管的分布式搜索引擎服务。在ELK整个生态中，Elasticsearch集群支持结构化、非结构化文本的多条件检索、统计、报表。 云搜索服务支持自动部署，快速创建Elasticsearch集群和OpenSearch集群，免运维，内置搜索调优实践；拥有完善的监控体系，提供一系列系统、集群以及查询性能等关键指标，让用户更专注于业务逻辑的实现。 Logstash Logstash是一个开源数据收集引擎，具有实时管道功能。在ELK整个生态中，Logstash承担着数据接入的重要功能，可以动态地将来自不同数据源的数据统一起来，进行标准化的转换，然后将数据发送到指定的位置。 云搜索服务支持快速创建Logstash集群，Logstash是一款全托管的数据接入处理服务，100%兼容开源Logstash的能力。在生产系统中，数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash的出现，能够很轻松的帮助您处理各种来源的数据并转储到Elasticsearch云服务中，从而更加方便的发现其中的价值。同时您也可以单独使用Logstash云服务处理数据发送到其他的系统中。

Web应用防火墙（原生版） Web应用防火墙（原生版）（CTWAF，Web Application Firewall，简称WAF）基于三大引擎（安全模型检测引擎+智能语义检测引擎+机器学习检测引擎），结合设备指纹、无感验证码、动态人机挑战、动态环境验证、随机化混淆策略、AI驱动的实时决策等关键技术，支持多种常见编码自动还原能力，提供深度攻击防逃逸功能，构建完整的动态防御闭环，有效检测 SQL 注入、XSS 等基于形式语言的攻击类型，有效应对自动化工具、0day漏洞攻击等高风险威胁。打造专业的Web安全防护能力。可为用户Web应用提供一站式安全防护，对Web业务流量进行智能全方位检测，有效识别恶意请求特征并防御，避免源站服务器被恶意入侵，保护网站核心业务安全和数据安全。更多信息请参考++Web应用防火墙++ 配置方式： 如果您拥有弹性IP、公网NAT网关、弹性负载均衡等网络资产，并需要进行公网流量出入的互联网边界防护需求，您可以在云防火墙的“互联网边界开关”页面将这些网络资产接入云防火墙，并配置相关的互联网边界访问控制规则。具体操作，请参见++防火墙开关互联网边界防火墙++、++访问控制配置互联网边界防护规则++ 如果您拥有对等连接、云间高速、云专线等网络资产，并需要针对内网互访进行VPC边界防护，您可以在云防火墙的“VPC边界开关”页面将内网互访流量接入云防火墙，并配置相关的VPC边界访问控制规则。具体操作，请参见++防火墙开关VPC边界防火墙++、++访问控制配置VPC边界防护规则++

数据预热功能 SFS Turbo文件系统绑定OBS桶后，可以使用数据预热功能。 默认情况下，数据快速导入完成后，数据不会导入到SFS Turbo文件系统中，初次访问会按需从OBS中加载数据，对文件的第一次读取操作可能耗时较长。如果您的业务对时延比较敏感，并且您知道业务需要访问哪些目录和文件，比如AI训练等场景涉及海量小文件，对时延比较敏感，可以选择提前导入指定目录和文件。 数据预热功能会同时导入元数据和数据内容，元数据将会采用快速导入方式，不会导入其他附加元数据（如uid、gid、mode）。 1. 在绑定OBS桶之后，单击“数据预热”选项。 2. “对象路径”请填写绑定OBS桶内对象的路径（不包含桶名）。 说明 OBS桶中的对象路径（不包含桶名），目录需以“/”结尾。 如果要导入OBS桶内所有对象，则不用填写对象路径。SFS Turbo会将数据导入到联动目录下，且联动目录下的文件路径和OBS桶里的对象路径保持一致。 对象路径示例（“/mnt/sfsturbo”为您的挂载目录，“output1”为您的联动目录名称）： 如对象路径为dir/，则会导入到“/mnt/sfsturbo/output1/dir” 如对象路径为dir/file, 则会导入到“/mnt/sfsturbo/output1/dir/file” 如对象路径为空，则会直接导入到“/mnt/sfsturbo/output1” 3. （可选）填写高级配置信息，填写说明请参见表47。 4. 单击“确定”，提交导入任务。 说明 在OBS数据导入到SFS Turbo之后，如果OBS桶中的数据发生新增或修改，需要重新导入到SFS Turbo中。 不支持长度大于255字节的文件名或子目录名。

导入数据 使用适当的客户端，通过可连接关系数据库MySQL的设备，将上一步中导出的SQL文件导入到关系数据库MySQL的设备中，本例导出的SQL文件路径为/tmp。 说明 如果源数据库包含触发器、存储过程、函数或事件，则需要设置目标数据库参数logbintrustfunctioncreatorsON。 1. 登录已准备的弹性云主机，或可访问关系数据库MySQL的设备。 2. 客户端连接关系数据库MySQL实例，将导出的两个文件上传到实例上。 3. 导入数据到关系数据库MySQL，命令如下： sql mysql h P u p data.sql mysql h P u p trigger.sql 示例： sql mysql h xxx P xxx uroot p < /tmp/testdata.sql mysql h xxx P xxx uroot p < /tmp/testtrigger.sql 4. 导入成功后，登录关系数据库MySQL中查看数据是否正常。 常见问题 Q：ERROR 1273 (HY000) at line xx: Unknown collation: 'utf8mb40900aici'报错怎么解决？ A：可能是源数据库使用了与目标数据库不兼容的字符集，将utf8mb4unicodeci替换为utf8generalci、utf8mb4替换为utf8即可。 Q：ERROR 1046 (3D000) at line xx: No database selected报错怎么解决？ A：可能是将单表导出的数据再进行导入，建议指定待导入的数据库（testdb），示例： mysql h xxx P xxx uroot p testdb < /tmp/testdata.sql。

本文主要介绍产品优势。 云容器引擎的优势 云容器引擎是基于业界主流的Docker和Kubernetes开源技术构建的容器服务，提供众多契合企业大规模容器集群场景的功能，在系统可靠性、高性能、开源社区兼容性等多个方面具有独特的优势，满足企业在构建容器云方面的各种需求。 简单易用 ● 通过WEB界面一键创建Kubernetes集群，支持管理虚拟机节点或物理机节点，支持虚拟机与物理机混用场景。 ● 一站式自动化部署和运维容器应用，整个生命周期都在容器服务内一站式完成。 ● 通过Web界面轻松实现集群节点和工作负载的扩容和缩容，自由组合策略以应对多变的突发浪涌。 ● 通过Web界面一键完成Kubernetes集群的升级。 ● 集成Helm模板能力，实现开箱即用。 高性能 ● 基于天翼云计算、网络、存储等基础能力，提供高性能云端kubernetes托管服务，支撑您业务的高并发、大规模场景。 ● 容器集群支持纳管物理机及GPU云主机，可提供高性能计算能力，满足AI、科学计算等场景需求。 安全可靠 ● 高可靠:集群控制面支持3 Master HA高可用，当其中某个或者两个控制节点故障时，集群依然可用，从而保障您的业务高可用。集群内节点和工作负载支持跨可用区(AZ)部署，帮助您轻松构建多活业务架构，保证业务系统在主机故障、机 房中断、自然灾害等情况下可持续运行，获得生产环境的高稳定性，实现业务系统高可用。 ●高安全：私有集群，完全由用户掌控，并整合统一身份认证和Kubernetes RBAC能力，支持用户在界面为子用户设置不同的RBAC权限。

本文为您介绍天翼云云搜索服务的混合检索能力及使用方法。 功能简介 混合检索（Hybrid Search）是天翼云云搜索服务的核心增强功能，支持在同一查询中同时执行关键词检索（BM25）和向量相似度搜索。该能力通过融合传统搜索的精准匹配与AI模型的向量化能力，显著提升复杂场景的搜索质量，尤其适用于电商搜索、内容推荐、多模态搜索等需兼顾文本相关性与语义相似性的场景。 注意 目前只有OpenSearch类型实例支持混合检索功能。 使用示例 删除旧索引 java DELETE /hybridproducts 创建新索引 1分片0副本 + 8维向量 typescript PUT /hybridproducts { "settings": { "index": { "knn": true, "knn.algoparam.efsearch": 200, "numberofshards": 1, "numberofreplicas": 0 } }, "mappings": { "properties": { "productid": { "type": "keyword" }, "title": { "type": "text", "analyzer": "ikmaxword" }, "featurevector": { "type": "knnvector", "dimension": 8 }, "price": { "type": "float" } } } } 插入数据 新增三条产品数据 plaintext POST /hybridproducts/doc/101 { "productid": "P12345", "title": "金属便携咖啡杯", "featurevector": [0.12, 0.23, 0.34, 0.45, 0.56, 0.67, 0.78, 0.89], "price": 89.9 } POST /hybridproducts/doc/102 { "productid": "P22357", "title": "不锈钢保温杯带茶隔", "featurevector": [0.09, 0.21, 0.37, 0.48, 0.51, 0.62, 0.74, 0.81], "price": 69.0 } POST /hybridproducts/doc/103 { "productid": "P33489", "title": "陶瓷茶杯礼盒装", "featurevector": [0.33, 0.44, 0.55, 0.66, 0.77, 0.88, 0.99, 0.10], "price": 129.9 }

开启IPv6公网访问 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka”，进入分布式消息服务Kafka专享版页面。 4. 单击Kafka实例的名称，进入实例的“基本信息”页面。 5. 在“连接信息”区域，获取并记录“内网连接地址”的IPv6地址。在“网络”中，获取并记录虚拟私有云和子网。 图3 实例详情页 6. 在管理控制台左上角单击，选择“网络 > 弹性IP”，进入“弹性IP”页面。 7. 在左侧导航栏单击“共享带宽”，进入“共享带宽”页面。 8. 申请一个共享带宽，具体操作请参考申请共享带宽。 如果已有共享带宽，可重复使用，无需再次申请。 9. 在共享带宽所在行，单击“添加公网IP”，弹出“添加公网IP”对话框。 10. 设置如表5参数，单击“确定”。 表5 添加公网IP参数 参数 说明 公网IP 选择“IPv6网卡” 所属VPC 在下拉框中选择5中记录的虚拟私有云。 子网 在下拉框中选择5中记录的子网，并勾选5中记录的全部IPv6地址。 图4 添加公网IP 11. 共享带宽配置成功后，需要在Kafka实例的安全组中设置如表6所示规则，才能成功通过IPv6地址连接Kafka。 表6 Kafka实例安全组规则（IPv6访问） 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv6 9192 ::/0 通过IPv6地址访问Kafka实例（关闭SSL加密）。 入方向 TCP IPv6 9193 ::/0 通过IPv6地址访问Kafka实例（开启SSL加密）。 说明 客户端通过IPv6的公网连接Kafka实例时，Kafka的连接地址为“内网连接地址”中的IPv6地址。 通过IPv6的公网连接Kafka实例时，客户端网卡必须添加到共享带宽中。客户端网卡所在的共享带宽和Kafka实例所在的共享带宽不需要为同一个，共享带宽间网络默认互通。

不同操作系统切换须知 不同操作系统间的切换是指Windows与Linux操作系统之间的互相切换。 Windows系统更换为Linux系统：请安装读写Windows系统的NTFS分区工具，例如NTFS3G等。 Linux系统更换为Windows系统：请安装可以识别ext3、ext4等分区的识别软件，例如Ext2Read、Ext2Fsd等。 说明 云平台不推荐您将Linux系统更换为Windows系统，当Linux系统中存在LVM分区时，切换为Windows系统后可能会导致LVM逻辑分区无法识别。 前提条件 待切换操作系统的弹性云主机挂载有系统盘。 切换操作系统会清除系统盘数据，包括系统盘上的系统分区和所有其它分区，请做好数据备份。 如果原服务器使用的是密码登录方式，切换操作系统后使用密钥登录方式，请提前创建密钥文件。 如果您使用私有镜像切换操作系统请参考《镜像服务用户指南》提前完成私有镜像的制作。 − 如果需要指定弹性云主机器的镜像，请提前使用指定弹性云主机创建私有镜像。 − 如果需要使用本地的镜像文件，请提前将镜像文件导入并注册为云平台的私有镜像。 − 如果需要使用其他帐号的私有镜像，请提前完成镜像共享。 操作步骤 1. 登录管理控制台。 2. 选择“计算 > 弹性云主机”。 3. 在待切换操作系统的弹性云主机的“操作”列下，单击“更多 > 镜像/磁盘 > 切换操作系统”。 切换操作系统前请先将云主机关机。 4. 根据需求选择需要更换的弹性云主机规格，包括“镜像类型”和“镜像”。 相关参数说明请参见创建弹性云主机。 5. 设置登录方式。 如果待切换操作系统的弹性云主机是使用密钥登录方式创建的，此时可以更换使用新密钥。 6. 单击“确定”。 7. 在“切换云主机操作系统”页面，确认切换的操作系统规格无误后，单击“提交申请”。 提交切换操作系统的申请后，弹性云主机的状态变为“切换中”，当该状态消失后，表示切换结束。 说明 切换操作系统过程中，会创建一台临时弹性云主机，切换操作系统结束后会自动删除。

本文为您介绍配置部分防护策略时，系统支持设置的匹配字段。 在进行云WAF的防护配置时，CC防护、精准访问控制、白名单、BOT防护均涉及定义规则匹配条件。本文具体描述了规则匹配条件中支持使用的字段及其释义。 什么是匹配条件、匹配动作 在进行云WAF的防护配置时，您可以自定义CC防护规则、自定义精准访问策略、自定义白名单规则、自定义BOT防护规则，自定义规则由匹配条件与匹配动作构成。在创建规则时，通过设置匹配字段和相应的匹配内容定义匹配条件，并针对符合匹配条件的访问请求设置相应的动作。 匹配条件 匹配条件包含匹配字段、逻辑符、匹配内容。每一条自定义规则中最多允许设置多个匹配条件组合，且各个条件间是“与”的逻辑关系，即访问请求必须同时满足所有匹配条件才算命中该规则，并执行相应的匹配动作。 匹配动作 Web基础防护白名单规则中的匹配动作表示不检测模块，其他自定义防护策略的匹配动作表示处置动作，具体配置方式请参见各防护模块配置说明。 支持匹配的字段 匹配字段 适用的逻辑符 字段描述 请求参数值 包含、相等、正则匹配 请求的参数value，包括query和form，如/?p123中的123 请求参数名 包含、相等、正则匹配 请求的参数key，包括query和form，如/?p123中的p Cookie 包含、相等、正则匹配、统计次数、统计个数 请求的Cookie值 请求路径 包含、相等、正则匹配、统计次数、统计个数 请求的路径，不包含域名和参数，未解码 请求URI 包含、相等、正则匹配、统计次数、统计个数 请求的URI，带参数 请求头值 包含、相等、正则匹配 请求header的值 请求头名 包含、相等、正则匹配 请求header的名字 请求方法 包含、相等、正则匹配、统计次数、统计个数 请求方法 请求大小 大于等于、小于等于 请求的大小 请求Host 包含、相等、正则匹配、统计次数、统计个数 请求Host头的值 请求referer 头 包含、相等、正则匹配、统计次数、统计个数 请求referer头的值 请求UserAgent 包含、相等、正则匹配、统计次数、统计个数 请求UserAgent 请求体 包含、相等、正则匹配、统计次数 请求体 请求端口 相等、统计次数、统计个数 请求的端口 源IP 属于、不属于 请求来源IP

本章节会介绍MySQL读写分离的功能 读写分离是指通过一个读写分离的连接地址实现读写请求的自动转发。创建只读实例后，您可以开通读写分离功能，通过RDS的读写分离连接地址，写请求自动访问主实例，读请求按照读权重设置自动访问各个实例。 Proxy负载均衡基于负载的自动调度策略，实现多个只读节点间的负载均衡。 备注：目前支持的局点有华北、广州4、苏州、深圳。 功能限制 注意 由于开启读写分离时，系统会自动删除已有的帐户rdsProxy，然后自动创建新的rdsProxy帐户，关闭读写分离时，系统也会自动删除已有的帐户rdsProxy。因此，建议您不要创建rdsProxy帐户，防止被系统误删除。 开启读写分离功能，需要RDS for MySQL为主备实例，并且主实例规格大于或等于4U8GB。 读写分离地址都是内网地址，只能通过内网连接。 开通读写分离时必须保证至少有一个只读实例，且主实例和只读实例必须处于同一Region。 开启读写分离功能后，删除RDS for MySQL主实例，会同步删除只读实例，并关闭读写分离功能。 开启读写分离功能后，主实例和只读实例均不允许修改数据库端口、安全组和内网地址，建议先修改完端口或内网地址后再启用读写分离。 读写分离功能不支持SSL加密。 读写分离功能不支持压缩协议。 读写分离不支持事务隔离级别READUNCOMMITTED。 如果执行了MultiStatements，当前连接的后续请求会全部路由到主节点，需断开当前连接并重新连接才能恢复读写分离。 使用读写分离的连接地址时，事务请求都会路由到主实例，不保证非事务读的一致性，业务上有读一致性需求可以封装到事务中。 使用读写分离的连接地址时， LASTINSERTID() 函数仅支持在事务中使用。 使用读写分离的连接地址时，show processlist命令的执行结果不具有一致性。 使用读写分离的连接地址时，不支持使用show errors和show warnings命令。 使用读写分离的连接地址时，不支持用户自定义变量，如SET @variable语句。 使用读写分离的连接地址时，如果存储过程(procedure)和函数(function)中依赖了用户变量，即@variable，则运行结果可能不正确。

类别 影响 大Key 造成规格变更失败。 Redis集群变更规格过程中会进行数据rebalance（节点间迁移数据），单个Key过大的时候会触发Redis内核对于单Key的迁移限制，造成数据迁移超时失败，Key越大失败的概率越高，大于512MB的Key可能会触发该问题。 大Key 造成数据迁移失败。 数据迁移过程中，如果一个大Key的元素过多，则会阻塞后续Key的迁移，后续Key的数据会放到迁移机的内存Buffer中，如果阻塞时间太久，则会导致迁移失败。 大Key 容易造成集群分片不均的情况。 各分片内存使用不均。例如某个分片占用内存较高甚至首先使用满，导致该分片Key被逐出，同时也会造成其他分片的资源浪费。 各分片的带宽使用不均。例如某个分片被频繁流控，其他分片则没有这种情况。 大Key 客户端执行命令的时延变大。 对大Key进行的慢操作会导致后续的命令被阻塞，从而导致一系列慢查询。 大Key 导致实例流控。 对大Key高频率的读会使得实例出方向带宽被打满，导致流控，产生大量命令超时或者慢查询，业务受损。 大Key 导致主备倒换。 对大Key执行危险的DEL操作可能会导致主节点长时间阻塞，从而导致主备倒换。 热Key 容易造成集群分片不均的情况。 造成热Key所在的分片有大量业务访问而同时其他的分片压力较低。这样不仅会容易产生单分片性能瓶颈，还会浪费其他分片的计算资源。 热Key 使得CPU冲高。 对热Key的大量操作可能会使得CPU冲高，如果表现在集群单分片中就可以明显地看到热Key所在的分片CPU使用率较高。这样会导致其他请求受到影响，产生慢查询，同时影响整体性能。业务量突增场景下甚至会导致主备切换。 热Key 易造成缓存击穿。 热Key的请求压力过大，超出Redis的承受能力易造成缓存击穿，即大量请求将被直接指向后端的数据库，导致数据库访问量激增甚至宕机，从而影响其他业务。

图表类型 使用场景 图表是一种常见的数据展示方式，它通过将数据结构化整理，实现了数据的比较和统计，在许多情况下都可以使用。 柱状图用于描述分类数据，直观展现每个分类项之间的大小对比关系。在统计近一天各种错误码类型出现次数等分类统计场景中特别适用。 时序图要求被统计的数据具备时间顺序字段，根据时间顺序来组织和聚合指标。它能够清晰地展现指标随时间变化的趋势。 饼图用于表示不同分类的占比情况，各分类项的比例由扇区大小来体现。适用于分析错误码占比等情况的统计场景。 流图是围绕中心轴线进行布局的一种堆叠面积图。不同的分类信息使用不同颜色的线条代表，原数据集中的时间属性，将默认映射到X轴上，以三维关系进行展示。 数字图用于表示单一数据，能够更好地展示单一的数据信息和关键指标，可重点突出关键信息和数据。 散点图是一种在直角坐标系平面上，通过数据点展示两个变量关系的图表。 词云图可用于进行数据可视化，如展示文本数据中关键词的频率分布。 漏斗图适用于业务流程比较规范、周期长、环节多的单流程单向分析。 雷达图用于展示多维数据。 拓扑图主要用直观地展示系统架构、服务间的依赖关系以及数据流的方向

本章节介绍应用容灾多活的产品定义。 产品定义 应用容灾多活包含架构加管控的解决方案，提供引导式的应用架构改造接入和一站式的云产品协同管理，实现应用异地集群间日常态的流量分发多活以及容灾态的数据一致性保障，助力企业的容灾稳定性建设，提升客户应用的业务连续性。 容灾的不同等级 容灾的基本方式，是在生产站点以外建立冗余站点，灾难发生后，冗余站点可以接管用户正常的业务，达到业务不间断的目的。按照容灾系统对应用系统的保护程度可以分为数据级容灾、应用级容灾和业务级容灾。 数据级容灾：仅将生产中心的数据复制到容灾中心，在生产中心出现故障时，仅能实现存储系统的接管或数据的恢复。基于数据级容灾实现业务恢复的速度较慢，需要在容灾站点恢复数据实例和部署应用，通常情况下RTO在天级别。 应用级容灾：在数据级容灾的基础上，增加对生产中心系统的基本复制，容灾中心建立起一套和本地生产环境相当的备份环境，包括主机、网络、应用等资源。当生产系统发生灾难时，异地系统可以提供完全可用的生产环境，应用级容灾的RTO通常在小时级别。 业务级容灾：容灾中心具备业务系统的完全复制，生产中心与容灾中心对业务请求同时进行处理，故障时只需切换业务流量，能够确保业务持续可用。采用这种方式，业务恢复过程的自动化程度高，RTO可以做到分钟级别。 灾备容灾建立在数据级和应用级容灾基础之上，在异地冗余一套应用系统的部分或全部备份，平时不对外提供服务，根据备份时效和颗粒度不同，业务在灾难发生时按照约定的时间和版本恢复运行。 多活容灾是业务级容灾，应用系统分布在多个站点同时对外提供服务，与灾备模式相比拥有更高的资源利用率和系统扩展性，当灾难发生时，多活系统可以实现分钟级业务流量切换，用户甚至感受不到灾难发生。

本文主要介绍使用MirrorMaker跨集群数据同步。 应用场景 在以下场景，使用MirrorMaker进行不同集群间的数据同步，可以确保Kafka集群的可用性和可靠性。 备份和容灾：企业存在多个数据中心，为了防止其中一个数据中心出现问题，导致业务不可用，会将集群数据同步备份在多个不同的数据中心。 集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。 方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原理如图1所示，MirrorMaker本质上也是生产消费消息，首先从源集群中消费数据，然后将消费的数据生产到目标集群。如果您需要了解更多关于MirrorMaker的信息，请参见Mirroring data between clusters。 图 MirrorMaker 原理图 约束与限制 源集群中节点的IP地址和端口号不能和目标集群中节点的IP地址和端口号相同，否则会导致数据在Topic内无限循环复制。 使用MirrorMaker同步数据，至少需要有两个或以上集群，不可在单个集群内部使用MirrorMaker，否则会导致数据在Topic内无限循环复制。 实施步骤 1、 购买一台弹性云主机，确保弹性云主机与源集群、目标集群网络互通。具体购买操作，请参考购买弹性云主机。 2、 登录弹性云主机，安装Java JDK，并配置JAVAHOME与PATH环境变量，使用执行用户在用户家目录下修改“.bashprofile”，添加如下行。其中“/opt/java/jdk1.8.0151”为JDK的安装路径，请根据实际情况修改。 export JAVAHOME/opt/java/jdk1.8.0151 export PATHJAVAHOME/bin:PATH 执行source .bashprofile命令使修改生效。 说明 弹性云主机默认自带的JDK可能不符合要求，例如OpenJDK，需要配置为Oracle的JDK，可至Oracle官方下载页面

迈向终极训练效率 通过算法、框架和硬件的协同设计，克服了跨节点MoE训练中的通信瓶颈，几乎实现了完全的计算通信重叠。显著提高训练效率并降低了训练成本。 DeepSeekR1的知识提炼 引入了一种创新方法，将长链思维（CoT）模型的推理能力，特别是DeepSeek R1系列模型之一的推理能力、验证和反射模式整合到DeepSeekV3，显著提高了它的推理性能。 版本列表 版本列表 版本说明 DeepSeekV3 DeepSeekV3是DeepSeek团队开发的新一代专家混合（MoE）语言模型，相比前代DeepSeekV2模型，在性能、效率和功能上有显著提升。 相关资源及引用 相关资源 使用DeepSeekV3 Base/Chat模型需遵守模型许可证。 DeepSeekV3系列（包括Base和Chat）支持商用。 相关引用 plaintext @misc{deepseekai2024deepseekv3technicalreport, title{DeepSeekV3 Technical Report}, author{DeepSeekAI and Aixin Liu and Bei Feng and Bing Xue and Bingxuan Wang and Bochao Wu and Chengda Lu and Chenggang Zhao and Chengqi Deng and Chenyu Zhang and Chong Ruan and Damai Dai and Daya Guo and Dejian Yang and Deli Chen and Dongjie Ji and Erhang Li and Fangyun Lin and Fucong Dai and Fuli Luo and Guangbo Hao and Guanting Chen and Guowei Li and H. Zhang and Han Bao and Hanwei Xu and Haocheng Wang and Haowei Zhang and Honghui Ding and Huajian Xin and Huazuo Gao and Hui Li and Hui Qu and J. L. Cai and Jian Liang and Jianzhong Guo and Jiaqi Ni and Jiashi Li and Jiawei Wang and Jin Chen and Jingchang Chen and Jingyang Yuan and Junjie Qiu and Junlong Li and Junxiao Song and Kai Dong and Kai Hu and Kaige Gao and Kang Guan and Kexin Huang and Kuai Yu and Lean Wang and Lecong Zhang and Lei Xu and Leyi Xia and Liang Zhao and Litong Wang and Liyue Zhang and Meng Li and Miaojun Wang and Mingchuan Zhang and Minghua Zhang and Minghui Tang and Mingming Li and Ning Tian and Panpan Huang and Peiyi Wang and Peng Zhang and Qiancheng Wang and Qihao Zhu and Qinyu Chen and Qiushi Du and R. J. Chen and R. L. Jin and Ruiqi Ge and Ruisong Zhang and Ruizhe Pan and Runji Wang and Runxin Xu and Ruoyu Zhang and Ruyi Chen and S. S. Li and Shanghao Lu and Shangyan Zhou and Shanhuang Chen and Shaoqing Wu and Shengfeng Ye and Shengfeng Ye and Shirong Ma and Shiyu Wang and Shuang Zhou and Shuiping Yu and Shunfeng Zhou and Shuting Pan and T. Wang and Tao Yun and Tian Pei and Tianyu Sun and W. L. Xiao and Wangding Zeng and Wanjia Zhao and Wei An and Wen Liu and Wenfeng Liang and Wenjun Gao and Wenqin Yu and Wentao Zhang and X. Q. Li and Xiangyue Jin and Xianzu Wang and Xiao Bi and Xiaodong Liu and Xiaohan Wang and Xiaojin Shen and Xiaokang Chen and Xiaokang Zhang and Xiaosha Chen and Xiaotao Nie and Xiaowen Sun and Xiaoxiang Wang and Xin Cheng and Xin Liu and Xin Xie and Xingchao Liu and Xingkai Yu and Xinnan Song and Xinxia Shan and Xinyi Zhou and Xinyu Yang and Xinyuan Li and Xuecheng Su and Xuheng Lin and Y. K. Li and Y. Q. Wang and Y. X. Wei and Y. X. Zhu and Yang Zhang and Yanhong Xu and Yanhong Xu and Yanping Huang and Yao Li and Yao Zhao and Yaofeng Sun and Yaohui Li and Yaohui Wang and Yi Yu and Yi Zheng and Yichao Zhang and Yifan Shi and Yiliang Xiong and Ying He and Ying Tang and Yishi Piao and Yisong Wang and Yixuan Tan and Yiyang Ma and Yiyuan Liu and Yongqiang Guo and Yu Wu and Yuan Ou and Yuchen Zhu and Yuduan Wang and Yue Gong and Yuheng Zou and Yujia He and Yukun Zha and Yunfan Xiong and Yunxian Ma and Yuting Yan and Yuxiang Luo and Yuxiang You and Yuxuan Liu and Yuyang Zhou and Z. F. Wu and Z. Z. Ren and Zehui Ren and Zhangli Sha and Zhe Fu and Zhean Xu and Zhen Huang and Zhen Zhang and Zhenda Xie and Zhengyan Zhang and Zhewen Hao and Zhibin Gou and Zhicheng Ma and Zhigang Yan and Zhihong Shao and Zhipeng Xu and Zhiyu Wu and Zhongyu Zhang and Zhuoshu Li and Zihui Gu and Zijia Zhu and Zijun Liu and Zilin Li and Ziwei Xie and Ziyang Song and Ziyi Gao and Zizheng Pan}, year{2024}, eprint{2412.19437}, archivePrefix{arXiv}, primaryClass{cs.CL}, url{ }

本文介绍了如何在科研助手中使用预置好的DeepSeekR1 7B模型服务。 概述 DeepSeekR1 是幻方量化旗下 AI 公司深度求索（DeepSeek）研发的一款高性能推理模型。该模型使用强化学习技术进行后训练，专注于提升在数学、代码和自然语言推理等复杂任务上的表现。 DeepSeekR1 在需要逻辑推理、思维链推理和实时决策的任务中表现出色，如解决高级数学问题、生成复杂代码、解析复杂科学问题等。在类似Codeforces的挑战场景中获得了2029 Elo评分；在复杂推理基准测试中，表现与OpenAI的o1模型相当。尽管总共有6710亿的庞大参数，但每次前向传递时仅激活370亿个参数，比大多数大模型更加高效的利用资源。 当前在科研助手的社区镜像中，我们已经为您提前部署好了完整的服务，方便您即刻体验，开箱即用。 准备环境 1. 进入科研助手控制台，点击左上角，切换“科研版”。 2. 进入“科研版”总览页，点击快捷入口【找应用】，进入应用商城。 3. 在“应用商城”中，找到名为“DeepSeekR1:7B模型”的镜像，点击【使用此镜像】，进入开发机创建界面。 4. 在购买页面中，【基础信息】【主机规格】一栏，用户可以按照如下配置选择。 配置 算力型号 可用区 ::: 最低配置 GPU.gn3.m1 厦门4、扬州7 推荐配置 GPU.gn4.2xl1 贵阳2 高端配置 NVIDIA A100 40G 中卫4 这里以NVIDIAA10040G为例，框架版本已默认选好【社区镜像】的“openwebuideepseekr1cuda11.3”。 5. 点击【确认订单】，完成开发机创建并启动。

本节介绍云智助手的个人专属智库内容。 个人专属智库支持多种文件类型（包括 Word、PPT、Excel、PDF、TXT 和图片）上传至会话中，并基于文件内容提供智能问答服务。用户可随时上传文件至个人知识库，并对其进行管理。智能问答将根据用户上传的内容生成更贴合需求的回复，贴近业务场景，越用越懂你。个人智库无需开通，可直接使用。 管理个人专属智库 【操作步骤】： 1.用户登录AI云电脑，打开“云智助手”，点击右上角个人头像； 2.点击“ 专属智库 ”，进入智库管理页面； 3.点击“ 个人专属智库 ”，点击“上传文件””，可将个人文件直接上传到个人专属智库，支持 Word、Excel、PPT、PDF、TXT、图片等文件格式； 4.或开启“聊天文件自动上传”，支持在对话窗口中文件自动上传到个人专属智智库。 选择个人智库及指定文件进行提问 方式一：选择个人智库，适合需要串联多份工作文档，提炼规律或复用经验。 1.打开“云智助手”，点击对话窗口中的“专属智库”； 2.选择指定的专属智库，云智助手会优先使用指定的智库内容进行推理回复。 方式二：选择指定个人智库文件提问，适合单文件细节解析、精准信息提取 1.打开“云智助手”，点击对话窗口中的“专属智库”； 2.选择智库页面，点击选择部分文件夹； 3.在个人智库详情页面，选择需要引用的文件或文件夹。

为了更方便部署,当前多地域资源池可使用云主机启动模版部署DeepSeekR1大模型。通过创建启动模板,可以一键从模板开通多台云主机,快速拉起服务。 当前功能邀测中,您可提交工单进行申请。 前置步骤 进入创建云主机启动模板页面 1. 点击天翼云门户首页的“控制中心”，输入登录的用户名和密码，进入控制中心页面。 2. 单击“产品服务列表>弹性云主机”，进入计算控制台，单击“云主机启动模板”，进入启动模板列表页。 3. 单击“创建启动模板”，进入云主机实例模版创建页。 大模型服务器启动模板配置 1. 根据业务需求配置“计费模式”、“地域”、“可用区”、“企业项目”、“虚拟私有云”等。 2. 选择规格。此处选择"CPU架构"为"X86"、"分类"为"GPU加速/AI加速型"、"规格族"为"GPU计算加速型pi7"、"规格"为"pi7.4xlarge.4"。 3. 选择镜像。“镜像类型”选择“镜像市场”，在云镜像市场中选择预置了DeepSeekR1模型的DeepSeekR17BUbuntu22.04镜像。 注意 本镜像推荐配置：内存≥8G、显存≥16G。 注意 目前提供了预装多种量化精度、多种参数量的模型，如您有需求，也可在云镜像市场中进行选择。 4. 设置云盘类型和大小。 5. 根据需要设置网络，包括"网卡"、"安全组"，同时配备 "弹性IP" 用于下载和访问模型；设置高级配置，包括"登录方式"、"云主机组"、"用户数据"。 6. 填写此模板名称，创建启动模板。

Open WebUI是一个可扩展、功能丰富、用户友好的自托管WebUI，它支持各种LLM运行程序，包括Ollama和OpenAI兼容的API。并且内置了 RAG（检索增强生成）推理引擎 ，使其成为一个功能强大的 AI 部署解决方案。Deepseek 云主机自带 Open WebUI，通过GPU云主机自带 Open WebUI，本文简述了如何通过 Open WebUI快速体验本地和第三方大模型。 注意 GPU云主机镜像自带的ollama监听127.0.0.1:11434、vllm 监听 0.0.0.0:8000、openwebui 监听 0.0.0.0:3000 端口，云主机默认不对外开放任何端口访问，请按需开放端口访问规则，避免数据泄露。 开放云主机端口 云主机安全组需要放行3000端口，添加安全组规则帮助文档。 注册管理员账号 Deepseek云主机内置可视化界面，云主机启动 5 分钟后，可访问 (yourip 这台云主机的eip) 体验DeepSeek。 首次登录页面如下： 点击开始使用，注册管理员账号： 基本配置 Open WebUI有强大的设置功能，可根据需要进行设置，点击左下角进入设置页面。 首先在通用设置中，将语言设置为简体中文。 进入管理员设置。 如果您不想开放其他用户注册使用，则需要关闭 “允许用户注册” 功能。 如果你允许用户注册，还可以设置用户注册后的行为，例如将新用户注册后的默认用户角色设为“用户”或“待激活”等，这些用户需要管理员手动激活：

本节介绍印刷文字识别产品的API调用方法。 1.选择产品聚合页 点击【产品人工智能】，选择【印刷文字识别】，打开对应的产品聚合页。 2.打开帮助中心 点击【产品文档】，跳转到对应的文档中心，文档中心内“API参考”章节介绍了API调用的相关说明。 3.查看API的请求地址 API的请求地址格式为：{终端节点地址}+{对应接口URI}。 3.1终端节点地址 3.2对应接口URI 对应印刷文字识别下的具体产品。 以通用型OCR为例，选择【API参考API通用型OCR】，右侧即可查看URI。 4.查看接口文档 以通用型OCR为例：点击【API参考API】，选择【通用型OCR】，右侧即可查看、请求方法、接口要求、请求URI、请求参数、返回值说明、状态码等信息。 5.构造请求 点击【API参考如何调用API】，选择【构造请求】。 6.认证鉴权 在帮助中心菜单中点击【认证鉴权】，可根据右侧步骤完成认证鉴权。 具体步骤：信息的获取——基本签名流程——创建待签名字符串——构造动态密钥——签名应用及示例。 7.调试接口并查看状态码 调试后，如果API返回状态码为200，表示请求成功，API调试结束。

本节介绍云智助手的个人专属智库内容。 个人专属智库支持多种文件类型（包括 Word、PPT、Excel、PDF、TXT 和图片）上传至会话中，并基于文件内容提供智能问答服务。用户可随时上传文件至个人知识库，并对其进行管理。智能问答将根据用户上传的内容生成更贴合需求的回复，贴近业务场景，越用越懂你。个人智库无需开通，可直接使用。 管理个人专属智库 【操作步骤】： 1.用户登录AI云电脑，打开“云智助手”，点击右上角个人头像； 2.点击“ 专属智库 ”，进入智库管理页面； 3.点击“ 个人专属智库 ”，点击“上传文件””，可将个人文件直接上传到个人专属智库，支持 Word、Excel、PPT、PDF、TXT、图片等文件格式； 4.或开启“聊天文件自动上传”，支持在对话窗口中文件自动上传到个人专属智智库。 选择个人智库及指定文件进行提问 方式一：选择个人智库，适合需要串联多份工作文档，提炼规律或复用经验。 1.打开“云智助手”，点击对话窗口中的“专属智库”； 2.选择指定的专属智库，云智助手会优先使用指定的智库内容进行推理回复。 方式二：选择指定个人智库文件提问，适合单文件细节解析、精准信息提取 1.打开“云智助手”，点击对话窗口中的“专属智库”； 2.选择智库页面，点击选择部分文件夹； 3.在个人智库详情页面，选择需要引用的文件或文件夹。

本文介绍内容审核产品的API调用指南。 1.选择产品聚合页 点击【产品人工智能】，选择【内容审核】，打开对应的产品聚合页。 2.打开帮助中心 点击【产品文档】，跳转到对应的产品文档，产品文档中【API参考】章节介绍了API调用的相关说明。 3.查看API的请求地址 API的请求地址格式为：{终端节点地址}+{对应接口URL}。 3.1终端节点地址 3.2对应接口URL 以图片鉴黄为例，选择【API参考API图片鉴黄】，右侧即可查看URL。 4.查看接口文档 以图片鉴黄为例：点击【API参考API】，选择【图片鉴黄】，右侧即可查看、请求方法、接口要求、请求URL、请求参数、返回值说明、状态码等信息。 5.构造请求 点击【API参考如何调用API】，选择【构造请求】。 6.认证鉴权 在帮助中心菜单中点击【认证鉴权】，可根据右侧步骤完成认证鉴权。 具体步骤：信息的获取——基本签名流程——创建待签名字符串——构造动态密钥——签名应用及示例。 7.调试接口并查看状态码 调试后，如果API返回状态码为200，表示请求成功，API调试结束。

菜单 功能模块 MySQL PostgreSQL SQL Server DRDS MongoDB DDS ClickHouse Oracle 查询窗口 SQL执行 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 脚本保存 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 格式化 支持 支持 支持 支持 不支持 不支持 支持 支持 查询窗口 执行计划 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 查询窗口 SQL诊断 支持 支持 支持 不支持 不支持 不支持 不支持 不支持 查询窗口 语法帮助 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 查询窗口 智能提示 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 执行历史 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 结果集可视化编辑 支持 支持 支持 支持 支持 支持 不支持 不支持 查询窗口 结果集导出 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 表结构可视化编辑 支持 支持 支持 不支持 不支持 不支持 不支持 不支持 查询窗口 管理员模式 支持 支持 支持 支持 不支持 不支持 不支持 支持 数据导出 整表导出 支持 支持 支持 支持 不支持 不支持 支持 支持 数据导出 SQL导出 支持 支持 支持 支持 支持 支持 支持 支持 数据导出 集合导出 不支持 不支持 不支持 不支持 支持 支持 不支持 不支持 数据导入 CSV导入 支持 支持 支持 支持 支持 支持 支持 支持 数据导入 SQL导入 支持 支持 支持 支持 不支持 不支持 支持 支持 数据导入 TXT导入 支持 支持 支持 支持 不支持 不支持 支持 支持 数据导入 JSON导入 不支持 不支持 不支持 不支持 支持 支持 不支持 不支持 数据导入 EXCEL导入 支持 支持 支持 支持 不支持 不支持 支持 支持 结构对比 结构对比 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 数据对比 数据对比 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 SQL变更 SQL变更 支持 支持 不支持 支持 不支持 不支持 不支持 支持 数据资产 实例管理 支持 支持 支持 支持 不支持 不支持 支持 支持 数据资产 敏感数据保护 支持 支持 不支持 支持 不支持 不支持 不支持 不支持 数据资产 数据权限管理 支持 支持 支持 支持 不支持 不支持 不支持 不支持 智能运维 实例概览 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 实例画像 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 一键诊断 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 会话管理 支持 支持 支持 不支持 不支持 不支持 不支持 不支持 智能运维 SQL限流 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 实时性能 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 诊断报告 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 空间分析 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 锁分析 支持 支持 支持 不支持 不支持 不支持 不支持 不支持 智能运维 性能洞察 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 数据追踪 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 异常管理 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 SQL治理 慢SQL 支持 不支持 不支持 支持 不支持 支持 不支持 不支持 SQL治理 SQL审计 支持 支持 支持 不支持 不支持 支持 不支持 不支持 SQL治理 SQL规范 支持 支持 不支持 支持 不支持 不支持 不支持 支持 SQL治理 SQL风险 支持 支持 不支持 支持 不支持 不支持 不支持 支持 SQL治理 SQL审核 支持 支持 不支持 支持 不支持 不支持 不支持 支持 安全协作 DMS SQL审计 支持 支持 支持 支持 不支持 不支持 不支持 不支持 安全协作 DMS 操作审计 支持 支持 支持 支持 支持 支持 支持 支持 AI智能 SQL生成 支持 支持 支持 支持 不支持 不支持 不支持 不支持 AI智能 SQL纠错 支持 支持 支持 支持 不支持 不支持 不支持 不支持

本章节介绍微服务治理中心MSGC子产品的产品规格 微服务治理中心支持专业版及企业版两种规格，您可以按需选择合适的规格，具体能力差异如下： 核心功能 功能说明 专业版 企业版 服务查询 支持查看应用下服务的提供者、消费者和接口元数据等信息。 √ √ 微服务可观测 支持查看最近5分钟的监控数据。 √ √ 金丝雀发布 支持在应用发布时，可以为新版本的应用打上gray的标签，通过按流量比例路由或按内容路由的方式，将灰度流量引入带有gray标签的应用中，从而达到小规模验证的目的。 √ √ 标签路由 支持将每个服务打上一个标签，通过标签将标签相同的服务分为同一个分组，然后约束流量在同一个分组内流转。 √ √ 无损上下线 无损上线：支持在服务上线时，提供服务预热、延迟注册服务的能力解决流量损失问题。 无损下线：保证应用在下线、重启时流量零损耗。 √ √ 错误注入 支持模拟微服务间异常调用。 √ √ 离群实例摘除 支持监测下游实例的可用性，并摘除异常实例。 √ √ 推空保护 支持当注册中心返回了空列表，此时客户端忽略该空返回的变更，从缓存中获取上一次正常的服务端地址进行服务访问。 √ √ 服务鉴权 支持为提供者的服务设置鉴权规则，允许或拒绝某个消费者访问服务。 √ √ 服务测试 支持在控制台填写调用参数、发起服务调用，并得到服务调用的结果。 √ √ 自动化回归 支持通过用例管理和用例集管理能力实现功能快速回归。 √ √ 服务Mock 支持模拟真实后端服务。 √ √ 事件中心 支持通过事件类型和事件来源维度查询事件记录，感知微服务治理事件。 √ √ 操作日志 支持记录关键治理中心操作日志。 √ √ 流量防护 支持以流量为切入口，对请求流量进行流量控制、熔断降级和系统保护等操作。 × √ 网关防护 支持针对SpringCloud Gateway和Zuul应用实现流量控制。 × √ 全链路灰度 支持将多个相同版本的应用划分为同一个泳道，通过全链路流量控制的功能将相同版本的应用隔离成一个独立的运行环境（泳道）。 × √ 功能开关 提供了一个轻量级的动态配置框架，可以在项目中快速接入配置，并在控制台实时管理配置项。 × √ 数据库治理 支持SQL监控统计、SQL流量防护、连接池治理、数据库灰度、数据库读写路由等功能。 × √ 全局鉴权 支持通过创建鉴权规则，实现多个微服务之间通信的身份验证。 × √

本章节主要介绍创建用户并授权使用分布式消息服务RabbitMQ。 如果您需要对您所拥有的分布式消息服务RabbitMQ服务进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的帐号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用分布式消息服务RabbitMQ资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将分布式消息服务RabbitMQ资源委托给更专业、高效的其他帐号或者云服务，这些帐号或者云服务可以根据权限进行代运维。 如果帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用分布式消息服务RabbitMQ服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如图1所示。 说明 分布式消息服务RabbitMQ服务的权限与策略基于分布式消息服务DMS，因此在IAM服务中为RabbitMQ分配用户与权限时，请选择并使用“DMS”的权限与策略。 前提条件 给用户组授权之前，请您了解用户组可以添加的分布式消息服务RabbitMQ系统策略，并结合实际需求进行选择，分布式消息服务RabbitMQ支持的系统策略及策略间的对比，请参见：权限管理。 示例流程 图1 给用户授权RabbitMQ权限流程 1. 创建用户组并授权 在IAM控制台创建用户组，并授予RabbitMQ的只读权限“DMS ReadOnlyAccess”。 2. 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。 3. 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择分布式消息服务RabbitMQ，进入RabbitMQ实例主界面，单击右上角“购买RabbitMQ实例”，尝试购买RabbitMQ实例，如果无法购买RabbitMQ实例（假设当前权限仅包含DMS ReadOnlyAccess），表示“DMS ReadOnlyAccess”已生效。 在“服务列表”中选择云硬盘（假设当前策略仅包含DMS ReadOnlyAccess），若提示权限不足，表示“DMS ReadOnlyAccess”已生效。

本节介绍了网络配置的其他问题。 如何查看云主机的mac地址？ 本节介绍如何查看云主机的mac地址。 说明 云主机的mac地址不支持修改。 Linux操作系统（CentOS 6） ifconfig 图 查看MAC地址 Linux操作系统（CentOS 7） 1. 登录Linux云主机。 2. 执行以下命令，查看云主机的mac地址。 ifconfig 图 查看网卡信息 3. 执行以下命令查看eth0的mac地址。 ifconfig eth0 egrep "ether" 图 查看eth0的mac地址 4. 返回mac地址 ifconfig eth0 egrep "ether" awk '{print $2}' 图 查看eth0的mac地址 Windows操作系统 1. 使用快捷键“Win+R”，打开“运行”窗口。 2. 在“打开”栏，输入“cmd”，单击“确定”。 3. 执行以下命令，查看云主机的mac地址。 ipconfig /all 网络性能测试方法 手把手教你用netperf工具、iperf3工具，测试弹性云主机间网络性能。主要包括“测试准备”、“TCP带宽测试”、“UDP PPS测试”和“时延测试”。 背景信息 被测机：被压力测试网络性能的弹性云主机，可作为netperf测试中的client端（发送端）或server端（接收端）。 辅助云主机：弹性云主机，用于netperf测试中的client端（发送端）或server端（接收端），用于与被测机建立连接，传递测试数据。 测试工具常用参数说明如下表所示。 表 netperf工具常用参数说明 参数 参数说明 :: p 端口号 H 接收端IP地址 t 发包协议类型，测带宽时参数值为“TCPSTREAM” l 测试时长 m 数据包大小，测试带宽时建议设置为“1440” 表 iperf3工具常用参数说明 参数 参数说明 :: p 端口号 c 接收端IP地址 u UDP报文 b 发送带宽 t 测试时长 l 数据包大小，测试PPS时建议设置为“16” A iperf3占用的cpu编号。本文示例中假设ECS最大为16vcpu，实际中根据ECS CPU数量进行循环。如ECS为8vcpu，则A范围07，07。

本节介绍了云容器引擎的Service类常见问题。 Kubernetes集群中访问LoadBalancer类型Service的ELB地址不通? 对于LoadBalancer类型Service，KubeProxy会将Service的ELB地址绑定到节点的kubeipvs0网卡上，或配置到iptables转发中，当在Kubernetes集群中访问该ELB地址时，请求不会转发到ELB实例，而是被ipvs/iptables转发到对应的后端Pod。如果Service设置了“externalTrafficPolicy:Local”，这时如果节点上没有对应的后端Pod，就会出现网络访问不通的问题。 可以参考以下解决方法处理： 访问集群内的Service服务时，使用服务的ClusterIP或服务名称进行访问 将Service的外部流量策略externalTrafficPolicy改为Cluster，这样请求就能被转发到所有节点的Pod Kubernetes集群内无法访问该集群LoadBalancer类型Service对应ELB的其他端口？ 问题描述 在Kubernetes集群中，如果KubeProxy采用ipvs转发，则LoadBalancer类型Service的ELB地址会被绑定到节点的kubeipvs0网卡上，导致流量不会被转发到ELB实例，IPVS会根据请求地址和端口转发到Service对应的后端Pod。如果其他Kubernetes集群或其他外部服务复用了该集群LoadBalancer类型Service对应的ELB，在该集群内就会出现无法访问这些服务的情况。 处理建议 如果存在LoadBalancer类型Service对应ELB被其他Kubernetes集群或外部服务复用时，建议服务部署在KubeProxy使用iptables模式的集群，iptables匹配不到请求地址及端口，流量会被网络路由到ELB实例 如果KubeProxy都是使用ipvs模式，建议不同Kubernetes集群间暴露LoadBalancer类型Service使用不同的ELB实例 Service使用的ELB在什么情况下会被自动删除？ 只有CCM（Cloud Controller Manager）自动创建的ELB，在以下几种情况，才会被自动删除： 1. 删除Service时，CCM创建的ELB会被自动删除。 2. Service类型由LoadBalancer改为其他类型（如NodePort）时，CCM创建的ELB会被删除。 3. 退订集群时，选择同步删除弹性负载均衡的资源。 4. 通过Service注解（service.beta.kubernetes.io/ctyunloadbalancerreserved: "false"）指定强制删除ELB。 LoadBalancer类型Service未自动新建ELB实例