云应用引擎 CAE（Cloud App Engine）是集成 IaaS + PaaS 的 Serverless PaaS 平台，支持多种方式部署应用和任务，支持主流微服务框架和开源任务框架。CAE采用最小化闲置资源原则，以秒级弹性伸缩性能为您打造高效的低成本服务。 应用全托管免运维 CAE采用一站式、全托管的应用管理界面，让您可以聚焦核心业务，专注于业务的逻辑开发，无需考虑底层资源，例如集群可用性、容量和性能等方面的问题，减少繁杂的运维管理。同时，CAE采用一站式、全托管的管理界面，为应用和任务提供开箱即用的生命周期管理、可观测等功能，帮您快速排查故障。 精细化成本管理 告别传统模式下为峰值流量而长期预留固定资源的低效做法。CAE让您转向按量付费，精准匹配应用的实际负载，并结合一键启停（如批量管理开发/测试环境），彻底消除资源闲置成本，实现企业级资源的精细管控与成本优化。 丰富的弹性策略 CAE 提供多层次、自动化的弹性策略，保障应用在负载波动下始终稳定运行、成本最优： 指标弹性：基于 CPU、内存等核心监控指标自动扩缩容，实时响应业务压力。 定时弹性：根据预设的日程（如工作日/大促）自动调整实例数，提前应对规律性流量。 混合弹性：可灵活组合定时与指标策略，实现对复杂场景的精细化、自动化容量管理。

抽帧工具ivtalDecoder转码参数说明 plaintext mode 0 fi 指定抽帧间隔 thread 指定线程数量 指定输入视频 指定输出抽帧后像素文件 运行示例1 plaintext 执行命令 ivtalDecoder mode 0 fi 400 thread 1 movie.mp4 movieivtal2.yuv 命令解释： ivtalDecoder 使用视频抽帧工具（英特尔版） mode 0 fi 400 指定每隔400帧抽一帧 thread 1 用一个线程 movie.mp4 输入1920x1080 24fps的电影场景视频 movieivtal2.yuv 指定输出像素文件的名字 执行结果如图 plaintext 日志解释： save yuv2 一共抽出来多少帧 real0.713 一共耗时多少 性能提升说明 下面是在规格c8.4xlarge.2云主机下的视频转码测试结果对比的数据。 优化前 plaintext ffmpeg i movie.mp4 c:v libx264 crf 22 psnr out.mp4 优化后 plaintext ffmpeg i movie.mp4 c:v libx264 mvreuse 2 crf 22 psnr out.mp4 过程中cpu利用率为11%。 指标 优化前 优化后 PSNR（dB） 48.3 48.3 Bitrate（kbps） 6399.5 6173.9 FPS（帧/秒） 55 85 CPU利用率（%） 18% 11% 优化后相比优化前，cpu利用率明显下降，视频转码fps提升55%。

本文主要解决修改/etc/security/limits.conf文件后重启系统,配置项不生效的问题。 可能原因 在Linux操作系统云主机中，/etc/security/limits.conf配置文件主要用于设置系统中用户或用户组的资源限制。可在配置文件中指定用户、用户组以及资源限制的具体值。该文件中的配置会影响到整个系统范围内的用户或进程。但这些配置会受到/etc/security/limits.d/ 目录中的配置的影响，因为/etc/security/limits.d/目录中的配置优先级高于/etc/security/limits.conf。 如果遇到修改/etc/security/limits.conf文件，重启后配置项不生效问题，可能原因是/etc/security/limits.d/目录中的配置项覆盖了/etc/security/limits.conf文件中的值。 解决步骤 1. 进入/etc/security/limits.d/目录内，查看是否有配置文件内容与/etc/security/limits.conf文件中修改的配置项冲突。如果有则尝试修改这些文件中的配置，或者删除冲突的文件。 2. 如果想要在/etc/security/limits.d/目录中创建新的配置文件来配置资源限制，确保没有在多个配置文件中重复定义相同的配置项。同时可用数字前缀来指定配置文件的加载顺序，确保正确的加载顺序。 3. 在确认配置项已经全部正确设置后，需重新启动系统以确保新的配置生效。 4. 如果问题仍然存在，检查位于/var/log目录下的系统日志，获取关于配置项加载冲突等更多的信息。

本文主要介绍云日志服务如何为日志空缺字段赋值。 在日志加工中，您可以使用eset函数为日志空缺字段赋值。 场景1：原字段不存在或者为空时，为字段赋值 函数： eset("result", "......value......", mode"fill") mode参数取值见下表： 参数值 说明 fill 当目标字段不存在或者值为空时，设置目标字段。 fillauto 当新值非空，且目标字段不存在或者值为空时，设置目标字段。 add 当目标字段不存在时，设置目标字段。 addauto 当新值非空，且目标字段不存在时，设置目标字段。 overwrite 总是设置目标字段。 overwriteauto 当新值非空，设置目标字段。 示例： 原始日志 name: 加工规则 eset("name", "aspara2.0", mode"fill") 加工结果 name: aspara2.0 场景2：为多个字段赋值 函数： eset("k1", "v1", "k2", "v2", "k3", "v3", ......) 示例： 原始日志 source: 192.168.0.1 topic: tag: receivetime: id: 7990 teststring: 加工规则 则 为topic字段、tag字段和receivetime字段赋值。 eset("topic","app", "tag","stu","receivetime","1597214851") 加工结果 source: 192.168.0.1 topic: app tag: stu receivetime: 1597214851 id: 7990 teststring:

本文主要介绍结构化解析JSON模式。 概述 支持解析Object类型的JSON日志，提取JSON日志内容作为KeyValue键值对，即Object首层的键作为Key，Object首层的值作为Value。 示例 如您需要采集的原始数据为： 原始日志： plaintext {"timelocal":"22/Jan/2019:19:19:34 +0800","bodysent":23,"responsetime":0.232,"upstreamtime":"0.232","httphost":"127.0.0.1","method":"POST","request":"POST","xff":"","referer":" (Windows NT 10.0; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0","responsecode":"200"} 经过结构化处理后，采集到云日志服务后的日志如下： plaintext agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0 bodysent: 23 httphost: 127.0.0.1 method: POST referer: request: POST responsecode: 200 responsetime: 0.232 timelocal: 12/Jan/2023:21:33:18 +0800 upstreamtime: 0.232 xff: message: {"timelocal":"22/Jan/2019:19:19:34 +0800","bodysent":23,"responsetime":0.232,"upstreamtime":"0.232","httphost":"127.0.0.1","method":"POST","request":"POST","xff":"","referer":" (Windows NT 10.0; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0","responsecode":"200"} 配置说明 在日志接入流程中创建采集配置步骤中，切割模式选择JSON模式即可。

本文介绍主机接入配置完成后未采集到日志的处理方法。 问题现象 已完成接入配置，但一直未采集到日志。 可能原因 日志采集器未正常运行。 采集路径配置错误。 业务当前无产生日志，或部分时间段有日志，部分时间段无日志。 日志时间错误问题，日志上报至未来时间或已超出日志主题存储时长的时间。 解决方法与排查思路 1. 检查采集器状态是否正常。请参考检查采集器运行状态。若采集器状态为正常，但仍无日志，请继续进行以下排查。 2. 检查日志采集配置中的采集路径是否配置正确，例如日志目录path是否正确。更多关于日志采集路径的说明请参考接入云主机文本日志。 3. 增加检索时间区间，查看其他时段是否能检索到日志。可能为该时间段确实无日志，请检查自身业务在指定时间段是否产生日志。 4. 在日志单元配置页面，查看当前配置的日志保存时间；请确保日志检索时的时间区间在日志保存时间范围内，在范围以外的日志不再保存，故检索不到。 5. 日志采集器只会采集新增内容，如果目标文件没有更新，则不会采集数据，也不会有数据上报，因此查询不到日志。 若以上解决方法均无法解决您的问题，请提交工单进行报障处理。

本节介绍云容器引擎的最佳实践：集群规格推荐规划。 集群规格规划 Kubernetes集群的稳定性受到两方面因素的影响，一方面是资源对象的数量，另一方面是节点的规格和数量。对于后者而言，选择小数量、大规格的ECS搭建集群或者大数量、小规格的ECS搭建集群都可能存在较大的隐患。因此对集群规格进行合理规划显得尤为重要。 在考虑ECS规格时，需要考虑以下因素： 网络带宽：大规格ECS的网络带宽优于小规格，适用于对带宽需求较大的应用。 网络通信：容器在同一大规格ECS内部建立链路的比例增大，可以避免跨ECS访问，减少网络开销。 容量：ECS系统需要预留一部分CPU、内存、磁盘等节点资源，用于集群管理和基础设施组件的运行。小规格ECS由于抢占资源等因素，使得集群的稳定性和可靠性降低的概率大增。 碎片化：节点资源分配时，小规格ECS更容易被少数甚至一个容器独占，导致不一致或不连续的资源需求难以有效组合，进而造成资源浪费。 镜像拉取：大规格ECS更能有效地利用容器镜像的分层机制，提升拉取镜像的效率。 ECS数量的考量因素： 小数量的ECS，在节点故障时，由于资源冗余不足，可能导致无法及时处理故障节点外排的业务。 大数量的ECS极大地考验Master的性能和稳定性。

本节介绍网络的用户指南：Service概述 Pod地址可变性 Pod销毁重建后，其IP地址也会变化，例如deployment工作负载升级时，新建的pod地址会改变。Kubernetes的Service可提供一个固定的IP地址（来自订购集群时配置的服务网段）和Service域名，结合标签选择器，对一组pod做负载均衡。客户端可通过该地址或域名访问IP地址可变的pod。如下图所示，nginx部署的前端服务，通过service地址访问后端服务. Service类型 Service支持如下类型： 1. ClusterIP：Service默认类型，用于集群内应用间访问，客户端可通过ClusterIP或内部Service域名访问后端Pod； 2. NodePort：用于集群外部访问集群内服务，将Service通过集群节点固定端口暴露，集群外部可通过任一集群节点IP和该固定端口来访问Serivce； 3. LoadBalancer：用于集群外部访问集群内服务，通过LoadBalancer实例访问NodePort或直通Pod，相对于NodePort方式，有更高的可用性和性能； 4. Headless：该类Service没有IP地址，可用于DNS负载均衡场景，客户端访问Service域名时会通过DNS返回该Service所有后端Pod的IP地址； 5. ExternalName：将集群外部域名映射到集群内部Service上，使得集群内可通过Service名访问外部域名。 Service创建 登录云容器引擎控制台，进入指定集群，选择服务（Service）>创建，按需配置信息即可。

本节主要介绍复制参数模板。 操作场景 您可以复制您创建的自定义数据库参数模板。当您已创建一个数据库参数模板，并且想在新的数据库参数模板中包含该组中的大部分自定义参数和值时，复制参数模板是一个方便的解决方案。您还可以导出某数据库实例应用的参数列表，生成一个新的参数模板，供您后期使用。 您无法复制默认参数模板。不过，您可以创建基于默认参数模板的新参数模板。 操作步骤 1. 登录管理控制台。 2. 在服务列表中选择“数据库 > 云数据库 GeminiDB”。 3. 在左侧导航栏，单击“参数模板管理”。 4. 在参数模板管理页面的“自定义”页签，选择需要复制的参数模板，单击“复制”。 除了上述操作，您还可以在“实例管理”页面，单击实例名称，在左侧导航栏，单击“参数修改”，单击“导出”，将该实例对应参数列表导出并生成一个参数模板，供您后期使用。 5. 在弹出框中，填写新参数模板名称及描述，单击“确定”。 图1 复制参数模板 参数模板名称在1位到64位之间，区分大小写，可包含字母、数字、中划线、下划线或句点，不能包含其他特殊字符。 描述不能超过256位，且不能包含回车和> ! < " & ' 特殊字符。 创建完成后会生成一个新的参数模板，您可在参数模板列表中对其进行管理。

本节主要介绍Kvrocks到GeminiDB Redis的迁移方案。 Kvrocks是一款开源的兼容Redis生态的NoSQL keyvalue数据库，底层基于RocksDB实现，并提供namespace功能支持数据分区。Kvrocks集群管理功能相对薄弱，自建集群时需要与外部组件配合，Kvrocks支持的redis命令还不够全面，例如缺少在消息流和统计场景经常使用的stream及hyperloglog数据结构。 GeminiDB Redis是一款兼容Redis生态的云原生NoSQL数据库，基于共享存储池的多副本强一致机制，保证数据的安全可靠。GeminiDB Redis具有高兼容、高性价比、高可靠、弹性伸缩、高可用、无损扩容等特点。不亚于RedisCluster的兼容度，使用户在应用时无需修改代码，可直接使用，100%兼容原生接口。GeminiDB Redis在适配Kvrocks业务的同时，还能克服器管理能力弱、对Redis兼容度不高等缺点。 迁移原理 使用开源工具kvrocks2redis进行Kvrocks到GeminiDB Redis的迁移，在此基础上，从GeminiDB Redis源码层面对Kvrocks的namespace功能进行适配。 迁移过程分为全量和增量两个阶段：迁移开始后，先进行全量迁移，此时对kvrocks打快照，并记录对应的数据版本（seq）。然后解析全量数据文件成redis命令写入GeminiDB Redis。全量迁移完成后进入持续的增量迁移过程，迁移工具循环给Kvrocks发送PSYNC命令，将获取到的增量数据不断转发给GeminiDB Redis，完成增量迁移 。

本文主要介绍原地升级。 操作场景 您可以通过云容器引擎管理控制台升级集群版本，以支持新特性的使用。 升级前，请先了解CCE各集群版本能够升级到的目标版本，以及升级方式和升级影响，详情请参见集群升级概述和升级前须知。 升级说明 集群的升级采用原地升级方式更新节点上的Kubernetes组件，升级后不会改变节点上的OS版本。 数据面节点升级时将采用分批升级的方式，默认会选择根据CPU、内存、PDB（Pod Disruption Budget，即为应用程序设置干扰预算）等设置节点升级的优先级，您也可以根据您的业务需要自行设置优先级。 注意事项 集群升级过程中会自动升级插件到目标集群兼容的版本，升级过程中请不要卸载或者重装插件。 升级之前请确认所有的插件都处于运行状态，如果插件升级失败可以在插件问题修复后，重试升级。 升级时会检查插件运行状态，部分插件（如CoreDNS）需要至少两个节点才能维持正常状态，那此时升级就至少需要两个节点。 若在集群升级过程中出现升级失败的提示，请参照提示信息修复问题后点击重试，若重试后仍未成功升级，请提交工单联系我们协助您进行修复。 更多注意事项请参见升级前须知。

原因分析 1. 写入冲突：当多个客户端同时向同一个索引写入数据时，可能会发生写入冲突，导致部分写入操作被推迟或重试，从而降低写入速度。 2. 磁盘 I/O 限制：写入操作需要频繁访问磁盘。如果磁盘 I/O 性能不佳或资源被其他任务占用，写入速度会受到影响。 3. 缓冲区溢出：云搜索服务在写入数据时会使用内存缓冲区。如果缓冲区满了，系统会强制刷新到磁盘，这个过程可能会拖慢写入速度。 4. 垃圾回收（GC）问题：如果节点的 JVM 频繁进行垃圾回收，特别是 Full GC，系统性能会受到影响，导致写入速度下降。 解决方案 1. 优化写入并发：避免高并发写入到同一索引，可以通过拆分索引或批量写入方式减少冲突。调整客户端的并发写入线程数和批量写入大小。 2. 提升磁盘性能：使用更高性能的磁盘设备（如 SSD），确保磁盘 I/O 不是瓶颈。检查系统中是否有其他进程占用了磁盘资源，影响了写入速度。 3. 调整刷新间隔：可以通过增加刷新间隔来减少缓冲区强制刷新到磁盘的频率，如下述命令将延长刷新时间，允许更多的数据在内存中积累，从而减少写入延迟。 PUT INDEXNAME/settings { "index.refreshinterval": "30s" } 4. 优化垃圾回收设置：监控 JVM 的垃圾回收行为，必要时升级到 G1 GC 或调整堆内存大小，减少 GC 对性能的影响。

本文介绍告警管理功能的使用方式。 操作步骤 1. 登录ECX控制台。 2. 点击左侧栏【服务管理>告警管理】并进入。 3. 告警管理版块可以查看和管理告警配置、告警模板、告警消息。 说明 告警管理版块支持对以下类型的资源实例或场景进行监控告警：边缘虚拟机【类型请选择“边缘虚机”】、边缘虚拟机带宽、边缘裸金属带宽、NAT网关、边缘云专线实例，及边缘虚拟机带宽汇总、边缘裸金属带宽汇总。 新增告警策略 1. 登录ECX控制台， 点击【服务管理>告警管理>告警配置】，可以查看配置的告警策略。 2. 点击【+新增告警规则】，创建一个告警策略。 3. 输入策略名称、选择监控类型、输入备注信息。 4. 选择对指定资源进行告警，还是对所有资源进行告警。如果对指定资源进行告警，还需要选择具体告警对象。 5. 支持通过模板快速配置，可以在【服务管理>告警管理>告警模板】中创建和管理告警策略模板。 6. 选择告警恢复时是否需要通知。 7. 选择告警级别，支持紧急告警、警告告警、注意告警三个级别。 8. 配置告警指标，选择具体的指标、条件、阈值，当监控对象满足条件时，将会触发此告警策略、产生告警消息。 9. 设置告警通知策略：选择告警接收组，当产生告警消息时，将会通知接收组中配置的联系人。通知方式支持邮件、短信，是否支持重复通知、接收通知的周期和时间段。接收组在【服务管理>消息管理>消息接收组】中配置。

参数 描述 数据流动方向 选择“入云”。 源数据库引擎 选择“DRDS”。 目标数据库引擎 选择“MySQL”。 网络类型 此处以公网网络为示例。目前支持可选公网网络、VPC网络和VPN、专线网络。 目标数据库实例 用户所创建的关系型数据库实例。 同步实例所在子网 请选择同步实例所在的子网。也可以单击“查看子网”，跳转至“网络控制台”查看实例所在子网帮助选择。默认值为当前所选数据库实例所在子网，请选择有可用IP地址的子网。为确保同步实例创建成功，仅显示已经开启DHCP的子网。 IP类型 选择迁移实例的IP类型，目前支持选择“IPv4”或“IPv4&IPv6双栈”。只有所选择的VPC及子网都开启了IPv6双栈功能，才能选择IP类型为“IPv4&IPv6双栈”。 同步模式 全量+增量该模式为数据持续性实时同步，通过全量过程完成目标端数据库的初始化后，增量同步阶段通过解析日志等技术，将源端和目标端数据保持数据持续一致。 说明 选择“全量+增量”同步模式，增量同步可以在全量同步完成的基础上实现数据的持续同步，无需中断业务，实现同步过程中源业务和数据库继续对外提供访问。 源端数据库实例个数 源端DRDS绑定的实例个数，默认值2，输入值在1到64之间，您需要根据源端实际情况设置该值大小。

本文向您介绍通过企业版VPN实现云上云下网络互通（双活模式）的组网和资源规划。 数据规划 类别 规划项 规划值 VPC 待互通子网 192.168.0.0/24 192.168.1.0/24 VPN网关 互联子网 用于VPN网关和VPC通信，请确保选择的互联子网存在4个及以上可分配的IP地址。 192.168.2.0/24 VPN网关 HA模式 双活 VPN网关 EIP地址 EIP地址在购买EIP时由系统自动生成，VPN网关默认使用2个EIP。本示例假设EIP地址生成如下： 主EIP：1.1.1.2 主EIP2：2.2.2.2 VPN连接 Tunnel接口地址 用于VPN网关和对端网关建立IPsec隧道，配置时两边需要互为镜像。 VPN连接1：169.254.70.1/30 VPN连接2：169.254.71.1/30 用户数据中心 待互通子网 172.16.0.0/16 对端网关 公网IP地址 公网IP地址由运营商统一分配。本示例假设公网IP地址如下： 1.1.1.1 对端网关 Tunnel接口地址 VPN连接1：169.254.70.2/30 VPN连接2：169.254.71.2/30 IKE/IPsec策略 预共享密钥 Test@123 IKE/IPsec策略 IKE策略 版本：v2 认证算法：SHA2256 加密算法：AES128 DH算法：Group 15 生命周期（秒）：86400 本端标识：IP Address 对端标识：IP Address IKE/IPsec策略 IPsec策略 认证算法：SHA2256 加密算法：AES128 PFS：DH Group15 传输协议：ESP 生命周期（秒）：3600

本文主要介绍云日志服务的操作符函数。 条件判断函数 函数 说明 opif 根据判断条件返回不同表达式的值。 opifnull，opcoalesce 返回第一个值不为None的表达式的值。 opnullif 如果表达式1等于表达式2，返回None。否则返回表达式1的值。 opand 使用逻辑运算and，对任意类型值进行真假判断，所有参数值为真时返回True。 opnot 使用逻辑运算not，对任意类型值进行真假判断，返回参数值的反义布尔值。 opor 使用逻辑运算or，对任意类型值进行真假判断。当任意参数值为真时返回True，所有参数值为假时返回False。 比较 函数 说明 opeq 按照ab条件进行计算，返回True或False。a和b类型必须一致，例如都是字符串、数字或者列表。 opge 按照a>b条件进行计算，返回True或False。a和b类型必须一致，例如都是字符串、数字或者列表。 opgt 按照a>b条件进行计算，返回True或False。a和b类型必须一致，例如都是字符串、数字或者列表。 ople 按照a

来自：

帮助文档

云日志服务

用户指南

数据加工

数据加工语法

操作符函数

SPL概述 云日志服务提供SPL语句（Semistructured Processing Language），对半结构化的日志数据做结构化处理，比如信息提取、字段操作、数据过滤等操作。SPL提供类Linux Shell脚本的管道级联功能，其中第一级管道前的表达式是数据源（可以是索引过滤条件或其他SPL语句的命名引用），后面的多级管道前后都是SPL命令表达式。 SPL语法说明 一个SPL语句由多个表达式组成，各表达式之间通过英文管道符 () 连接；一个SPL语句以英文分号 (;) 作为语句结束符。SPL语法结构如下： 语法 html sourceexpr cmdexpr cmdexpr； 参数说明 参数 说明 示例 sourceexpr 数据源。包括日志单元数据和SPL命名引用 · · $src 管道符：与Linux Shell中管道符作用类似，即管道前的指令的输出会作为管道后的指令的输入 cmdexpr 指令表达式，即SPL处理日志数据的各种表达式。 详情参考指令表达式语法。 parse typecsv raw as time,ip,level,msg 数据源 分类 场景 数据来源 说明 非命名引用 采集 采集器采集数据 使用星号（）表示将采集器采集的全部原始数据作为输入 非命名引用 数据加工 日志单元数据 使用索引过滤结果作为输入。 · 目前索引过滤条件仅支持 命名引用 SPL 通过let指令定义的命名引用 前提：其他SPL表达式已通过let指令定义了命名引用； 通过$+命名引用名称，即可解引用并将其当作数据源

本文介绍如何使用ECX部署OpenClaw企业微信机器人。 注意 配置企业微信机器人之前，请先确保已经购买ECX虚拟机并配置大模型服务。具体操作步骤，可参考指引：使用ECX部署OpenClaw。 创建企业微信机器人并获取配置 1、登录++企业微信官网++，使用有企业管理员权限的账号登录。 2、创建机器人。 在企业微信管理后台进入安全管理管理工具，点击智能机器人。 录入对应配置，选择API模式创建。 录入名称、简介、可见范围、URL、Token、EncodingAESKey。其中URL输入 此时先不点击保存创建，先登录虚拟机配置机器人Channel。 配置OpenClaw企业微信AI助手 1、登录虚拟机，执行以下命令，配置企业机器人。 plaintext openclaw config set channels '{ "wecom": { "enabled": true, "webhookPath": "/wecom", "token": " ", "encodingAESKey": " ", "receiveId": "", "dm": { "policy": "pairing" } } }' 或通过WebUI配置。 2、执行以下命令，重启网关，使配置生效。 plaintext openclaw gateway restart 3、返回企业微信，点击创建，提交机器人配置保存。

SPL概述 云日志服务提供SPL语句（Semistructured Processing Language），对半结构化的日志数据做结构化处理，比如信息提取、字段操作、数据过滤等操作。SPL提供类Linux Shell脚本的管道级联功能，其中第一级管道前的表达式是数据源（可以是索引过滤条件或其他SPL语句的命名引用），后面的多级管道前后都是SPL命令表达式。 SPL语法说明 一个SPL语句由多个表达式组成，各表达式之间通过英文管道符 () 连接；一个SPL语句以英文分号 (;) 作为语句结束符。SPL语法结构如下： 语法 html sourceexpr cmdexpr cmdexpr； 参数说明 参数 说明 示例 sourceexpr 数据源。包括日志单元数据和SPL命名引用 · · $src 管道符：与Linux Shell中管道符作用类似，即管道前的指令的输出会作为管道后的指令的输入 cmdexpr 指令表达式，即SPL处理日志数据的各种表达式。 详情参考指令表达式语法。 parse typecsv raw as time,ip,level,msg 数据源 分类 场景 数据来源 说明 非命名引用 采集 采集器采集数据 使用星号（）表示将采集器采集的全部原始数据作为输入 非命名引用 数据加工 日志单元数据 使用索引过滤结果作为输入。 · 目前索引过滤条件仅支持 命名引用 SPL 通过let指令定义的命名引用 前提：其他SPL表达式已通过let指令定义了命名引用； 通过$+命名引用名称，即可解引用并将其当作数据源

本节介绍了备份恢复相关问题与处理方法。 mysqldump导数据报错权限不足 场景描述 mysqldump使用指定用户导出数据库数据时，报错：'Access denied; you need (at least one of) the PROCESS privilege(s) 原因分析 mysqldump使用指定用户导出数据时，需要赋予PROCESS权限。 解决方案 使用管理员帐户给相应用户授予PROCESS权限。 GRANT SELECT，PROCESS ON . TO ‘dumpuser’@’%’; FLUSH PRIVILEGES; 使用mysqlbinlog工具获取binlog 本节介绍了获取binlog方法。 本文以从弹性云主机ECS上拉取为例，其他环境下方法类似。 1. 在ECS上安装MySQL客户端，详情请参考安装MySQL客户端。 说明 TaurusDB兼容社区MySQL 8.0及以上版本，请勿安装8.0以下版本的版本的客户端。 2. 执行命令，下载binlog文件。 mysqlbinlog hxxx uxxx Pxxx pxxx binlog.xxxx readfromremoteserver mysqlbinlog的常用参数： h：数据库host。 u：用户名。 P：端口号。 p：密码。 startposition：表示从指定的起始位置开始解析。 startdatetime：表示从指定的时间开始解析。 stopposition：表示解析到指定的位置。 stopdatetime：表示解析到指定的时间。 skipgtids：跳过打印gtidlogevent。 shortform：表示只显示statements。 resultfile：将binlog解析生成sql文件。 readfromremoteserver：远程下载binlog(用于mysqlbinlog与数据库服务端不再同一台机器的情况)。 canal解析binlog报错

禁用远程桌面服务用户限制到单独的远程桌面服务会话 1. 打开组策略编辑器：使用Win+R快捷键打开“运行”程序，输入“gpedit.msc”。 2. 在本地策略组选择选择“计算机配置 > 管理模板 > Windows组件 > 远程桌面服务 > 远程桌面会话主机 > 连接”，进入服务器连接配置页面。 3. 选择“将远程桌面服务用户限制到单独的远程桌面服务会话”，打开设置窗口。 4. 勾选“已禁用”。 5. 单击“确定”完成配置。 更新组策略 1. 使用Win+R快捷键打开“运行”程序，输入“cmd”。 2. 在窗口中输入：”gpupdate /force“完成组策略更新。 远程设置 1. 选择“计算机”，右键选择“属性”。 2. 在“系统属性”窗口，选择“远程”，勾选“允许远程连接到此计算机”。 RemoteAPP程序发布 您若要使用云堡垒机访问应用服务器，需要在应用发布服务器中安装RemoteAppProxy跳板工具。 2.8及以上版本堡垒机请选择openappmstsc.exe。 2.8及以下版本堡垒机请选择openappmstsc.exe。 堡垒机版本请参考：关于系统章节。 下载步骤： 1. 使用管理员账号登录服务器。 2. 在服务器中，将RemoteAPP程序拷贝到“C:tool”目录中，若没有则手动创建该目录。 3. 将对应文件放到上述的目录中即可开始使用。

本节介绍了最佳实践所涉及的资源规划。 资源规划如下表。 类别 子类 规划 备注 VPC VPC名称 vpcsrc172 自定义，易理解可识别。 所属Region 测试Region 现网实际选择时建议选择和自己业务区最近的Region，减少网络时延。 可用区 可用区3 子网网段 172.16.0.0/16 子网选择时建议预留足够的网络资源。 子网名称 subnetsrc172 自定义，易理解可识别。 本地Oracle数据库 名称 orcl 自定义，易理解可识别。 规格 16vCPUs 32GB 数据库版本 11.2.0.1 数据库用户 testinfo 可以自定义用户，但是迁移时最小权限为：CREATE SESSION, SELECT ANY TRANSACTION, SELECT ANY TABLE, SELECT ANY DICTIONARY, EXECUTECATALOGROLE 云数据库GaussDB 实例名 Autodrsgaussdbv5tar1 自定义，易理解可识别。 数据库版本 GaussDB 1.4版本、2.7版本 实例类型 分布式版，1CN，3DN，3副本 本示例中为分布式实例。 存储类型 超高IO 可用区 可用区3 本示例中选择了单可用区，实际建议选择多可用区，以提高实例的高可用性。 规格 通用性2 vCPUs 16GB 本示例中为测试实例，选择较小的测试规格， 实际选择规格以业务诉求为准。 目标库名称 testdatabaseinfo 自定义，易理解可识别，但是需要确保兼容模式为Oracle模式。 DRS迁移任务 迁移任务名 DRStestinfo 自定义。 源数据库引擎 Oracle 目标数据库引擎 GaussDB 网络类型 公网网络 本示例中采用公网网络。

本文为您介绍如何通过OpenSearch Dashboards向天翼云云搜索服务OpenSearch实例导入数据。 OpenSearch Dashboards可视化界面提供的Dev Tools控制台允许直接在浏览器中通过REST API向OpenSearch实例发出查询和数据操作请求。 OpenSearch Dashboards可视化界面提供了简单的数据导入功能，适用于小规模数据的手动导入场景，特别是在测试和快速验证场景中非常实用。 适用场景 快速测试与调试：适用于开发阶段测试查询语句、创建索引、插入和更新数据等操作。 简单数据管理：如果只是少量数据操作，如插入、更新、删除数据或查看结果，OpenSearch Dashboards提供了方便的Web界面操作。 无需编程环境：不需要安装额外的客户端工具，只要能访问OpenSearch Dashboards即可操作OpenSearch。 前提条件 已经开通天翼云云搜索OpenSearch实例。 查看OpenSearch Dashboards的终端可以访问到云搜索实例，设置好5601端口的网络安全策略。 实际操作 点击OpenSearch Dashboards输入用户名登录后，进入首页。 右上角可以点击开发工具进入开发工具界面。 如果没有索引，可以创建一个测试索引名为testindex： PUT /testindex { "mappings": { "properties": { "mytest": { "type": "text" } } } } 执行创建索引操作会返回如下信息： { "acknowledged": true, "shardsacknowledged": true, "index": "testindex" } 如果有索引可以使用已有的索引。 往索引中写入数据，以上面创建的索引为例。

为防止验证码短信被盗刷，短信服务支持企业认证用户设置验证码短信发送频率。当前支持设置同一个签名在1分钟、1小时或1个自然日内对同一个手机号码发送验证码短信的频率。设置验证码短信发送频率之后，还可以设置号码白名单，在白名单中的号码不受短信发送频率限制。 注意事项 请根据实际业务需求调整流控，不同供应商系统对流控的设置有所不同，如因流控设置过大被供应商拦截导致的失败均由您自行承担。 仅支持企业认证用户设置验证码短信发送频率。 白名单中最多可以添加5000个手机号码。 操作步骤 1. 登录云通信控制台。 2. 在左侧导航栏中单击 消息配置 。 3. 在发送频率限制 区域单击 设置 。 4. 填写设置信息。 默认设置为： 1分钟内短信发送条数不超过2。 1小时内短信发送条数不超过5。 1个自然日内短信发送条数不超过10。 5. 单击 确认 。 6. （可选）设置号码白名单。白名单中的号码不受发送频率限制，最多可添加5000个。 1)在频率限制白名单 区域单击 添加 。 2)输入手机号码，多个号码请用英文“,”隔开。 3)单击 确认 。

参数 描述 数据流动方向 选择“入云”。 源数据库引擎 选择“Oracle”。 目标数据库引擎 选择“MySQL”。 网络类型 此处以“公网网络”为示例。目前支持可选公网网络、VPC网络和VPN、专线网络。 目标数据库实例 创建好的RDS for MySQL实例。 同步实例所在子网 请选择同步实例所在的子网。也可以单击“查看子网”，跳转至“网络控制台”查看实例所在子网帮助选择。默认值为当前所选数据库实例所在子网，请选择有可用IP地址的子网。为确保同步实例创建成功，仅显示已经开启DHCP的子网。 IP类型 选择迁移实例的IP类型，目前支持选择“IPv4”或“IPv4&IPv6双栈”。只有所选择的VPC及子网都开启了IPv6双栈功能，才能选择IP类型为“IPv4&IPv6双栈”。 同步模式 全量+增量该模式为数据持续性实时同步，通过全量过程完成目标端数据库的初始化后，增量同步阶段通过解析日志等技术，将源端和目标端数据保持数据持续一致。 说明 选择“全量+增量”同步模式，增量同步可以在全量同步完成的基础上实现数据的持续同步，无需中断业务，实现同步过程中源业务和数据库继续对外提供访问。 全量该模式为数据库一次性同步，适用于可中断业务的数据库同步场景，全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。

分区方案选择 <2TB磁盘 ：可直接使用原始设备（/dev/nvme0n1） ≥2TB磁盘 ：必须使用GPT分区（/dev/nvme0n1p1） GPT分区详细流程（使用parted） plaintext 选择要分区的磁盘（示例：/dev/nvme0n1） DISK/dev/nvme0n1 1. 创建GPT分区表 sudo parted $DISK script mklabel gpt 2. 创建主分区（使用100%磁盘空间） sudo parted $DISK script mkpart primary 0% 100% 3. 设置分区类型为Linux RAID sudo parted $DISK script set 1 raid on 4. 验证分区 sudo parted $DISK script print 5. 清除分区元数据（关键步骤！） PARTITION"${DISK}p1" NVMe分区命名 sudo wipefs a f $PARTITION 对于SATA磁盘（如/dev/sdb）： DISK/dev/sdb PARTITION"${DISK}1" 关键注意事项： 1. 对阵列中的每个磁盘重复此分区操作 2. 使用set 1 raid on设置Linux RAID标志 3. 分区后必须清除元数据 4. 使用lsblk确认分区创建成功 4. 创建RAID阵列（以RAID1为例） 注意 操作实施前请确认创建准备工作执行无误 步骤1：创建阵列 plaintext sudo mdadm create /dev/md0 level1 a yes raiddevices2 /dev/nvme0n1p1 /dev/nvme1n1p1 命令参数说明： create 或 C：创建新 RAID 阵列的选项 level1 或 l 1：设置 RAID 级别为 1 a yes 或 autoyes：自动为阵列设备创建设备文件 raiddevices2 或 n 2：指定组成 RAID 阵列的设备数量为 2

分区平衡前的准备工作 在不影响业务的前提下，适当调小Topic老化时间并等待消息老化，减少迁移数据，加快迁移速度，分区平衡任务结束后可重新调整为初始值。 确保分区平衡的目标Broker磁盘容量充足。如果目标Broker磁盘剩余容量接近分区平衡迁移到该Broker上的数据量，为了给目标Broker上的消息生产预留存储空间，应先进行磁盘扩容，再进行分区平衡。 自动平衡 1. 进入Kafka实例管理控制台。 2. 点击左侧菜单栏中的Topic管理，进入主题列表页面。 3. 选择需要平衡的主题，点击其右侧操作栏的更多选项。 4. 设置自动平衡参数。 ● 勾选目标的Broker，Topic分区的副本即将迁移至目标Broker上。 ● 输入带宽大小，默认值为“1”，表示不限制带宽。如果实例负载较低，建议不设置带宽限制。如果需要设置带宽限制，建议该参数值不小于待分区平衡Topic的总生产带宽 待分区平衡Topic的最大副本数。 ● 执行时间，支持立即执行和自定义时间，选择自定义时间时，自定义时间需要大于当前时间。通过定时任务去扫描任务，所以执行时间和自定义时间最多会有几分钟的偏差。 5. 单击“确认”，自动跳转到Topic列表页面。 6. 在Topic列表页面左上方单击“分区平衡任务”，查看分区平衡任务的状态。

介绍分布式消息服务Kafka查看分区状态功能操作内容。 场景描述 Kafka查看分区状态的场景描述如下： 监控和故障排查：通过查看分区状态，可以了解每个分区的健康状况和数据处理情况。如果某个分区出现延迟或者数据丢失等问题，可以及时发现并进行故障排查和修复。 性能优化：通过查看分区状态，可以了解每个分区的负载情况和数据处理速度。如果某个分区负载过高或者处理速度较慢，可以采取相应的措施进行性能优化，如增加分区数量或者优化消费者的消费能力。 容量规划：通过查看分区状态，可以了解每个分区的数据大小和数据增长趋势。根据分区状态，可以进行容量规划，确保有足够的存储空间来存储数据，并预测未来的数据增长趋势。 数据迁移和重平衡：当需要进行数据迁移或者重平衡时，查看分区状态可以帮助确定合适的迁移方案和平衡策略。通过了解每个分区的状态和负载情况，可以更好地规划和执行数据迁移和重平衡操作。 容错和冗余管理：通过查看分区状态，可以了解每个分区的副本分布情况和数据冗余情况。如果某个分区的副本数量不足或者副本分布不均衡，可以采取相应的措施来提高数据的容错性和冗余能力。 总之，Kafka查看分区状态的场景包括监控和故障排查、性能优化、容量规划、数据迁移和重平衡，以及容错和冗余管理等，以确保系统的稳定性、性能和可靠性。

本文概括介绍图片处理的适用场景和使用方法。 功能介绍 开通图片处理功能后，CDN可以在回源节点上对客户原始图片做自适应WEBP、自动瘦身，或通过客户端携带的URL参数进行缩放、旋转、裁剪、格式转换等处理后进行分发，并缓存在CDN节点，使得源站保留原图即可；免去源站对图片的各种处理，降低源站压力，节省源站存储空间，同时提升图片处理响应速度。 注意 图片处理为付费服务，目前处于公测期间，暂不收取费用，收费时间另行通知。 适用场景 在CDN上进行图片处理，可以免去源站的图片处理消耗，灵活适配各种终端用户对图片的不同需求，适用于以下行业场景： 1. 电商网站 同一张商品图片，需要做不同尺寸的裁剪，以适配不同终端大小，此时需要用到图片裁剪功能。 同一张商品图片，作为浏览列表呈现和点击进入商品链接后作为主要图片呈现时，需要的图片质量是不同的，此时需要用到图片质量转换功能。 2. 图片素材网站 图片素材网站经常需要对同个图片做不同处理和编辑，此时需要用到图片处理中的裁剪、缩放等功能。 使用限制 原图限制如下： 目前图片处理支持的原图格式为：JPEG、PNG、WEBP、BMP、GIF、TIFF、JP2(JPEG2000)。 原图大小不能超过10MB，超过后默认不做图片处理。 处理后图片限制如下： 图片缩放后的宽高不能超过16777216px。

集群升级 前提条件 8.1.1及以上集群版本支持用户自助通过console下发集群升级操作。 操作步骤 1. 登录DWS管理控制台。 2. 在集群列表中单击指定集群名称。 3. 进入“集群详情”页面，切换至“ 升级管理 ”页签。 4. 根据想要升级的操作，在 “类型” 一栏中选择升级或热补丁。 5. 在升级管理页面，通过目标版本下拉菜单选择集群要升级的版本。 说明 在升级操作前如果集群满足巡检条件，需单击“巡检”按钮先完成一次巡检，并保证巡检检查通过，通过后可进行下一步变更操作，详情请参见查看巡检。 集群安装热补丁后无法建立容灾。 6. 单击 “升级” 按钮，根据提示单击 “确定” 按钮，下发升级操作。 7. 查看集群是否升级成功： 如果集群升级成功：8.1.3及以上集群版本，集群升级任务完成后进入业务观察期，若用户验证业务无问题，通过升级管理页面单击 “提交” 按钮，完成集群升级；如果用户验证集群使用性能等有影响，可通过集群升级页面单击 “回滚” 按钮，下发升级回退操作。 说明 8.1.3以前集群版本下发升级任务后，完成集群升级前不支持回滚或提交操作。 用户下发升级任务成功后，如果没有进行提交操作，则在未提交版本期间会产生wlm线程占用系统存储空间并对性能有一定影响。 如果集群升级失败：可单击 “回滚” 操作，回退到原集群版本；或单击 “重试” 按钮重复下发升级操作。

类型名称 使用和操作限制 数据库权限设置 在创建备份迁移任务前，请确定操作账号具有相应的RDS服务权限。 待还原数据库名称要求 待还原数据库名不能重复，且不能为以下名称（不区分大小写）： msdb master model tempdb rdsadmin resource 数据库新名称要求 数据库新名称不能重复，且不能为以下名称（不区分大小写）： msdb master model tempdb rdsadmin resource 数据库新名称长度为1~128个字节，组成为字母、数字、下划线、中划线。 数据库备份文件的来源 RDS全量备份：关系型数据库实例自动或手动生成的全量备份。 操作须知 目标数据库的可用磁盘空间大小至少为待还原数据库总数据量大小的1.5倍。 不支持高版本的数据库备份文件在低版本实例数据库上进行还原（例如从2017版本>2016版本的还原）。 企业版>标准版>Web版的还原存在一定失败的风险（取决于是否开启高版本的特性）。 迁移过程中，实例显示处于迁移状态，当前正在迁移的目标数据库默认取消高可用状态（如果是覆盖还原），迁移完成后自动恢复高可用状态。 迁移过程中正在还原的数据库请停止写入事务。 当RDS实例异常引发目标数据库发生主备切换时，会导致备份迁移失败，该情况下的迁移任务不可恢复。

客户端常见使用问题 1. 当执行HDFS客户端命令时，客户端程序异常退出，报“java.lang.OutOfMemoryError”的错误。 这个问题是由于HDFS客户端运行时的所需的内存超过了HDFS客户端设置的内存上限（默认为128MB）。可以通过修改“ /HDFS/componentenv”中的“CLIENTGCOPTS”来修改HDFS客户端的内存上限。例如，需要设置该内存上限为1GB，则设置： CLIENTGCOPTS"Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source /bigdataenv 2. 如何设置HDFS客户端运行时的日志级别？ HDFS客户端运行时的日志是默认输出到Console控制台的，其级别默认是INFO级别。有的时候为了定位问题，需要开启DEBUG级别日志，可以通过导出一个环境变量来设置，命令如下： export HADOOPROOTLOGGERDEBUG,console 在执行完上面命令后，再执行HDFS Shell命令时，即可打印出DEBUG级别日志。 如果想恢复INFO级别日志，可执行如下命令： export HADOOPROOTLOGGERINFO,console 3. 如何彻底删除HDFS文件？ 由于HDFS的回收站机制，一般删除HDFS文件后，文件会移动到HDFS的回收站中。如果确认文件不再需要并且需要立马释放存储空间，可以继续清理对应的回收站目录（例如：hdfs://hacluster/user/ xxx /.Trash/Current/ xxx ）。