配置说明 您可以通过访问控制的加白功能配置网站白名单。 配置项 说明 优先级 配置访问控制策略的优先级，数字越小，优先级越高 开关 规则的防护开关 处理动作 支持配置处理动作为告警、加白、攻击标记、拦截、丢弃 告警：请求命中访问控制策略后，不对其拦截，仅记录攻击日志 加白：请求命中访问控制策略后，将对其进行加白，请求不经过任意Web安全防护策略 攻击标记：加白对应范围，但是如果请求触发规则，会记录在攻击日志 拦截：请求命中访问控制策略后，将对其进行拦截并记录攻击日志 丢弃：拦截后不会响应页面，会减少带宽 规则名称 访问控制策略的规则名称 规则描述 访问控制策略的规则描述 防护范围 支持配置PATH、URI、IP、IPS、地理位置等十几种参数；支持配置最多3个范围，多个范围为且关系 防护周期 若您希望访问控制策略只在某个周期生效，可以配置防护周期，并支持且条件。防护周期支持配置每日、每周、每月。 配置示例： 1. 每周一至周二：周期包含12 2. 每周日至周一的7点至9点：周期包含每周 71 且 周期包含每天07:0009:00 3. 每月19号的23点到次日1点：周期包含每月 1919 且 周期包含每天23:0001:00 4. 每周二或每周四的7点至9点：周期包含每周 22;44 且 周期包含每天07:0009:00

本节主要介绍概述 使用场景 主实例支持搭建主备高可用架构，当主实例所在区域发生突发生自然灾害等状况，主节点（Master）和备节点（Slave）均无法连接时，可将异地灾备实例切换为主实例，在应用端修改数据库链接地址后，即可快速恢复应用的业务访问。数据复制服务提供的实时灾备功能，可实现主实例和跨区域的灾备实例之间的实时同步。 一次完整的数据灾备，是以任务作为导向，依次进行灾备进度观察、灾备日志分析、灾备数据一致性对比等多项操作。通过多项指标和数据的对比分析，可以帮助您实现不同业务系统间的数据实时同步。 使用流程 数据灾备的使用流程如下： 步骤一：创建灾备任务。根据需要，选择业务数据库和灾备数据库，创建灾备任务。 步骤二：查询灾备进度。灾备过程中，可以通过查看灾备进度了解数据灾备完成情况。 步骤三：查看灾备日志。灾备日志包含告警、错误和提示等类型的信息，可根据此类信息分析系统存在的问题。 步骤四：对比灾备项。数据灾备提供对比功能，可根据需要查看对象级对比、数据级对比等，来确保业务数据库和灾备数据库的数据一致性。

处理步骤 检查内存使用量 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > MapReduce JobHistoryServer堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例主机名。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > 实例 > JobHistoryServer（对应上报告警实例主机名）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“JobHistoryServer堆内存使用百分比统计”。查看堆内存使用情况。 3.查看JobHistoryServer使用的堆内存是否已达到JobHistoryServer设定的最大堆内存的95%。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > 配置 > 全部配置 > JobHistoryServer > 系统”。将“GCOPTS”参数根据实际情况调大，并单击“保存”，单击“确定”并进重启。 说明 历史任务数10000和JobHistoryServer内存的对应关系如下： Xms30G Xmx30G XX:NewSize1G XX:MaxNewSize2G 5.观察界面告警是否清除？ 是，处理完毕。 否，执行步骤6。 收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选待操作集群的如下节点信息。 NodeAgent Mapreduce 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

收集故障信息 7.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选“Controller”，单击“确定”。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 根据集群节点数优化Manager配置 1.以omm用户登录主管理节点。 2.执行以下命令，切换目录。 cd ${BIGDATAHOME}/omserver/om/sbin 3.执行以下命令查看当前集群Manager相关配置。 sh omsconfiginfo.sh q 4.执行以下命令指定当前集群的节点数。 命令格式：sh omsconfiginfo.sh s 节点数 例如： sh omsconfiginfo.sh s 1000 根据界面提示，输入“y”： The following configurations will be modified: Module Parameter Current Target Controller controller.Xmx 4096m > 16384m Controller controller.Xms 1024m > 8192m Controller controller.node.heartbeat.error.threshold 30000 > 60000 Pms pms.mem 8192m > 10240m Do you really want to do this operation? (y/n): 界面提示以下信息表示配置更新成功： ... Operation has been completed. Now restarting OMS server. [done] Restarted oms server successfully. 说明 配置更新过程中，OMS会自动重启。 相近数量的节点规模对应的Manager相关配置是通用的，例如100节点变为101节点，并没有新的配置项需要刷新。

收集故障信息 6.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 7.在“服务”中勾选“NodeAgent”，单击“确定”。 8.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 9.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 /etc/fstab 检查文件的检查标准 检查“/etc/fstab”文件中配置的分区，是否在“/proc/mounts”中能找到。 检查在“fstab”中配置的swap分区，是否和“/proc/swaps”一一对应。 /etc/hosts 检查文件的检查标准 通过命令cat /etc/hosts查看是否存在以下几种情况，如果是，则说明该配置文件配置异常。 a. “/etc/hosts”文件不存在。 b. 该主机的主机名不在文件中配置。 c. 该主机名对应的IP不唯一。 d. 该主机名对应的IP在ifconfig命令下的回显列表中不存在。 e. 该文件中存在一个IP对应多个主机名的情况。 /etc/ssh/sshdconfig 检查文件的检查标准 通过命令vi /etc/ssh/sshdconfig查看下面几个配置项是否正确。 a. “UseDNS”项必须配置为“no”。 b. “MaxStartups”必须配置为大于等于1000。 c. “PasswordAuthentication”和“ChallengeResponseAuthentication”两个配置项中必须至少有一项没有配置或者至少有一项配置为“yes”。

备份机制 RDS for MySQL默认开启自动备份，且不支持关闭。RDS for MySQL自动全备按照备份策略中的备份时间段和备份周期进行全量备份。Binlog备份为实例每5分钟或一定数据量时对上一次自动全备，或Binlog备份后更新的数据会进行备份，以保证数据库可靠性。实例恢复到指定时间点，会从OBS备份空间中选择一个该时间点最近的全量备份下载到实例上进行全量恢复，再重放Binlog备份到指定时间点。 图 备份原理 备份清理 备份文件清理分为两种场景：手动备份清理和自动备份清理。 − 手动备份是由用户触发产生的全量备份，需要用户手动删除，否则会一直保存。 − 自动备份的备份文件不支持手动删除，可通过设置自动备份策略调整备份保留天数，超出备份保留天数的已有备份文件会被自动删除。 Binlog本地日志清理： 清理Binlog日志时，即使设置保留时长为0，RDS也会保证主节点的Binlog同步到备节点、只读节点全部完成，并且备份到OBS成功以后才会执行清理。 如果选择的保留时长大于0，例如设置1天，那么在Binlog同步及备份成功后，本地Binlog日志将会继续保留1天，到期后自动删除。

5. Ingress 控制器和服务不同步，如何解决？ 如果你发现 Ingress 控制器和服务不同步，可能是由多种原因导致的。以下是一些可能的问题及其相应的解决方案。 Ingress 控制器没有正确配置或安装 ：确保你正确安装并配置了 Ingress 控制器。检查 Ingress 控制器的 Pods 的状态和日志，以确认它们是否正在正常运行。如果存在任何错误，根据错误信息进行故障排查。 Ingress 规则没有正确配置 ：检查你的 Ingress 资源的配置，确保你已正确定义了路由规则，并且这些规则指向了正确的服务和端口。 服务或 Pods 不可用 ：Ingress 控制器将流量路由到服务，然后由服务路由到 Pods。如果服务或 Pods 不可用，可能会导致 Ingress 控制器和服务不同步。检查服务和 Pods 的状态，确保它们正在正常运行。 Kubernetes API 服务器不可用 ：Ingress 控制器通过 Kubernetes API 服务器获取服务的信息。如果 API 服务器不可用，可能会导致 Ingress 控制器和服务不同步。检查 API 服务器的状态和日志，以确认它是否正在正常运行。 网络问题 ：如果网络配置不正确，可能会导致 Ingress 控制器无法与服务或 Pods 通信。这可能是由于网络策略、防火墙规则或其他网络配置问题导致的。进行网络故障排查，以确认网络配置是否正确。解决这些问题可能需要查看和理解 Ingress 控制器、服务和 Pods 的日志，以及可能需要进行网络和 Kubernetes API 服务器的故障排查。

问题现象 在DataArts Studio上运行DLI SQL脚本，执行结果的运行日志显示语句执行失败，错误信息为： DLI.0999: RuntimeException: org.apache.hadoop.fs.obs.OBSIOException: initializing on obs://xxx.csv: status [1] request id [null] error code [null] error message [null] trace :com.obs.services.exception.ObsException: OBS servcie Error Message. Request Error: ... Cause by: ObsException: com.obs.services.exception.ObsException: OBSs servcie Error Message. Request Error: java.net.UnknownHostException: xxx: Name or service not known 问题根因 第一次执行DLI SQL脚本，用户没有在DLI控制台上同意隐私协议导致在DataArts Studio运行SQL脚本报错。 解决方案 1.登录DLI控制台，选择“SQL编辑器”，输入任意执行一个SQL语句，比如“select 1”。 2.弹出隐私协议后，勾选“同意以上隐私协议”，单击“确定”。 说明 该隐私协议只需要在第一次执行时同意即可，后续再次运行不再会弹出和确认。 3.重新在DataArts Studio上运行DLI SQL脚本，脚本运行正常。 使用CDM迁移数据到DLI，迁移作业日志上报UQUERYCONNECTOR0001:Invoke DLI service api failed错误 问题现象 在CDM迁移数据到DLI，迁移作业提交后，在CDM作业迁移日志中查看作业执行失败，具体日志有如下报错信息： org.apache.sqoop.common.SqoopException: UQUERYCONNECTOR0001:Invoke DLI service api failed, failed reason is %s. at org.apache.sqoop.connector.uquery.intf.impl.UQueryWriter.close(UQueryWriter.java:42) at org.apache.sqoop.connector.uquery.processor.Dataconsumer.run(Dataconsumer.java:217) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

参数 描述 url 数据库连接描述符，可以在管理控制台查看，具体步骤请参见 说明 使用gsjdbc200.jar时，将“jdbc:postgresql”修改为“jdbc:gaussdb” database为要连接的数据库名称。 host为数据库服务器名称或IP地址。 DWS管理控制台上集群的连接IP，根据网络环境判断，如果连接DWS的机器跟DWS集群在同一个网络下，则选择内网IP，不在同一个网络下，则选择公网IP。 port为数据库服务器端口。缺省情况下，会尝试连接到localhost的8000端口的database。 支持多ip端口配置形式，jdbc自动实现了负载均衡，多ip端口配置形式是采取随机访问+failover的方式，这个过程系统会自动忽略不可达IP。 以","隔开，例如jdbc:postgresql://10.10.0.13:8000,10.10.0.14:8000/database 使用JDBC连接集群时集群链接地址只支持指定jdbc连接参数，不支持增加变量参数。 info 数据库连接属性。常用的属性如下： user：String类型。表示创建连接的数据库用户。 password：String类型。表示数据库用户的密码。 ssl：Boolean类型。表示是否使用SSL连接。 loggerLevel：string类型。为LogStream或LogWriter设置记录进DriverManager当前值的日志信息量。目前支持"OFF"、"DEBUG"和"TRACE"。 值为"DEBUG"时，表示只打印DEBUG级别以上的日志，将记录非常少的信息。值等于TRACE时，表示打印DEBUG和TRACE级别的日志，将产生详细的日志信息。默认值为OFF，表示不打印日志。 prepareThreshold：integer类型。用于确定在转换为服务器端的预备语句之前，要求执行方法PreparedStatement的次数。缺省值是5。 batchMode : boolean类型，用于确定是否使用batch模式连接。 fetchsize：integer类型，用于设置数据库链接所创建statement的默认fetchsize。 ApplicationName：string类型。应用名称，在不做设置时，缺省值为PostgreSQL JDBC Driver。 allowReadOnly:boolean类型，用于设置connection是否允许设置readonly模式，默认为false，若该参数不被设置为true，则执行connection.setReadOnly不生效。 blobMode:string类型，用于设置setBinaryStream方法为不同的数据类型赋值，设置为on时表示为blob数据类型赋值，设置为off时表示为bytea数据类型赋值，默认为on。 connectionExtraInfo：Boolean类型。表示驱动是否上报当前驱动的部署路径、进程属主用户到数据库。 说明 取值范围：true或false，默认值为true。设置connectionExtraInfo为true，JDBC驱动会将当前驱动的部署路径、进程属主用户上报到数据库中，记录在connectioninfo参数里；同时可以在PGSTATACTIVITY和PGXCSTATACTIVITY中查询到。 user 数据库用户。 password 数据库用户的密码。

步骤五：构造签名 1. 先将SecurityKey作为密钥，eopdate作为数据，根据hmacsha256加密算法算出ktime。 2. 将ktime作为密钥，AccessKey作为数据，根据hmacsha256加密算法算出kAk。 3. 将kAk作为密钥，eopdate的年月日值（前8位）作为数据，根据hmacsha256加密算法算出kdate。 4. 将kdate作为密钥，步骤二的待签名字符串作为数据，根据hmacsha256加密算法算法签名并转化为BASE64编码算出signature。 步骤六：构造请求头 1. 将eopdate作为Key，步骤二的结果作为Value加入http请求头中。 2. 将ctyuneoprequestid作为Key，步骤三的结果作为Value加入http请求头中。 3. 将EopAuthorization作为Key，通过字符串拼接的方式将AK、Header、Signature通过空格进行拼接，并将结果作为Value加入http请求头中。 注意 1. 当您通过接口发送短信之后，接口服务会及时响应并返回成功的标识，但这仅仅代表平台已经成功接收到您的发送请求了。 2. 接下来平台会将请求转发给电信运营商，因为发送短信是异步进行的，还需要电信运营商的网络以及接收消息的手机终端支持。 3. 如果您想第一时间知道消息的最终发送状态，故需要您在控制台的消息配置———事件回调配置中增加状态报告通知的URL，以便平台在接收到运营商的反馈消息时通知您消息的最终发送结果。 JAVA示例 完整的Java签名Demo代码： java package com.example; / Hello world! / import java.net.URL; import java.nio.charset.StandardCharsets; import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; import java.text.SimpleDateFormat; import java.util.Arrays; import java.util.Base64; import java.util.Date; import java.util.HashMap; import java.util.Locale; import java.util.Map; import java.util.UUID; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpPost; import org.apache.http.entity.ContentType; import org.apache.http.entity.StringEntity; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils; import javax.crypto.Mac; import javax.crypto.spec.SecretKeySpec; import com.alibaba.fastjson.; public class App { public static void main(String[] args) throws Exception { //请参考帮助文档填写以下内容 Map params new HashMap<>(); //固定参数 params.put("action", "SendSms"); //请填写您在控制台上申请并通过的短信签名。 params.put("signName", ""); //请填写接收短信的目标手机号，多个手机号使用英文逗号分开 params.put("phoneNumber", ""); //请填写您在控制台上申请并通过的短信模板，此模板为测试专用模板，可直接进行测试 params.put("templateCode", "SMS64124870510"); //请填写短信模板对应的模板参数和值。此值为测试模板的变量及参数，可直接使用 params.put("templateParam", "{"code":"123456"}"); params.put("extendCode", "");// 选填 params.put("sessionId",""); // 选填 String body JSONObject.toJSONString(params); // SETUP1:获取AccessKey和SecurityKey String accessKey ""; // 填写控制台>个人中心>安全设置>查看>AccessKey String securityKey "";// 填写控制台>个人中心>安全设置>查看>SecurityKey // SETUP2:构造时间戳 SimpleDateFormat TIMEFORMATTER new SimpleDateFormat("yyyyMMdd'T'HHmmss'Z'"); SimpleDateFormat DATEFORMATTER new SimpleDateFormat("yyyyMMdd"); Date nowdate new Date(); String singerDate TIMEFORMATTER.format(nowdate); String singerDd DATEFORMATTER.format(nowdate); System.out.println("singerDate:" + singerDate); System.out.println("singerDd:" + singerDd); // SETUP3:构造请求流水号 String uuId UUID.randomUUID().toString(); System.out.println("uuId:" + uuId); // SETUP4:构造待签名字符串 String CampmocalHeader String.format("ctyuneoprequestid:%sneopdate:%sn", uuId, singerDate);// uuid去掉this // header的key按照26字母进行排序, 以&作为连接符连起来 URL url new URL(" String query url.getQuery(); String afterQuery ""; if (query ! null) { String param[] query.split("&"); Arrays.sort(param); for (String str : param) { if (afterQuery.length() < 1) afterQuery afterQuery + str; else afterQuery afterQuery + "&" + str; } } // String body ""; String calculateContentHash getSHA256(body); // 报文原封不动进行sha256摘要 String sigtureStr CampmocalHeader + "n" + afterQuery + "n" + calculateContentHash; System.out.println("calculateContentHash：" + calculateContentHash); System.out.println("sigtureStr：" + sigtureStr); // SETUP5:构造签名 byte[] ktime HmacSHA256(singerDate.getBytes(), securityKey.getBytes()); byte[] kAk HmacSHA256(accessKey.getBytes(), ktime); byte[] kdate HmacSHA256(singerDd.getBytes(), kAk); String Signature Base64.getEncoder().encodeToString(HmacSHA256(sigtureStr.getBytes("UTF8"), kdate)); // SETUP6:构造请求头 HttpPost httpPost new HttpPost(String.valueOf(url)); httpPost.setHeader("ContentType", "application/json;charsetUTF8"); httpPost.setHeader("ctyuneoprequestid", uuId); httpPost.setHeader("Eopdate", singerDate); String signHeader String.format("%s Headersctyuneoprequestid;eopdate Signature%s", accessKey, Signature); httpPost.setHeader("EopAuthorization", signHeader); System.out.println("Signature" + Signature); System.out.println("signHeader" + signHeader); httpPost.setEntity(new StringEntity(body, ContentType.create("application/json", "utf8"))); try (CloseableHttpClient httpClient HttpClients.createDefault(); CloseableHttpResponse response httpClient.execute(httpPost)) { String string EntityUtils.toString(response.getEntity(), "utf8"); System.out.println("返回结果：" + string); } catch (Exception e) { System.out.println(e.getMessage()); } } private static String toHex(byte[] data) { StringBuilder sb new StringBuilder(data.length 2); byte[] var2 data; int var3 data.length; for (int var4 0; var4 < var3; ++var4) { byte b var2[var4]; String hex Integer.toHexString(b); if (hex.length() 1) { sb.append("0"); } else if (hex.length() 8) { hex hex.substring(6); } sb.append(hex); } return sb.toString().toLowerCase(Locale.getDefault()); } private static String getSHA256(String text) { try { MessageDigest md MessageDigest.getInstance("SHA256"); // byte[] a text.getBytes(StandardCharsets.UTF8); md.update(text.getBytes(StandardCharsets.UTF8)); return toHex(md.digest()); } catch (NoSuchAlgorithmException var3) { return null; } } private static byte[] HmacSHA256(byte[] data, byte[] key) throws Exception { try { Mac mac Mac.getInstance("HmacSHA256"); mac.init(new SecretKeySpec(key, "HmacSHA256")); return mac.doFinal(data); } catch (Exception e) { return null; } } }

参数名称 说明 数据库名称 自定义数据库名称。 恢复模式 默认为完整，表示在进行数据库恢复时，全量恢复。 兼容性级别 包含多种Microsoft SQL Server数据库的版本，不同的版本数据库的兼容性不同。建议选择较高版本。 包含类型 包括无和部分两种选择，Microsoft SQL Server 2012 (11.x) 及以后版本支持。 数据库只读 包含False和True两种选择，选择True表示创建的只读数据库。 允许快照隔离 包含False和True两种选择，选择True表示在紧急情况下快速进行快照隔离，保护数据库数据。 数据库文件 默认添加行数据和日志两种文件类型的数据库文件，您也可以根据需要添加不同初始大小和增量的行数据和日志文件。

操作 MRS FullAccess MRS CommonOperations MRS ReadOnlyAccess MRS Administrator 创建集群 √ x x √ 调整集群 √ x x √ 升级节点规格 √ x x √ 删除集群 √ x x √ 查询集群详情 √ √ √ √ 查询集群列表 √ √ √ √ 设置弹性伸缩策略 √ x x √ 查询主机列表 √ √ √ √ 查询操作日志 √ √ √ √ 创建并执行作业 √ √ x √ 停止作业 √ √ x √ 删除单个作业 √ √ x √ 批量删除作业 √ √ x √ 查询作业详情 √ √ √ √ 查询作业列表 √ √ √ √ 新建文件夹 √ √ x √ 删除文件 √ √ x √ 查询文件列表 √ √ √ √ 批量操作集群标签 √ √ x √ 创建单个集群标签 √ √ x √ 删除单个集群标签 √ √ x √ 按照标签查询资源列表 √ √ √ √ 查询集群标签 √ √ √ √ 访问Manager页面 √ √ x √ 查询补丁列表 √ √ √ √ 安装补丁 √ √ x √ 卸载补丁 √ √ x √ 运维通道授权 √ √ x √ 运维通道日志共享 √ √ x √ 查询告警列表 √ √ √ √ 订阅告警消息提醒 √ √ x √ 提交SQL语句 √ √ x √ 查询SQL结果 √ √ x √ 取消SQL执行任务 √ √ x √

本节为您介绍数据安全中心的应用场景。 满足合规场景 DSC可应用于合规场景，DSC提供了多种合规模板，包括GDPR、PCI DSS和HIPAA等，用户可以一键匹配识别这些合规规则，并生成报表供针对性整改。这样可以精准区分和保护个人数据，避免产生合规问题。 自动识别分类敏感数据 DSC可以为敏感数据进行自动识别并分类。可以从海量数据中自动发现并分析敏感数据的使用情况。通过数据识别引擎，DSC可以扫描、分类和分级储存的结构化数据（RDS）和非结构化数据（OBS），从而解决数据“盲点”，进一步加强数据的安全防护。 用户异常行为分析 DSC提供用户异常行为分析功能。通过深度行为识别引擎，DSC可以建立用户行为基线，并实时监测基线外的异常操作。用户可以实时查询行为操作，可视化行为轨迹，并识别与风险事件相关的用户操作，完善溯源审计链条。这样可以及时发现数据使用是否存在安全违规，并及时预警，从而预防数据泄露。 数据脱敏保护 DSC提供数据脱敏保护功能。通过多种预置脱敏算法和用户自定义脱敏算法，搭建数据保护引擎。可以实现非结构化数据的脱敏储存和结构化数据的静态脱敏，有效防止敏感数据的泄露。

本节介绍了安装并配置CloudbaseInit工具的操作场景、前提条件、安装CloudbaseInit工具、配置CloudbaseInit工具。 操作场景 为了保证使用私有镜像创建的新云主机可以通过“用户数据注入”功能注入初始化自定义信息（例如为云主机设置登录密码），建议您在创建私有镜像前安装CloudbaseInit工具。 不安装CloudbaseInit工具，将无法对云主机进行自定义配置，只能使用镜像原有密码登录云主机。 使用公共镜像创建的云主机，默认已经安装CloudbaseInit，不需要执行安装及配置操作。 使用外部镜像文件创建的云主机，请按照指导安装及配置CloudbaseInit。 前提条件 已为云主机绑定弹性公网IP。 已登录到云主机。 云主机的网卡属性为DHCP方式。 已安装一键式重置密码插件。 因为安装CloudbaseInit工具的操作步骤中如果有重启云主机的操作，可能导致密码被修改为一个随机密码，所以需要安装一键式重置密码插件重置密码。操作步骤请参考安装一键式重置密码插件。 安装CloudbaseInit工具 1. 在Windows操作系统中，单击“开始”，选择“控制面板 > 程序 > 程序和功能”查看是否安装CloudbaseInit。 − 是，无需重复安装，直接执行下文“配置CloudbaseInit工具”。 − 否，执行以下安装操作步骤。 2. 操作系统是否为Windows桌面版。 − 是，执行3。 − 否，若操作系统为Windows Server版本，请执行4。 3. 如果操作系统是Windows桌面版，如Windows 7或者Windows 10，那么需要在安装CloudbaseInit前确保Adminstrator账号未禁用。以Windows 7为例，具体操作请以实际为准。 a. 在操作系统中单击“开始”，选择的“控制面板 > 系统和安全 > 管理工具”。 b. 双击“计算机管理”。 c. 选择“系统工具 > 本地用户和组 > 用户”。 d. 右键单击“Administrator”，选择“属性”。 e. 确认已取消勾选“账户已禁用”选项。 4. 下载CloudbaseInit工具安装包。 根据Windows操作系统的不同位数，您需要下载不同版本的CloudbaseInit工具安装包。Cloudbase官网： CloudbaseInit分为稳定版本和Beta版本两种。 稳定版本获取路径： − 64位： − 32位： Beta版本获取路径： − 64位： − 32位： 5. 双击打开CloudbaseInit工具安装包开始安装。 6. 单击“Next”。 7. 勾选“I accept the terms in the License Agreement”，单击“Next”。 8. 使用CloudbaseInit默认安装路径进行安装，单击“Next”。 9. 在“Configuration options”窗口中，设置用户名为“Administrator”，日志输出串口选择“COM1”，且不勾选“Run CloudbaseInit service as LocalSystem”。如下图所示。 说明： 图片中的版本号仅供参考，请以实际情况为准。 设置参数 10. 单击“Next”。 11. 单击“Install”。 12. 在“Files in Use”窗口保留默认勾选“Close the application and attempt to restart them”，单击“OK”。 13. 操作系统是否为Windows桌面版。 − 是，执行15。 − 否，执行14。 14. 在“Completed the CloudbaseInit Setup Wizard ”窗口，请勿勾选“Run Sysprep to create a generalized Image. This is necessary if you plan to duplicate this instance, for example by creating a Glance image”及“Shutdown when Sysprep terminate”。如下图所示。 完成安装 说明： 图片中的版本号仅供参考，请以实际情况为准。 15. 单击“Finish”。

分布式缓存服务（Distributed Cache Service，简称DCS）是一款内存数据库服务，兼容Redis内存数据库引擎，为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及数据快速访问的业务诉求。 即开即用 DCS提供单机、主备和集群三种类型的缓存实例，拥有从128MB到1024GB的丰富内存规格。您可以通过控制台直接创建，无需单独准备服务器资源。 其中Redis4.0/5.0/6.0版本采用容器化部署，秒级完成创建。 安全可靠 借助统一身份认证、虚拟私有云、云监控与云审计等安全管理服务，全方位保护实例数据的存储与访问。 灵活的容灾策略，主备/集群实例从单AZ（可用区）内部署，到支持跨AZ部署。 弹性伸缩 DCS提供对实例内存规格的在线扩容与缩容服务，帮助您实现基于实际业务量的成本控制，达到按需使用的目标。 便捷管理 可视化Web管理界面，在线完成实例重启、参数修改、数据备份恢复等操作。DCS还提供基于RESTful的管理API，方便您进一步实现实例自动化管理。 在线迁移 提供可视化Web界面迁移功能，支持备份文件导入和在线迁移两种方式，您可以通过控制台直接创建迁移任务，提高迁移效率。 DCS Redis Redis是一种支持KeyValue等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等典型应用场景。Redis使用ANSI C语言编写，提供字符串（String）、哈希（Hash）、列表（List）、集合结构（Set、Sorted Set）、流（Stream）等数据类型的直接存取。数据读写基于内存，同时可持久化到磁盘。 DCS Redis拥有灵活的实例配置供您选择： DCS Redis灵活的实例配置 实例类型 提供单机、主备、Proxy集群、Cluster集群、读写分离类型，分别适配不同的业务场景。 单机：适用于应用对可靠性要求不高、仅需要缓存临时数据的业务场景。单机实例支持读写高并发，但不做持久化，实例重启后原有缓存数据不会加载。 主备：包含一个主节点，一个备节点，主备节点的数据通过实时复制保持一致，当主节点故障后，备节点自动升级为主节点。 Proxy集群：在Cluster集群的基础上，增加挂载Proxy节点和ELB节点，通过ELB节点实现负载均衡，将不同请求分发到Proxy节点，实现客户端高并发请求。每个Cluster集群分片是一个双副本的主备实例，当主节点故障后，同一分片中的备节点会升级为主节点来继续提供服务。 Cluster集群：通过分片化分区来增加缓存的容量和并发连接数，每个分片是一个主节点和0到多个备节点，分片本身对外不可见。分片中主节点故障后，同一分片中备节点会升级为主节点来继续提供服务。用户可通过读写分离技术，在主节点上写，从备节点读，从而提升缓存的整体读写能力。 读写分离：在主备实例的基础上，增加挂载Proxy节点和ELB节点，通过ELB节点实现负载均衡，将不同请求分发到Proxy节点，Proxy节点识别用户读写请求，将请求发送到主节点或备节点，从而实现读写分离。 :: 规格 Redis提供128MB~1024GB的多种规格。 兼容开源Redis版本 DCS提供不同的实例版本，分别兼容开源Redis的3.0、4.0、5.0、6.0。 底层架构 基于虚拟机的标准版 ，单节点QPS达10万/秒。 高可用与容灾 主备与集群实例提供Region内的跨可用区部署，实现实例内部节点间的电力、网络层面物理隔离。 有关开源Redis技术细节，您可以访问Redis官方网站

查看服务器端保存路径权限是否正常 5. 选择“系统 > 对接 > 监控数据上传”，查看“FTP用户名”、“保存路径”和“转储模式”配置项。 是FTP模式，执行步骤6。 是SFTP模式，执行步骤7。 6. 以FTP方式登入服务器，在默认目录下查看相对路径“保存路径”是否有“FTP用户名”的读写权限。 是，执行步骤9。 否，执行步骤8。 7. 以SFTP方式登入服务器，查看绝对路径“保存路径”是否有“FTP用户名”的读写权限。 是，执行步骤9。 否，执行步骤8。 8. 增加读写权限，然后检查告警是否恢复。 是，执行完毕。 否，执行步骤9。 查看服务器端保存路径是否有足够磁盘空间 9. 登录服务器端，查看当前保存路径下是否有足够磁盘空间。 是，执行步骤11。 否，执行步骤10。 10. 删除多余文件，或在监控指标转储配置页面更改保存目录。然后检查告警是否恢复。 是，执行完毕。 否，执行步骤11。 收集故障信息 11. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 12. 在“服务”中勾选“OMS”，单击“确定”。 13. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后60分钟，单击“下载”。 14. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本节主要介绍如何使用API移除数据目录。 此操作用来移除数据目录。 注意 强制移除数据目录，存在数据丢失风险。 对于单机版，如果要移除的数据目录为默认数据目录，需要先指定其他数据目录为默认数据目录，才可以移除该目录。 如果执行日志采集后，产生的日志保存在HBlock的数据目录内，移除该数据目录时deleteLocalData为true，该日志将被删除。 有数据目录正在移除时，不能再移除其他数据目录。如果必须移除，请使用强制移除，但有丢数据风险。 对于集群版，该数据目录不属于任何存储池，才允许从移除该数据目录。否则不能移除，如果必须移除，请使用强制移除，但有丢数据风险。 请求语法 plaintext DELETE /rest/v1/system/server/serverId/diskpaths HTTP/1.1 Date: date ContentType: application/json; charsetutf8 ContentLength: length Host: ip:port Authorization: authorization { "diskPaths": [ path, path ], "force": force, "deleteLocalData"：deleteLocalData } 请求参数 参数 类型 描述 是否必须 serverId String 要移除数据目录的服务器ID。 是 diskPaths Array of string 要移除的HBlock数据目录。一次可以移除多个数据目录。 是 force Boolean 是否强制移除数据目录。 注意 强制移除数据目录，可能造成数据丢失。 取值： true：强制移除数据目录。 false：不强制移除数据目录。 默认值为false。 否 deleteLocalData Boolean 是否删除数据目录上的数据。 取值： true：删除数据目录上的数据。 false：不删除数据目录上的数据。 默认值为false。 否

检查备DBService状态是否正常 6. 以root用户登录备DBService节点。 7. 执行su omm命令切换到omm用户。 8. 进入“${DBSERVERHOME}/sbin”目录，然后执行命令 ./statusdbserver.sh 检查备DBService的gaussDB资源状态是否正常，查看回显中，“ResName”为“gaussDB”的一行，是否显示如下信息： 例如：101010231 gaussDB Standbynormal Normal Activestandby 是，执行步骤9。 否，执行步骤16。 检查备节点磁盘是否已满 9. 以root用户登录备DBService节点。 10. 执行命令su omm切换到omm用户。 11. 进入“${DBSERVERHOME}”目录，执行以下命令获取DBservice的数据目录。 cd ${DBSERVERHOME} source .dbserviceprofile echo ${DBSERVICEDATADIR} 12. 执行df h命令，查看系统磁盘分区的使用信息。 13. 查看DBservice数据目录空间是否已满。 是，执行步骤14。 否，执行步骤16。 14. 对节点磁盘进行扩容。 15. 磁盘扩容后，等待2分钟检查告警是否清除。 是，操作结束。 否，执行步骤16。 收集故障信息 16. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 17. 在“服务”中勾选待操作集群的“DBService”，单击“确定”。 18. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 19. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM24000 Flume服务不可用的告警。 告警解释 告警模块按180秒周期检测Flume服务状态，当检测到Flume服务异常时，系统产生此告警。 当系统检测到Flume服务恢复正常，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24000 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Flume服务不可用时，Flume不能正常工作，数据传输业务中断。 可能原因 Flume实例全部故障。 处理步骤 1.以omm用户登录Flume实例所在节点，执行 ps efgrep "flume.roleserver" 命令查看当前节点是否存在flume进程。 是，执行步骤3。 否，重启Flume故障实例或Flume服务，执行步骤2。 2.在告警列表中查看“Flume服务不可用”告警是否清除。 是，处理完毕。 否，执行步骤3。 收集故障信息 3.在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 4.在“服务”框中勾选待操作集群的“Flume”。 5.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 6.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

检查备OMS数据库状态是否正常 6.以root用户登录备OMS数据库节点。 7.执行su omm命令切换到omm用户。 8.进入“${BIGDATAHOME}/omserver/om/sbin/”目录，然后执行./statusoms.sh命令检查备OMS数据库资源状态是否正常，查看回显中，“ResName”为“gaussDB”的一行，是否显示如下信息： 例如： 101010231 gaussDB Standbynormal Normal Activestandby 是，执行步骤9。 否，执行步骤16。 检查备节点磁盘是否已满 9.以root用户登录备OMS数据库节点。 10.执行su omm 命令切换到omm用户。 11.执行echo ${BIGDATADATAHOME}/dbdataom命令获取OMS数据库的数据目录。 12.执行df h命令，查看系统磁盘分区的使用信息。 13.查看OMS数据库数据目录挂载磁盘是否已满。 是，执行步骤14。 否，执行步骤16。 14.进行磁盘扩容。 15.磁盘扩容后，等待2分钟检查告警是否清除。 是，操作结束。 否，执行步骤16。 收集故障信息 16. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 17. 在“服务”中勾选“OmmServer”，单击“确定”。 18. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 19. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

查看productpage sidecar日志： kubectl logs productpagev17d78657c55j4t42 n bookinfo c istioproxy grep reviews 可以看到productpage服务访问到了reviews服务的三个版本的pod。 配置DestinationRule 、VirtualService资源，限制只能访问reviews的v3版本 plaintext apiVersion: networking.istio.io/v1alpha3 kind: DestinationRule metadata: name: reviews spec: host: reviews subsets: name: v1 labels: version: v1 name: v2 labels: version: v2 name: v3 labels: version: v3 apiVersion: networking.istio.io/v1alpha3 kind: VirtualService metadata: name: reviews spec: hosts: reviews http: route: destination: host: reviews subset: v3 weight: 100 再次多次访问productpage服务，查看productpage sidecar日志如下，可以看到总是访问到reviews的v3版本：

本节主要介绍HBlock服务。 服务 服务名称 作用 stor:mdm 元数据管理服务（仅集群版支持） 管理整个系统的元数据。 stor:fc 故障转移控制服务（仅集群版支持） 进行系统健康检测，实现故障转移控制。 stor:ls 日志服务（仅集群版支持） 提供基于日志的数据同步功能。 stor:dsx 数据服务（仅集群版支持） 管理用户的文件数据块。 stor:cs 协调服务（仅集群版支持） 监视各服务器的状态，触发通知事件，确保集群服务高可用。 stor:ms 管理服务 处理请求信息，维护集群运行状态。 stor:ws 监控服务 监控各个服务的状态，并负责服务的启动。 stor:ps 协议解析服务 负责iSCSI协议解析与数据存储。 stor:ag 数据采集服务 负责采集性能数据。 stor:ua 升级监听服务 负责接收升级请求，执行升级相关操作。

场景描述 RocketMQ的Topic是消息的逻辑分类单位，用于将消息进行分组和管理。创建Topic的场景可以根据具体业务需求来确定，以下是一些常见的场景描述： 消息发布与订阅：当需要实现消息发布与订阅模式时，可以创建一个主题来管理相关的消息。发布者可以将消息发送到该主题，而订阅者可以订阅该主题以接收感兴趣的消息。 事件驱动架构：在事件驱动的架构中，不同的模块之间通过事件进行通信。每个事件可以对应一个主题，模块可以将事件发送到相应的主题，其他模块可以订阅该主题以接收事件通知。 日志收集与分析：当需要收集大量的日志数据并进行分析时，可以创建一个主题来管理日志消息。日志产生者可以将日志消息发送到该主题，而日志消费者可以订阅该主题以进行实时分析或存储。 异步处理：当需要将某些操作异步处理时，可以创建一个主题来管理相关的异步消息。操作发起者可以将异步消息发送到该主题，而异步处理器可以订阅该主题以进行后续的异步处理。 分布式事务消息：在分布式系统中，当需要实现分布式事务消息时，可以创建一个主题来管理相关的事务消息。事务发起者可以将事务消息发送到该主题，而事务消费者可以订阅该主题以进行事务的处理和确认。 总的来说，创建主题的场景可以根据具体的业务需求来确定。主题可以帮助将消息进行逻辑分类和管理，实现不同的消息传递模式和业务场景。 新建Topic 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入Topic管理菜单，点击【创建Topic】按钮 5、 在弹出的创建Topic页面，填写如下字段信息 1）默认展示当前集群名称，不可修改。 2）选择Topic所在的Broker，按照实例创建时候选择的主备节点对数列出每个Broker，可复选。 3）填写Topic名称，名字限制2到64个字符，超过限制会导致创建Topic失败，用户创建Topic只能包含大小写字母数字以及和符号。 4）按照实际需求填写Topic备注。 5）填写每个Broker分区数，分区数必须大于0，小于等于8，创建严格顺序队列时，设置分区数为1，且只能选择一个Broker。 6）选择生产模式，RocketMQ是一个开源的分布式消息中间件，它支持两种消息生产模式：有序和无序。 有序消息生产模式（Ordered Message）是指按照特定规则将消息发送到相同的Message Queue中，并且确保消息在消费者端按照相同的顺序进行消费。这种模式适用于那些需要严格按照消息顺序进行处理的场景，比如订单处理、流程审批等。 无序消息生产模式（Unordered Message）是指消息发送到不同的Message Queue中，每个Queue都是独立的。消费者可以并行地从多个Queue中消费消息，而无需关心消息的顺序。这种模式适用于那些不需要严格按照消息顺序处理的场景，比如日志收集、异步通知等。 需要注意的是，无论是有序还是无序消息生产模式，RocketMQ都提供了高可靠性的消息传输和存储，并支持水平扩展和高吞吐量的特性。根据具体的业务需求，选择适合的消息生产模式能够更好地满足应用的要求。 7）选择Topic的读写权限，支持读写、只读、只写3类权限。 8）完成Topic信息填写后，保存确认即可新增主题。 9）若希望批量创建Topic，可点击【导入Topic】按钮。 导入Topic 注意：输入的Topic名不要带空格等特殊字符。 通过上传csv文件,批量创建主题。格式：点击【下载模板】按钮下载。 Topic模板 批量上传Topic的模板，必须使用模板，才能够上传成功，模板格式如下： TopicName QueueNums Perm MessageType Topic1 4 6 NORMAL Topic2 1 6 FIFO Topic3 4 6 DELAY Topic4 4 6 TRANSACTION

本章节主要介绍数据集成概述。 DataArts Studio数据集成是一种高效、易用的数据集成服务，围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移（Cloud Data Migration，后简称CDM）服务，本文中的“云数据迁移”、“CDM”均指“数据集成”。 您可以通过以下方式之一进入CDM主界面： 登录CDM控制台，单击“集群管理”，进入到CDM主界面。 登录DataArts Studio控制台。选择对应工作空间的“数据集成”模块，进入CDM主界面。 选择数据集成详见下图 云数据迁移简介 云数据迁移基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 数据集成定位详见下图 产品功能 表/ 文件/ 整库迁移 支持批量迁移表或者文件，还支持同构/异构数据库之间整库迁移，一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时，CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。

排查项七：内部组件是否正常 步骤 1 登录不可用节点对应的弹性云服务器。 步骤 2 执行以下命令判断paas组件是否正常。 systemctl status kubelet 执行成功，可查看到各组件的状态为Active，如下图： 若服务的组件状态不是Active，执行如下命令： 重启命令根据出错组件指定，如canal组件出错，则命令为：systemctl restart canal 重启后再查看状态：systemctl status canal 步骤 3 若执行失败，请执行如下命令，查看monitrc进程的运行状态。 ps ef grep monitrc 若存在此进程，请杀死此进程，进程杀死后会自动重新拉起。 kill s 9 ps ef grep monitrc grep v grep awk '{print $2}' 排查项八：DNS地址配置错误 步骤 1 登录节点，在日志/var/log/cloudinitoutput.log中查看是否有域名解析失败相关的报错。 cat /var/log/cloudinitoutput.log grep resolv 如果回显包含如下内容则说明无法解析该域名。 Could not resolve host: test.obs.cngz1.ctyun.cn; Unknown error 步骤 2 在节点上ping上一步无法解析的示例域名，确认节点上能否解析此域名。 ping test.obs.cngz 1 .ctyun.cn 如果不能，则说明DNS无法解析该地址。请确认/etc/resolv.conf文件中的DNS地址与配置在VPC的子网上的DNS地址是否一致，通常是由于此DNS地址配置错误，导致无法解析此域名。请修改VPC子网DNS为正确配置，然后重置节点。 如果能，则说明DNS地址配置没有问题，请排查其他问题。

本文介绍RDSPostgreSQL排查CPU使用率高的原因和解决方法。 在使用RDSPostgreSQL时，如果实例的CPU使用率长时间偏高，将会导致数据库读写处理性能下降，影响业务正常运行，需要重点分析原因并解决。本文提供一种排查CPU使用率高的原因和解决方法。 分析原因 通过管理控制台查看CPU使用率 部分资源池加载功能有所差异，请以控制台实际界面为准，以下以华东1资源池为例讲解相关操作步骤。 1. 登录天翼云门户。 2. 点击【控制中心】，选择对应资源池，例如“华东1”。 3. 在产品列表页面中找到【数据库】→【关系数据库PostgreSQL版】，点击进入控制台。 4. 在左侧目录中点击【PostgreSQL】→【实例管理】，点击进入产品实例管理页。 5. 在【实例管理】的实例列表中选择目标实例，点击【监控】进入单个实例的监控详情面。 6. 在二级菜单中选择【资源监控】，进入资源监控页后，在右上方选择对应实例对应节点，查看相关节点CPU使用率。 通过管理控制台查看语句及锁等信息，分析CPU使用率高的原因 如果CPU使用率过高，可以通过管理控制台查看当前实例的慢语句、语句执行状态、锁等信息。操作步骤（部分资源池加载功能有所差异，请以控制台实际界面为准）如下： 登录天翼云门户。 点击【控制中心】，选择对应资源池，例如“华东1”。 在产品列表页面中找到【数据库】→【关系数据库PostgreSQL版】，点击进入控制台。 在左侧目录中点击【PostgreSQL】→【实例管理】，点击进入产品实例管理页。 在【实例管理】的实例列表中选择目标实例，点击【监控】进入单个实例的监控详情面。 选择【引擎监控】，通过下拉框选定目标实例，选择“语句执行状态查询”、“Top慢语句查询” ，即可查看语句执行信息、锁分析状态、实例当前的慢语句等异常语句信息； 选择【日志监控】，通过下拉框选定目标实例，选择“慢日志”、“错误日志”，即可分析实例的异常日志信息。 建议解决方案 1. 建议建表时一定要加索引，尤其是在多表关联查询时关联字段场景下。 2. 尽量避免使用select ，减少全表扫描操作，查询时需要指定字段、指定where条件等。

本文主要介绍日志收集系统Flume接入Kafka。 最佳实践概述 场景描述 使用Flume+Kafka来完成实时流式日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，可以把它理解为一个数据库，可以存放一段时间的数据。 因此数据从数据源（ HTTP、Log 文件、JMS、监听端口数据等）到flume再到Kafka进行消息缓存，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计算，可实现数据多分发。 技术架构图 暂无。 方案优势 把数据存储到 HDFS 或者 HBase 等下游存储模块或者计算模块时需要考虑各种复杂的场景，例如并发写入的量以及系统承载压力、网络延迟等问题。Flume 作为灵活的分布式系统具有多种接口，同时提供可定制化的管道。在生产处理环节中，当生产与处理速度不一致时，Kafka 可以充当缓存角色。Kafka 拥有 partition 结构以及采用 append 追加数据，使 Kafka 具有优秀的吞吐能力；同时其拥有 replication 结构，使 Kafka 具有很高的容错性。所以将 Flume 和 Kafka 结合起来，可以满足生产环境中绝大多数要求。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 确认准备 Apache Flume环境（1.6.0以上版本兼容 Kafka）。 确认 Kafka 的 Source、 Sink 组件已经在 Flume 中。 资源规划 本实践方案内容仅涉及Kafka专享版实例。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 方案正文

原因分析 1. 部分表发生死锁，导致CPU一定幅度抬升。 2. 死锁的表中有大量的外键，这些表的记录在更新时，不仅需要获取本表的行锁，还需要检查外键关联表的记录，获取相应锁。高并发情况下，比普通表更容易锁冲突或死锁，详解官方文档。 3. 当MySQL检查到死锁的表时，会进行事务的回滚。其影响范围不仅是某个表，还会影响外键所在的表，最终导致数据库相关操作变慢。 解决方案 建议排查并优化死锁表相关的业务，业务上合理使用外键，避免更新冲突，避免产生死锁。 TaurusDB实例CPU升高定位思路 TaurusDB实例CPU升高或100%，引起业务响应慢，新建连接超时等。 场景1 慢查询导致CPU升高 问题原因：大量慢SQL导致实例CPU升高，需要优化相应的慢SQL。 排查思路： 查看CPU使用率和慢日志个数统计监控指标。 如果慢日志个数很多，且与CPU曲线吻合，可以确定是慢SQL导致CPU升高。 如果慢日志个数不多，但与CPU使用率基本一致，进一步查看行读取速率指标是否与CPU曲线吻合。 如果吻合，说明是少量慢SQL访问大量行数据导致CPU升高：由于这些慢SQL查询执行效率低，为获得预期的结果需要访问大量的数据导致平均IO高，因此在QPS并不高的情况下（例如网站访问量不大），也会导致实例的CPU使用率偏高。 解决方案： 1. 根据CPU使用率过高的时间点，查看对应时间段的慢日志信息。 2. 重点关注扫描行数、返回结果行数超过百万级别的慢查询，以及锁等待时间长的慢查询。 3. 慢查询用户可自行分析，或使用数据管理服务(DAS)对慢查询语句进行诊断。 4. 通过分析数据库执行中的会话来定位执行效率低的SQL。 连接数据库。 执行 show full processlist; 。 分析执行时间长、运行状态为Sending data、Copying to tmp table、Copying to tmp table on disk、Sorting result、Using filesort的会话，均可能存在性能问题，通过会话来分析其正在执行的SQL。

参数名称 参数类型 参数描述 默认值 parallelprocess 备份参数 指定Roach备份时每个节点的并发进程。 须知： 该参数支持8.2.0之前版本集群配置。 为本节点主DN个数 compressiontype 备份参数 压缩算法类型：zlib、LZ4 须知： 该参数支持8.2.0之前版本集群配置。 LZ4 compressionlevel 备份参数 压缩级别，取值范围为0~9： · 0代表快速或无压缩。 · 9代表慢速或最大压缩。 须知 该参数支持8.2.0之前版本集群配置。 6 buffersize 备份参数 指定Roach上传介质的buffer大小，取值范围为256~16384， 单位是MB 。 256 bufferblocksize 备份参数 指定Roach读取数据文件的数据块大小，取值范围为5242880~268435456， 单位是Byte 。 67108864 cpucores 备份参数 Roach启动多线程并发时，可以使用的CPU核数。 为节点CPU逻辑核数总和的1/2 mastertimeout 备份参数 指定Roach master节点和agent节点的通信超时时间，取值范围为600~3600，单位是s。 3600 maxbackupiospeed 备份参数 指定Roach备份时的IO流控，取值范围为0~2048，单位是MB/s。必须大于bufferblocksize，0表示不限制。 0 backupmode 备份参数 全量备份的模式： 0：一阶段的备份 1：两阶段的备份 0 cbmparsemode 备份参数 增量备份的模式： 0：一次扫描cbm（内存占用大，性能快） 1：多次扫描cbm（内存占用稳定，性能差） 0 parallelprocess 恢复参数 指定Roach备份时每个节点的并发进程，默认当前节点主DN数+ 1 1 cpucores 恢复参数 Roach启动多线程并发时，可以使用的CPU核数。 默认是1/2 cpu核数 logginglevel 恢复参数 日志级别： · FATAL（致命）：导致系统停止工作的、无法恢复的故障。该级别为最严重级别。 · ERROR（错误）：重大错误。 · WARNING（警告）：异常情况。系统在该情况下可能会继续处理任务。 · INFO（提示）：日志记录过程中的提示性日志。 · DEBUG（调试）：用于调试的详细信息。 · DEBUG2（调试2）：最详细的日志信息，通常会过滤不显示。该级别严重程度最轻。 INFO

domain '.'.join(toks[1:]) else: hostname toks[0] if fqdn and domain ! defdomain: return "%s.%s" % (hostname, domain) else: return hostname 修改完成后按“ESC”退出编辑模式，输入:wq!保存并退出。 修改init.py文件 b. 执行如下命令进入“cloudinit/sources”文件夹。 cd /usr/lib/python2.7/sitepackages/cloudinit/sources/ c. 执行如下命令，删除 “init.pyc”文件和优化编译后的 “init.pyo”文件。 rm rf init.pyc rm rf init.pyo d. 执行如下命令，清理日志信息。 rm rf /var/lib/cloud/ rm rf /var/log/cloudinit 13. 执行以下命令编辑CloudInit日志输出路径配置文件，设置日志处理方式handlers，建议配置为cloudLogHandler。 vim /etc/cloud/cloud.cfg.d/05logging.cfg 配置为cloudLogHandler 检查CloudInit工具相关配置是否成功 执行以下命令，无错误发生，说明CloudInit配置成功。 cloudinit init local 正确安装的CloudInit会显示CloudInit的版本详细信息，并且无任何错误信息。例如，正确安装的情况下，不含有缺少文件的提示信息。 说明： 执行如下命令，可将系统用户密码有效期设置为最大。此操作可选。 chage M 99999 $username 其中，username为系统用户，例如root账户。 密码有效期建议设置为99999。

本文为您系统梳理使用数据库双活的标准化准备流程。 概述 数据库双活提供数据库语义级的同构数据库双活复制软件服务。采用数据库之间语义级的数据实时复制与同步；基于数据库事务日志分析技术，在数据库高并发事务场景下实现数据实时同步；于目标端同步写入时序，严格确保源端和目标端的数据库事务级最终一致性；提供了备库接管、反向同步等功能。 操作步骤 一、购买许可 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源同步”“资源同步管理”，进入资源管理模块页面。 5. 点击左侧菜单栏“数据库双活”，点击“许可”，进入许可页面。 6. 点击右上角“购买数据库双活许可”按钮，弹出购买许可弹窗。按需购买许可。 7. 填写数据库类型、购买数量和时长，勾选已阅读并同意相关协议后，点击“购买”按钮，完成许可支付。 二、安装drnode 步骤一：网络配置 场景1：若同步资源为天翼云内资源时，需手动配置其需同步资源所在的虚拟私有云（VPC），并通过部署VPC终端节点（VPCEP）实现MDR网络代理与目标VPC的安全互联。 1. 登录天翼云，进入[控制中心](

本章节举例介绍函数计算的典型应用场景,包括:Web应用、数据分析和处理、AI推理、视频转码等。 Web应用 Web应用是一种典型的事件驱动应用。函数计算搭配数据库、缓存、消息中间件等云产品，开发者只需要编写业务代码即可快速构建可靠的、可弹性伸缩的Web应用。这些程序可同时部署在多个数据中心实现高可用运行。 1. 简化开发流程：开发者只需专注于编写业务代码，而无需担心底层基础设施的管理和维护，从而大幅简化了开发流程。 2. 高可用性：Web应用可以轻松部署在多个数据中心，实现高可用运行。 3. 弹性扩展：基于请求量的实时变化，快速调度计算资源，实现毫秒级的自动弹性伸缩，高效应对业务洪峰。 4. 平滑迁移：支持多种开发语言和自定义运行时，兼容传统应用框架，传统Web应用到函数计算易迁移。 数据分析和处理 函数计算支持丰富的事件源。通过简单地配置事件触发条件，只需要很少的配置和代码，函数计算就可以对数据进行实时分析和处理。比如对日志数据进行清洗和处理、对上传对象存储的文件进行解压、校验和转换等。 1. 高灵活度：事件的处理逻辑可以根据实际业务场景的不同灵活定义。 2. 配置简单：支持各类事件源，只需要简单的配置就可以进行实时数据分析和处理。