本章节主要介绍DataArts Studio的获取Rest Client算子返回值操作。 Rest Client算子可以执行RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值。 通过EL表达式获取返回值。 通过“响应消息体解析为传递参数定义”获取返回值 如下图所示，第一个Rest Client调用了MRS服务查询集群列表的API，下图为API返回值的JSON消息体。 使用场景：需要获取集群列表中第一个集群的cluster Id，然后作为参数传递给后面的节点使用。 关键配置：在第一个Rest Client的“响应消息体解析为传递参数定义”配置中，配置clusterIdclusters[0].clusterId，后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 Rest Clien作业样例1 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式相配合，根据具体的场景选择不同的EL表达式来实现更丰富的用法。您可以参考本教程，根据您的实际业务需要，开发您自己的作业。EL表达式用法可参考表达式概述。 如下图所示，Rest Client调用了MRS服务查询集群列表的API，然后执行Kafka Client发送消息。 使用场景：Kafka Client发送字符串消息，消息内容为集群列表中第一个集群的cluster Id。 关键配置：在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段：

启动服务 使用如下命令启动服务： python3 main.py 80 启动成功如下图所示： 、 启用开发者模式 1、登录微信公众平台，选择“开发 >基本配置”，单击“修改配置”。 2、填写配置信息，单击“提交”。 URL： Token：需要与handle.py中对应token取值完全一致。 EncodingAESKey：随机生成。 消息加解密方式：此为示例，选择简单的“明文模式”。 3、验证token成功，单击“启用”。 说明 如果token验证失败，请检查Token配置与handle.py中GET消息处理代码是否一致。 验证 使用微信关注公众号，任意发送一条文本消息，看是否能够收到回复。如能收到回复则表明系统处理正常。

服务名称 与其他服务的关系 主要交互功能 云审计服务 开通云审计服务后，云审计服务会记录AntiDDoS相关的操作事件，方便用户日后的查询、审计和回溯。 消息通知服务 消息通知服务（Simple Message Notification，简称SMN）提供消息通知功能。AntiDDoS开启告警通知后，如果IP地址受到DDoS攻击时用户会收到短信或邮件的提醒信息。 云日志服务 将攻击日志记录到云日志服务（Log Tank Service，简称LTS）中，通过LTS记录AntiDDoS日志，可以高效地进行实时决策分析、设备运维管理以及业务趋势分析。 云监控服务 云监控服务可以监控AntiDDoS相关的指标，用户可以通过指标及时了解防护状况，并通过这些指标设置防护策略。 统一身份认证服务 统一身份认证服务（Identity and Access Management，简称IAM）为AntiDDoS提供权限管理的功能，拥有对应权限的用户才能使用AntiDDoS服务。

可信云服务可以通过IAM委托的方式访问其他云服务的资源。可信实体为天翼云服务的IAM委托，包括普通云服务委托和云服务关联委托。本文介绍函数计算的服务内联委托。 什么是服务内联委托 在某些场景下，函数计算为了完成自身的某个功能，需要获取其他云服务的访问权限，因此，函数计算创建了与云服务内联委托，即服务内联委托CtyunServiceDelegateRoleForFC。函数计算支持CtyunServiceDelegateRoleForFC和FaaS函数的绑定，实现最小授权范围内授予函数访问其他云服务的权限。 使用函数计算时，系统提供的服务内联委托及其包含的系统权限策略如下： 服务内联委托：CtyunServiceDelegateRoleForFC 系统权限策略：CtyunServiceInlineDelegateRolePolicyForFC CtyunServiceDelegateRoleForFC 服务内联委托CtyunServiceDelegateRoleForFC可以获取访函数列表、函数详情、创建函数、删除函数、更新函数以及调用函数的权限。 服务内联委托CtyunServiceDelegateRoleForFC被授予权限策略CtyunServiceInlineDelegateRolePolicyForFC，该权限策略的内容如下。 json { "Version": "1", "Statement": [ { "Action": [ "cf:inst:CreateFunction", "cf:inst:UpdateFunction", "cf:inst:ListFunction", "cf:inst:GetFunction", "cf:inst:InvokeFunction", "cf:inst:DeleteFunction" ], "Resource": "", "Effect": "Allow" } ] } 以下是使用函数计算时，需要创建和使用服务内联委托的场景： 为函数计算配置专有网络VPC、交换机或弹性网卡等，提升数据安全性，实现VPC内的网络互通。 访问容器镜像仓库拉取镜像创建容器镜像函数，能够利用容器镜像资源灵活部署函数。 配置消息队列或事件总线等消息服务的访问权限，使用函数计算监听消息源的事件。当有新的消息或事件产生时，可以直接触发函数执行，实现事件驱动的计算模型。 配置日志服务相关权限，允许自动收集函数执行日志，便于日志的搜索、分析和可视化展示，帮助用户快速定位问题。

本文介绍如何使用云搜索Elasticsearch、Kibana、Logstash实例搭建日志分析平台。 使用ELK Stack（Elasticsearch、Logstash、Kibana、Beats）进行日志管理是一种流行的开源解决方案，用于集中式日志收集、存储、分析和可视化。ELK Stack可以从分布式系统中采集和聚合日志，帮助运维和开发人员更好地理解系统的运行状态、排查问题并监控关键业务指标。 本文将使用Filebeat、Logstash、Elasticsearch、Kibana搭建一个简单的日志分析平台，其中需要自行部署Filebeat并且打通和天翼云云搜索Elasticsearch、Kibana以及Logstash实例之间的网络。 ELK Stack组件 Elasticsearch 是一个分布式搜索引擎，作为ELK堆栈的核心，它负责存储和索引日志数据。Elasticsearch提供强大的全文搜索、过滤和分析功能，可以快速处理大规模数据并允许实时查询。 Logstash 是一个数据处理管道工具，负责从各种输入源收集数据，进行过滤、处理并将其输出到 Elasticsearch。Logstash 支持多种数据源（如文件、数据库、消息队列），并且能够通过过滤器对数据进行处理，比如解析、格式转换等。 Kibana 是一个数据可视化和分析工具，允许用户在浏览器中直观地查询和展示Elasticsearch 中存储的日志数据。Kibana提供多种图表、仪表盘和地图，可以帮助用户监控系统、分析日志、生成报表等。 Beats是一组轻量级数据收集器，用于将各种类型的数据发送到Elasticsearch或Logstash进行索引和分析。其中Filebeat是 ELK Stack 中的一个轻量级日志数据收集器，用于收集日志文件数据。它监视指定的日志文件或位置，并将其发送到Elasticsearch或Logstash以进行存储和分析。

由于服务端升级、服务端重启、网络抖动等原因，服务端和客户端的网络连接可能会断开。本文介绍如何在客户端设置Connection和Topology自动恢复，使Connection和Topology在网络连接断开后自动恢复，避免断连对业务造成影响。 触发原因 触发Connection自动恢复的原因如下： Connection的I/O抛出异常。 Socket读取操作超时。 检测到服务端心跳丢失。 恢复方法 4.0.0及以上版本Java客户端默认开启Connection和Topology自动恢复，无需在代码中设置。 在客户端开启Connection和Topology（Queue、Exchange、Binding、Consumer）自动恢复的方法如下： factory.setAutomaticRecoveryEnabled(boolean)：用于开启或关闭Connection自动恢复。 factory.setNetworkRecoveryInterval(long)：用于设置重试时间间隔。如果Connection自动恢复异常，设置了Connection自动恢复的客户端将在一段固定时间间隔（默认为5秒）后重试。 factory.setTopologyRecoveryEnabled(boolean)：用于开启Topology自动恢复。Topology包括Queue、Exchange、Binding、Consumer。 示例代码 开启Connection和Topology自动恢复的客户端示例代码如下： ConnectionFactory factory newConnectionFactory(); // 设置接入点，在分布式消息服务RabbitMQ控制台实例详情页面获取。 factory.setHost("192.168.x.x"); // 设置Vhost名称 factory.setVirtualHost("/"); // 端口 factory.setPort(5672); // 基于网络环境设置合理的超时时间。 factory.setConnectionTimeout(301000); factory.setHandshakeTimeout(301000); factory.setShutdownTimeout(0); // 开启Connection自动恢复。 factory.setAutomaticRecoveryEnabled(true); // 设置Connection重试时间间隔为10秒。 factory.setNetworkRecoveryInterval(10000); // 开启Topology自动恢复。 factory.setTopologyRecoveryEnabled(true); Connection connection factory.newConnection(); 恢复限制 Connection自动恢复的限制如下： Connection断开需要一定的时间检测。要确保这段时间内发送的消息不丢失，需使用Publisher Confirms实现可靠发送。 Channel异常导致Connection断开时，不会触发Connection自动恢复。Channel异常通常为应用级别的问题，需要使用方自行处理。 Connection自动恢复不会使Channel也自动恢复。

服务名称 MRS 与其他服务的关系 主要交互功能 虚拟私有云（Virtual Private Cloud） MRS集群创建在虚拟私有云（VPC）的子网内，VPC通过逻辑方式进行网络隔离，为用户的MRS集群提供安全、隔离的网络环境。 创建虚拟私有云和子网 对象存储服务（Object Storage Service） 对象存储服务（OBS）用于存储用户数据，包括MRS作业输入数据和作业输出数据： MRS作业输入数据：用户程序和数据文件 MRS作业输出数据：作业输出的结果文件和日志文件 MRS中HDFS、Hive、MapReduce、YARN、Spark、Flume和Loader支持从OBS导入、导出数据。MRS使用OBS的并行文件系统提供服务。 配置存算分离集群（委托方式）配置存算分离集群（AKSK方式）配置HDFS映射方式对接OBS文件系统 弹性云服务器（Elastic Cloud Server） MRS服务使用弹性云服务器（Elastic Cloud Server，简称ECS）作为集群的节点，每个弹性云服务器是集群中的一个节点。 准备运行环境创建集群 关系型数据库（Relational Database Service） 关系型数据库（RDS）用于存储MRS系统运行数据，包括MRS集群元数据和用户计费信息等。 配置数据连接 统一身份认证服务（Identity and Access Management） 统一身份认证服务（IAM）为MRS提供了鉴权功能。 创建用户并授权使用MRSMRS自定义策略IAM用户同步MRS 消息通知服务（SMN） MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式。 配置作业消息通知 云审计服务（Cloud Trace Service） 云审计服务（CTS）为用户提供MRS资源操作请求及请求结果的操作记录，供用户查询、审计和回溯使用。 见下表

介绍分布式消息服务Kafka消费组查看功能操作内容。 场景描述 在以下场景中，可以考虑查看Kafka的消费组列表： 监控消费组：通过查看消费组列表，可以监控和管理Kafka中的消费者。可以查看消费组的健康状态等信息，以确保消费者正常工作并及时发现潜在的问题。 动态调整消费者数量：通过查看消费组列表，可以了解当前的消费者数量和状态。根据实际需求，可以动态增加或减少消费者的数量，以适应不同的负载和流量变化。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理” （4）点击“消费组管理”后出现如下图列表 （5）右上角输入消费组名称，可查询对应消费组 消费组状态说明见下表： 状态 说明 Empty 消费组没有分配到任何分区进行消费。 PreparingRebalance 消费组中有新的消费者加入或者有消费者离开，正在进行重新分配分区的准备工作。 CompletingRebalance 1. 重新分配分区的过程已经完成，消费组即将开始消费。 Stable 消费组中的消费者正常消费消息，并且消费进度与分区分配是一致的。 Dead 消费组已经停止工作，没有任何活跃的消费者。 PreparingSync 消费组正在准备同步消费进度，以确保消费者之间的一致性。 AwaitingSync 消费组中的消费者正在等待同步消费进度的完成。 Rebalancing 消费组正在进行重新分配分区的操作。 DeadAndEmpty 消费组已经停止工作，且没有分配到任何分区进行消费。

本节介绍分布式消息服务Kafka计费类常见问题 可以购买哪些版本？ 不同资源池可购买的版本、规格不一致，具体请查看产品规格说明 （1）华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 可以选购Kafka引擎，选择主机类型、节点规格、节点数和存储空间。 （2）芜湖2、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、北京5 可以选购高级版和基础版两个版本。 到期后如何续费？ 在集群列表中点击“续费”，进入购买时长页面，购买成功后自动续费。 手动续订：对于包年/包月订购的分布式缓存服务，用户在资源到期前进行续费操作，可以延长原有资源到期时间，避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订：自动续订仅针对采用包月、包年计费模式的资源，详细操作请参考费用中心续订管理自动续订。 产品订购时可选资源池节点不一致？ 已上线资源池节点的剩余容量达到一定比例后，为确保老客户权益，将不再面向新客户开放，产品订购时的可选资源节点范围以实际为准。

关闭Topic日志 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“应用服务 > 分布式消息服务Kafka”，进入Kafka总览页面。 4. 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 5. 单击Kafka实例的名称，进入实例详情页面。 6. 在左侧导航栏选择“日志管理 > Topic日志”，进入“Topc日志”页面。 7. 在页面右上角单击“关闭日志”，弹出确认关闭对话框。 8. 单击“确定”，自动跳转到“后台任务管理”页面，“状态”为“成功”时，表示关闭Topic日志成功。 关闭Topic日志只是停止Topic日志上报功能，LTS控制台的日志组和日志流仍然保留，还会继续收费，如不需要保留该日志，可以在LTS控制台删除对应的日志组和日志流。

类型 收集方式 是否可以修改 是否必须 邮箱 服务器开启双因子认证后，HSS定时获取对应消息通知服务主题订阅的邮箱 否 是 手机号 服务器开启双因子认证后，HSS定时获取对应消息通知服务主题订阅的手机号 否 是 登录位置信息 服务器开启防护后，登录云服务器时，HSS记录的用户登录位置信息。 否 是

本章节主要介绍安全认证原理和认证机制。 功能 开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 结构 Kerberos的原理架构如下图所示，各模块的说明如下图所示。 原理架构 模块说明 模块 说明 Application Client 应用客户端，通常是需要提交任务（或者作业）的应用程序。 Application Server 应用服务端，通常是应用客户端需要访问的应用程序。 Kerberos 提供安全认证的服务。 KerberosAdmin 提供认证用户管理的进程。 KerberosServer 提供认证票据分发的进程。 步骤原理说明： 应用客户端（Application Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。 1. 应用程序在提交任务或者作业前，需要向Kerberos服务申请TGT（TicketGranting Ticket），用于建立和Kerberos服务器的安全会话。 2. Kerberos服务在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用客户端指定的用户名的密钥进行加密响应消息。 3. 应用客户端收到TGT响应消息后，解析获取TGT，此时，再由应用客户端（通常是rpc底层）向Kerberos服务获取应用服务端的ST（Server Ticket）。 4. Kerberos服务在收到ST请求后，校验其中的TGT合法后，生成对应的应用服务的ST，再使用应用服务密钥将响应消息进行加密处理。 5. 应用客户端收到ST响应消息后，将ST打包到发给应用服务的消息里面传输给对应的应用服务端（Application Server）。 6. 应用服务端收到请求后，使用本端应用服务对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。

参数名称 参数说明 取值样例 报告名称 默认的报告名称。 default monthly security report 报告类型 报告的统计周期类型名称，不可编辑。 安全月报 报告发送时间 报告自动发送时间。 报告接收方式 生成的安全报告接收方式。 消息中心：使用消息中心和其它安全服务共同使用“安全事件通知”的信息接收人。需登录控制台，在右上角信箱查看。 消息主题：为HSS单独创建的主题，设置告警通知接收人。可选择短信或邮件通知。 无需发送到邮箱：不发送报告至邮箱。 消息中心

本节主要介绍如何在智能视图服务控制台设置推送策略。 目前，平台仅支持短信方式推送告警信息。 AI消息推送的几大先决条件： 创建子用户须填入正确手机号，且已完成短信验证。 相关资源已配置AI应用且已启用成功以及有告警产生。 创建推送策略，且开启对应的推送策略。 选择推送策略菜单后，点击右侧控制台上方的【新建推送策略】按钮，如下图： 对创建推送策略窗口的相关参数进行解释： 参数名 解释说明 策略名 推送策略的名字，也是管理相关策略的索引。 描述 对当前策略进行备注。 推送方式 邮件推送、短信推送，目前仅支持短信推送。 推送时段 全天、时间段，客户根据自身的业务需要，选择特定时间段接收消息。 推送频率 系统预置半小时、1小时、2小时、4小时、8小时、24小时。 消息类型 设备消息、平台事件消息、AI消息。 子类型 设备消息：设备离线、流离线、录制失败。 平台事件消息：设备离线。 AI消息：展示AI应用的列表信息。 以上类型均支持单选、多选。 消息内容 邮件、短信接收到的文案信息。 生效资源 支持用户选择业务组、目录及独立设备，支持单选、多选。 推送对象 支持用户选择用户组或具体子用户，支持单选、多选。 创建用户组参见访问管理模块的【用户管理】。 配置AI应用后可以在AI分析结果查看AI告警图片，如下图：

本节主要介绍分布式缓存服务Redis版的计费模式 目前天翼云分布式缓存服务Redis版提供包周期（包年/包月）、按需2种计费模式供您灵活选择，使用越久越便宜。 包周期（包年/包月）：天翼云提供包月和包年的购买模式。这种购买方式相对于按需付费则能够提供更大的折扣，对于长期使用者，推荐该方式。包周期计费按照订单的购买周期来进行结算。 按需计费：这种购买方式比较灵活，可以即开即停，支持秒级计费。实例从“开通”开启计费到“删除”结束计费，按实际购买时长（精确到秒）计费。 下表列出两种模式的区别： 计费模式 包年/包月 按需计费 付费方式 预付费按照订单的购买周期结算。 后付费按照云服务器实际使用时长计费。 计费周期 按订单的购买周期计费。 按小时结算。 实例升级 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容。 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容。 更改计费模式 支持变更为按需资源。 支持变更为包周期资源。 变更规格 支持变更实例规格。 支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于消息资源需求波动的场景，可以随时开通，随时删除。 包周期与按需计费方式之间可以进行转换，具体操作请参考包周期与按需互转。

本文介绍分布式消息服务Kafka产品功能的约束和限制。 实例 表实例约束与限制 限制项 约束与限制 :: Kafka ZooKeeper Kafka集群依赖ZooKeeper进行管理，开放ZooKeeper可能引发误操作导致业务受损，当前仅Kafka内部使用，不对外提供服务。 版本 当前服务端版本为1.1.0、2.3.0和2.7。实例创建后，服务端版本不支持升级。 兼容0.10以上的客户端版本，推荐使用和服务端一致的版本。 登录Kafka节点所在机器 不能登录 存储空间 只支持扩大存储空间，不支持减小存储空间。 扩容存储空间有次数限制，最多扩容20次。 基准带宽/代理个数 只支持增加基准带宽/代理个数，不支持减小基准带宽/代理个数。 代理规格 支持扩容/缩容代理规格。 修改VPC/子网/可用区 实例创建后，不支持修改VPC/子网/可用区。 是否支持Kerberos认证 不支持 Topic 表 Topic约束与限制 限制项 约束与限制 Topic总分区数 Topic总分区数和实例规格有关，具体请参考产品规格。Kafka以分区为粒度管理消息，分区多导致生产、存储、消费都碎片化，影响性能稳定性。在使用过程中，当Topic的总分区数达到上限后，用户就无法继续创建Topic。 单个Topic分区数 按照开源Kafka现有逻辑，单个Topic分区数只支持增加，不支持减少。 Topic数量 Topic数量和Topic总分区数、每个Topic的分区数有关，具体请参考产品规格。 是否支持自动创建Topic 支持。开启自动创建Topic表示生产或消费一个未创建的Topic时，系统会自动创建此Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值，此后自动创建的Topic参数值为修改后的参数值。例如：“num.partitions”修改为“5”，自动创建的Topic参数值如下：分区数为5，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 同步复制 Topic副本数为1时，不能选择同步复制功能。 副本数 不建议使用单副本。实例节点出现故障的情况下，单副本Topic查询消息时可能会报“内部服务错误”，因此不建议使用单副本Topic。 老化时间 如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。例如：Topic01设置的老化时间为60小时，“配置参数”中的log.retention.hours值为72小时，此时Topic01实际的老化时间为60小时。 批量导入/导出Topic 支持批量导出，不支持批量导入。 Topic名称 Topic名称开头包含特殊字符，例如下划线“”、

以应用为维度,进行可视化拓扑展示。 功能入口 1. 选择目标资源池，并登录APM组件控制台。 2. 在左侧导航栏中选择「应用监控 」「应用列表」。 3. 在应用列表中选择您想查看的应用，点击「应用名称」打开新的应用详情链接。 4. 在左侧导航栏中选择「应用拓扑」查看相应信息。 功能说明 拓扑图是一种以图形化方式展示应用之间关系的图表，帮助开发人员或运维人员了解应用程序的整体结构和运行状况。 信息 拓扑图通常包括以下信息： 应用或服务的组成部分：例如数据库、缓存、消息队列、Web 服务器等，当前版本支持的插件见下表，暂未支持的插件会显示为unknown。 类别 支持的服务 其他基础服务 JavaMethod 其他基础服务 Netty 数据库 Mysql 数据库 ClickHouse 数据库 EsRestClient 数据库 MongoDb 缓存 Redis 缓存 Jedis 缓存 Lettuce 消息 KafkaConsumer 消息 KafkaProducer 消息 RabbitMqConsumer 消息 RabbitMqProducer Web容器 Tomcat 外部调用 HttpClient 组件之间的依赖关系：例如一个组件调用另一个组件的接口等，包含各项基础指标 指标名 说明 客户端 显示当前链路的客户端名称。 服务端 显示当前链路的服务端名称。 请求总量 显示当前链路在筛选时间段内的请求次数。 吞吐量 显示当前链路在筛选时间段内平均每分钟的请求量。 平均响应时间 显示当前链路在筛选时间段内所有请求的平均响应时间。 错误数 显示当前链路在筛选时间段内请求错误次数。 错误率 显示当前链路在筛选时间段内请求错误率，即：错误数/请求总量。 通过分析拓扑图，开发/运维人员可以快速定位应用中的问题，并进行及时的排查和修复。拓扑图还可以帮助开发/运维人员进行容量规划和性能优化，以提高应用程序或服务的性能和可靠性。

本章节介绍故障演练服务中应用资源管理功能。 概述 应用资源 是构成应用 的组件节点，例如云主机 、云容器引擎 、分布式缓存服务Redis版 、分布式消息服务Kafka等实例。应用需要先纳管资源，才能对其进行故障演练。 添加应用资源 1. 登录应用高可用服务控制台。 2. 在左侧导航栏中，定位到故障演练 菜单，选择要操作的目标应用 ，然后单击其下的应用资源 选项，进入应用资源管理页面。 3. 在页面上方的资源类型 页签中，选择希望添加的资源类型（如云主机），然后单击添加资源按钮。 4. 在弹出的对话框中，选择资源池等筛选条件 ，单击搜索，系统将列出符合条件的、当前用户有权访问的资源清单。 5. 从列表中勾选 一个或多个资源，然后单击确认完成添加。 6. 返回应用资源列表，可以看到新添加的资源对象。 注意 列表中显示的资源状态可能存在一定延迟，如需获取最实时的信息，以该资源对应的云产品控制台为准。 删除应用资源 1. 进入目标应用的应用资源管理页面。 2. 在应用资源 列表中，找到希望删除的资源对象，单击其对应的删除按钮。 3. 在弹出的确认对话框中完成删除操作。 4. 返回应用资源列表，确认该资源对象已被成功移除。 注意 若目标资源被演练任务引用，则无法直接删除；必须先解除所有关联任务对该资源的引用，才能进行删除操作。

发生消费位点重置的两种情况 当服务端不存在曾经提交过的位点时（比如客户端第一次上线）； 当从非法位点拉取消息时（比如某个分区最大位点是10，但客户端却从11开始拉取消息）。 配置重置策略 Java 客户端可以通过auto.offset.reset来配置重置策略，主要策略有： latest：从最大位点开始消费； earliest：从最小位点开始消费； none：不做任何操作，也即不重置。 策略配置建议 强烈建议设置成“latest”，而不要设置成“earliest”，避免因位点非法时从头开始消费，从而造成大量重复 如果是客户自己管理位点，可以设置成”none”； 拉取大消息。 拉取消息注意事项 消费过程是由客户端主动去服务端拉取消息的，在拉取大消息时，需要注意控制拉取速度，注意修改配置。 max.poll.records：如果单条消息超过1MB，建议这里设置为1； fetch.max.bytes：设置比单条消息的大小略大一点； max.partition.fetch.bytes：设置比单条消息的大小略大一点。拉取大消息的核心是一条一条拉。

参数区域 参数名称 参数说明 Syslog协议 服务IP 设置对接服务器IP地址。 服务端口 设置对接端口。 协议 设置协议类型，取值范围： l “TCP” l “UDP” 安全级别 设置上报消息的严重程度，取值范围： l “Informational” l “Emergency” l “Alert” l “Critical” l “Error” l “Warning” l “Notice” l “Debug” Facility 设置产生日志的模块。 标识符 设置产品标识，默认为“MRS Manager”。 报告信息 报文格式 设置告警报告的消息格式，具体要求请参考界面帮助。 报告告警类型 设置需要上报的告警类型。 l “故障”表示Manager产生告警时会上报Syslog告警消息。 l “清除”表示清除Manager告警时会上报Syslog告警消息。 l “事件”表示Manager产生事件时会上报Syslog告警消息。 报告告警级别 设置需要上报的告警级别。支持“提示”、“一般”、“严重”和 “致命”。 未恢复告警上报设置 周期上报未恢复告警 设置是否按指定周期上报未清除的告警。“周期上报未恢复告警”的开关默认为关闭，单击启用此功能。 间隔时间（分钟） 设置周期上报未恢复告警到远程Syslog服务的时间间隔，当“周期上报未恢复告警”开关打开时启用。单位为分钟，默认值为“15”，取值范围为5分钟到一天（1440分钟）。 心跳设置 上报心跳 设置是否开启周期上报Syslog心跳消息。“周期上报未恢复告警”的开关默认为关闭，单击启用此功能。 心跳周期（分钟） 设置周期上报心跳的时间间隔，当“上报心跳”开关打开时启用。单位为分钟，默认值为“15”，取值范围为160。 心跳报文 设置心跳上报的内容，当“上报心跳”开关打开时启用，不能为空。支持数字、字母、下划线、竖线、冒号、空格、英文逗号和句号等字符，长度小于等于256。

参数名称 说明 示例 发送通知 配置是否发送邮件、短信、HTTP和HTTPS通知用户。此处推荐您开启发送通知，当监控指标触发设定的告警策略时，云监控服务会在第一时间通过消息通知服务实时告知您云上资源异常，以免因此造成业务损失。 开启发送通知 通知方式 根据需要可选择通知组或主题订阅两种方式。 通知组 需要发送告警通知的通知组。 通知对象 需要发送告警通知的对象，可选择云账号联系人或主题。 云账号联系人：注册账号时的手机和邮箱。 主题：消息发布或客户端订阅通知的特定事件类型，若此处没有需要的主题，需先创建主题并订阅该主题。 生效时间 该告警规则仅在生效时间内发送通知消息。如生效时间为00:008:00，则该告警规则仅在00:008:00发送通知消息。 触发条件 可以选择“出现告警”、“恢复正常”两种状态，作为触发告警通知的条件。

参数 默认值 推荐值 说明 auto.commit.enable TRUE FALSE 如果为真，consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程无法提供服务时，由新的consumer使用。约束：设置为false后，需要先成功消费再提交，这样可以避免消息丢失。 auto.offset.reset latest earliest 没有初始化offset或者offset被删除时，可以设置以下值： earliest：自动复位offset为最早 latest：自动复位offset为最新 none：如果没有发现offset则向消费者抛出异常 anything else：向消费者抛出异常。 说明 如果将此配置设置为latest，新增分区时，生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息，从而导致部分消息丢失。 connections.max.idle.ms 600000 30000 空连接的超时时间，设置为30000可以在网络异常场景下减少请求卡顿的时间。

本章节介绍故障演练服务中应用资源管理功能。 概述 应用资源 是构成应用 的组件节点，例如云主机 、云容器引擎 、分布式缓存服务Redis版 、分布式消息服务Kafka等实例。应用需要先纳管资源，才能对其进行故障演练。 添加应用资源 1. 登录应用高可用服务控制台。 2. 在左侧导航栏中，定位到故障演练 菜单，选择要操作的目标应用 ，然后单击其下的应用资源 选项，进入应用资源管理页面。 3. 在页面上方的资源类型 页签中，选择希望添加的资源类型（如云主机），然后单击添加资源按钮。 4. 在弹出的对话框中，选择资源池等筛选条件 ，单击搜索，系统将列出符合条件的、当前用户有权访问的资源清单。 5. 从列表中勾选 一个或多个资源，然后单击确认完成添加。 6. 返回应用资源列表，可以看到新添加的资源对象。 注意 列表中显示的资源状态可能存在一定延迟，如需获取最实时的信息，以该资源对应的云产品控制台为准。 删除应用资源 1. 进入目标应用的应用资源管理页面。 2. 在应用资源 列表中，找到希望删除的资源对象，单击其对应的删除按钮。 3. 在弹出的确认对话框中完成删除操作。 4. 返回应用资源列表，确认该资源对象已被成功移除。 注意 若目标资源被演练任务引用，则无法直接删除；必须先解除所有关联任务对该资源的引用，才能进行删除操作。

与云监控的关系 数据仓库服务使用云监控（Cloud Eye）监控集群中的多项性能指标，从而集中高效地呈现状态信息。云监控支持发送自定义告警，用户可以即时获取异常通知。 与云审计服务的关系 数据仓库服务使用云审计服务（Cloud Trace Service，简称CTS）审计用户在管理控制台页面的非查询操作，可用于检视是否存在非法或越权操作，完善服务安全管理。 与云日志服务的关系 数据仓库服务用户可以在云日志服务（Log Tank Service，简称LTS）查看采集的集群日志或进行日志转储。 与消息通知服务的关系 数据仓库服务使用消息通知服务（Simple Message Notification，简称SMN）依据用户的事件订阅需求主动推送通知消息，使用户可以在事件发生（如集群关键操作）时能立即接收到通知。 与标签管理服务的关系 数据仓库服务使用标签管理服务（Tag Management Service，简称TMS）为用户提供跨区域、跨服务的集中标签管理和资源分类功能，让用户可以对资源进行自定义标记，实现资源的分类，然后可以对资源按标签进行搜索。 与云解析服务的关系 数据仓库服务使用云解析服务（Domain Name Service，DNS）可以提供域名映射到DWS 集群的IP地址。 与弹性负载均衡的关系 数据仓库服务利用弹性负载均衡（Elastic Load Balance，简称ELB）健康检查机制可将集群的CN请求快速转发到正常工作的CN节点上，当有CN故障节点时，也能第一时间切换流量到健康节点上，最大化降低集群访问故障。

本章节会介绍如何开启分布式事务 操作背景 分布式事务指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。本质上来说，分布式事务就是为了保证不同数据库的数据一致性。 MSDTC服务提供分布式事务服务，如果要在数据库中使用分布式事务，必须在参与的双方服务器启动MSDTC（Distributed Transaction Coordinator）服务。RDS for SQL Server在开启分布式事务的时候已经启动MSDTC，其他服务器请参考设置远程服务器MSDTC（分布式事务处理协调器）进行启动。 更多介绍请参见Microsoft SQL Server官网MS DTC 分布式事务介绍) 。 使用限制 新实例默认开启分布式事务。 只读实例不支持分布式事务。 分布式事务功能一旦开启，将不允许关闭。 开启分布式事务会导致实例重启，请谨慎操作。 RDS for SQL Server数据库建立DBlink后，如果发生主备切换，DBlink不会自动同步到新的主实例，您需要在新的主实例重新建立DBlink。 开启分布式事务 步骤 1 登录管理控制台。 步骤 2 单击管理控制台右上角的，选择区域和项目。 步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。 步骤 4 在“实例管理”页面，选择目标实例，单击实例名称，进入实例的“基本信息”页签。 步骤 5 在左侧导航栏单击“分布式事务”，在“分布式事务”页面单击“分布式事务状态”后的。

设置黑白名单 基于公钥认证机制，微服务引擎提供了黑白名单功能。通过黑白名单，可以控制微服 务允许其他哪些服务访问。 只有启用了公钥认证，设置的黑白名单才能生效。 注意 如果要使用黑白名单，则微服务与服务中心需要满足以下流程： 微服务启动的时候，生成秘钥对，并将公钥注册到服务中心。 消费者访问提供者之前，使用自己的私钥对消息进行签名。 提供者从服务中心获取消费者公钥，对签名的消息进行校验。 1、单击需要治理的微服务，进入微服务治理配置页面。 2、在服务治理配置页面，单击“黑白名单”，展开黑白名单详情页。 3、单击“新增”，为应用添加黑白名单，黑白名单配置项如下表所示。 配置项 配置项说明 类型 黑名单：表示根据匹配规则匹配到的微服务都不允许访问当前服务。 白名单：表示根据匹配规则匹配到的微服务允许访问当前服务。 匹配规则 使用正则表达式表示。举例如下：匹配规则：data表示名称以data开头的服务不允许其他服务访问；或者在白名单下匹配到的名称以data开头的服务允许访问当前服务。 4、单击“确定”保存设置。 公钥认证 公钥认证是微服务引擎提供的一种简单高效的微服务之间认证机制，它的安全性建立 在微服务与服务中心之间的交互是可信的基础之上，即微服务和服务中心之间必须先 启用认证机制。它的基本流程如下: 1. 微服务启动的时候，生成秘钥对，并将公钥注册到服务中心。 2. 消费者访问提供者之前，使用自己的私钥对消息进行签名。 3. 提供者从服务中心获取消费者公钥，对签名的消息进行校验。 启用公钥认证步骤如下: 1. 公钥认证需要在消费者、提供者都启用。 servicecomb: handler: chain: Consumer: default: authconsumer Provider: default: authprovider 2. 在pom.xml中增加依赖: org.apache.servicecomb handlerpublickeyauth

天翼云OpenAPI门户提供了产品的API 文档、API调试、SDK中心等。 关于用户如何使用分布式消息服务Kafka产品API的详细介绍，请参见使用API（默认Ⅱ类资源池接口）。您可以在OpenAPI门户可以了解到具体的调用前必知、API概览、如何调用API以及具体的API的接口详细说明。 说明 Ⅱ类资源池版本：适用于 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3、芜湖4、乌鲁木齐7 资源池，详情请参照 Ⅰ类资源池版本：适用于 芜湖2、上海7、贵州3、昆明2、重庆2、乌鲁木齐27、保定、石家庄20、内蒙6、北京5 资源池，详情请参照

启动服务 使用如下命令启动服务： plaintext python3 main.py 80 启用开发者模式 1. 登录微信公众平台，选择“开发 > 基本配置”，单击“修改配置”。 2. 填写配置信息，单击“提交”。 URL： 80 端口。 Token：需要与handle.py中对应token取值完全一致。 EncodingAESKey：随机生成。 消息加解密方式：此为示例，选择简单的“明文模式”。 3. 验证token成功，单击“启用”。 说明 如果token验证失败，请检查Token配置与handle.py中GET消息处理代码是否一致。 验证 使用微信关注公众号，任意发送一条文本消息，看是否能够收到回复。如能收到回复则表明系统处理正常。

本章主要介绍告警行动规则 概述 AOM提供告警行动规则定制功能，您可以通过创建告警行动规则关联SMN主题与消息模板。AOM分中英文形式提供了2个默认消息模板，可自行选用。告警行动规则创建成功后，可在“告警> 告警降噪> 分组规则”中“创建分组规则”关联行动规则。该功能目前仅支持广州4资源池。 创建告警行动规则 前提条件 已通过SMN创建一个主题。 已设置主题策略。 设置主题策略时，“可发布消息的服务”必须选择“APM”，否则会导致通知发送失败。 已为主题添加相关的订阅者，即通知的接收人（例如：邮件或短信）。 操作步骤 步骤 1 在左侧导航栏中选择“告警 > 告警行动规则”，单击左上角的“创建告警行动规则”。 步骤 2 设置行动规则名称、行动规则类型等信息。 创建告警行动规则 告警行动规则参数说明 参数名称 说明 行动规则名称 行动规则的名称，只能由数字、字母、下划线组成，且不能以下划线开头和结尾，长度为3到36个字符。 描述 行动规则的描述。 行动规则类型 告警行动规则与SMN主题、消息模板关联的类型，请从下拉列表中选择。当前只支持“通知”类型。 主题 SMN主题，请从下拉列表中选择。若没有合适的主题，请单击主题选择栏下方“创建主题”，在SMN界面创建。 消息模板 通知消息的模板，请从下拉列表中选择。若没有合适的消息模板，请单击消息模板选择栏右侧“创建消息模板”，新建消息模板。 步骤 3 设置完成后，单击“确定”。

操作步骤 步骤 1 登录分布式消息服务Kafka控制台，选择Kafka实例所在的区域。 步骤 2 在Kafka实例名称后，单击，进入云监控该实例的监控指标页面。 步骤 3 在实例监控指标页面中，找到需要创建告警的指标项，鼠标移动到指标区域，然后单击指标右上角的，创建告警规则，跳转到创建告警规则页面。 步骤 4 在告警规则页面，设置告警信息。 创建告警规则操作，请查看《云监控服务用户指南》的“创建告警规则和告警通知”章节。 1. 设置告警名称和告警的描述。 2. 设置告警策略和告警级别。 如下图所示，在进行指标监控时，如果连续3个周期，磁盘容量使用率原始值超过85%，则产生告警，如果未及时处理，则产生告警通知。 图设置告警策略和告警级别 3. 设置“发送通知”开关。当开启时，设置告警生效时间、产生告警时通知的对象以及触发的条件。 4. 单击“立即创建”，等待创建告警规则成功。

本章节主要介绍数据治理中心DataArts Studio与其他服务的关系。 统一身份认证服务 DataArts Studio使用统一身份认证服务（Identity and Access Management，简称IAM）实现认证和鉴权功能。 云审计服务 DataArts Studio使用云审计服务（Cloud Trace Service，简称CTS）审计用户在管理控制台页面的操作，可用于检视是否存在非法或越权操作，完善服务安全管理。 弹性云主机服务 DataArts Studio使用弹性云主机（Elastic Cloud Server，简称ECS）进行CDM集群和数据服务集群的创建，另外DataArts Studio可以通过主机连接在ECS上执行Shell或Python脚本。 虚拟私有云服务 DataArts Studio使用虚拟私有云服务（Virtual Private Cloud，简称VPC）的创建隔离的网络环境。 弹性公网IP服务 DataArts Studio使用弹性公网IP服务（Elastic IP，简称EIP）打通与公网间的网络通信。 对象存储服务 DataArts Studio使用对象存储服务（Object Storage Service，简称OBS）的桶存储日志信息。 消息通知服务 DataArts Studio使用消息通知服务（Simple Message Notification，简称SMN）依据用户的订阅需求主动推送通知消息，使用户可以在触发告警（如质量监控）时能立即接收到通知。 云专线服务 DataArts Studio使用云专线服务（Direct Connect，简称DC）打通与第三方数据中心的网络通信。 API网关服务 DataArts Studio通过API网关服务（API Gateway，简称APIG）对外开放各组件的API接口。 数据湖探索服务 DataArts Studio支持将数据湖探索服务（Data Lake Insight，简称DLI）作为数据湖底座，进行数据集成、开发、治理与开放。

在服务开发、服务上线前，您需要创建一个环境，本章节介绍环境管理相关内容 概述 在服务开发、服务上线前，您需要创建一个环境。一个环境可以导入包括云容器引擎、ECS、注册配置中心、弹性负载均衡、云原生网关、关系数据库、分布式缓存、分布式消息等资源。 环境列表 左侧导航栏，选择环境管理，可以查看当前资源池下环境列表。通过上方选择环境类型可以筛选出对应类型的环境列表。也可输入环境名称，模糊匹配对应名称的环境。 环境创建 左侧导航栏，选择环境管理，在环境列表左上方点击创建环境按钮。 环境名称：输入合法环境名称。 环境编码：输入环境名称后自动带出，可手动进行修改。 环境类型：选择对应的环境类型。 资源池：选择资源池。 VPC：选择环境对应的VPC，没有VPC可点击创建虚拟私有云按钮进行创建。 可用区：选择当前环境对应的可用区，可多选。每个可用区下会自动创建一个部署单元，后续发布应用选择部署单元后，会匹配对应的可用区，将应用调度到对应可用区的节点。 企业项目：选择对应的企业项目。 输入以上信息后，点击保存按钮，会弹出授权微服务云应用平台创建VPCE的弹窗，VPCE为打通网络组件所需，需授权创建才能保证应用功能正常。 环境详情 左侧导航栏，选择环境管理，点击环境名称，进入到环境详情页面。在环境详情页面展示了VPC、可用区、应用实例数、资源数、资源列表、部署单元等信息。