名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境：每个云容器集群对应一个独立的容器环境。针对容器环境，Prometheus提供了自动化的监控采集链路，完成探针安装、数据采集、数据加工等工作。 云服务环境：对于常规云服务产品的数据采集，将按照资源池进行划分，为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件，目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏，单击接入中心。 3. 在接入中心页面，单击目标组件卡片接入数据。 4. 在弹出的面板中，在开始接入页签下，选择所属的环境类型。 5. 根据控制台提示配置相应参数，如选择对应的容器集群。 6. 点击确定，等待环境初始化、组件安装以及数据检查完成。 如果一切正常，接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则，也可以探索产生的指标。 如果遇到异常，可根据异常提示进行相应的操作。

介绍分布式消息服务RabbitMQ与天翼云其他服务关系。 虚拟私有云(CTVPC，Virtual Private Cloud) 虚拟私有云为分布式消息服务RabbitMQ提供一个逻辑隔离的区域，构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 分布式消息服务RabbitMQ订购后，默认按照用户选择的实例规格开通弹性云主机，云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境，确保分布式消息服务RabbitMQ持久稳定运行。更多信息请参见弹性云主机。 云硬盘（CTEVS，Elastic Volume Service） 分布式消息服务RabbitMQ订购后，默认按照用户选择的存储大小开通云硬盘。云硬盘是一种可弹性扩展的块存储设备，可以为分布式消息服务RabbitMQ提供高性能、高可靠的块存储服务。更多信息请参见云硬盘。 弹性IP（Elastic IP，EIP） 弹性IP是可以独立申请的公网 IP 地址，包括公网IP地址与公网出口带宽服务。可以与分布式消息服务RabbitMQ动态绑定和解绑，实现云资源的互联网访问。针对需要公网访问分布式消息服务RabbitMQ实例的需求，用户可开通弹性IP后，在RabbitMQ实例开通页面进行绑定。更多信息请参见弹性IP。

操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“业务数据”下的“HBase > HBase”。 7.在“HBase”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “SFTP”：表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为20。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为100。 8.在“最大恢复点个数”填写备份任务在本集群中备份可保留的快照数量。 9.在“备份内容”中，选择一个或多个需要备份的HBase表。 支持两种方式选择备份数据： 直接选择 单击导航中某个命名空间的名称，将展开显示此命名空间中的所有表，勾选指定的表。 正则表达式筛选 a. 单击“正则表达式输入”。 b. 根据界面提示，在第一个输入框填写HBase表所在的命名空间，需要与当前存在的命名空间完全匹配。例如“default”。 c. 在第二个输入框输入正则表达式，支持标准正则表达式。例如要筛选命名空间中所有的表，输入“([sS]?)”。例如要筛选命名规则为字母数字组合的表，如tb 1 可输入“tbd ”。 d. 单击“刷新”，在“目录名称”查看筛选的表。 e. 单击“同步”保存筛选结果。 说明 输入正则表达式时，可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确，可以单击“清除选中节点”清除勾选。 10.单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因： 目的端NameNode IP地址不正确。 队列名称不正确。 待备份的HBase表数据文件所在HDFS路径的父目录或子目录存在HDFS快照。 待备份的目录或表不存在。 11.单击“确定”保存。 12.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备集群的备份路径中为每个备份任务创建子目录，目录名为“ 备份任务名数据源任务创建时间” ，数据源每次备份的最新备份文件保存在此目录中。所有备份文件集保存在对应的快照目录中。

本节介绍了 使用cubevolcano的用户指南。 插件简介 Volcano调度器是一个基于Kubernetes的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性。 Volcano提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户。(目前Volcano项目已经在Github开源) Volcano针对计算型应用提供了作业调度、作业管理、队列管理等多项功能，主要特性包括： 丰富的计算框架支持：通过CRD提供了批量计算任务的通用API，通过提供丰富的插件及作业生命周期高级管理，支持TensorFlow，MPI，Spark等计算框架容器化运行在Kubernetes上。 高级调度：面向批量计算、高性能计算场景提供丰富的高级调度能力，包括成组调度，优先级抢占、装箱、资源预留、任务拓扑关系等。 队列管理：支持分队列调度，提供队列优先级、多级队列等复杂任务调度能力。 项目开源地址： 前置条件 安装cubevolcano插件 使用示例 修改调度器配置 查看调度配置，默认开启binpack插件 修改volcano调度器配置，增加binpack得分权重，减少其他调度插件的影响 调整日志级别，查看更详细的日志 创建验证负载任务并且指定使用volcano调度器 可查看负载的YAML，确认scheduleName已设置为volcano 从控制台查看调度器日志，得知各节点的得分 从日志中知道得分最高的节点，查看pod绑定节点，预期绑定的是最高得分的节点

本章节介绍Dubbo应用的服务列表和服务详情 概述 您可以通过微服务云应用平台查询部署的Dubbo应用的服务列表和服务详情。 查看服务列表 在左侧导航栏，Dubbo治理 > 服务查询。查看当前账号下的Dubbo服务。Dubbo服务支持查看服务名、应用名和实例数。如果服务较多，可以通过环境、服务名、应用名进行筛选或搜索，服务名和应用名大小写不敏感。 查看服务详情 在服务查询页面，单击服务名称查看服务的详细信息。服务详情面板包含基本信息、服务调用关系和元数据。 ● 基本信息 ● 服务调用关系 ● 元数据

本节介绍如何快速连接RocketMQ并生产和消费消息。 本章节将为您介绍分布式消息服务RocketMQ（以下简称RocketMQ）入门的使用流程，以创建一个开启SSL的RocketMQ实例，客户端使用内网通过同一个VPC连接RocketMQ实例生产消费消息为例，帮助您快速上手RocketMQ。 1. 在ECS环境中进入“rocketmqtutorial/bin”目录。 plaintext cd rocketmqtutorial/bin 2. 运行生产普通消息命令。 命令示例如下： plaintext JAVAOPTDtls.enabletrue sh mqadmin sendMessage n "10.xxx.xxx.89:8100;10.xxx.xxx.144:8100" t Topic01 p "hello rocketmq" 10.xxx.xxx.89:8100;10.xxx.xxx.144:8100：表示RocketMQ实例的“连接地址”，即11中记录的连接地址。 Topic01：表示RocketMQ实例下创建的Topic名称，即4中创建的Topic名称。 hello rocketmq：表示生产消息的内容，可自定义。 3. 运行消费普通消息命令。 命令示例如下： plaintext JAVAOPTDtls.enabletrue sh mqadmin consumeMessage n "10.xxx.xxx.89:8100;10.xxx.xxx.144:8100" t Topic01 如上图中BODY显示的内容即为消费消息的内容。 如需停止消费使用Ctrl+C命令退出。

场景描述 在RocketMQ中，修改订阅组的场景可以有以下几种情况： 增加或减少消费者：当需要增加或减少订阅组中的消费者数量时，可以通过修改订阅组来实现。例如，当消息量增加时，可以增加消费者数量以提高消费能力；当消费者数量过多时，可以减少消费者数量以降低资源消耗。 修改消费策略：订阅组中的消费者可以采用不同的消费策略，如集群模式或广播模式。集群模式下，每个消息只会被订阅组中的一个消费者消费；广播模式下，每个消息会被订阅组中的所有消费者都消费一次。通过修改订阅组，可以更改消费策略以满足不同的业务需求。 调整消费进度：订阅组中的消费者可以通过消费进度来记录已经消费的消息位置。当需要重新消费某些消息或调整消费的起始位置时，可以修改订阅组中各个消费者的消费进度。 修改消费者参数：订阅组中的消费者可以设置一些参数，如消费线程数、消息拉取策略等。通过修改订阅组，可以对消费者的参数进行调整，以优化消费性能和资源利用。 注意 修改订阅组时需要确保订阅组的唯一性，避免与其他订阅组冲突。同时，修改订阅组可能会影响消息的分发和消费进度，需要谨慎操作，避免消息丢失或重复消费的问题。 通过修改订阅组，可以灵活调整消费者数量、消费策略、消费进度和消费者参数，以满足不同的业务需求和优化消费性能。

介绍分布式消息服务Kafka与天翼云其他服务关系。 虚拟私有云(CTVPC ，Virtual Private Cloud) 虚拟私有云为分布式消息服务Kafka提供一个逻辑隔离的区域，构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 分布式消息服务Kafka订购后，默认按照用户选择的实例规格开通弹性云主机，云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境，确保分布式消息服务Kafka持久稳定运行。更多信息请参见弹性云主机。 云硬盘（CTEVS，Elastic Volume Service） 分布式消息服务Kafka订购后，默认按照用户选择的存储大小开通云硬盘。云硬盘是一种可弹性扩展的块存储设备，可以为分布式消息服务Kafka提供高性能、高可靠的块存储服务。更多信息请参见云硬盘。 弹性IP（Elastic IP，EIP） 弹性IP是可以独立申请的公网 IP 地址，包括公网IP地址与公网出口带宽服务。可以与分布式消息服务Kafka动态绑定和解绑，实现云资源的互联网访问。针对需要公网访问分布式消息服务Kafka实例的需求，用户可开通弹性IP后，在Kafka实例开通页面进行绑定。更多信息请参见弹性IP。

安全组 安全组可重复使用，您也可以根据实际情况使用不同的安全组，请根据实际需要进行配置。 创建安全组的操作指导，请参考虚拟私有云创建安全组 若需要为安全组添加规则，请参考虚拟私有云安全组添加安全组规则 弹性公网IP（可选） 若需要通过公网访问RabbitMQ实例，则需要申请弹性公网IP，否则不需要申请弹性公网IP。申请弹性公网IP的操作指导请参考购买弹性IP。 实例规格选择说明 节点可选择3节点、5节点、7节点、9节点，实例规格可选择4C8G、8C16G、16C32G。 存储类型可选择普通IO（SATA）、高IO（SAS）、超高IO（SSD）。 （1）填写实例名称，长度在 4 到 64个字符，必须以字母开头，不区分大小写，可以包含字母、数字、中划线或下划线，不能包含其他特殊字符。 （2）选择引擎类型，默认选择云原生引擎，海量消息堆积能力，支持更多连接和队列数，稳定性高。也可选择rabbitmq引擎，完全支持开源RabbitMQ生态，功能完备。 （3）选择计费模式：包年包月/按需计费，两种模式说明参见计费模式。 （4）购买时长按照计费模式选择变化： 计费模式为包年包月，可选择购买时长16个月、13年。该模式提供自动续期功能，勾选后可以自动续期购买时长：16个月、13年。 计费模式为按需计费，则该选项隐藏无需选择。 （5）部署方式有单可用区和多可用区两个选项，目前仅支持单可用区和3可用区部署,单可用区部署请选中任意一个AZ；多可用区部署请选中3个AZ，系统会自动将Broker节点平均分配至各可用区。 （6）设置节点数，可选择3/5/7/9。RabbitMQ 的节点数是指 RabbitMQ 集群中的节点数量。在 RabbitMQ 集群中，可以有多个节点组成一个集群，每个节点都是一个独立的 RabbitMQ 服务器实例。 （7）下拉选择主机类型，可选择通用型和计算增强型。通用型云主机共享宿主机的CPU资源，主要提供基本水平的vCPU性能、平衡的计算、内存和网络资源，具有较高性价比，支持通用的业务运行。计算增强型云主机独享宿主机的CPU资源，实例间无CPU争抢，并且没有进行资源超配，同时搭载全新网络加速引擎，实现接近物理服务器的强劲稳定性能。 （8）选择实例规格，分布式消息服务RabbitMQ提供通用型和计算增强型各3类规格，各规格详细说明参见弹性云主机规格。 （9）选择存储空间，包括磁盘类型和空间。 磁盘类型提供高IO/超高IO三类。普通IO适用于大容量、读写速率中等、事务性处理较少的应用场景。高IO：适用于主流的高性能、高可靠应用场景。超高IO：适用于超高IOPS、超大带宽需求的读写密集型应用场景。了解更多磁盘类型说明参见云硬盘规格。 磁盘空间以100G起步，可以以100倍数增加磁盘空间。 （10）选择已有虚拟私有云，若无虚拟私有云，点击创建跳转到虚拟私有云页面新增，了解更多内容参见虚拟私有云。 （11）选择已有子网，若无子网，点击创建跳转到子网页面新增。 （12）选择已有安全组，若无安全组，点击创建跳转到安全组页面新增。

介绍分布式消息服务RabbitMQ变更配置内容。 当需要处理大量消息时，RabbitMQ实例的扩容是一种常见的解决方案。扩容可以增加RabbitMQ集群的吞吐量、存储能力和高可用性。分布式消息服务RabbitMQ提供三类扩容方案，分别为节点、规格和磁盘扩容，更好满足用户不同场景下的扩容需求。 节点扩容：指向RabbitMQ集群中添加更多的节点以增加系统的吞吐量和可靠性。通过扩容，可以将消息的发送和消费负载分摊到更多的节点上，从而提高系统的并发处理能力。 规格扩容：指通过增加RabbitMQ的资源配置来提升系统的处理能力和性能。 磁盘扩容：指增加磁盘的存储容量，以满足更多消息的存储需求。

创建实例时开启SASLSSL访问，则数据加密传输，安全性更高。 由于安全问题，支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256，TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 本节介绍如何使用开源的Kafka客户端访问开启SASL的Kafka专享实例的方法。 说明： 使用SASL方式连接Kafka实例时，为了客户端能够快速解析实例的Broker，建议在客户端所在主机的“/etc/hosts”文件中配置host和IP的映射关系。 其中，IP地址必须为实例连接地址（Broker地址），host为每个实例主机的名称（您可以自定义主机的名称，但不能重复）。 例如： 10.154.48.120 server01 10.154.48.121 server02 10.154.48.122 server03 前提条件 已配置正确的安全组。 访问开启SASL的Kafka专享实例时，支持VPC内访问。实例需要配置正确的安全组规则，具体安全组配置要求，请参考表32。 已获取连接Kafka专享版实例的地址。 使用VPC内访问，实例端口为9093，实例连接地址获取如下图。 获取VPC内访问Kafka专享实例的连接地址（实例已开启SASL） Kafka专享实例已创建Topic，否则请提前创建Topic。 已下载client.truststore.jks证书。如果没有，在控制台单击Kafka实例名称，进入实例详情页面，在“基本信息 > 高级配置 > Kafka SASLSSL”所在行，单击 。下载压缩包后解压，获取压缩包中的客户端证书文件：client.truststore.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本，确保Kafka实例版本与命令行工具版本相同。 已在Kafka命令行工具的使用环境中安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明。 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中，[kafkatar]表示命令行工具的压缩包名称。 例如： tar zxf kafka2.111.1.0.tgz 修改Kafka命令行工具配置文件。 在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.properties”文件，并分别在文件中增加如下内容。 sasl.jaas.configorg.apache.kafka.common.security.plain.PlainLoginModule required username"" password""; sasl.mechanismPLAIN security.protocolSASLSSL ssl.truststore.location/opt/kafka2.111.1.0/config/client.truststore.jks ssl.truststore.passworddms@kafka ssl.endpoint.identification.algorithm 参数说明： username和password为创建Kafka专享实例过程中开启SASLSSL时填入的用户名和密码。 ssl.trustore.location配置为client.truststore.jks证书的存放路径。注意，Windows系统下证书路径中也必须使用“/”，不能使用Windows系统中拷贝路径时的“”，否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码，不可更改，需要保持为dms@kafka。 ssl.endpoint.identification.algorithm为证书域名校验开关，为空则表示关闭。这里需要保持关闭状态，必须设置为空。 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ${连接地址} topic ${Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 如下示例，Kafka实例连接地址为“10.xxx.xxx.202:9093,10.xxx.xxx.197:9093,10.xxx.xxx.68:9093”。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]

本章节主要介绍翼MapReduce的管理全局用户策略操作。 操作场景 如果租户配置使用Superior调度器，那么系统可以控制具体用户使用资源调度器的行为，包含： 最大运行任务数 最大挂起任务数 默认队列 操作步骤 添加策略 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 说明 defaults(default setting)表示如果一个用户未配置全局用户策略，则默认使用defaults所指定的策略。该策略不可删除。 4. 单击“添加全局用户策略”，在弹出窗口中填写以下参数。 集群：选择需要操作的集群。 用户名：表示需要控制资源调度的用户，请输入当前集群中已存在用户的名称。 最大运行任务数：表示该用户在当前集群中能运行的最大任务数量。 最大挂起任务数：表示该用户在当前集群中能挂起的最大任务数量。 默认队列：表示用户的队列，请输入当前集群中已存在队列的名称。 修改策略 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 4. 在指定用户策略所在行，单击“操作”列中的“修改”。 5. 调整相关参数后，单击“确定”。 删除策略 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 4. 在指定用户策略所在行，单击“操作”列中的“删除”。 在弹出窗口单击“确定”。

AMQProxy是一款开源AMQP代理服务，具备复用AMQP Connection的能力。可以通过该代理服务使原本只能使用短连接的客户端（例如PHP客户端）使用长连接，从而减少网络资源消耗和分布式消息服务RabbitMQ资源消耗。 前提条件 如果您要使用SSL连接AMQProxy和分布式消息服务RabbitMQ，请确保您的客户端服务器已安装OpenSSL。 背景 部分语言的客户端，例如PHP客户端，无法使用长连接，会频繁地开启或关闭Connection，消耗大量的网络资源和分布式消息服务RabbitMQ资源，从而对分布式消息服务RabbitMQ造成巨大压力。 AMQProxy AMQProxy是Cloud AMQP提供的开源AMQP代理服务。客户端可以通过该代理服务与分布式消息服务RabbitMQ保持长连接。当客户端服务器部署AMQProxy后，客户端和分布式消息服务RabbitMQ之间的请求都会先发送到AMQProxy，然后由AMQProxy转发到对方。 AMQProxy处理客户端发起的Connection相关请求的逻辑如下： 如果客户端发送开启Connection的请求，AMQProxy将根据用户名、密码、Vhost查找当前是否有合适的Connection可以复用，如果有就复用该Connection，如果没有就由AMQProxy代替客户端和分布式消息服务RabbitMQ开启Connection。 如果客户端发送关闭Connection的请求，AMQProxy会直接应答OK，但并不会关闭与分布式消息服务RabbitMQ的Connection，当该客户端下次再请求开启Connection时，AMQProxy会直接使用该Connection。 部署AMQProxy （1）下载和安装AMQProxy。 开源项目地址： releases目录下有安装包，下载后可以在本地解压 （2）启动AMQProxy ./amqproxy l LISTENADDRESS p LISTENPORT AMQPURL 参数 描述 LISTENADDRESS AMQProxy IP地址。由于是在客户端服务器部署AMQProxy，因此可以直接使用本机地址127.0.0.1。 LISTENPORT AMQProxy监听端口。客户端请求通过该端口发送到AMQProxy。该端口可以为任何可用的端口，例如5673。 AMQPURL 分布式消息服务RabbitMQ实例的URL。格式为{amqpIamqps}://{endpoint}。 amqp：AMQP协议。不使用SSL连接时使用。 amqps：AMQP/SSL协议。使用SSL连接时使用。 endpoint：分布式消息服务RabbitMQ实例的接入点。可以在分布式消息服务RabbitMQ控制台的实例详情页面查看。 示例命令如下： ./amqproxy l 127.0.0.1 p 5673 amqps://192.168.0.100:5672 返回示例如下： Proxy upstream: 192.168.0.100:5672 TLS Proxy listening on 127.0.0.1:5673 0 clients 0 upstreams 参数 描述 clients 客户端和AMQProxy的Connection数量。 upstreams AMQProxy和分布式消息服务RabbitMQ实例的Connection数量。 （3）在客户端代码中将Host和端口修改为AMQProxy IP地址和监听端口。 factory.setHost("127.0.0.1"); factory.setPort(5673);

如何保证消息发布的可靠性？ 如果acks0，生产者在成功写入消息之前是不会等待任何的来自服务器的响应。可靠性最低、性能最优。 如果acks1，只要集群的首领节点收到消息，生产者就会收到来自服务器成功的响应。 如果acksall / 1，只有在集群所有的跟随副本都接收到消息后，生产者才会受到一个来自服务器的成功响应。可靠性最高，性能最差。 如何保证消息的顺序？ Kafka 每个 Partition 都是相互独立的，Kafka 只能保证单个 Partition 下的有序。 局部有序：当我们所需要的有序其实是针对单个用户的有序，而不要求全局有序。我们可以以用户的 ID 作为 key , 确保单个用户一定会被分配到某个固定的 Partition 上（可能会引起数据倾斜问题），这样我们就能够实现单个用户维度的有序了。 如果一定要全局的有序，所有消息都使用同一个 key ，这样他们一定会被分配到同一个 Partition 上，这种做法适用于临时性且数据量不大的小需求，消息量大了会有性能压力。 如何选择 Partiton 的数量？ 在创建 Topic 的时候可以指定 Partiton 数量，也可以在创建完后手动修改。但 Partiton 数量只能增加不能减少。中途增加 Partiton 会导致各个 Partiton 之间数据量的不平等。 Partition 的数量直接决定了该 Topic 的并发处理能力。但也并不是越多越好。Partition 的数量对消息延迟性会产生影响。 一般建议选择 Broker Num Consumer Num ，这样平均每个 Consumer 会同时读取 Broker 数目个 Partition ， 这些 Partition 压力可以平摊到每台 Broker 上。

微服务治理中心MSGC 归属模块 授权项 权限说明 权限依赖 系统策略 IAM项目 企业项目 归属模块 授权项 权限说明 权限依赖 微服务治理中心MSGCadmin 微服务治理中心MSGCuser 微服务治理中心MSGCviewer IAM项目 企业项目 产品订购 msgc:inst:createinstance 产品开通 无 ✓ ✗ ✗ ✓ ✗ 产品订购 msgc:inst:delinstance 产品退订 无 ✓ ✗ ✗ ✓ ✗ 产品订购 msgc:inst:extendinstance 产品扩容 无 ✓ ✗ ✗ ✓ ✗ 产品订购 msgc:inst:renewinstance 产品续订 无 ✓ ✗ ✗ ✓ ✗ 应用管理 msgc:inst:getAppInfo 查询应用相关信息 无 ✓ ✓ ✓ ✓ ✗ 应用管理 msgc:inst:getOverview 查询应用概览信息 无 ✓ ✓ ✓ ✓ ✗ 应用管理 msgc:inst:manageApp 管理应用 无 ✓ ✗ ✗ ✓ ✗ 服务监控 msgc:inst:getResourceInfo 查询接口相关信息 无 ✓ ✓ ✓ ✓ ✗ 服务监控 msgc:inst:getServiceInfo 查询服务相关信息 无 ✓ ✓ ✓ ✓ ✗ 服务配置 msgc:inst:writeDubboConfig 修改Dubbo相关配置 无 ✓ ✓ ✗ ✓ ✗ 服务配置 msgc:inst:writeNodeConfig 修改节点相关配置 无 ✓ ✓ ✗ ✓ ✗ 流量治理 msgc:inst:readAdaptiveFlowConfig 查询自适应流控相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量治理 msgc:inst:readDegradeConfig 查询服务降级相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量治理 msgc:inst:readHotParamRule 读取热点规则相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量治理 msgc:inst:readLosslessInfo 查询无损上下线相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量治理 msgc:inst:readMqGrayRouteConfig 查询消息灰度相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量治理 msgc:inst:readOutilierConfig 查询离群实例摘除相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量治理 msgc:inst:readPushProtection 查询推空保护相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量治理 msgc:inst:readTagInfo 查询流量标签相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量治理 msgc:inst:writeAdaptiveFlowConfig 修改自适应流控配置 无 ✓ ✓ ✗ ✓ ✗ 流量治理 msgc:inst:writeDegradeConfig 修改服务降级配置 无 ✓ ✓ ✗ ✓ ✗ 流量治理 msgc:inst:writeHotParamRule 修改热点规则 无 ✓ ✓ ✗ ✓ ✗ 流量治理 msgc:inst:writeLosslessConfig 修改无损上下限配置 无 ✓ ✓ ✗ ✓ ✗ 流量治理 msgc:inst:writeMqGrayRouteConfig 修改消息灰度配置 无 ✓ ✓ ✗ ✓ ✗ 流量治理 msgc:inst:writeOutilierConfig 修改离群摘除配置 无 ✓ ✓ ✗ ✓ ✗ 流量治理 msgc:inst:writePushProtection 修改推空保护配置 无 ✓ ✓ ✗ ✓ ✗ 流量治理 msgc:inst:writeSwitchConfig 修改功能开关配置 无 ✓ ✓ ✗ ✓ ✗ 流量治理 msgc:inst:writeTagCanaryConfig 修改金丝雀配置 无 ✓ ✓ ✗ ✓ ✗ 流量治理 msgc:inst:writeTagRouteConfig 修改标签路由配置 无 ✓ ✓ ✗ ✓ ✗ 流量防护 msgc:inst:readCircuitBreakConfig 查看服务熔断相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量防护 msgc:inst:readClientConfig 查询流量防护基础设置 无 ✓ ✓ ✓ ✓ ✗ 流量防护 msgc:inst:readClusterInfo 查询集群防护配置 无 ✓ ✓ ✓ ✓ ✗ 流量防护 msgc:inst:readFallbackBehavior 查询防护行为相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量防护 msgc:inst:readFlowConfig 查询流控隔离相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量防护 msgc:inst:readManualDegradeConfig 查询主动降级相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量防护 msgc:inst:readWebFlowConfig 查询WEB防护相关信息 无 ✓ ✓ ✓ ✓ ✗ 流量防护 msgc:inst:writeCircuitBreakConfig 修改服务熔断配置 无 ✓ ✓ ✗ ✓ ✗ 流量防护 msgc:inst:writeClientConfig 修改流量防护基础配置 无 ✓ ✓ ✗ ✓ ✗ 流量防护 msgc:inst:writeClusterInfo 修改集群防护配置 无 ✓ ✓ ✗ ✓ ✗ 流量防护 msgc:inst:writeFallbackBehavior 修改防护行为 无 ✓ ✓ ✗ ✓ ✗ 流量防护 msgc:inst:writeFlowConfig 修改流控隔离配置 无 ✓ ✓ ✗ ✓ ✗ 流量防护 msgc:inst:writeManualDegradeConfig 修改主动降级配置 无 ✓ ✓ ✗ ✓ ✗ 流量防护 msgc:inst:writeWebFlowConfig 修改WEB防护配置 无 ✓ ✓ ✗ ✓ ✗ 数据库治理 msgc:inst:readDatabaseGrayConfig 查询数据库灰度相关信息 无 ✓ ✓ ✓ ✓ ✗ 数据库治理 msgc:inst:readDatabaseReadWriteConfig 查询数据库读写路由相关信息 无 ✓ ✓ ✓ ✓ ✗ 数据库治理 msgc:inst:readDataSourceInfo 查询连接池相关信息 无 ✓ ✓ ✓ ✓ ✗ 数据库治理 msgc:inst:writeDatabaseGrayConfig 修改数据库灰度配置 无 ✓ ✓ ✗ ✓ ✗ 数据库治理 msgc:inst:writeDatabaseReadWriteConfig 修改数据库读写路由配置 无 ✓ ✓ ✗ ✓ ✗ 数据库治理 msgc:inst:writeDataSourceConfig 修改连接池配置 无 ✓ ✓ ✗ ✓ ✗ 功能开关 msgc:inst:getSwitchInfo 查询功能开关信息 无 ✓ ✓ ✓ ✓ ✗ 功能开关 msgc:inst:getSwitchLog 查询功能开关日志 无 ✓ ✓ ✓ ✓ ✗ 开发测试治理 msgc:inst:readMockConfig 查询服务Mock相关信息 无 ✓ ✓ ✓ ✓ ✗ 开发测试治理 msgc:inst:writeMockConfig 修改服务Mock配置 无 ✓ ✓ ✗ ✓ ✗ 全链路灰度 msgc:inst:readSwimmingGroup 查询泳道组相关信息 无 ✓ ✓ ✓ ✓ ✗ 全链路灰度 msgc:inst:readSwimmingLane 查询泳道相关信息 无 ✓ ✓ ✓ ✓ ✗ 全链路灰度 msgc:inst:writeSwimmingGroup 修改泳道组 无 ✓ ✓ ✗ ✓ ✗ 全链路灰度 msgc:inst:writeSwimmingLane 修改泳道 无 ✓ ✓ ✗ ✓ ✗ 网关治理 msgc:inst:readGatewayApiDef 查询网关API信息 无 ✓ ✓ ✓ ✓ ✗ 网关治理 msgc:inst:writeGatewayApiDef 修改网关API配置 无 ✓ ✓ ✗ ✓ ✗ 运维中心 msgc:inst:getEvent 查询应用事件信息 无 ✓ ✓ ✓ ✓ ✗ 运维中心 msgc:inst:getOpsLog 查询操作日志 无 ✓ ✓ ✓ ✓ ✗

操作步骤 1. 登录媒体存储控制台，进入【告警管理告警配置】菜单页面，列表展示为目前配置的告警规则。 2. 可在列表对指定的规则进行修改、下线或删除操作。 注意 编辑规则时，规则名称、监控维度、监控区域、监控Bucket不可修改。 如规则存在未恢复或未处理的告警消息，则该规则暂无法修改，请等待告警恢复或忽略告警信息后再修改。 查看告警消息 用户可参考以下说明，通过控制台查看告警消息。 操作步骤 1. 登录媒体存储控制台，进入【告警管理告警消息】菜单页面，在【告警列表】标签页可查看告警消息。 2. 可在告警列表查看指定的告警消息详情或进行【忽略告警】操作。 3. 告警列表仅展示最近30天的告警消息。 4. 【历史推送】标签页展示近30天的告警信息所关联的历史推送记录，每推送一次为一条记录。

本章节介绍MSE Nacos SDK的应用以及相关限制因素 概述 MSE Nacos 适用于各种微服务业务系统和应用场景，既可以单独使用也可以与微服务云应用平台、云容器引擎、应用服务网格等组合使用。为了您服务的稳定性，需要注意一些限制。本文介绍MSE Nacos SDK的应用以及相关的限制因素。 SDK的应用 如果您使用的技术栈是Java，既可以通过开源的Nacos客户端 SDK，也可以通过集成Spring Cloud、Dubbo等框架集成Nacos客户端访问Nacos实例，实现服务注册发现和配置管理；如果您业务使用的技术栈是Go、C++、Python、Nodejs，也可以通过开源客户端或者相关框架，访问 Nacos实例。另外， Nacos作为微服务系统的核心组件之一，也可以与服务网格和微服务网关、服务治理等组件整合使用，为云原生应用开发者提供更强大的能力。 技术栈 原生SDK 框架（Spring Boot） 框架（Spring Cloud） Java Naocs提供Java SDK 连接实例。 Spring Boot框架的接入方案请参考章节：Nacos Spring Boot快速接入 Spring Cloud框架的接入方案请参考章节：如何在MSE上为Spring Cloud应用构建服务注册中心？ SDK的使用限制 Java 不推荐的版本 不推荐原因 解决方案 0.X ~ 1.3.X 版本陈旧，影响性能。 升级至1.4.3及以上版本。 小于1.2.0 该部分版本不支持username和password注入，即不支持鉴权。 升级至1.4.3及以上版本。 1.3.3 该版本客户端不支持在密码中使用特殊字符。 升级至1.4.3及以上版本。 1.4.0 ~ 1.4.2 1.4.2版本使用配置加解密功能时，getConfigAndSignListener接口查询加密配置时返回内容为明文。 升级至1.4.3及以上版本。

参数 是否必选 说明 作业类型 是 选择“Flink SQL作业”。用户采用编写SQL语句来启动作业。 脚本路径 是 选择需要执行的Flink SQL脚本。如果脚本未创建，请参考 DLI队列 是 默认选择“共享队列”，用户也可以选择自定义的独享队列。 说明 当子用户在创建作业时，子用户只能选择已经被分配的队列。 CUs 是 一个CU是1核4G的资源配置。 并发数 是 并发数是指同时运行Flink SQL作业的任务数。 说明 并发数不能大于计算单元（CUs1）的4倍。 UDF Jar 否 当作业所属集群选择独享集群时，该参数有效。在选择UDF Jar之前，您需要将UDF Jar包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考 异常自动启动 否 设置是否启动异常自动重启功能，当作业异常时将自动重启并恢复作业。 作业名称 是 填写DLI Flink作业的名称，只能包含英文字母、数字、“”，且长度为1~64个字符。默认与节点的名称一致。 作业名称添加工作空间前缀 否 设置是否为创建的作业名称添加工作空间前缀。 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。

查看事件通知历史 1. 进入容器镜像服务控制台。 2. 点击已开通的企业版实例名称。 3. 左侧导航栏点击 "分发交付" "事件通知"，点击"事件历史"标签页即可查看事件通知历史。 4. 事件通知历史列表页右上角可以对事件规则进行筛选。 5. 对于发送失败的事件通知记录，可以点击操作栏的重试按钮重新发送事件通知消息。

查看事件通知历史 1. 进入容器镜像服务控制台。 2. 点击已开通的企业版实例名称。 3. 左侧导航栏点击 "分发交付" "事件通知"，点击"事件历史"标签页即可查看事件通知历史。 4. 事件通知历史列表页右上角可以对事件规则进行筛选。 5. 对于发送失败的事件通知记录，可以点击操作栏的重试按钮重新发送事件通知消息。

本节主要介绍升级微服务引擎 创建微服务引擎时，使用的是当前最新的引擎版本。当后续再发布新版本的引擎时，用户可以选择升级引擎版本。 注意 1. 仅微服务引擎专享版支持升级引擎版本。升级后，不支持版本回退。 2. 仅支持版本内升级，不支持跨版本升级。 注意事项 升级过程中，高可用和非高可用对外表现不同： 高可用版本：支持两个实例滚动升级，服务不中断。但是可能存在两个接入地址中一个不可用的情况，从而导致该实例不可用，需要支持快速切换到另外一个可用实例。当前，ServiceComb SDK、Go Chassis和Mesher都支持快速切换实例。如果是调用服务注册中心、配置中心接口来进行注册发现的，需要实现实例快速切换。 非高可用版本：非高可用引擎只有一个服务实例，升级过程中服务会中断，导致不能进行服务注册、服务发现和配置变更。需要评估会不会对业务产生影响。ServiceComb SDK、Go Chassis和Mesher都做了可靠性增强，断服过程中，客户端会有缓存。如果查到了空实例，会继续使用本地缓存。如果是调用服务注册中心、配置中心接口来进行注册发现的，需要使用缓存降级。 操作步骤 1、进入微服务引擎页面，单击左侧菜单栏的“引擎列表”。 2、选择待升级的微服务引擎，单击 ，选择“升级”。 3、选择“升级后版本”，查看版本说明，根据需要决定是否升级。 4、单击“确定”，进行升级。 如果升级失败，可单击“重试”，再次进行升级。

本节介绍客户端首次接入分布式消息服务Kafka时出现异常的排查方法 客户端首次接入分布式消息服务Kafka时如果出现异常，您可以通过以下三个方面进行排查： 网络连通问题：通常有如下几种情况可能会导致网络不通，客户端无法连接分布式消息服务Kafka的服务端。 （1）ECS实例（客户端）与分布式消息服务Kafka实例不在同一个VPC内。关于如何通过VPC网络接入服务端，请参见VPC接入。 （2）本地客户端访问非公网的分布式消息服务Kafka实例。您可以通过公网接入服务端。 客户端版本问题：客户端版本太低可能会出现异常，建议升级到与服务端匹配的客户端版本。 配置问题：默认接入点配置错误等都可能导致接入失败。您可以参见快速入门进行配置检查。

syslogfacility (enum) 当启用了向syslog记录时，这个参数决定要使用的syslog“设备”。你可以在LOCAL0、LOCAL1、LOCAL2、LOCAL3、LOCAL4、 LOCAL5、LOCAL6、LOCAL7中选择，默认值是LOCAL0。还请参阅系统的syslog守护进程的文档。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。 syslogident (string) 当启用了向syslog记录时，这个参数决定用来标识syslog中的TeleDB消息的程序名。默认值是postgres。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。 syslogsequencenumbers (boolean) 当日志被记录到syslog并且这个设置为 on （默认）时，每一个消息会被加上一个增长的序号作为前缀（例如 [2]）。这种行为避开了很多 syslog 实现默认采用的 “ 上一个消息重复 N 次 ”形式。在现代 syslog 实现中， 抑制重复消息是可以配置的（例如rsyslog 中的$RepeatedMsgReduction），因此这个参数可能不是必需的。 此外，如果你真的想抑制重复消息，你可以把这个参数设置为 off。这个参数只能在postgresql.conf文件或者服务器命令行上设置。 syslogsplitmessages (boolean) 当启用把日志记录到syslog时，这个参数决定消息如何送达 syslog。当设置为 on（默认）时，消息会被分成行， 并且长的行也会被划分以便能够放到 1024 字节中， 这是传统 syslog 实现一种典型的尺寸限制。当设置为 off 时，TeleDB服务器日志消息会被原样送达 syslog 服务， 而处理可能的大体量消息的任务由 syslog 服务负责。如果 syslog 最终被记录到一个文本文件中，那么两种设置的效果是一样的， 但最好设置为 on，因为大部分 syslog 实现要么不能处理大型消息， 要么需要做特殊的配置以处理大型消息。但是如果 syslog 最终写入到某种其他媒介，有必要让消息保持逻辑上的整体性（也更加有用）。这个参数只能在postgresql.conf文件或者服务器命令行上设置。

本小节介绍微隔离防火墙升级与续订。 升级 升级操作是在Cosole页面产品实例列表进行的，点击【升级】会弹出升级配置页面，用户可以选择升级到的新规格。 升级的规格默认有效期与原实例保持一致。 续订 续订操作是在Cosole页面产品实例列表进行的，点击【续订】会弹出续订配置页面，续订是在原实例到期的基础上增加的有效时间。 到期效果 产品授权到期前7天会在登录页面给出到期提醒，产品到期后，配置的策略依然有效，但是无法登录平台进行调整。建议不计划继续使用本产品的用户，在产品到期前将所有策略关闭。

弹性公网IP地址 弹性网卡绑定弹性公网IP，用于公网通信。使用弹性IP时会将网卡的私网IP NAT成为公网IP，以此来访问公网或者被公网访问。 多队列 网卡多队列是指实例规格支持的最大网卡队列数。单台ECS实例vCPU处理网络中断存在性能瓶颈时，您可以将实例中的网络中断分散给不同的vCPU处理，从而提升性能。 修改内网IP/切换VPC 云主机、物理机的主网卡提供以下能力：修改为同子网下其他IP、切换同VPC下的其他子网、切换至其他VPC。 您可以通过修改云主机、物理机服务器的主网卡IP，或者切换VPC及子网，来实现迁移功能。当网络规划存在冲突或需要隔离某个服务器时，可使用此功能。 注意 弹性网卡仅适用于可用区资源池，不同资源池列表见

介绍分布式消息服务RocketMQ与天翼云其他服务关系。 虚拟私有云(CTVPC ，Virtual Private Cloud) 虚拟私有云为分布式消息服务RocketMQ提供一个逻辑隔离的区域，构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 分布式消息服务RocketMQ订购后，默认按照用户选择的实例规格开通弹性云主机，云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境，确保分布式消息服务RocketMQ持久稳定运行。更多信息请参见弹性云主机。 云硬盘（CTEVS，Elastic Volume Service） 分布式消息服务RocketMQ订购后，默认按照用户选择的存储大小开通云硬盘。云硬盘是一种可弹性扩展的块存储设备，可以为分布式消息服务RocketMQ提供高性能、高可靠的块存储服务。更多信息请参见云硬盘。

操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“Hive > Hive”。 7.在“Hive”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “SFTP”：表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 8.在“最大恢复点个数”填写备份任务在本集群中备份可保留的快照数量。 9.在“备份内容”中，选择一个或多个需要备份的Hive表。 支持两种方式选择备份数据： 直接选择 单击导航中某个数据库的名称，将展开显示此数据库中的所有表，勾选指定的表。 正则表达式筛选 a. 单击“正则表达式输入”。 b. 根据界面提示，在第一个输入框填写Hive表所在的数据库，需要与当前存在的数据库完全匹配。例如“defalut”。 c. 在第二个输入框输入正则表达式，支持标准正则表达式。例如要筛选数据库中所有的表，输入“([sS] ?)”。例如要筛选命名规则为字母数字组合的表，如tb1可输入“tbd ”。 d. 单击“刷新”，在“目录名称”查看筛选的表。 e. 单击“同步”保存筛选结果。 说明 输入正则表达式时，可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确，可以单击“清除选中节点”清除勾选。 10.单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因： 目的端NameNode IP地址不正确。 队列名称不正确。 待备份的数据文件所在HDFS路径的父目录或子目录存在HDFS快照。 待备份的目录或表不存在。 NameService名称不正确。 11.单击“确定”保存。 12.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备集群的备份路径中为每个备份任务创建子目录，目录名为 “备份任务名数据源任务创建时间” ，数据源每次备份的最新备份文件保存在此目录中。所有备份文件集保存在对应的快照目录中。

云容器实例开通 选择云容器引擎>创建集群，开通云容器引擎实例。 前提条件 已创建对应技术栈类型的项目，并且与云容器引擎的环境关联。 已创建支持应用性能监控的技术栈版本。 应用实例创建 1. 登录微服务云应用控制台，左侧菜单栏选择“应用运维>容器应用实例>应用发布>应用实例”，点击左侧顶部“创建应用实例”，填写应用实例基本信息。 2. 在基本信息中选择镜像部署，在点击“下一步”来到“部署配置“，填写部署配置信息。 3. 选择集群以及镜像，这里以goconsumer:1.0.0的demo镜像为例，在“监控及治理方案“选项中勾选“接入应用性能监控”。 4. 点击“环境变量”，设置环境变量信息。 5. 点击下一步，创建应用实例，最后发布部署。 6. 部署成功后，进入对应的容器应用实例的“应用总览”，在“容器组Pod”栏下，选择对应pod的“终端“，点击进入云容器引擎终端控制台。 7. 在终端控制台中执行curl 127.0.0.1:8080/api/user?namehelloworld命令，输出 plaintext { "errno": "0", "errmsg": "成功", "data": { "name": "helloworld" } } 则表示微服务调用成功。 8. 链路调用校验，在指定容器应用实例选择“应用监控>调用链查询”，即可看到对应调用链路，表示应用性能监控正常。

本文介绍Kafka业务数据不均衡最佳实践 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因： 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，会导致分区间的数据不均衡。 系统重新实现了分区分配策略，但策略逻辑有问题，会导致分区间的数据不均衡。 Kafka扩容了Broker节点，新增的节点没有分配分区，会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化，多少会发生一些Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，可对业务数据做进一步的细分，并分配到不同的Topic上。 生产者生产消息时，尽量把消息均衡发送到不同的分区上，确保分区间的数据均衡。 创建Topic时，使分区的Leader副本分散到各个Broker节点中，以保障整体的数据均衡。 Kafka提供了分区重平衡的功能，可以把分区的副本重新分配到不同的Broker节点上，解决节点间负载不均衡的问题。具体分区重平衡的操作请参考修改分区平衡。

本节介绍如何创建单机训练任务。 创建训练任务 1. 智算控制台页面选择“离线训练”，单击“创建AI应用” 2. 根据需要修改任务基本信息，比如任务名，任务类型、命名空间等 3. 配置训练任务，选择单机任务 4. 选择框架，这里选择nvidiapytorchexample框架，此框架内置了Mnist训练数据集 5. 选择框架版本，此框架支持多架构 6. 选择队列，若没有则单击去创建队列，设置各类资源配额 7. 选择队列，设置任务资源，以及环境变量和启动命令等 启动命令如下：可调整对应训练轮次参数，GPU设置backend为nccl shell python3 /opt/mnist/src/mnist.py epochs5 backendnccl Pytorch任务环境变量必须设置 shell PROTOCOLBUFFERSPYTHONIMPLEMENTATION:python 单击确认创建任务。

进行分布式消息服务Kafka与开源自建对比。 分布式消息服务Kafka相对开源自建的Kafka提供更多功能服务，具备如下优势： 对比项 开源自建 分布式消息服务Kafka 低成本运维 需要专业人员资源规划、部署、运维。 一键开通，全托管。提供多种规格，按需使用，支持一键式节点数、磁盘存储空间和节点规格扩容。 分区规模 千级分区稳定性下降。 支持万级分区稳定写入。 消息查询 命令行可以消费，但无法根据位点或者时间直接定位到具体的消息。 控制台可视化按时间或者位点直接查看消息。 ACL访问控制 命令行，配置复杂。 灵活配置，一键生效。 可视化配置 命令行，配置复杂。 控制台全方位可视化配置管理。 运维监控 缺乏配套的监控运维能力。 提供全引擎指标可视化监控，告警及时发现问题。 集群巡检 命令行，配置复杂。 引擎状态、主题一键健康检测、启停。 稳定可靠 需要自己开发或基于开源实现，开发成本高昂，无法保证业务可靠运行。 支持跨AZ部署，提升可靠性。 安全保证 需要自行进行安全加固。 VPC隔离，支持SSL通道加密。 简单易用 无，需要自己开发。 提供简单的实例管理RESTful API，使用门槛低。

技术原理 本地存储 本地存储服务写流量/追尾读，提供与原Kafka实例一致的延时、可用性和一致性。 远程存储故障或者性能衰退，本地存储支持弹性扩容提供读写服务，参考智能运维中磁盘自动扩容能力。 远程存储 远程存储服务追赶读，对比本地存储时延较高，吞吐量降低。 按需使用，按量计费。 单副本存储，远端存储提供数据的可靠性。 功能说明 使用限制 1. 引擎版本 当前仅在 Kafka 3.6.x或以上引擎版本支持弹性存储。 2. 地域 仅在Ⅱ类资源池支持。 3. 弹性存储Topic禁止使用事务消息 暂时不建议在该形态下使用事务消息，如需使用，该Topic可不开启弹性存储。 4. 开放范围 功能处于白名单状态，如需使用，请您联系我们。 使用说明 弹性存储的确定基于实际业务场景的吞吐量和存储量需求，还需要综合考虑以下几点： 考虑点 建议 本地磁盘存储空间 本地磁盘存储空间 （未开启弹性存储的Topic存储量 + 弹性存储Topic本地热数据存储量） 130% 未开启弹性存储的Topic存储量：未开启弹性存储的Topic业务消息量 副本数，如集群未开启弹性存储的Topic均为3副本，消息量为100GB，则未开启弹性存储的Topic存储量为100GB 3 300 GB。 弹性存储Topic本地数据存储量 ：弹性存储主题热数据会存储在本地，未超过“消息本地保留时长” 的消息数据均存储在本地；由于数据生命周期以分区分片为单位，未满一个数据分片的数据也会存储在本地（默认1个分片大小为1GB，编辑主题可调整）。 假如集群有3副本的主题分区100个，分片大小均为1GB。 保留时间为1小时，1小时消息量为50GB，则弹性存储Topic本地数据存储量 max(100 1GB 3, 50GB 3) 300GB。 假如集群有3副本的主题分区100个，分片大小均为128MB。 保留时间为1小时，1小时消息量为50GB，则弹性存储Topic本地数据存储量 max(100 128MB 3, 50GB 3) 150GB。 建议预留多30%存储空间。 磁盘空间大小会影响磁盘性能，具体性能参考“磁盘类型及性能介绍”。 消息本地保留时长 默认为1小时。建议根据业务实际消费场景调整，如消费者经常消费落后1.5小时，则需要调大到2小时。 分区分片大小 默认为1G，弹性存储Topic可以适当调小至128MB~1024MB之间，因为数据生命周期管理以分区分片为单位，消息数据量必须满一分片才会上传弹性存储或超时清理。 以以下实际场景来举例是否开启弹性存储空间的区别和配置考虑： 场景 弹性存储集群 普通集群 业务数据量30M/s左右 3副本主题，生产消费1:1，分区100个，消息保留24小时（约2531GB业务数据） 规格： kafka.2u4g.cluster，单节点超高IO 200GB，节点数 3 配置： 开启弹性存储，分片大小128M，消息本地保留时长为1小时，消息保留24小时 性能： 单节点带宽峰值100MB/s（性能瓶颈为节点带宽） 成本： 规格费用：1323元/月 本地存储费用：720元/月 远程存储费用：300元/月 规格： kafka.2u4g.cluster，单节点超高IO 3300GB，节点数 3 配置： 未开启弹性存储，消息保留24小时 性能： 单节点带宽峰值100MB/s（性能瓶颈为节点带宽） 成本： 规格费用：1323元/月 存储费用：11880 元/月