本章节主要介绍如何配置队列。 操作场景 用户根据业务需求，可以在MRS修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“队列配置”页签。 3.在租户队列表格，指定租户队列的“操作”列，单击“修改”。 说明 说明 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 一个队列只能绑定一个非default资源池。 MRS 3.x之前版本： 队列配置参数 参数名 描述 最大应用数量 表示最大应用程序数量。取值范围从“1”到“2147483647”。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 用户资源最小上限百分比(%) 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 用户资源上限因子 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。最小值为“0”。 状态 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 默认资源池 表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。 MRS 3.x及之后版本： 队列配置参数 参数名 描述 AM最多占有资源（%） 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为1，表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 每个用户最多运行任务数 表示每个用户在当前队列中最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 最多挂起任务数 表示当前队列最多同时可挂起任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。取值范围为1～2147483647。 资源分配规则 表示单个用户任务间的资源分配规则，包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签（Label）的节点上执行任务。 说明 如果需要使用新的资源池，需要修改默认标签为新的资源池标签。 Active状态 ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。

本章节主要介绍翼MapReduce的配置队列操作。 操作场景 根据业务需要，管理员可以通过FusionInsight Manager修改指定租户的队列配置。 前提条件 已添加使用Capacity调度器的租户。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 动态资源计划”。 默认显示“资源分布策略”。 3. 单击“队列配置”页签。 4. “集群”参数选择待操作的集群名称，然后在指定租户资源名的“操作”列，单击“修改”。 说明 l 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 l 一个队列只能绑定一个非default资源池。 队列配置参数 参数名 描述 租户资源名（队列） 租户及队列名称。 最大应用数量 表示最大应用程序数量。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。 用户资源最小上限百分比（%） 表示每个用户最低资源保障（百分比）。任何时刻，一个队列中每个用户可使用的资源量均有一定的限制。当一个队列中同时运行多个用户的应用程序时，每个用户的使用资源量在一个最小值和最大值之间浮动，其中，最小值取决于正在运行的应用程序数目，而最大值则由此参数决定。比如，假设此参数的值设置为25。当两个用户向该队列提交应用程序时，每个用户可使用资源量不能超过50%，如果三个用户提交应用程序，则每个用户可使用资源量不能超多33%，如果四个或者更多用户提交应用程序，则每个用户可用资源量不能超过25%。 用户资源上限因子 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。 状态 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 默认资源池 表示队列使用的资源池，默认为“default”。如果需要修改为其他资源池，需要先配置队列容量，请参见配置资源池的队列容量策略。 5. 单击“确定”完成配置。

本节介绍如何关闭Smart Connect。 如果不再使用Smart Connect相关功能，您可以关闭Smart Connect，释放资源。 关闭Smart Connect不会影响业务。 约束与限制 关闭Smart Connect后，实例会停止收取用于Smart Connect的代理费用，并自动删除用于Smart Connect的代理。 关闭Smart Connect后，再重新开启Smart Connect，已删除的Smart Connect任务无法找回，需要重新创建。 前提条件 已创建Kafka实例，且实例状态为“运行中”。 关闭Smart Connect前，请先删除所有的Smart Connect任务，否则无法关闭Smart Connect。此操作是为了防止关闭Smart Connect导致正在运行的Smart Connect任务丢失。 关闭Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法，关闭Smart Connect。 在待关闭Smart Connect的Kafka实例所在行，单击“更多 > 关闭Smart Connect”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 关闭Smart Connect”。 5、单击，将Smart Connect设置为关闭，单击“下一步”。 6、确认“Smart Connect”为关闭状态，单击“提交”。 结束

本文介绍总览页面内容。 操作步骤 登录科研助手管理控制台， 此处以【专业版】为例，在左侧导航栏单击“总览”。 总览页面分成功能引导 和数据概览。 功能引导 功能引导面向用户提供全流程、场景化的产品使用指引，帮助用户快速上手核心功能、解决操作疑问，降低科研上云的使用门槛。模块内置 AI 助理，提供场景化问题引导 + 自定义提问双模式。 数据概览 数据概览分成资源数据概览、队列概况、开发机运行概况、热门镜像、套餐包使用概况。 资源数据概览帮助用户实时掌握开发机、并行计算、科研服务、科研文件的资源动态。 队列概况展示当前队列的状态、资源使用量及上限等内容。 开发机运行概况指当前待创建、启用中、运行中等开发环境状态对应的开发机数量。 热门镜像展示的是基于用户实际使用行为，点击量与使用率靠前的镜像内容。 套餐包使用概况指当前套餐包GPU、CPU、内存用量情况。

操作场景 分布式消息服务 Kafka 版支持按主题或用户/客户端来配置限流策略，避免因资源消耗过高而影响全量业务。 前提条件 流控管理仅支持集群版实例。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”按钮。 4. 点击“智能运维”、“流控管理”菜单进入流控管理页面。 5. 如需配置主题流控 ，在流控配置页卡的下拉框选择“Topic”选项并点击“创建流控”按钮。 6. 在弹窗填入主题名、生产上限速率、消费上限速率，点击“确定”按钮。 Topic：填入需要限流的主题名 速率范围：1MB/s — 1024MB/s 7. 如需配置用户/客户端流控 ，在流控配置页卡的下拉框选择“User/Client”选项并点击“创建流控”按钮。 8. 在弹窗填入用户名、客户端ID、生产上限速率、消费上限速率，点击“确定”按钮。 用户名：填入需要限流的用户名，与客户端ID不能同时为空 客户端ID：填入需要限流的客户端ID，与用户名不能同时为空 速率范围：1MB/s — 1024MB/s

本章节主要介绍 配置队列。 操作场景 用户根据业务需求，可以在MRS Manager修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 操作步骤 在MRS Manager，单击“租户管理”。 1. 单击“动态资源计划”页签。 2. 单击“队列配置”页签。 3. 在租户队列表格，指定租户队列的“操作”列，单击“修改”。 说明 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 队列配置参数 参数名 描述 “最大应用数量” 表示最大应用程序数量。取值范围从“1”到“2147483647”。 “AM最大资源百分比” 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 “用户资源最小上限百分比(%)” 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 “用户资源上限因子” 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。最小值为“0”。 “状态” 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 “默认资源池” 表示队列使用的资源池。默认为“Default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。

支持权限管理的资源 权限设置说明 “Cluster Admin Operations” 选中时表示授予YARN管理员权限。 “root” YARN的根队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Parent Queue” YARN的一种资源类型，表示父队列，可以包含子队列。根队列也属于父队列的一种。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Leaf Queue” YARN的一种资源类型，表示叶子队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。

介绍分布式消息服务RabbitMQ删除虚拟主机的操作内容。 场景描述 在RabbitMQ中，删除虚拟主机（Virtual Host）的场景描述如下： 应用迁移或清理：当需要迁移应用或进行系统清理时，可能需要删除不再使用的虚拟主机。例如，如果某个应用已经停用或迁移到其他环境，可以删除相关的虚拟主机，以释放资源和减少管理工作。 安全审计和合规性要求：根据安全审计和合规性要求，可能需要删除不再需要的虚拟主机。例如，当某个虚拟主机涉及敏感数据或权限配置存在问题时，可以选择删除该虚拟主机以避免安全风险。 故障处理和恢复：在某些情况下，当虚拟主机发生故障或出现严重问题时，可能需要删除虚拟主机并重新创建。这可以作为一种故障处理和恢复的手段，以解决虚拟主机相关的问题并恢复正常运行。 系统资源管理和优化：如果虚拟主机过多或占用了过多的系统资源，可能需要删除一些不再使用或不需要的虚拟主机。这有助于优化系统资源的利用和提高整体性能。 需要注意的是，在删除虚拟主机之前，务必确保相关的队列、交换机和绑定等对象已经被删除或迁移。否则，删除虚拟主机可能会导致数据丢失或系统异常。 操作步骤 （1）在虚拟主机管理页面，在目标虚拟主机行点击“删除”，即可删除虚拟主机。 注意事项： 删除虚拟主机会删除该虚拟主机内所有数据且不可恢复，请谨慎操作。

关闭IPv4公网访问（不支持修改SASL开关） 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka”，进入分布式消息服务Kafka专享版页面。 4. 单击Kafka实例的名称，进入实例的“基本信息”页面。 5. 在“公网访问”后，单击，完成公网访问的关闭。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示操作成功。 关闭公网访问后，需要设置对应的安全组规则（请见表2），才能通过内网成功连接Kafka。 表2 Kafka实例安全组规则（内网访问） 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv4 9092 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（关闭SSL加密）。 入方向 TCP IPv4 9093 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（开启SSL加密）。 说明 创建安全组后，系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问Kafka实例，无需添加表2的规则。

本章节主要介绍数据湖探索（DLI）的“总览”页面。 数据探索服务控制台总览页为您提供数据湖探索服务使用流程及队列资源使用情况总览。 使用流程简介 数据湖探索服务使用流程简介： 1.创建队列 队列是DLI的计算资源：SQL队列和通用队列。SQL队列支持提交Spark SQL作业，通用队列支持Spark程序、Flink opensource SQL、Flink Jar作业。 2.准备数据 通常在执行Spark SQL作业前，需要创建数据库和表；在执行Spark作业、Flink Jar作业需要上传程序包。 3.编辑提交作业 完成作业参数的编辑后，提交作业。 4.查看作业状态 在作业管理页面可以查看作业的执行状态。 总览队列使用时长 总览页面支持查看队列的使用时长。 查看所有队列的使用时长：总览所有队列资源的使用情况 查看单队列的使用时长：单队列近期的使用情况。

本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后，需要为Yarn任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。 该任务指导系统管理员通过FusionInsight Manager配置队列策略。使用Superior调度器的租户队列，可以配置使用不同资源池的资源。 前提条件 已登录FusionInsight Manager。 已添加资源池。 任务队列不与其他队列相关联资源池，除了默认资源池。 操作步骤 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“资源分布策略”页签。 4. “集群”参数选择待操作的集群名称，然后在“资源池”选择指定的资源池。 5. 在“资源分配”列表指定队列的“操作”列，单击“修改”。 6. 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。 “权重”：表示租户能获得的资源。其初始值与最小资源百分比值一致。 “最小资源”：表示租户能获得的最少资源。 “最大资源”：表示租户能获得的最多资源。 “预留资源”：表示保留给租户自身队列，且不能借用给其他租户队列的资源。 7. 在“修改资源分配”窗口的“用户策略”页签设置用户策略。 说明 defaultUser(builtin)表示如果一个用户未配置策略，则默认使用defaultUser所指定的策略。该策略不可删除。 单击“添加用户策略”添加用户策略。 − “用户名”：表示用户的名称。 − “权重”：表示用户能获得的资源。 − “最多核数”：表示用户最多可以使用的虚拟核数。 − “最大内存”：表示用户最大可以使用的内存。 单击“操作”列的“修改”修改现有用户策略。 单击“操作”列的“清除”删除现有用户策略。 8. 单击“确定”保存配置。

本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

维度 原有队列，无弹性资源池时 弹性资源池 扩容时长 手工扩容时间长，扩容时长在分钟级别 不需要手工干预，秒级动态扩容。 资源利用率 不同队列之间资源不能共享。 例如：队列1当前还剩余10CU资源，队列2当前负载高需要扩容时，队列2不能使用队列1中的资源，只能单独对队列1进行扩容。 添加到同一个弹性资源池的多个队列，CU资源可以共享，达到资源的合理利用。 资源利用率 配置跨源时，必须为每个队列分配不重合的网段，占用大量VPC网段。 多队列通过弹性资源池统一进行网段划分，减少跨源配置的复杂度。 资源调配 多个队列同时扩容时不能设置优先级，在资源不够时，会导致部分队列扩容申请失败。 您可以根据当前业务波峰和波谷时间段，设置各队列在弹性资源池中的优先级，保证资源的合理调配。

指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） queuecunum 队列CU使用量 展示用户队列申请的CU数 ≥0 队列 5分钟 queuejoblaunchingnum 提交中作业数 展示用户队列中状态为提交中的作业数。 ≥0 队列 5分钟 queuejobrunningnum 运行中作业数 展示用户队列中状态为运行中的作业数。 ≥0 队列 5分钟 queuejobsucceednum 已完成作业数 展示用户队列中状态为已完成的作业数。 ≥0 队列 5分钟 queuejobfailednum 已失败作业数 展示用户队列中状态为已失败的作业数。 ≥0 队列 5分钟 queuejobcancellednum 已取消作业数 展示用户队列中状态为已取消的作业数。 ≥0 队列 5分钟 queuecpuusage 队列CPU使用率 展示用户队列的CPU使用率。 0~100 队列 5分钟 queuediskusage 队列磁盘使用率 展示用户队列的磁盘使用率。 0~100 队列 5分钟 queuediskused 队列磁盘使用率最大值 展示用户队列的磁盘使用率的最大值。 0~100 队列 5分钟 queuememusage 队列内存使用率 展示用户队列的内存使用率。 0~100 队列 5分钟 queuememused 队列内存使用量 展示用户队列的内存使用量。 ≥0 队列 5分钟 flinkreadrecordspersecond Flink作业数据输入速率 展示用户Flink作业的数据输入速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkwriterecordspersecond Flink作业数据输出速率 展示用户Flink作业的数据输出速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkreadrecordstotal Flink作业数据输入总数 展示用户Flink作业的数据输入总数，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkwriterecordstotal Flink作业数据输出总数 展示用户Flink作业的数据输出总数，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkreadbytespersecond Flink作业字节输入速率 展示用户Flink作业每秒输入的字节数。 ≥0 Flink作业 10秒钟 flinkwritebytespersecond Flink作业字节输出速率 展示用户Flink作业每秒输出的字节数。 ≥0 Flink作业 10秒钟 flinkreadbytestotal Flink作业字节输入总数 展示用户Flink作业字节的输入总数。 ≥0 Flink作业 10秒钟 flinkwritebytestotal Flink作业字节输出总数 展示用户Flink作业字节的输出总数。 ≥0 Flink作业 10秒钟 flinkcpuusage Flink作业CPU使用率 展示用户Flink作业的CPU使用率。 0~100 Flink作业 10秒钟 flinkmemusage Flink作业内存使用率 展示用户Flink作业的内存使用率。 0~100 Flink作业 10秒钟 flinkmaxoplatency Flink作业最大算子延迟 展示用户Flink作业的最大算子延迟时间，单位ms。 ≥0 Flink作业 10秒钟 flinkmaxopbackpressurelevel Flink作业最大算子反压 展示用户Flink作业的最大算子反压值，数值越大，反压越严重。 0：表示OK 50：表示Low 100：表示High 0~100 Flink作业 10秒钟

本章介绍函数工作流如何使用RabbitMQ触发器。 前提条件 已经创建函数。 创建RabbitMQ触发器，必须开启函数工作流VPC访问。 已经创建RabbitMQ实例。 确认实例安全组规则是否配置正确。 在RabbitMQ实例详情页面的“基本信息 > 网络”，单击安全组名称，跳转到安全组页面。 选择“入方向规则”，查看安全组入方向规则。 实例未开启SSL开关 如果是VPC内访问，实例安全组入方向规则，需要允许端口5672的访问。 如果是公网访问，需要允许端口15672的访问。 实例已开启SSL开关 如果是VPC内访问，实例安全组入方向规则，需要允许端口5671的访问。 如果是公网访问，需要运行端口15671的访问。 创建RabbitMQ触发器 1. 登录函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2. 选择待配置的函数，单击进入函数详情页。 3. 选择“设置 > 触发器”，单击“创建触发器”，弹出“创建触发器”对话框。 4. 设置以下信息。 触发器类型：选择“分布式消息服务RabbitMQ版 (RABBITMQ)”。 实例：选择已创建RabbitMQ实例。 交换机名称：填写用户需要使用的交换机名称。 密码：填写创建RabbitMQ实例的密码。 虚拟机名称：填写用户自定义的vhost。 批处理大小：每次从Topic消费的消息数量。 5. 单击“确定”，完成RabbitMQ触发器的创建。 说明 开启函数流VPC访问后，需要在RabbitMQ服务安全组配置对应子网的权限。

问题描述 创建跨源并绑定新创建的DLI队列，测试跨源的网络连通性时失败，有如下报错信息： failed to connect to specified address 排查思路 以下排查思路根据原因的出现概率进行排序，建议您从高频率原因往低频率原因排查，从而帮助您快速找到问题的原因。 如果解决完某个可能原因仍未解决问题，请继续排查其他可能原因。 检查是否在域名或者IP后添加了端口 检查是否连接的是对端VPC和子网 检查队列的网段是否与数据源网段是否重合 检查是否为DLI授权了VPC Administrator权限 检查对端安全组是否放通队列的网段 检查增强型跨源连接对应的对等连接的路由信息 检查VPC网络是否设置了ACL规则限制了网络访问 检查是否在域名或者IP后添加了端口 测试连通性时需要添加端口号。 例如，测试队列与指定RDS实例连通性，本例RDS实例使用3306端口。 测试连通性如下所示。 检查是否连接的是对端VPC和子网 创建增强型跨源连接时需要填写对端的VPC和子网。 例如，测试队列与指定RDS实例连通性，创建连接时需要填写RDS的VPC和子网信息。 检查队列的网段是否与数据源网段是否重合 绑定跨源的DLI队列网段和数据源网段不能重合。 您可以从连接日志判断是否是队列与数据源网段冲突。 即当前队列A网段与其他队列B网段冲突，且队列B已经建立了与数据源C的增强型跨源连接。因此提示队列A与数据源C的网段冲突，无法建立新的增强型跨源连接。 解决措施：修改队列网段或重建队列。 建议创建队列时就规划好网段划分，否则冲突后只能修改队列网段或重建队列。

OpenSearch Dashboards OpenSearch Dashboards提供了直观的可用于创建、共享、交互式的开发、运维数据分析平台。与OpenSearch搭配使用，并提供角色基础访问控制能力。文内或简称为Dashboards。 支持多用户角色的权限管理 支持包括甘特图在内的多种数据呈现方式 支持多种数据统计方式 支持高阶的索引管理能力 支持通知告警功能 支持基于SQL的查询能力 支持CSV、PDF、Excel等文件的报告生成功能 Logstash Logstash是数据管道服务，通过可扩展的输入、过滤和输出体系，实时采集、转换和加载多源异构数据，并灵活对接各类存储与分析平台，是ELK（Elastic Stack）生态的核心组件之一。天翼云提供的全托管的Logstash服务，支持一键部署、可视化管道配置和数据管道集中管理。 支持文件、数据库、消息队列等多种数据源采集 支持灵活的数据处理，如字段提取、数据脱敏等 内置健康检查机制，支持通过API或可视化界面监控数据管道运行状态 Cerebro Cerebro 是一个功能强大且易于使用的云搜索服务管理工具，适合开发、运维和数据分析等多种场景。通过Cerebro可以对实例进行Web可视化管理，如监控实时的磁盘、集群负载、内存使用率等，通过其直观的界面和丰富的功能，用户可以更高效地管理和监控云搜索实例。云搜索服务兼容开源Cerebro，适配0.9.4。 支持可视化数据管理 支持监控实例实时负载

创建队列 第一次提交Spark作业，需要先创建队列，例如创建名为“sparktest”的队列，队列类型选择为“通用队列”。 1.登录DLI管理控制台。 2.在DLI管理控制台的左侧导航栏中，选择“资源管理 > 队列管理”。 3.单击“队列管理”页面右上角“创建队列”进行创建队列。 4.创建名为“sparktest”的队列，队列类型选择为“通用队列”。创建队列详细介绍请参考《数据湖探索用户指南》>《创建队列》。 5.单击“立即创建”，完成队列创建。 创建程序包 提交Spark作业之前需要创建程序包，例如“sparkexamples.jar”。 1.在管理控制台左侧，单击“数据管理”>“程序包管理”。 2.在“程序包管理”页面，单击右上角“创建”可创建程序包。 3.在“创建程序包”对话框，“包类型”选择“JAR”，“OBS路径”选择步骤2：上传数据至OBS中“sparkexamples.jar”的包路径，“分组设置”参数选择为“不分组”。 4.单击“确定”，完成创建程序包。 程序包创建成功后，您可以在“程序包管理”页面查看和选择使用对应的包。 创建程序包详细介绍请参考《数据湖探索用户指南》>《创建程序包》。 提交Spark作业 1.在DLI管理控制台，单击左侧导航栏中的“作业管理”>“Spark作业”，单击“创建作业”，进入创建Spark作业页面。 2.在Spark作业编辑页面中，“所属队列”选择步骤4：创建队列中创建的队列，“应用程序”选择步骤5：创建程序包创建的程序包。 其他参数请参考《数据湖探索用户指南》>《创建Spark作业》中关于Spark作业编辑页面的说明。 3.单击Spark作业编辑页面右上方“执行”，阅读并同意隐私协议，单击“确定”。提交作业，页面显示“作业提交成功”。 4.（可选）可到“作业管理”>“Spark作业”页面查看提交作业的状态及日志。 说明 在DLI管理控制台第一次单击“执行”操作时，需要阅读隐私协议，同意确定后，后续操作将不会再提示。

本文主要介绍概述 概述 APM Agent会周期性采集一些性能指标数据，用来衡量应用的总体健康状况。可以采集JVM、GC、服务调用、异常、外部调用、数据库访问以及其他中间件的指标调用等数据，帮助用户全面掌握应用的运行情况。 APM对指标数据的采集有严格的定义，每一种采集的数据类型对应一个采集器，比如采集java应用的JVM数据，那么对应有JVM采集器，一个采集器会采集多个指标集的数据。 采集器被部署到环境后形成监控项，在数据采集的时候监控项决定了采集的数据结构和采集行为。 采集周期：监控项具有数据采集器的周期属性。当前数据采集周期为一分钟，不支持用户调整。 监控项状态：默认为enable状态，用户可以将监控项设置为disable状态，这样Agent就不会拦截该指标数据，也不会上报数据。 采集状态：采集实例和监控项会有一个采集状态信息。如果出现采集错误，可以通过采集状态查看。常见错误是主键太多，导致客户端数据汇聚异常。 监控项类型 Agent会自动发现系统采集的插件类型，并且将采集器实例化，形成监控项。监控项是实例化在一个环境上的。 由于采集器种类较多，会导致用户区分困难。系统后台会定义一些类型，每种采集器都会归到一种类型下，这样方便用户查看数据。 根据采集器的作用可以将监控项分为以下几种类型： 接口调用：是指外部服务调用当前应用的监控类型。 基础监控：是用来监控系统性能的基础监控指标的监控类型。 异常：用来监控应用的异常信息。 外部调用：是指当前应用调用外部服务的监控类型。 数据库：是对数据库的访问进行监控。 缓存：是对Redis等缓存系统的监控，会采集指令级别的细粒度的指标数据。 web容器：是对tomcat等web容器的监控，一般会采集系统总的处理线程数，busy线程数，连接数等；用于衡量系统总的容量。 消息队列：是对kafka、RabbitMq等消息系统的监控，包含发送端和接收端的监控。在接收端的处理函数，可以产生调用链信息。 通信协议：是对websocket等通信协议的监控。

问题原因 在CDM界面创建迁移作业，配置DLI目的连接参数时，“资源队列”参数错误选成了DLI的“通用队列”，应该选择DLI的“SQL队列”。 解决方案 1.登录DLI管理控制台，选择“队列管理”，在队列管理界面查看是否有“SQL队列”类型的队列。 −是，执行3。 −否，执行2购买“SQL队列”类型的队列。 2.单击“购买队列”创建队列，其中队列类型选择“SQL队列”，选择其他参数后提交创建。 3.在CDM侧重新配置迁移作业的DLI目的连接参数，其中资源队列”参数选择已创建的DLI“SQL队列”。 4.CDM重新提交迁移作业，查看作业执行日志。 SQL作业访问报错：File not Found 问题现象 执行SQL作业访问报错：File not Found。 解决措施 文件报错找不到，一般是读写冲突产生的，建议查询一下SQL查询报错表的时候，是否有作业正在覆盖写对应数据。 SQL作业访问报错：DLI.0003: AccessControlException XXX 问题现象 SQL作业访问报错：DLI.0003: AccessControlException XXX。 解决措施 请查看下AccessControlException写的OBS桶，确认当前账号是否有访问桶的权限。 SQL作业访问外表报错：DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on}: status [403] 问题现象 SQL作业访问外表报错：DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403]。 解决措施 当前账号没有访问该外表所在OBS桶的权限，请添加相应OBS权限再执行该查询。 执行SQL语句报错：The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget.

本章节主要介绍Spark作业相关问题中有关运维指导的问题。 添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARKPYTHONpython3，指定计算集群环境为Python3环境。 目前，新建集群环境均已默认为Python3环境。 为什么Spark jar 作业 一直处于“提交中”？ Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下： 1. 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 2. 计算剩余CU量。 队列剩余CU量队列CU量 队列CU使用量。 当队列剩余CU量小于用户提交的CU量，则需要等待资源，才能提交成功。

类型 定义 区别 队列 将集群资源划分给队列，提交给队列的任务将使用volcano进行资源调度；同一集群下的队列之间无法相互借用各自的闲置资源 创建队列 1.默认集群自带默认队列，无需用户创建 2.专属集群资源的使用需要用户创建队列 使用队列 1.在默认工作空间内关联队列，关联后，在默认工作空间内作业可以使用队列资源 (仅默认工作空间可使用队列) 支持范围 1.所有资源池都支持 注：后续产品迭代会逐步取消队列，建议使用资源配额 资源配额 将集群资源在逻辑层面进行了资源配额划分，集群资源划分与资源调度进行了解耦，提交给资源配额的任务将通过资源调度层进行资源调度；根据创建资源配额时的设置，同一集群下的资源配额之间可以进行闲置资源借用 创建资源配额 1.专属集群资源的使用需要用户创建资源配额(默认集群无法使用资源配额，只有默认队列) 使用资源配额 1.在非默认工作空间内关联资源配额，关联后，在非默认工作空间内作业可以使用资源配额资源 (仅非默认工作空间可使用资源配额) 支持范围 1.仅杭州7资源池支持

扩容/缩容代理规格的过程 在扩容/缩容代理规格的过程中，代理采用滚动重启的方式进行实例变更，具体过程如下（以3个代理为例介绍）： 1. 停止Broker 0的Kafka进程 2. 扩容/缩容Broker 0的规格 3. 重启Broker 0的Kafka进程 4. 重复1~3，扩容/缩容Broker 1的规格。 5. 重复1~3，扩容/缩容Broker 2的规格。 图 扩容/缩容代理规格过程 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 在实例所在行，单击“更多 > 变更规格”，进入“分布式消息服务Kafka变更规格”页面。 步骤 5 根据实际情况选择扩容存储空间、代理数量、代理规格、基准带宽，或者缩容代理规格。 老规格实例扩容步骤如下： 扩容基准带宽。 在“规格”中，选择扩容后的带宽，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的带宽大小。 说明 扩容带宽是通过扩容代理实现的，原来代理不受影响，业务也不受影响。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过 已开启公网访问的实例，在扩容基准带宽时，需要为新扩容的代理设置弹性IP地址。 扩容基准带宽，可以扩大总分区数。 扩容存储空间。 在“存储空间”中，选择扩容后的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的存储空间大小。 说明 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志和ZK的数据的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志和ZK的数据的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 新规格实例扩容步骤如下： 扩容存储空间。 在“变更配置”中，选择“存储空间”，在“单个代理存储空间”中，选择扩容后的单个代理的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的总存储空间大小（即扩容后的单个代理的存储空间代理个数）。 说明 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志和ZK的数据的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志和ZK的数据的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 扩容代理数量。 在“变更配置”中，选择“代理数量”，在“代理数量”中，选择扩容后的代理个数，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的代理个数。 说明 扩容代理数量不会影响原来的代理，业务也不受影响。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过 已开启公网访问的实例，在扩容代理数量时，需要为新扩容的代理设置弹性IP地址。 扩容代理数量，可以扩大总分区数。 扩容/缩容代理规格。 在“变更配置”中，选择“代理规格”，在“代理规格”中，选择扩容/缩容后的代理规格，单击“下一步”。确认扩容/缩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容/缩容后的代理规格。 说明 扩容/缩容代理规格的过程中，节点会重启，可能造成闪断，生产客户端需要配置重试机制。 若Topic为单副本，扩容/缩容期间无法对该Topic生产消息或消费消息。

按需计费的DLI队列，如果没有提交作业运行就不计费？ 按需计费的DLI队列（非专属资源）仅在队列运行作业时计费，按队列的实际CU计费，请注意是队列的实际CUs，非作业运行CUs。 以小时为单位进行结算，不足一小时按一小时计费，小时数按整点计算。 按需计费的DLI队列（专属资源），无论是否运行作业，自创建起按自然小时收费。 数据湖队列什么情况下是空闲状态？ 队列空闲状态是指在DLI 作业管理中，该队列下均无SQL 作业运行，或者 Flink 作业运行、Spark 作业运行。 即一个自然小时内无作业运行，该自然小时为空闲状态。不会进行计费。 通常按需计费的队列，在空闲1h后计算资源会被释放，再次使用时，需要重新分配计算资源，可能会耗费5~10min时间。 按需计费以小时为单位进行结算。不足一小时按一小时计费，小时数按整点计算。 例如 12:10 ~12:30、12:10 ~12:55 期间使用，则收取1个小时的费用。 如何购买30cus规格资源？ 这种情况，请购买2个16cus规格的队列，不会对业务造成影响。 关于如何购买队列，请参考“创建队列”。 怎样查看DLI的数据扫描量？ 1. 登录DLI管理控制台。 2. 选择“作业管理 > SQL作业”。 3. 筛选执行队列为default队列，查看相应的作业。 4. 单击展开作业，查看已扫描的数据。

CU设置常见问题 当队列的CU总和等于弹性资源池最小CU时，即弹性资源池当前CU等于最小CU时，怎样修改弹性资源池内现有队列的CU最小值？ 解决方案： 1.通过调大现有队列的CU最大值，使弹性资源池当前CU大于等于目标最小CU（目标最小CU即计划调整后的队列最小CU值总和）。 说明 如果弹性资源池最大CU等于最小CU，请先设置增大弹性资源池的最大CU值。 2.设置弹性资源池的最小CU。 3.调整弹性资源池内现有队列的最小CU。 当队列的CU总和等于弹性资源池最小CU时，即弹性资源池当前CU等于最小CU时，怎样在弹性资源池内添加队列？ 解决方案： 1.通过调大现有队列的CU最大值，使弹性资源池当前CU大于等于目标最小CU（目标最小CU即计划调整后的队列最小CU值总和）。 说明 如果弹性资源池最大CU等于最小CU，请先设置增大弹性资源池的最大CU值。 2.设置弹性资源池的最小CU。 3.在资源池内新增队列。 4.复原 ▪第一步：通过调整现有队列的CU最大值，使弹性资...中调整的队列CU最大值。

本文主要介绍 修改配置参数。 操作场景 分布式消息服务Kafka为实例、Topic、消费者提供了几个常用配置参数的默认值，您可以根据实际业务需求，在控制台自行修改参数值。其他在控制台未列出的配置参数，请参考Kafka配置进行修改。 1.1.0版本实例的参数都为静态参数，2.3.0/2.7版本实例的参数分为动态参数和静态参数： 动态参数：动态参数修改成功后，无需重启实例，立即生效。 静态参数：静态参数修改成功后，需要手动重启实例才能生效。 说明 部分老实例不支持修改配置参数，具体以控制台为准，此时请联系客服解决。 前提条件 Kafka实例的状态为“运行中”时，才能修改配置参数。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在“配置参数”页签，在待修改参数所在行，单击“编辑”，修改配置参数。1.1.0版本实例的参数说明如下表所示，2.3.0/2.7版本实例的参数说明如下表所示。 表动态参数说明（1.1.0版本） 参数 参数说明 参数范围 默认值 auto.create.groups.enable 是否开启自动创建消费组功能。 true/false true 表 静态参数说明（1.1.0版本） 参数 参数说明 参数范围 默认值 min.insync.replicas 当producer将acks设置为“all”(或“1”)时，此配置指定必须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度（单位：字节）。 0 ~ 10485760 10485760 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段，即使这样做可能导致数据丢失。 true/false true connections.max.idle.ms 此参数用来指定在多少毫秒之后，关闭空闲的连接。 5000 ~ 600000 600000 log.retention.hours 日志文件最大保存时间。单位为小时。如果Topic已经设置了老化时间，则此参数对此Topic不生效。仅在Topic未设置老化时间时，此参数才对此Topic生效。 1 ~ 168 72 max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 group.max.session.timeout.ms consumer允许的最大会话超时时间，单位为ms。超时时间越长，consumer就能在心跳探测周期内有更多时间处理消息，但也会使故障检测花费更长时间。 6000 ~ 1800000 1800000 default.replication.factor 自动创建Topic时的默认副本个数。 1 ~ 3 3 num.partitions 自动创建Topic时的默认分区数。 1 ~ 100 3 group.min.session.timeout.ms consumer允许的最小会话超时时间，单位为ms。超时时间越短，consumer的心跳探测越频繁，可以使故障检测更快，但会导致broker被抢占更多的资源。 6000 ~ 300000 6000 表动态参数说明（2.3.0/2.7版本） 参数 参数说明 参数范围 默认值 min.insync.replicas 当producer将acks设置为“all”(或“1”)时，此配置指定必须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度（单位：字节）。 0 ~ 10485760 10485760 auto.create.groups.enable 是否开启自动创建消费组功能。 true/false true max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段，即使这样做可能导致数据丢失。 true/false true 表静态参数说明（2.3.0/2.7版本） 参数 参数说明 参数范围 默认值 connections.max.idle.ms 此参数用来指定在多少毫秒之后，关闭空闲的连接。 5000 ~ 600000 600000 log.retention.hours 日志文件最大保存时间。单位为小时。如果Topic已经设置了老化时间，则此参数对此Topic不生效。仅在Topic未设置老化时间时，此参数才对此Topic生效。 1 ~ 168 72 group.max.session.timeout.ms consumer允许的最大会话超时时间，单位为ms。超时时间越长，consumer就能在心跳探测周期内有更多时间处理消息，但也会使故障检测花费更长时间。 6000 ~ 1800000 1800000 default.replication.factor 自动创建Topic时的默认副本个数。 1 ~ 3 3 num.partitions 自动创建Topic时的默认分区数。 1 ~ 100 3 group.min.session.timeout.ms consumer允许的最小会话超时时间，单位为ms。超时时间越短，consumer的心跳探测越频繁，可以使故障检测更快，但会导致broker被抢占更多的资源。 6000 ~ 300000 6000 说明 如果需要批量修改参数，单击“批量编辑”，可以一次性编辑多个动态参数或静态参数的运行值。 如果需要恢复默认值，在待修改参数后，单击“恢复默认”。 步骤 6 单击“保存”，完成参数的修改。 说明 动态参数修改成功后，无需重启实例，立即生效。 静态参数修改成功后，需要手动重启实例才能生效。

本章节主要介绍删除工作负载队列。 删除工作负载队列 1. 登录DWS 管理控制台。 2. 在集群列表中单击需要访问“资源管理”页面的集群名称。 3. 切换至“资源管理”页签。 4. 在左侧“资源池”中单击需要删除的资源池名称。 5. 单击右侧的“删除资源池” 说明 删除队列时如果队列中有关联的数据库用户，那么队列删除后这些用户将被关联默认队列。

服务后缀 服务说明 zos dns msgc crs apm lts faas gts 全局事务：该服务由天翼云全局事务服务提供，全局事务服务是一款专为实现分布式环境下高性能事务一致性而设计的服务工具。它可以与MySQL、PostgreSQL等数据源，以及Spring Cloud、Dubbo等RPC框架和消息队列等中间件产品配合混合使用，以支持用户各种分布式数据库事务、多库事务、消息事务和服务链路级事务的组合需要 prome 应用性能监控：Prometheus监控为云上托管Prometheus服务，可为您的容器集群提供多种开箱即用的预置监控大盘与监控规则，实现免搭建的高效运维场景。 ags Agent沙箱：Agent 沙箱提供安全、弹性、可扩展的云端沙箱运行环境。在使用Agent沙箱产品时，通过连接该终端节点服务，可实现在内网调用沙箱服务。

本节介绍分布式消息服务Kafka计费类常见问题 可以购买哪些版本？ 不同资源池可购买的版本、规格不一致，具体请查看产品规格说明 （1）华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 可以选购Kafka引擎，选择主机类型、节点规格、节点数和存储空间。 （2）芜湖2、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、北京5 可以选购高级版和基础版两个版本。 到期后如何续费？ 在集群列表中点击“续费”，进入购买时长页面，购买成功后自动续费。 手动续订：对于包年/包月订购的分布式缓存服务，用户在资源到期前进行续费操作，可以延长原有资源到期时间，避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订：自动续订仅针对采用包月、包年计费模式的资源，详细操作请参考费用中心续订管理自动续订。 产品订购时可选资源池节点不一致？ 已上线资源池节点的剩余容量达到一定比例后，为确保老客户权益，将不再面向新客户开放，产品订购时的可选资源节点范围以实际为准。

ssl生产消息 plaintext package main import ( "crypto/tls" "crypto/x509" "flag" "fmt" amqp "github.com/rabbitmq/amqp091go" "io/ioutil" "log" ) var ( uri flag.String("uri", "amqps://USERNAME:PASSWORD@10.10.33.196:5671", "AMQP URI") exchangeName flag.String("exchange", "goexchange", "Durable AMQP exchange name") exchangeType flag.String("exchangetype", "direct", "Exchange type directfanouttopicxcustom") routingKey flag.String("key", "testkey", "AMQP routing key") body flag.String("body", "foobar", "Body of message") reliable flag.Bool("reliable", true, "Wait for the publisher confirmation before exiting") ) func init() { flag.Parse() } func main() { if err : publish(uri, exchangeName, exchangeType, routingKey, body, reliable); err ! nil { log.Fatalf("%s", err) } log.Printf("published %dB OK", len(body)) } func publish(amqpsURI, exchange, exchangeType, routingKey, body string, reliable bool) error { caCert, err : ioutil.ReadFile("D:tmphzmqtest0520rabbitmqsslclientcacertificate.pem") if err ! nil { return err } cert, err : tls.LoadX509KeyPair("D:tmphzmqtest0520rabbitmqsslclientclientrabbitmqcertificate.pem", "D:tmphzmqtest0520rabbitmqsslclientclientrabbitmqkey.pem") if err ! nil { return err } rootCAs : x509.NewCertPool() rootCAs.AppendCertsFromPEM(caCert) tlsConf : &tls.Config{ RootCAs: rootCAs, Certificates: []tls.Certificate{cert}, //ServerName: "localhost", // Optional InsecureSkipVerify: true, } connection, err : amqp.DialTLS(amqpsURI, tlsConf) if err ! nil { return fmt.Errorf("Dial: %s", err) } defer connection.Close() log.Printf("got Connection, getting Channel") channel, err : connection.Channel() if err ! nil { return fmt.Errorf("Channel: %s", err) } log.Printf("got Channel, declaring %q Exchange (%q)", exchangeType, exchange) if err : channel.ExchangeDeclare( exchange, // name exchangeType, // type true, // durable false, // autodeleted false, // internal false, // noWait nil, // arguments ); err ! nil { return fmt.Errorf("Exchange Declare: %s", err) } // Reliable publisher confirms require confirm.select support from the // connection. if reliable { log.Printf("enabling publishing confirms.") if err : channel.Confirm(false); err ! nil { return fmt.Errorf("Channel could not be put into confirm mode: %s", err) } confirms : channel.NotifyPublish(make(chan amqp.Confirmation, 1)) defer confirmOne(confirms) } log.Printf("declared Exchange, publishing %dB body (%q)", len(body), body) if err channel.Publish( exchange, // publish to an exchange routingKey, // routing to 0 or more queues false, // mandatory false, // immediate amqp.Publishing{ Headers: amqp.Table{}, ContentType: "text/plain", ContentEncoding: "", Body: []byte(body), DeliveryMode: amqp.Transient, // 1nonpersistent, 2persistent Priority: 0, // 09 }, ); err ! nil { return fmt.Errorf("Exchange Publish: %s", err) } return nil } func confirmOne(confirms

来自：

帮助文档

分布式消息服务RabbitMQ

开发指南

Go

本节介绍分布式消息服务Kafka的产品规格，以便您正确理解和使用。 Kafka实例规格 （1）以下规格适用于 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 节点 注意 通用型规格已调整为白名单特性，如需了解该规格参数请联系技术支持。 单机版实例面向用户体验和业务测试场景，无法保证性能和高可用。如果需要在生产环境使用Kafka实例，建议购买集群版实例。 集群版 Intel计算增强型 实例规格 代理个数 单个代理TPS 单个代理分区上限 单个代理建议主题数 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围 单个代理流量规格（MB/S） kafka.2u4g.cluster 350 30000 250 250 20 2000 300500000GB 100 kafka.4u8g.cluster 350 100000 500 500 100 4000 300500000GB 200 kafka.8u16g.cluster 350 150000 1000 1000 150 4000 300500000GB 375 kafka.12u24g.cluster 350 200000 1500 1500 200 4000 300500000GB 625 kafka.16u32g.cluster 350 250000 2000 2000 200 4000 300500000GB 750 kafka.24u48g.cluster 350 250000 2000 2000 200 4000 300500000GB 1125 kafka.32u64g.cluster 350 250000 2000 2000 200 4000 300500000GB 1500 kafka.48u96g.cluster 350 250000 2000 2000 200 4000 300500000GB 2250 kafka.64u128g.cluster 350 250000 2000 2000 200 4000 300500000GB 3000