client.sources staticlogsource client.channels staticlogchannel client.sinks kafkasink LOGTOHDFSONLINE1 client.sources.staticlogsource.type spooldir client.sources.staticlogsource.spoolDir 监控目录 client.sources.staticlogsource.fileSuffix .COMPLETED client.sources.staticlogsource.ignorePattern ^$ client.sources.staticlogsource.trackerDir 传输过程中元数据存储路径 client.sources.staticlogsource.maxBlobLength 16384 client.sources.staticlogsource.batchSize 51200 client.sources.staticlogsource.inputCharset UTF8 client.sources.staticlogsource.deserializer LINE client.sources.staticlogsource.selector.type replicating client.sources.staticlogsource.fileHeaderKey file client.sources.staticlogsource.fileHeader false client.sources.staticlogsource.basenameHeader true client.sources.staticlogsource.basenameHeaderKey basename client.sources.staticlogsource.deletePolicy never client.channels.staticlogchannel.type file client.channels.staticlogchannel.dataDirs 数据缓存路径，设置多个路径可提升性能，中间用逗号分开 client.channels.staticlogchannel.checkpointDir 检查点存放路径 client.channels.staticlogchannel.maxFileSize 2146435071 client.channels.staticlogchannel.capacity 1000000 client.channels.staticlogchannel.transactionCapacity 612000 client.channels.staticlogchannel.minimumRequiredSpace 524288000 client.sinks.kafkasink.type org.apache.flume.sink.kafka.KafkaSink client.sinks.kafkasink.kafka.topic 数据写入的topic ，如flumetest client.sinks.kafkasink.kafka.bootstrap.servers XXX . XXX . XXX . XXX :kafka 端口号 , XXX . XXX . XXX . XXX :kafka 端口号 , XXX . XXX . XXX . XXX :kafka端口号 client.sinks.kafkasink.flumeBatchSize 1000 client.sinks.kafkasink.kafka.producer.type sync client.sinks.kafkasink.kafka.security.protocol SASLPLAINTEXT client.sinks.kafkasink.kafka.kerberos.domain.name Kafka Domain名称，安全集群必填，如hadoop.xxx.1com client.sinks.kafkasink.requiredAcks 0 client.sources.staticlogsource.channels staticlogchannel client.sinks.kafkasink.channel staticlogchannel 说明 client.sinks.kafkasink.kafka.topic：数据写入的topic。若kafka中该topic不存在，默认情况下会自动创建该topic。 client.sinks.kafkasink.kafka.bootstrap.servers：Kafkabrokers列表，多个用英文逗号分隔。默认情况下，安全集群端口21007，普通集群对应端口9092。 client.sinks.kafkasink.kafka.security.protocol：安全集群为SASLPLAINTEXT，普通集群为PLAINTEXT。 client.sinks.kafkasink.kafka.kerberos.domain.name： 普通集群无需配置此参数。安全集群对应此参数的值为Kafka集群中“kerberos.domain.name”对应的值。 具体可到Broker实例所在节点上查看${BIGDATAHOME}/MRSCurrent/1 X Broker/etc/server.properties。 其中X为随机生成的数字，请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存，例如root用户。 具体可到Broker实例所在节点上查看“${BIGDATAHOME}/FusionInsightCurrent/1XBroker/etc/server.properties”。 9. 参数配置并保存后，Flume客户端将自动加载“properties.properties”中配置的内容。当spoolDir生成新的日志文件，文件内容将发送到Kafka生产者，并支持Kafka消费者消费。

接口功能介绍 云防火墙（原生版）N100型产品规格的包年/包月的升配功能 接口约束 无 URI POST /v1/cngfw/order/placeupgrade 路径参数 无 Query参数 无 请求参数 请求头header参数 无 请求体body参数 参数 是否必填 参数类型 说明 示例 下级对象 resourceId 是 String 云防火墙（原生版）资源id 1 ismain 是 String 云防火墙（原生版）部署方式，single：单机部署，dual：主备部署 single firewallEdition 是 String 云防火墙公网处理能力（版本），取值范围：standard100Mbps，advanced200Mbps，ultimated2Gbps advanced 响应参数 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败描述，具体订单失败取该错误消息描述 submitted Boolean 是否已提交成功，true：成功，false：失败 true newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格 表 returnObj 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败 submitted Boolean 是否已提交成功，true：成功，false：失败 true orderPlacedEvents Array of Objects 订单项 orderPlacedEvents newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格 表 orderPlacedEvents 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败描述，具体订单失败取该错误消息描述 submitted Boolean 是否已提交成功，true：成功，false：失败 true newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格

接口功能介绍 云防火墙（原生版）N100型产品规格的包年/包月的升配功能 接口约束 无 URI POST /v1/cngfw/order/placeupgrade 路径参数 无 Query参数 无 请求参数 请求头header参数 无 请求体body参数 参数 是否必填 参数类型 说明 示例 下级对象 resourceId 是 String 云防火墙（原生版）资源id 1 ismain 是 String 云防火墙（原生版）部署方式，single：单机部署，dual：主备部署 single firewallEdition 是 String 云防火墙公网处理能力（版本），取值范围：standard100Mbps，advanced200Mbps，ultimated2Gbps advanced 响应参数 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败描述，具体订单失败取该错误消息描述 submitted Boolean 是否已提交成功，true：成功，false：失败 true newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格 表 returnObj 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败 submitted Boolean 是否已提交成功，true：成功，false：失败 true orderPlacedEvents Array of Objects 订单项 orderPlacedEvents newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格 表 orderPlacedEvents 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败描述，具体订单失败取该错误消息描述 submitted Boolean 是否已提交成功，true：成功，false：失败 true newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格

检查Kafka数据规划。 11. 选择上报告警实例主机名对应的角色“Broker”。单击图表区域右上角的下拉菜单，选择“定制”，来自定义监控项。 12. 在弹出的“定制”对话框中，选择“磁盘 > Broker磁盘使用率”，并单击“确定”。 关于Kafka磁盘使用情况信息会被显示。 13. 根据步骤12的显示信息，查看是否只有步骤2中上报告警的磁盘分区。 是，执行步骤14。 否，执行步骤15。 14. 重新进行磁盘规划，挂载新的磁盘，进入当前问题节点“实例配置”页面，重新配置“log.dirs”，增加其他磁盘相应路径，重启当前Kafka实例。 15. 查看Kafka配置的数据保存时间配置，根据业务需求和业务量权衡，考虑是否需要调小数据保存时间。 是，执行步骤16。 否，执行步骤17。 16. 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置 > 全部配置”，在右侧搜索框中填写配置项名称“log.retention.hours”，然后会显示该配置的当前值，此处的值为Topic默认的数据保存时间，可以适当调小该值。 说明 对于单独配置数据保存时间的Topic，修改Kafka服务配置页面上配置的数据保存时间不生效。 如果需要对某个Topic单独配置的话，可以使用Kafka客户端命令行，来单独配置该Topic。 例如： kafkatopics.sh zookeeper “ ZooKeeper 地址: 2181/kafka ”alter topic “ Topic 名称 ” config retention.ms “ 保存时间 ” 17. 查看是否由于某些Topic的Partition配置不合理导致部分磁盘使用率达到上限（例如：数据量非常大的Topic的Partition数目小于配置的磁盘个数，导致各磁盘上数据分配无法均匀，进而部分磁盘达到使用率上限）。 说明 对于单独配置数据保存时间的Topic，修改Kafka服务配置页面上配置的数据保存时间不生效。 如果需要对某个Topic单独配置的话，可以使用Kafka客户端命令行，来单独配置该Topic。 例如： kafkatopics.sh zookeeper “ ZooKeeper 地址: 2181/kafka ”alter topic “ Topic 名称 ” config retention.ms “ 保存时间 ” 18. 通过Kafka客户端对Topic的Partition进行扩展，命令行操作命令如下： kafkatopics.sh zookeeper“ ZooKeeper 地址 :2181/kafka ” alter topic “ Topic 名称 ” partitions “ 新Partition 数目 ” 说明 新Partition数目建议配置为Kafka数据磁盘数量的倍数。 当前步骤修改可能不会很快解决当前告警，需要结合步骤11中的数据保存时间逐渐均衡数据。 19. 考虑是否需要扩容。 说明 建议当前Kafka磁盘使用率超过80%时，则需要扩容。 是，执行步骤20。 否，执行步骤21。 20. 扩展磁盘容量，扩展后检查告警是否消失。 是，操作结束。 否，执行步骤22。 21. 检查告警是否清除。 是，操作结束。 否，执行步骤22。

支持跨源认证的数据源与作业类型 不同类型的作业支持跨源认证的数据源与认证方式不同。 Spark SQL支持跨源认证的数据源与约束限制请参考下表“Spark SQL支持跨源认证的数据源”。 Flink SQL 支持跨源认证的数据源与约束限制请参考下表“Flink SQL支持跨源认证的数据源”。 Spark SQL支持跨源认证的数据源 跨源认证类型 数据源 约束与限制 CSS CSS CSS集群版本选择“6.5.4”或“6.5.4”以上版本。 CSS集群已开启“安全模式”。 Password DWS、RDS、DDS、Redis Flink SQL支持跨源认证的数据源 表类型 跨源认证类型 数据源 约束与限制 源表 Kerberos Kafka MRS Kafka开启Kerberos认证。 源表 KafkaSSL Kafka DMS Kafka开启SASLSSL认证。 MRS Kafka开启SASL认证。 MRS Kafka开启SSL认证。 结果表 Kerberos HBase MRS安全集群已开启Kerberos认证。 结果表 Kerberos Kafka MRS Kafka开启Kerberos认证。 结果表 KafkaSSL Kafka DMS Kafka开启SASLSSL认证。 MRS Kafka开启SASL认证。 MRS Kafka开启SSL认证。 结果表 Password DWS、RDS、CSS 维表 Password RDS、Redis

计费项 分布式消息服务MQTT的计费项由实例费用组成，具体费用详情见下文实例规格单价。 计费项 含义 适用的计费模式 实例费用 用户选择的选择的实例规格计费，具体请参见产品规格。 按需/包周期 说明 分布式消息服务MQTT如下资源池支持X86计算CPU架构类型的计算增强型主机，提供集群和单机两种规格实例，集群版可选39代理数量。 目前在 华东1、长沙42、华南2、武汉41、西南1、华北2、呼和浩特3、太原4 资源池开放订购。 上述资源池订购和续订可享受1年83折，2年7折，3年5折优惠。 价格计算公式 分布式消息服务MQTT实例费用单价如下表所示，计费公式为： 实例费用实例规格单价 代理数量，单机版代理数量为1。 实例规格单价 Intel计算增强型 规格名称 实例单价（单个节点） 规格名称 按需标准价格(元/小时) 包月标准价格(元/月) mqtt.2u4g.cluster 0.98 441 mqtt.4u8g.cluster 2.24 1008 mqtt.8u16g.cluster 4.86 2187 mqtt.12u24g.cluster 7.38 3321 mqtt.16u32g.cluster 9 4050

检查Kafka配置的直接内存大小 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置 > 全部配置 > Broker（角色）> 环境变量”。将“KAFKAHEAPOPTS”参数中配置的“Xmx”值参考如下说明调大。 说明 建议“KAFKAHEAPOPTS”参数中“Xmx”和“Xms”值保持一致。 建议根据步骤2查看“Kafka直接内存使用率”，调整“KAFKAHEAPOPTS”的值为“Kafka使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。 3. 保存配置，并重启Kafka服务。 4. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”中勾选待操作集群的“Kafka”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍使用Kafka的操作指导。 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Kafka客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端目录，例如： plaintext cd /opt/hadoopclient/Kafka/kafka/bin 4. 执行以下命令，配置环境变量。 plaintext source /opt/hadoopclient/bigdataenv 5. 集群默认为安全模式，将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 创建一个Topic。 plaintext sh kafkatopics.sh create topic 主题名称partitions 主题占用的分区数 replicationfactor 主题的备份个数 zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 7. 执行以下命令，查询集群中的Topic信息。 plaintext sh kafkatopics.sh list zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 8. 删除创建的Topic。 plaintext sh kafkatopics.sh delete topic 主题名称 zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 输入 "y"，回车。

本文主要介绍DMS for Kafka请求条件。 您可以在创建自定义策略时，通过添加“请求条件”（Condition元素）来控制策略何时生效。请求条件包括条件键和运算符，条件键表示策略语句的 Condition元素，分为全局级条件键和服务级条件键。全局级条件键（前缀为g:）适用于所有操作，服务级条件键（前缀为服务缩写，如dms:）仅适用于对应服务的操作。运算符与条件键一起使用，构成完整的条件判断语句。 DMS for Kafka通过IAM预置了一组条件键，例如，您可以先使用dms:ssl条件键检查Kafka实例是否开启SASL，然后再允许执行操作。下表显示了适用于DMS for Kafka服务特定的条件键。 表DMS for Kafka请求条件 DMS for Kafka条件键 运算符 描述 dms:publicIP BoolIsNullOrEmptyBoolIfExists 是否开启公网 dms:ssl BoolIsNullOrEmptyBoolIfExists 是否开启SASL

本章节主要介绍ALM38002 Kafka堆内存使用率超过阈值的告警。 告警解释 系统每60秒周期性检测Kafka服务堆内存使用状态，当连续10次检测到Kafka实例堆内存使用率超出阈值（最大内存的95%）时产生该告警。 平滑次数为1，堆内存使用率小于或等于阈值时，告警恢复；平滑次数大于1，堆内存使用率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38002 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Kafka可用内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点Kafka实例堆内存使用率过大，或配置的堆内存大小不合理，导致使用率超过阈值。 处理步骤 检查Kafka实例堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > Kafka堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例的主机名。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”，选择上报告警实例主机名对应的角色。单击图表区域右上角的下拉菜单，选择“定制 > 进程 > Kafka堆内存使用率”，单击“确定”。 2. 查看Kafka使用的堆内存是否已达到Kafka设定的最大堆内存的95%。 是，执行步骤4。 否，执行步骤6。

DLI数据源约束 使用CDM服务迁移数据到DLI时，当前用户需拥有OBS的读取权限。 Oracle数据源约束 不支持Oracle实时增量数据同步。 分布式缓存服务（DCS ）和Redis数据源约束 1. 由于分布式缓存服务（DCS）限制了获取所有Key的命令，CDM无法支持DCS作为源端，但可以作为迁移目的端，第三方云的Redis服务也无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 2. 仅支持Hash和String两种数据格式。 文档数据库服务（DDS ）和MongoDB数据源约束 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 云搜索服务和Elasticsearch数据源约束 1. CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 2. 索引下的字段类型创建后不能修改，只能创建新字段。如果一定要修改字段类型，需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建（数据也会删除）。 3. CDM自动创建的索引，字段类型为date时，要求数据格式为“yyyyMMdd HH:mm:ss.SSS Z”，即“20180808 08:08:08.888 +08:00”。迁移数据到云搜索服务时如果date字段的原始数据不满足格式要求，可以通过CDM的表达式转换功能转换为上述格式。 Kafka数据源约束 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。

权限名称 权限说明 具体场景或目的 INTERNET 允许应用访问网络 用于优化服务过程中的网络质量，wifi/4g网络切换状态下的网络服务保障 ACCESSNETWORKSTATE 检测网络连接状态 用于优化服务过程中的网络质量，wifi/4g网络切换状态下的网络服务保障 ACCESSWIFISTATE 获取WIFI连接状态 用于优化服务过程中的网络质量，wifi/4g网络切换状态下的网络服务保障 REQUESTINSTALLPACKAGES 允许进行应用安装 用于更新应用，检测用户是否具备使用产品功能的条件，优化体验 REQUESTIGNOREBATTERYOPTIMIZATIONS 忽略电池优化 允许VPN服务能够在后台运行服务（国内手机系统可能无法生效，需要用户到设置中手动开启，不同机型出来的权限蒙版不一样，有一些机型因为不需要用户确认没有弹出蒙版） MODIFYAUDIOSETTINGS 修改音频设置 会议服务：设置音频模式 RECORDAUDIO 录制音频 AI应用中心：以语音的方式与AI进行交互、语音输入，收集语音信息（语音转文本信息） 音视频会议：发言、传输音视频流 CAMERA 拍摄照片和视频 AI应用中心：拍摄图片，收集图片信息 消息服务：使用摄像头拍照发送图片或视频 音视频会议：开启视频、设置虚拟背景 邮件服务：使用摄像头拍摄照片 消息服务：使用摄像头拍摄照片 个人信息：拍照上传头像 WAKELOCK 唤醒设备 保持设备唤醒状态，避免某些场景下系统休眠之后导致的VPN连接异常情况。 WRITEEXTERNALSTORAGE 写入外部存储 消息服务：发送照片、文件 邮件服务：上传附件、保存邮件附件至本地、从本地选择文件插入邮件 消息服务：下载文件，保存图片 READEXTERNALSTORAGE 读取外部存储 日程服务：在日程中添加文件 消息服务：发送照片、文件 邮件服务：上传附件、保存邮件附件至本地、从本地选择文件插入邮件 消息服务：发送图片、发送文件 MANAGEEXTERNALSTORAGE 管理所有外部存储 文件管理增强（android10以上版本申请，权限等同于WRITEEXTERNALSTORAGE 和READEXTERNALSTORAGE） READMEDIAIMAGES 读取媒体图片 消息服务：从相册选择图片发送 AI应用中心：从相册上传照片 邮件服务：从相册选择图片插入邮件 USEBIOMETRICUSEFINGERPRINT 生物识别/指纹 使用生物识别/指纹进行登录 BLUETOOTHBLUETOOTHADMIN BLUETOOTHCONNECT 蓝牙权限 会议中使用蓝牙设备 SYSTEMALERTWINDOW 悬浮窗权限 会议服务：用于会议的悬浮窗功能 READPHONESTATE 读取电话状态权限 会议服务：用于来电时自动禁用会议服务的扬声器和麦克风

本节介绍了如何查看分布式消息服务RabbitMQ产品实例。 实例列表 1、进入分布式消息服务RabbitMQ管理控制台查看已购买的实例列表，若列表为空，可点击右上角【创建实例】进入购买页面，创建实例详情见具体操作步骤。 2、支持按照实例ID查询，输入查询内容，点击【查询】按钮即可展示需要的实例数据。 3、查看实例基本信息，包括实例ID、规格、VPC、计费模式、创建时间、到期时间、状态。其中状态说明见下文。 运行状态 （1）登录天翼云，进入分布式消息服务RabbitMQ管理控制台。 （2）当前页面会列出所购买的RabbitMQ实例，并查看状态，状态说明如下 状态 说明 运行中 RabbitMQ实例正常运行状态。 已关闭 RabbitMQ实例处于离线的状态。 变更中 RabbitMQ实例正在进行规格变更操作。 变更失败 RabbitMQ实例处于规格变更失败状态。 暂停 RabbitMQ专享版实例处于已冻结状态，用户可以在“更多”中续费开启冻结的RabbitMQ实例。 注销 RabbitMQ实例已经过期并关闭，需要重新购买实例。

Apache Kafka Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka，其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时，相关参数详见下表：Apache Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 kafkalink Kafka broker Kafka broker的IP地址和端口。 192.168.1.1:9092 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。

本文介绍如何应用事件总线EventBridge的事件流功能实现分布式消息服务RocketMQ的消息路由。 前提条件 开通事件总线EventBridge并授权。 开通分布式消息服务RocketMQ并创建最少两个主题。 背景信息 事件流作为更轻量、实时端到端的流式事件通道，提供轻量级的流式数据的过滤和转换的能力，在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步。源端分布式消息服务RocketMQ生产的消息可以通过事件流这个通道被路由到目标端的分布式消息服务RocketMQ。 步骤一：创建事件流 1. 登录事件总线EventBridge控制台。 2. 在左侧导航栏，单击事件流。 3. 在事件流页面，单击创建事件流。 4. 在创建事件流面板，设置任务名称和描述，配置以下参数，然后单击保存。 a.在Source（源）配置向导，选择数据提供方为分布式消息服务RocketMQ，设置以下参数，然后单击下一步。 参数 说明 示例 实例名称 前提条件中已创建的分布式消息服务RocketMQ版实例。 xxx Topic 当前实例中的Topic。 topic1 Group 消费组名。 快速创建：自动创建以GIDEVENTBRIDGExxx命名的Group ID。 使用已有：选择当前实例中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 消费位点 开始消费的位置。 最新位点：从最新位点开始消费。 最新位点 Tag 用于过滤消息的Tag值，非必填。 tag1 b.在Filtering（过滤）配置向导，设置事件过滤规则，单击下一步。 c.在Sink（目标）配置向导，选择服务类型为分布式消息服务RocketMQ，配置以下参数，单击保存，如图1所示。 参数 说明 示例 实例 选择分布式消息服务RocketMQ实例。 instancexxx Topic 选择RocketMQ实例的Topic。 topic1 消息体 选择消息体（Body）的内容，更多参考“事件内容转换”。 完整事件 自定义属性 选择自定义属性（Properties）的内容，更多参考“事件内容转换”。 空 索引 选择索引（Keys）的内容，更多参考“事件内容转换”。 空 标签 选择标签（Tags）的内容，更多参考“事件内容转换”。 空 图1 创建事件流时选择服务类型为分布式消息服务RocketMQ的事件目标 5. 创建事件流后，会有30秒~60秒的延迟时间，您可以在事件流页面的状态栏查看启动进度。

场景描述 在某些情况下，您可能需要将Kafka开启公网访问。以下是一些可能的场景描述： 跨地域数据传输：如果您有多个位于不同地理位置的数据中心或云服务提供商，您可能希望在它们之间传输数据。通过将Kafka开启公网访问，您可以轻松地在不同地区之间进行数据传输。 跨组织数据共享：如果您需要与其他组织或合作伙伴共享数据，而且这些组织不在同一个网络环境中，您可以将Kafka开启公网访问，以便安全地共享数据。 远程访问和监控：有时候，您可能需要从外部网络访问和监控Kafka集群。通过配置Kafka开启公网访问，您可以远程连接到Kafka集群，监控其运行状态，并执行必要的管理操作。 请注意，在设置Kafka开启公网访问时，确保采取适当的安全措施，比如使用安全组或者用户权限来限制访问权限，以保护Kafka集群的安全性。 约束与限制 开启公网访问功能只支持绑定IPv4弹性IP地址，不支持绑定IPv6弹性IP地址。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“实例详情”后找到如下接入点信息模块。 （5）点击右上角“添加路由策略”按钮，选择“公网接入”方式。 （6）需要为每个节点设置对应的弹性IP地址，点击其右侧的“绑定”按钮，在弹窗中选择某个弹性IP绑定。如果没有足够数量的弹性IP地址，可参考申请弹性IP购买弹性IP地址。 （7）点击刷新按钮查看弹性IP绑定状态，待所有节点都绑定弹性IP后点击“确定”按钮下发开启公网后台任务。 （8）当实例状态重新变为“运行中”后，表示开启公网访问成功。 （9）开启公网访问后，需要设置好对应的安全组规则 才能成功连接Kafka，设置规则参考如下: 安全组参考规则（先判断安全组的出/入方向是否放通了对弹性ip地址的访问，如果没有，可以参考如下规则配置）： 方向 协议 类型 端口 远端(源地址) 说明 入方向 TCP IPv4 Kafka公网接入端口(8094)，或更大范围 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka （10）如果创建了 网络ACL规则 ，则ACL规则也需要正确配置才能成功连接Kafka，设置规则参考如下: 网络ACL参考规则（先判断网络ACL的出/入方向是否放通了客户端地址的访问，如果没有，可以参考如下规则配置）： 方向 协议 IP版本 策略 源地址 源端口范围 目的地址 目的端口范围 描述 入方向 TCP IPv4 允许 Kafka客户端所在的IP地址或地址组 165535 VPC IP地址组 Kafka公网接入端口(8094)，或更大范围 控制入方向ACL规则 出方向 TCP IPv4 允许 VPC IP地址组 Kafka公网接入端口(8094)，或更大范围 Kafka客户端所在的IP地址或地址组 165535 控制出方向ACL规则 （11）连接Kafka可以根据开启公网访问时选择的SASLPLAINTEXT或SASLSSL协议接入。

本文介绍创建Kafka自定义策略 如果系统预置的Kafka权限，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项请参考主子账号和IAM权限管理。 目前天翼云支持可视化视图和JSON视图两种方式设置策略内容，详细介绍请查看统一身份认证用户指南权限管理自定义策略 创建自定义策略 可视化视图：通过可视化视图创建自定义策略，无需了解JSON语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图：通过JSON视图创建自定义策略，可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 Kafka自定义策略样例 以下策略样例表示：仅允许IAM用户使用Kafka主题管理、实例列表功能 { "Version": "1.1", "Statement": [ { "Effect": "Allow" "Action": [ "KAFKA:inst:kafkamanagetopic", "KAFKA:inst:kafkaclusterlist" ] } ] }

Hue连接hiveserver，不释放session，报错over max user connections如何处理？ 适用版本：MRS 3.1.0及之前的MRS 3.x版本。 1.修改两个Hue节点的以下文件： /opt/Bigdata/FusionInsightPorter8. /install/FusionInsightHue /hue/apps/beeswax/src/beeswax/models.py 2.修改文件中的396和404行的值 q self.filter(owneruser, applicationapplication).exclude(guid'').exclude(secret'') 改为 q self.filter(owneruser, applicationapplication).exclude(guidNone).exclude(secretNone) 如何重置Kafka数据？ 删除Kafka topic信息即重置Kafka数据，具体命令请参考： 删除topic： kafkatopics.sh delete zookeeper ZooKeeper集群业务IP:2181/kafka topic topicname 查询所有topic： kafkatopics.sh zookeeper ZooKeeper集群业务IP:2181/kafka list 执行删除命令后topic数据为空则此topic会立刻被删除，如果有数据则会标记删除，后续Kafka会自行进行实际删除。 Kafka目前支持的访问协议类型有哪些？ 当前支持4种协议类型的访问：PLAINTEXT、SSL、SASLPLAINTEXT、SASLSSL。 消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理？ 该问题是由于集群的Ranger鉴权和集群自带的ACL鉴权冲突导致。Kafka集群使用自带的ACL进行权限访问控制，且集群的Kafka服务也开启Ranger鉴权控制时，该组件所有鉴权将由Ranger统一管理，原鉴权插件设置的权限将会失效，导致ACL权限授权未生效。可通过关闭Kafka的Ranger鉴权并重启Kafka服务来处理该问题。操作步骤如下： 1.登录FusionInsight Manager页面，选择“集群 > Kafka”。 2.在服务“概览”页面右上角单击“更多”，选择“停用Ranger鉴权”。在弹出的对话框中输入密码，单击“确定”，操作成功后单击“完成”。 3.在服务“概览”页面右上角单击“更多”，选择“重启服务”，重启Kafka服务。

本章节介绍普通消息的收发方法和示例代码。其中，普通消息发送方式分为同步发送、异步发送、单向发送。 同步发送：同步发送是指消息发送方发出一条消息后，会在收到服务端同步响应之后才发下一条消息的通讯方式。 异步发送：异步发送是指发送方发出一条消息后，不等服务端返回响应，接着发送下一条消息的通讯方式。 单向发送：发送方只负责发送消息，不等待服务端返回响应且没有回调函数触发。 收发消息前，请参考收集连接信息收集RocketMQ所需的连接信息。 准备环境 开源的Java客户端支持连接分布式消息服务RocketMQ版，推荐使用的客户端版本为4.9.7。 通过以下任意一种方式引入依赖： 1. 使用Maven方式引入依赖。 org.apache.rocketmq rocketmqclient 4.9.7 org.apache.rocketmq rocketmqacl 4.9.7 2. 点击下载依赖JAR包：rocketmqall4.9.7binrelease.zip 同步发送 同步发送是最常用的方式，是指消息发送方发出一条消息后，会在收到服务端同步响应之后才发下一条消息的通讯方式，可靠的同步传输被广泛应用于各种场景，如重要的通知消息、短消息通知等。 参考如下示例代码 import org.apache.rocketmq.acl.common.AclClientRPCHook; import org.apache.rocketmq.acl.common.SessionCredentials; import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.client.producer.SendResult; import org.apache.rocketmq.common.message.Message; import org.apache.rocketmq.remoting.RPCHook; import org.apache.rocketmq.remoting.common.RemotingHelper; public class ProducerNormalExample { private static RPCHook getAclRPCHook() { return new AclClientRPCHook(new SessionCredentials( "accessKey", // 分布式消息服务RocketMQ控制台用户管理菜单中创建的用户ID "accessSecret" // 分布式消息服务RocketMQ控制台用户管理菜单中创建的密钥 )); } public static void main(String[] args) throws Exception { DefaultMQProducer producer new DefaultMQProducer("YOUR GROUP ID", getAclRPCHook()); // 填入控制台获取NAMESRV接入点地址 producer.setNamesrvAddr("XXX:xxx"); ; // 如果需要开启SSL，请增加此行代码 producer.start(); for (int i 0; i < 128; i++) try { { Message msg new Message("YOUR TOPIC", "TagA", "Hello RocketMQ".getBytes(RemotingHelper.DEFAULTCHARSET)); SendResult sendResult producer.send(msg); System.out.println(sendResult); } } catch (Exception e) { e.printStackTrace(); } producer.shutdown(); } }

云工作流支持的功能如下(公测版)： 功能集 功能 功能说明 参考文档 基本功能 流程（Flow） 云工作流基于CNCF ServerlessWorkflow Specification 0.8版本进行适配优化作为天翼云云工作流执行流程定义。执行流程时，云工作流执行引擎会根据流程定义解析并驱动执行相关状态流转。 一个流程通常包含若干状态（State），这些状态可以是简单的执行类状态，例如操作（Operation）、暂停（Sleep）、传递（Noop）和失败（Fail）等；也可以是复杂的流程控制类状态，例如条件分支（Switch）、并行（Parallel）和迭代（Foreach）。 流程定义介绍 创建流程 执行流程 基本功能 调度（Schedule） 云工作流调度（即触发器）是触发工作流执行的方式。在事件驱动的计算模型中，事件源是事件的生产者，工作流是事件的处理者。云工作流目前支持比较常见的触发器场景： 定时触发器、HTTP触发器、消息队列类型（Kafka、 RokectMQ）触发器， 云原生网关触发器 工作流调度简介 特性功能 标准（Standard）模式 云工作流支持创建标准（Standard）和快速（Express）两种模式的工作流。 标准（Standard）模式适用于传统意义上的离线业务流程编排执行场景，具备执行步骤状态的持久化存储，支持运行长时间的工作流执行状态流转。 快速工作流和标准工作流 特性功能 快速（Express）模式 云工作流支持创建标准（Standard）和快速（Express）两种模式的工作流。 快速（Express）模式适用于常见的在线业务流程编排和准实时业务流程编排场景，例如微服务API编排、流式数据处理等低延迟和大负载业务场景。 快速工作流和标准工作流 运维及可观测建设 工作流执行监控 工作流执行监控可对工作流的执行启动、执行成功、执行失败、执行超时以及执行过程中的状态转换和执行耗时等指标进行监控和展示。 监控指标 运维及可观测建设 审计事件 云工作流已接入审计服务，可以在云审计中查询用户操作云工作流产生的管控事件， 例如创建工作流、删除工作流以及执行工作流等。 审计事件 流程开发 工作流设计器 云工作流提供一个低代码、可视化的工作流设计器，包含cloudflow studio、 yaml以及工作流设置等功能区。可以基于cloudflow studio进行工作流可视化编排以及相关属性设置， 降低用户对流程定义语言的学习成本。 工作流设计器 集成建设 云服务优化集成 云工作流支持与天翼云多个云服务集成，允许在流程中调用这些云服务的API进行相关资源的操作，完成业务流程构建。 云工作流与云服务的集成类型包括普通集成和优化集成。普通集成是指允许云工作流直接调用云产品的OpenAPI服务接口，不对这些服务接口做任何包装处理和实现优化，基本包括了在天翼云OpenAPI门户注册的云服务OpenAPI服务接口。 优化集成是指对部分高频使用的云产品服务接口进行包装和优化处理，简化接口使用难度，方便用户集成。 集成模式 服务集成模式 函数计算集成 云工作流计集成 集成建设 云服务普通集成 普通集成是指云工作流直接通过在天翼云产品在天翼云OpenAPI门户注册的OpenAPI对外提供的服务接口进行集成调用，不对服务接口做任何特殊处理和优化。 允许云工作流通过调用弹性计算、存储服务、数据库、容器、大数据处理、中间件服务在内的多个天翼云服务的接口实现业务流程编排。 普通集成

本文将为您介绍分布式消息服务RocketMQ入门的基本流程，主要包括控制台创建RocketMQ专享版实例、使用弹性云服务器连接实例的操作，帮助您快速上手RocketMQ。 操作流程 图1 RocketMQ使用流程 环境准备 RocketMQ实例运行于虚拟私有云中，在创建实例前需要确保有可用的虚拟私有云。 创建RocketMQ实例 在创建实例时，您可以根据需求选择需要的实例规格和数量，并开启SSL访问。开启SSL后，数据加密传输，安全性更高。 创建Topic 在实例创建成功后，您需要创建Topic，用于发送与接收消息。 连接RocketMQ实例 使用客户端连接实例，并通过命令行生产消费消息。 配置告警 配置RocketMQ实例监控告警策略，监控实际业务运行状态。

Kafka实例完全兼容开源Kafka协议，可以直接使用kafka开源客户端连接。如果使用SASL认证方式，则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集，如获取实例连接地址、SASL连接使用的证书、公网访问信息等，然后提供Java、Python和Go等语言的连接示例。 本指南的示例仅展示Kafka的API调用，生产与消费的API集，请参考Kafka官网。

随着越来越多的数据源持续、快速地产生数据，此类流式数据急需被系统分析和处理。事件流适用于端到端的流式数据处理场景，对源端产生的事件实时抽取、转换和分析并加载至目标端，帮助您轻松处理流式数据。 事件流总体架构 事件流作为更轻量、实时端到端的流式事件通道，提供轻量流式数据的过滤和转换的能力，在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步，连接不同的系统与服务。 如下图所示，事件源与事件目标之间无需定义事件总线，事件通过事件流这个通道在源端和目标端之间进行流转。 事件源：事件的来源，可将天翼云服务如分布式消息Kafka的业务数据作为事件流中的事件提供方。 事件过滤：事件流通过事件模式过滤事件并将事件路由到事件目标，事件模式必须和匹配的事件具有相同的结构。 事件转换：可选择天翼云函数计算作为事件转换器，您可以通过编写函数代码对事件进行更复杂、更加定制化的处理。 事件目标：消费事件消息。 功能优势 实时高效 事件流支持实时从事件源获取、过滤与转换事件，并加载至事件目标。无需定义事件总线，您可以更快地访问事件。 轻量集成 只需在控制台简单创建任务或者一次调用，即可建立实时端到端的流式事件通道，避免了复杂繁琐的操作，便于快速集成。 指标监控 事件流提供多个指标，您可以使用这些指标监控数据流的运行状况，出现异常时及时运维，确保数据流正常运行。 节约成本 按量计费，按照数据量进行计费，不使用则不收费。

本节介绍如何配置入侵检测告警通知。 在通知设置页面，您可以开启入侵检测告警通知，配置接收告警通知的接收人等。 开启/关闭告警通知 1. 登录云防火墙（原生版）控制台。 2. 在左侧导航栏，选择“设置中心 > 通知设置”，进入通知设置页面。 3. 生效状态为“开”表示已开启告警通知；“关”表示已关闭告警通知。 配置告警通知 1. 登录云防火墙（原生版）控制台。 2. 在左侧导航栏，选择“设置中心 > 通知设置”，进入通知设置页面。 3. 单击通知项操作列的“编辑”，进入通知项配置页面。 4. 配置通知类型、通知时间和消息接收人。 参数名称 说明 :: 通知类型 支持严重、高危、中危、低危。 通知时间 全天、时段（8:0020:00） 消息接收人 该页面自动列出当前账号及其全部子账号。 勾选需要接收告警通知的账号，当有告警时，系统会自动发送告警信息至所选账号的邮箱。 5. 配置告警通知开关。 生效状态为“开”表示开启告警通知；“关”表示关闭告警通知。 6. 配置完成后，单击“确定”，保存配置。

Kafka实例信息准备 实例连接地址与端口 实例创建后，从Kafka实例控制台的实例详情页签中的接入点信息栏获取。若Kafka实例为集群部署，至少有3个连接地址，在客户端配置时，建议将地址都配上。 如果开启公网访问，还可以使用实例详情页签中的接入点信息栏中的公网连接地址访问Kafka实例。 Topic名称 从Kafka实例控制台的Topic管理页签中获取Topic名称。 SASL信息 如果实例创建时开启SASL访问，则需要获得SASLSSL用户名与密码、SSL证书、Kafka安全机制和SASL认证机制。 SASL用户名在Kafka实例控制台的“用户管理”页签中查看，如果忘记密码，可以点击“修改”重置密码。 SSL证书 SSL证书，在Kafka实例控制台的实例详情页中的接入点信息栏，选择希望的接入类型，点击其右侧的“查看所有IP和端口信息”，在弹窗中点击SSL接入点右侧的“下载”按钮即可获得。 使用Java语言连接实例时，需要用jks格式的证书。使用Python语言连接实例时，需要用pem格式的证书(可通过jks格式证书转换)。

本文介绍Redis集群版客户端常见错误码 50010001：路由队列堵塞。 50010002：添加路由队列异常。 50010003： 路由处理异常。 50010004：注册客户端读失败。 50010005：超过允许的最大客户端连接数。 50010006：注册目标路由读事件异常。 50010007：单个客户端连接请求数大于规定值。 50010008：协议异常，一般为客户端发送了不支持的命令或者断开连接。 50010009：不完整的报文。 50010010：读取redis超时。表示已经发送给redis，redis处理超时；检查请求报文是否过大，如果请求报文过大，建议拆小。 50010011：网络io异常。 50010012：目标服务器繁忙,稍后再试。 50010013：获取目标路由主机失败，检查redis机器是否io繁忙。 50010014：路由主机配置端口不合法。 50010015：连接目标主机失败。 50010016：目标主机网络繁忙。 50010017：路由发送给目标主机时网络错误。 50010018：读取解析客户端请求失败。 50010019：注册redis服务端返回失败。 50010020：redis read io exception。 50010021：接入机内部异常。 50010022：内存池不够。 50010023：处理客户端报文异常。 50010024：route 程序bug。 50010025：没有该分组权限。 50010026：实例密码错误。 50010027：集群版鉴权实例名错误。 50010028：客户端IP不在IP白名单内。 50010029： 用户时间失效。 50010030：解析报文失败。 50010031：鉴权信息不完整。 50010032：尚未通过鉴权，未获取到鉴权通过信息。 50010033：尚未通过鉴权，未获取到鉴权分组信息。 50010034：尚未选择分组，未获取到选择分组信息。 50010036：dborder越界。 50010037：获取接入机对应用户名失败。 50010038：订单服务冻结，获取接入机服务失败。 50010039：该分组不存在。 50010040：操作的集合个数不能超过10个。 50010041：每个集合的大小不能超过1000个。 50010042：接入机改造命令限制30k。 50010043：该账户禁止写数据。 50010044：读取redis返回报文串包。 50010047：订阅连接超时错误码。 50010048：接入机不支持的命令。 50010049：接入机read only错误。 50010050：redis内存满。

此小节介绍企业主机安全创建安全报告。 若已有模板的报告类型和报告内容无法满足您对安全报告的订阅需求，您可通过该章节创建需要生成报告的周期和内容。 约束限制 未开启企业版、旗舰版、网页防篡改版、容器版防护不支持安全报告相关操作。 操作步骤 1、登录管理控制台。 2、在页面左上角单击选择“区域”，选择“安全 > 企业主机安全”，进入“企业主机安全”页面。 3、在弹窗界面单击“体验新版”，切换至主机安全服务页面。 4、左侧选择“安全报告”进入安全报告概览页面。服务预设了按月（default monthly security report）和按周（default weekly security report）统计的两个安全报告模板，可直接使用。 5、创建新报告 按模板创建按月或按周的安全报告 单击按月或按周模板报告中的“复制”（按需选择即可），进入报告基本信息配置页面。 自定义创建其他周期的安全报告 单击页面中的“创建新报告”，进入报告基本信息配置页面。 自定义创建报告 6、对报告基本信息进行配置，参数说明如表所示。 编辑报告基本信息 报告基本信息参数说明 参数名称 参数说明 取值样例 报告名称 默认的报告名称。 ecs security report 报告类型 报告的统计周期类型名称。 安全日报（统计周期为每天00：0024：00） 安全周报（统计周期为周一00：00周日24：00） 安全月报（统计周期为每月1号00：00月度最后一天24：00） 自定义报告（自定义统计周期，周期范围应介于1天（包含）至3个月（包含）之间。 所有类型报告将在生成后的次日自动发送至您设置的报告接收人。 安全月报 报告发送时间 报告自动发送时间。 报告接收方式 生成的安全报告接收方式。 消息中心：使用消息中心和其它安全服务共同使用“安全事件通知”的信息接收人。需登录控制台，在右上角信箱查看。 消息主题：为HSS单独创建的主题，设置告警通知接收人。可选择短信或邮件接收通知。 无需发送到邮箱：不发送报告至邮箱。 消息中心 7、确认信息无误，单击页面右下角“下一步”，配置报告内容。 8、在左侧勾选需要生成的报告项，右侧可预览，确认无误，单击右下角“保存”，开启安全报告的订阅。

本章节主要介绍翼MapReduce服务的集群管理功能。 集群生命周期管理 翼MR支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型，组件范围，各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，翼MR将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创建多应用场景集群，比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群，在集群中存在不同规格的虚机，允许在CPU类型，硬盘容量，硬盘类型，内存大小灵活组合。在集群中支持多种虚机规格混合使用。 删除集群：当按需计费的集群不再需要时（包括集群中的数据和配置），用户可以选择删除集群，翼MR会将集群相关的资源全部删除。 创建集群 通过在翼MR服务管理面，客户可以按需创建翼MR集群，通过选择集群所建的区域及使用的云资源规格，一键式创建适合企业业务的翼MR集群。翼MR服务会根据用户选择的集群类型、版本和节点规格，帮助客户自动完成企业级大数据平台的安装部署和参数调优。 翼MR服务为客户提供完全可控的大数据集群，客户在创建时可设置虚拟机的登录方式（密码或者密钥对），所创建的翼MR集群资源完全归客户所用。同时翼MR支持在最小可在两节点4U8G的ECS上部署大数据集群，为客户测试开发提供更多的灵活选择。 翼MR集群类型包括分析集群、流式集群和混合集群。 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，又可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。 自定义：根据业务需求，可以灵活搭配所需组件（翼MR 3.x及后续版本）。 翼MR集群节点类型包括Master节点、Core节点和Task节点。 Master节点：集群中的管理节点，分布式系统的Master进程和Manager以及数据库均部署在该节点；该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限，MRS服务支持将Master节点规格提高，以支持更大集群的管理。 Core节点：支持存储和计算两种目标的节点，可扩容、缩容。因承载的数据存储，因此在缩容时，为保证数据不丢失，有较多限制，无法进行弹性伸缩。 Task节点：仅用于计算的节点，可扩容、缩容。因只承载计算任务，因此可以进行弹性伸缩。 翼MR创建集群方式支持自定义创建集群和快速创建集群两种。 自定义创建集群：自定义创建可以灵活地选择计费模式、配置项，针对不同的应用场景，可以选择不同规格的弹性云服务器，全方位贴合您的业务诉求。 快速创建集群：用户可以根据应用场景，快速创建对应配置的集群，提高了配置效率，更加方便快捷。当前支持快速创建Hadoop分析集群、HBase集群、Kafka集群。 − Hadoop分析集群：Hadoop分析集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框等Hadoop生态圈的组件，进行海量数据分析与查询。 − HBase集群：HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 − Kafka集群：Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。

本文介绍如何通过高性能计算集群控制台快速创建集群。 前提条件 已创建为集群部署使用的虚拟私有云VPC和子网； 已创建协议类型NFS的弹性文件服务或海量文件服务，创建文件服务时，请选择上述VPC。 创建集群所在地域有足够的实例配额、库存以及用户配额。 操作步骤 1. 登录高性能计算集群控制台，在概览页点击右上角“创建集群”。 2. 配置集群 基础配置 配置项 说明 模版 选择基础版和大模型精简版： 基础版：基础集群服务 大模型精简版：大模型精简模板，快速部署集群环境 计费说明 选择节点的付费类型，可选项如下： 包年包月：按月计费，以自然月为计费单位。 按量付费：一种后付费模式，即先使用再付费。 注：创建集群时所有产品计费方式保持一致。 地域 选择集群所在的地域。 可用区 选择集群所在的可用区。 集群名称 由数字、字母、组成，不能以数字和开头、以结尾，且长度为220字符。 网络配置 配置项 说明 虚拟私有云 1.选择集群所在的虚拟私有云。 2.可跳转至虚拟私有云控制台创建新VPC。 安全组名称 1.安全组是一个逻辑上的分组，为同一个虚拟私有云内具有相同防护需求的节点提供安全访问策略。 2.集群在创建时为您自动创建安全组，为保证集群的正常使用请勿随意修改、删除安全组。 3.安全组名称由数字、字母、中文、、组成，不能以数字、和开头，长度232个字符。 存储配置 注：若选择基础版无需配置，大模型精简版可配置存储项。 配置项 说明 文件服务 选择文件服务类型，可选项如下： 1. 暂不使用：暂不使用文件服务。 2. 自动分配：创建新的文件服务， 3. 子网：选择文件服务的子网； 4. 文件名称：只由数字、字母、中文、、组成，不能以数字、和开头，长度2255个字符。 5. 存储类型：支持选择不同的存储类型。 6. 协议类型：请选择NFS协议。 7. 容量：选择文件服务存储容量。 8. 使用已有：下拉框选择已有文件服务。 3.配置节点 若选择基础版只需配置节点，大模型精简版需配置管理节点和计算节点。 配置项 说明 节点来源 选择扩容节点的来源。可选项如下： 1. 新增节点：从控制台新购资源。 2. 已有节点：从已开通的资源里纳管至集群。 管理节点规格 选择管理节点的规格。 注：创建集群时计算节点的计费方式与管理节点一致。 镜像 选择管理节点的镜像。 管理节点磁盘 选择管理规格所对应的磁盘。 子网 选择子网，建议同一个队列保持子网一致。 1. 普通子网可绑定云主机与弹性裸金属，标准裸金属子网仅限用于绑定标准裸金属，后台已根据您所选的规格为您自动过滤子网类型。 2. 可跳转至子网控制台创建子网。 登录方式 默认选择密码。 用户名 默认为root。 密码/确认密码 该密码为集群管理节点的密码，集群部署完成后，管理节点的root用户可通过ssh免密访问各计算节点。 配置项 说明 计算节点规格 选择计算节点的规格。 计算节点硬盘 选择计算规格所对应的磁盘。 根据需求选择计算节点的云硬盘类型和容量。 镜像 选择计算节点的镜像。 注：该镜像为弹性高性能计算平台定制镜像，请优先保持集群同一镜像。 子网 1.选择子网，建议同一个队列保持子网一致。 2.普通子网可绑定云主机与弹性裸金属，标准裸金属子网仅限用于绑定标准裸金属，后台已根据您所选的规格为您自动过滤子网类型。 计算节点数量 选择该队列下的计算节点数量。 4.确认配置 在确认配置页面，确认集群配置和资源详情，并在最后勾选服务协议，点击“确定购买”完成创建。 创建集群和部署环境需要一段时间，待概览页集群状态为可用运行中，则表示该集群已创建成功。

本文介绍如何通过高性能计算集群控制台快速创建集群。 前提条件 已创建为集群部署使用的虚拟私有云VPC和子网； 已创建协议类型NFS的弹性文件服务或海量文件服务，创建文件服务时，请选择上述VPC。 创建集群所在地域有足够的实例配额、库存以及用户配额。 操作步骤 1. 登录高性能计算集群控制台，在概览页点击右上角“创建集群”。 2. 配置集群 基础配置 配置项 说明 模版 选择基础版和大模型精简版： 基础版：基础集群服务 大模型精简版：大模型精简模板，快速部署集群环境 计费说明 选择节点的付费类型，可选项如下： 包年包月：按月计费，以自然月为计费单位。 按量付费：一种后付费模式，即先使用再付费。 注：创建集群时所有产品计费方式保持一致。 地域 选择集群所在的地域。 可用区 选择集群所在的可用区。 集群名称 由数字、字母、组成，不能以数字和开头、以结尾，且长度为220字符。 网络配置 配置项 说明 虚拟私有云 1.选择集群所在的虚拟私有云。 2.可跳转至虚拟私有云控制台创建新VPC。 安全组名称 1.安全组是一个逻辑上的分组，为同一个虚拟私有云内具有相同防护需求的节点提供安全访问策略。 2.集群在创建时为您自动创建安全组，为保证集群的正常使用请勿随意修改、删除安全组。 3.安全组名称由数字、字母、中文、、组成，不能以数字、和开头，长度232个字符。 存储配置 注：若选择基础版无需配置，大模型精简版可配置存储项。 配置项 说明 文件服务 选择文件服务类型，可选项如下： 1. 暂不使用：暂不使用文件服务。 2. 自动分配：创建新的文件服务， 3. 子网：选择文件服务的子网； 4. 文件名称：只由数字、字母、中文、、组成，不能以数字、和开头，长度2255个字符。 5. 存储类型：支持选择不同的存储类型。 6. 协议类型：请选择NFS协议。 7. 容量：选择文件服务存储容量。 8. 使用已有：下拉框选择已有文件服务。 3.配置节点 若选择基础版只需配置节点，大模型精简版需配置管理节点和计算节点。 配置项 说明 节点来源 选择扩容节点的来源。可选项如下： 1. 新增节点：从控制台新购资源。 2. 已有节点：从已开通的资源里纳管至集群。 管理节点规格 选择管理节点的规格。 注：创建集群时计算节点的计费方式与管理节点一致。 镜像 选择管理节点的镜像。 管理节点磁盘 选择管理规格所对应的磁盘。 子网 选择子网，建议同一个队列保持子网一致。 1. 普通子网可绑定云主机与弹性裸金属，标准裸金属子网仅限用于绑定标准裸金属，后台已根据您所选的规格为您自动过滤子网类型。 2. 可跳转至子网控制台创建子网。 登录方式 默认选择密码。 用户名 默认为root。 密码/确认密码 该密码为集群管理节点的密码，集群部署完成后，管理节点的root用户可通过ssh免密访问各计算节点。 配置项 说明 计算节点规格 选择计算节点的规格。 计算节点硬盘 选择计算规格所对应的磁盘。 根据需求选择计算节点的云硬盘类型和容量。 镜像 选择计算节点的镜像。 注：该镜像为弹性高性能计算平台定制镜像，请优先保持集群同一镜像。 子网 1.选择子网，建议同一个队列保持子网一致。 2.普通子网可绑定云主机与弹性裸金属，标准裸金属子网仅限用于绑定标准裸金属，后台已根据您所选的规格为您自动过滤子网类型。 计算节点数量 选择该队列下的计算节点数量。 4.确认配置 在确认配置页面，确认集群配置和资源详情，并在最后勾选服务协议，点击“确定购买”完成创建。 创建集群和部署环境需要一段时间，待概览页集群状态为可用运行中，则表示该集群已创建成功。

本节介绍kafka实例连接数限制 基准带宽为100MB/s时，Kafka客户端连接数在3000以内。 基准带宽为300MB/s时，Kafka客户端连接数在10000以内。 基准带宽为600MB/s时，Kafka客户端连接数在20000以内。 基准带宽为1200MB/s时，Kafka客户端连接数在20000以内。 实例规格为s7.xlarge.4（通用型4u16g）时，单个代理客户端总连接数上限为1000。 实例规格为s7.2xlarge.4 （通用型8u32g）时，单个代理客户端总连接数上限为2000。 实例规格为s7.4xlarge.4 （通用型16u64g）时，单个代理客户端总连接数上限为4500。 实例规格为c7.xlarge.2（计算增强型4u8g）时，单个代理客户端总连接数上限为4500。 实例规格为c7.2xlarge.2（计算增强型8u16g）时，单个代理客户端总连接数上限为6000。 实例规格为c7.4xlarge.2（计算增强型16u32g）时，单个代理客户端总连接数上限为10000。

简介 本文介绍了如何在天翼云上使用弹性云主机的Linux实例部署RabbitMQ。RabbitMQ是采用Erlang语言实现AMQP（Advanced Message Queuing Protocol，高级消息队列协议）的消息中间件，它最初起源于金融系统，用于在分布式系统中存储转发消息。RabbitMQ凭借其高可靠、易扩展、高可用及丰富的功能特性成为目前非常热门的一款消息中间件。 前提条件 弹性云主机所在安全组添加了如下表所示的安全组规则。 表 安全组规则 方向 类型 协议 端口/范围 源地址 入方向 IPv4 TCP 5672 0.0.0.0/0 入方向 IPv4 TCP 15672 0.0.0.0/0 操作步骤 1.安装相关依赖包和perl。 a.登录弹性云主机。 b.执行以下命令，安装相关依赖包。 yum y install make gcc gccc++ m4 ncursesdevel openssldevel unixODBCdevel c.执行如下命令，安装perl。 yum install perl 2.安装erlang。 关于erlang的安装请参考Erlang官方资料。 a.添加erlang存储库到系统 wget rpm Uvh erlangsolutions2.01.noarch.rpm 或手动添加存储库条目 rpm import b.在/etc/yum.repos.d/目录下新建一个文件rabbitmqerlang.repo，然后将下面的粘帖进去 cd /etc/yum.repos.d/ vi rabbitmqerlang.repo [erlangsolutions] nameCentOS $releasever $basearch Erlang Solutions baseurl gpgcheck1 gpgkey enabled1 按Esc键退出编辑模式，并输入:wq保存后退出。 c.执行以下命令安装erlang sudo yum install erlang 执行以下命令安装eslerlang sudo yum install eslerlang d.执行如下命令，检查安装结果。 erl version 回显类似如下信息，说明erlang安装成功。 [root@ecsrabbitmq ~]