本文主要介绍DMS for Kafka资源。 资源是服务中存在的对象。在DMS for Kafka中，资源包括：kafka，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表 DMS for Kafka的指定资源与对应路径 指定资源 资源名称 资源路径 kafka 实例 【格式】DMS:::kafka:Instance ID 说明 对于实例资源，IAM自动生成资源路径前缀DMS:::kafka: 通过实例ID指定具体的资源路径，支持通配符。例如： DMS:::kafka:表示任意Kafka实例。

本文介绍Kafka如何配置安全组 客户端只能部署在与Kafka实例处于相同虚拟私有云（VPC）和相同子网的弹性云主机（CTECS）上。 除了CTECS、Kafka实例必须处于相同VPC之外，还需要他们的安全组分别配置了正确的规则，客户端才能访问Kafka实例。 如果CTECS、Kafka实例配置相同的安全组，安全组创建后，默认包含组内网络访问不受限制的规则。 如果CTECS、Kafka实例配置了不同安全组，可参考如下配置方式： 说明 假设CTECS、Kafka实例分别配置了安全组：sgsCTECS、sgsKafka。 以Kafka访问端口9098为例，其它实例请以实际情况为准。 以下规则，远端可使用安全组，也可以使用具体的IP地址。 配置CTECS所在安全组。CTECS所在安全组需要增加如下出方向规则，以保证客户端能正常访问Kafka实例。如果出方向规则不受限，则不用添加。 配置Kafka实例所在安全组。Kafka实例所在安全组需要增加如下入方向规则，以保证能被客户端访问。

本节介绍了专属云（存储独享型）的应用场景。 适用于高性能、高可靠应用场景，例如企业应用、大型开发测试环境、部署分布式文件系统和数据库应用等。专属云（存储独享型）可支持的三种应用场景如下： 有高性能、数据安全和业务稳定需求的场景 可对接专属云中的弹性云主机、物理机等计算服务，适用于有高性能、稳定性以及数据安全和监管的业务诉求的场景。 产品优势： 1、高性能—搭配计算专属云，满足用户高性能需求 2、安全可靠—实现存储物理隔离，保证数据安全和业务稳定 3、高带宽—独享存储带宽，满足高性能场景带宽需求 有混合负载需求的场景 专属云（存储独享型）服务支持多并发、高带宽应用场景，可同时支持数据库、Email、OA办公、Web等多个应用混合部署。 产品优势： 1、高性能—专属存储为用户提供高IOPS，满足混合负载场景的应用需求 2、高带宽—独享存储带宽，满足高带宽需求 3、灵活扩展—支持存储资源灵活扩展，满足业务增长需求 OLAP应用场景 数据分析型应用场景，专属云支持集群应用部署，如RAC、DB2 、SAP HANA等。

介绍创建用户并授权使用Kafka 对资源进行精细访问控制 您可以使用统一身份认证（Identity and Access Management，简称IAM）服务对所拥有的Kafka服务进行精细的权限管理。IAM用户的作用是多用户协同操作同一帐号时，避免分享帐号的密码。 您注册后，系统自动创建帐号，帐号是对其所拥有的资源具有完全控制权限，可以访问系统中所有的云服务。若您的团队或应用程序需要使用您的Kafka资源，您可以为员工或应用程序创建IAM用户，并授予IAM用户刚好能完成工作所需的权限，新创建的IAM用户可以使用自己单独的用户名和密码登录云服务平台。 前提条件 基于IAM服务进行权限管理控制时，您需先了解Kafka的策略管理，包含Kafka所支持的系统策略管理，以及各策略间资源粒度的授权情况。 授权流程 左侧导航栏分别包含“用户组”、“子用户”、“策略管理”、“企业项目”，用户根据个人需要进行操作资源的权限控制。 授权具体流程为：创建IAM用户 > 创建用户组并授权Kafka资源权限 > 为IAM用户授权，具体操作步骤如下： 创建IAM用户 使用天翼云网门户的用户管理功能，给员工或应用程序创建IAM子用户。 步骤 1 企业的天翼云管理员使用已注册的天翼云帐号登录天翼云网门户。 步骤 2 鼠标移动至天翼云首页右上角用户头像，在下拉列表中单击“个人中心”。 步骤 3 个人中心左侧菜单中，单击“主子账号及授权管理”。 步骤 4 在主子账号及授权管理页，单击左侧导航菜单中的“子用户”。 步骤 5 在“子用户”管理界面中，单击“创建子用户”。 步骤 6 在弹出的创建用户对话框中，输入子用户信息。 步骤 7 单击“确定”，完成IAM用户创建，返回子用户列表，将显示新创建的IAM用户。

DLI数据源约束 使用CDM服务迁移数据到DLI时，当前用户需拥有OBS的读取权限。 Oracle数据源约束 不支持Oracle实时增量数据同步。 分布式缓存服务（DCS ）和Redis数据源约束 1. 由于分布式缓存服务（DCS）限制了获取所有Key的命令，CDM无法支持DCS作为源端，但可以作为迁移目的端，第三方云的Redis服务也无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 2. 仅支持Hash和String两种数据格式。 文档数据库服务（DDS ）和MongoDB数据源约束 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 云搜索服务和Elasticsearch数据源约束 1. CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 2. 索引下的字段类型创建后不能修改，只能创建新字段。如果一定要修改字段类型，需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建（数据也会删除）。 3. CDM自动创建的索引，字段类型为date时，要求数据格式为“yyyyMMdd HH:mm:ss.SSS Z”，即“20180808 08:08:08.888 +08:00”。迁移数据到云搜索服务时如果date字段的原始数据不满足格式要求，可以通过CDM的表达式转换功能转换为上述格式。 Kafka数据源约束 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。

名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境：每个云容器集群对应一个独立的容器环境。针对容器环境，Prometheus提供了自动化的监控采集链路，完成探针安装、数据采集、数据加工等工作。 云服务环境：对于常规云服务产品的数据采集，将按照资源池进行划分，为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件，目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏，单击接入中心。 3. 在接入中心页面，单击目标组件卡片接入数据。 4. 在弹出的面板中，在开始接入页签下，选择所属的环境类型。 5. 根据控制台提示配置相应参数，如选择对应的容器集群。 6. 点击确定，等待环境初始化、组件安装以及数据检查完成。 如果一切正常，接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则，也可以探索产生的指标。 如果遇到异常，可根据异常提示进行相应的操作。

扩容/缩容代理规格的过程 在扩容/缩容代理规格的过程中，代理采用滚动重启的方式进行实例变更，具体过程如下（以3个代理为例介绍）： 1. 停止Broker 0的Kafka进程 2. 扩容/缩容Broker 0的规格 3. 重启Broker 0的Kafka进程 4. 重复1~3，扩容/缩容Broker 1的规格。 5. 重复1~3，扩容/缩容Broker 2的规格。 图 扩容/缩容代理规格过程 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 在实例所在行，单击“更多 > 变更规格”，进入“分布式消息服务Kafka变更规格”页面。 步骤 5 根据实际情况选择扩容存储空间、代理数量、代理规格、基准带宽，或者缩容代理规格。 老规格实例扩容步骤如下： 扩容基准带宽。 在“规格”中，选择扩容后的带宽，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的带宽大小。 说明 扩容带宽是通过扩容代理实现的，原来代理不受影响，业务也不受影响。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过 已开启公网访问的实例，在扩容基准带宽时，需要为新扩容的代理设置弹性IP地址。 扩容基准带宽，可以扩大总分区数。 扩容存储空间。 在“存储空间”中，选择扩容后的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的存储空间大小。 说明 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志和ZK的数据的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志和ZK的数据的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 新规格实例扩容步骤如下： 扩容存储空间。 在“变更配置”中，选择“存储空间”，在“单个代理存储空间”中，选择扩容后的单个代理的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的总存储空间大小（即扩容后的单个代理的存储空间代理个数）。 说明 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志和ZK的数据的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志和ZK的数据的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 扩容代理数量。 在“变更配置”中，选择“代理数量”，在“代理数量”中，选择扩容后的代理个数，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的代理个数。 说明 扩容代理数量不会影响原来的代理，业务也不受影响。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过 已开启公网访问的实例，在扩容代理数量时，需要为新扩容的代理设置弹性IP地址。 扩容代理数量，可以扩大总分区数。 扩容/缩容代理规格。 在“变更配置”中，选择“代理规格”，在“代理规格”中，选择扩容/缩容后的代理规格，单击“下一步”。确认扩容/缩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容/缩容后的代理规格。 说明 扩容/缩容代理规格的过程中，节点会重启，可能造成闪断，生产客户端需要配置重试机制。 若Topic为单副本，扩容/缩容期间无法对该Topic生产消息或消费消息。

名词 说明 环境 用于隔离不同应用的逻辑单元。 应用 一组资源的逻辑集合，通常代表一个业务系统。应用是进行演练和管理的核心对象。 资源 构成应用的组件节点，例如云主机、容器、分布式缓存服务Redis版、分布式消息服务Kafka等实例。 演练 通过向应用的特定资源注入指定故障，并观察其影响，从而验证系统稳定性与韧性的过程。 动作 注入到目标资源上的一个原子性故障，例如“CPU高负载”或“网络延迟”。用户可以在一次演练中对多个动作进行自由组合和编排。 动作组 一个或多个动作的逻辑分组，通常代表一个完整的故障场景。在一个演练任务中，不同的动作组之间可以并行执行。 探针 安装在目标资源（如云主机）上，用于执行具体故障注入动作的代理程序（Agent）。 保护策略 一种自动化的安全机制，用于控制演练的“爆炸半径”。当触发预设条件时，系统会依据此策略自动中止演练并回滚故障。

场景描述 科学计算属于大规模并行计算场景，需要计算资源完全独享且具备灵活的管理配置能力，避免受到其他用户的影响。同时科学计算的数据也属于企业政务的涉密数据，需要物理独享环境，确保数据安全。 产品优势 资源安全隔离—专属云资源物理隔离，企业重要应用与其他系统物理隔离，确保数据高保密要求 多种类型服务器—专属云提供通用型、通用计算增强型、内存增强型等多种类型服务器，可自由组合搭配，同时还支持物理机服务，满足大规模计算的灵活需求 专属云分布式存储搭配专属云（存储独享型）产品，提供专属分布式存储服务，满足高性能需求 场景四 对资源使用灵活性要求高的行业 场景描述 对于需要灵活使用资源的业务场景，例如互联网行业。用户可通过管理控制台随时创建、删除资源，还可利用镜像服务及备份服务快速创建还原环境，同时，通过资源浏览功能，用户能够一目了然资源使用情况。 产品优势 资源灵活组合—根据行业特点和业务要求灵活定制所需专属行业云 物理资源独享—独享物理机的所有资源，包括CPU、内存，保证性能的绝对稳定，保证实例间互访的稳定性

修改配置 在 Manager 页面，集群服务>配置管理，修改 Kafkavars.yaml 和 server.properties 文件，按上述配置修改。 创建目录机器上的目录 plaintext 登录每台KafkaBrokerServer的机器 创建目录，并修改权限 sudo mkdir p /data02/kafka/data sudo chown kafka:kafka /data02/kafka/data 重启服务 在Manager页面，进入服务管理，选择Kafka集群，BrokerServer，重启BrokerServer服务。请选择合适的时间进行服务的重启。

本页面主要介绍弹性云主机对接的云审计服务使用和查看方法。 操作场景 本服务现已对接天翼云云审计服务，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考使用限制云审计。 操作步骤 1. 开通云审计服务。 参见开通云审计服务云审计。 2. 查看云审计事件。 参见查看审计事件云审计。 3. 在事件列表中，选择事件来源为“容器与中间件”，资源类型选择“分布式消息服务Kafka”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考用户指南、常见问题。

Kafka实例完全兼容开源Kafka协议，可以直接使用kafka开源客户端连接。如果使用SASL认证方式，则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集，如获取实例连接地址、SASL连接使用的证书、公网访问信息等，然后提供Java、Python和Go等语言的连接示例。 本指南的示例仅展示Kafka的API调用，生产与消费的API集，请参考Kafka官网。

视频 天翼云媒体存储服务等级协议 容器与企业中间件 云容器引擎服务等级协议 微服务云应用平台服务等级协议 分布式消息服务RabbitMQ服务等级协议 分布式消息服务RocketMQ服务等级协议 分布式消息服务Kafka服务等级协议 天翼云软件开发生产线CodeArts服务等级协议 天翼云应用性能监控APM服务等级协议 天翼云容器安全卫士服务等级协议 天翼云应用服务网格服务等级协议 天翼云微服务引擎服务等级协议 天翼云容器镜像服务等级协议 天翼云函数计算服务等级协议 安全 Web应用防火墙（边缘云版）服务等级协议 天翼云高防（边缘云版）服务等级协议 天翼云网站安全监测服务等级协议 天翼云爬虫管理平台服务等级协议 天翼云容器安全平台服务等级协议 天翼云托管检测与响应服务（原生版）服务等级协议 天翼云密评专区服务等级协议 天翼云日志审计服务等级协议 天翼云证书管理服务等级协议 天翼云云堡垒机服务等级协议 天翼云密钥管理服务等级协议 天翼云云安全中心服务等级协议 天翼云Web应用防火墙（原生版）服务等级协议 天翼云云防火墙（原生版）服务等级协议 天翼云Web应用防火墙（独享版）服务等级协议 天翼云漏洞扫描（专业版）服务等级协议 天翼云企业主机安全服务等级协议 天翼云态势感知（专业版）服务等级协议 天翼云云防火墙服务等级协议 天翼云运维安全中心（云堡垒机）服务等级协议

功能 功能描述 HTTP触发器 给函数配置HTTP触发器，函数响应HTTP请求事件，执行指定的逻辑。 定时触发器 给函数配置定时器触发器，函数可以根据定时器配置周期性执行业务逻辑。 Kafka触发器 给函数配置Kafka触发器，函数可以监听Kafka消息来执行业务逻辑。 RocketMQ触发器 给函数配置RocketMQ触发器，函数可以监听RocketMQ消息来执行业务逻辑。 日志触发器 给函数配置日志触发器，函数可以根据日志的写入来执行业务逻辑。 对象存储触发器 给函数配置对象存储触发器，函数可以监听对象存储的创建、删除、更新等事件来执行业务逻辑。 云原生网关触发器 给函数配置云原生网关触发器，函数可以监听网关的事件来执行业务逻辑。

场景描述 在某些情况下，您可能需要将Kafka开启公网访问。以下是一些可能的场景描述： 跨地域数据传输：如果您有多个位于不同地理位置的数据中心或云服务提供商，您可能希望在它们之间传输数据。通过将Kafka开启公网访问，您可以轻松地在不同地区之间进行数据传输。 跨组织数据共享：如果您需要与其他组织或合作伙伴共享数据，而且这些组织不在同一个网络环境中，您可以将Kafka开启公网访问，以便安全地共享数据。 远程访问和监控：有时候，您可能需要从外部网络访问和监控Kafka集群。通过配置Kafka开启公网访问，您可以远程连接到Kafka集群，监控其运行状态，并执行必要的管理操作。 请注意，在设置Kafka开启公网访问时，确保采取适当的安全措施，比如使用安全组或者用户权限来限制访问权限，以保护Kafka集群的安全性。 约束与限制 开启公网访问功能只支持绑定IPv4弹性IP地址，不支持绑定IPv6弹性IP地址。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“实例详情”后找到如下接入点信息模块。 （5）点击右上角“添加路由策略”按钮，选择“公网接入”方式。 （6）需要为每个节点设置对应的弹性IP地址，点击其右侧的“绑定”按钮，在弹窗中选择某个弹性IP绑定。如果没有足够数量的弹性IP地址，可参考申请弹性IP购买弹性IP地址。 （7）点击刷新按钮查看弹性IP绑定状态，待所有节点都绑定弹性IP后点击“确定”按钮下发开启公网后台任务。 （8）当实例状态重新变为“运行中”后，表示开启公网访问成功。 （9）开启公网访问后，需要设置好对应的安全组规则 才能成功连接Kafka，设置规则参考如下: 安全组参考规则（先判断安全组的出/入方向是否放通了对弹性ip地址的访问，如果没有，可以参考如下规则配置）： 方向 协议 类型 端口 远端(源地址) 说明 入方向 TCP IPv4 Kafka公网接入端口(8094)，或更大范围 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka （10）如果创建了 网络ACL规则 ，则ACL规则也需要正确配置才能成功连接Kafka，设置规则参考如下: 网络ACL参考规则（先判断网络ACL的出/入方向是否放通了客户端地址的访问，如果没有，可以参考如下规则配置）： 方向 协议 IP版本 策略 源地址 源端口范围 目的地址 目的端口范围 描述 入方向 TCP IPv4 允许 Kafka客户端所在的IP地址或地址组 165535 VPC IP地址组 Kafka公网接入端口(8094)，或更大范围 控制入方向ACL规则 出方向 TCP IPv4 允许 VPC IP地址组 Kafka公网接入端口(8094)，或更大范围 Kafka客户端所在的IP地址或地址组 165535 控制出方向ACL规则 （11）连接Kafka可以根据开启公网访问时选择的SASLPLAINTEXT或SASLSSL协议接入。

名词 说明 环境 用于隔离不同应用的逻辑单元。 应用 一组资源的逻辑集合，通常代表一个业务系统。应用是进行演练和管理的核心对象。 资源 构成应用的组件节点，例如云主机、容器、分布式缓存服务Redis版、分布式消息服务Kafka等实例。 演练 通过向应用的特定资源注入指定故障，并观察其影响，从而验证系统稳定性与韧性的过程。 动作 注入到目标资源上的一个原子性故障，例如“CPU高负载”或“网络延迟”。用户可以在一次演练中对多个动作进行自由组合和编排。 动作组 一个或多个动作的逻辑分组，通常代表一个完整的故障场景。在一个演练任务中，不同的动作组之间可以并行执行。 探针 安装在目标资源（如云主机）上，用于执行具体故障注入动作的代理程序（Agent）。 保护策略 一种自动化的安全机制，用于控制演练的“爆炸半径”。当触发预设条件时，系统会依据此策略自动中止演练并回滚故障。

本文主要介绍消费组问题。 Kafka实例是否需要创建消费组、生产者和消费者？ 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可。 连接Kafka实例后，生产消息和消费消息，请参考向Kafka实例生产消息和消费消息。 如果消息组中没有在线的消费者（如empty状态），是否14天后会自动被删除？ 消息组中没有在线的消费者（如empty状态），14天后是否会自动被删除与offsets.retention.minutes参数有关： 2020年6月16日前创建的实例，offsets.retention.minutes默认为2147483646分钟，约1491308天，消费组14天后不会被删除。 2020年6月16日以及之后创建的实例，offsets.retention.minutes默认为20160分钟，即14天，消费组14天后会自动被删除。 原因如下： Kafka通过offsets.retention.minutes参数控制消费组中offsets保留时间，在此时间内如果没有提交offset，offsets将会被删除。Kafka判定消息组中没有在线的消费者（如empty状态），且没有offsets时，将会删除此消费组。 客户端删除消费组后，在Kafka Manager中仍可以看到此消费组？ 客户端删除消费组后，此消费组已经被删除了。在Kafka Manager中仍可以看到此消费组，是因为Kafka Manager存在缓存。 通过以下任意一种方法解决此问题： 重启Kafka Manager。 Kafka Manager只显示14天内有消费记录的消费组，如果您不想重启Kafka Manager，可以等待14天后Kafka Manager自动清除此消费组。

介绍APM监控详情里消息监控中的KafkaProducer相关指标的名称、含义等信息。 KafkaProducer监控指标说明表 指标类别 指标 指标说明 数据类型 异常 exceptionstacktrace 异常产生的堆栈信息 String 异常 exceptiontype 异常类型 String 异常 exceptioncount 错误数 Int Topic (Topic，Kafka的Topic监控数据) id Clientid和IP信息 Enum Topic (Topic，Kafka的Topic监控数据) topic Kafka的Topic名称 Enum Topic (Topic，Kafka的Topic监控数据) kafkaproducerbyterate 每秒发送字节 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecorderrorrate 每秒错误数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecordretryrate 每秒重试数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecordsendrate 每秒发送数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecordsendtotal 总发送次数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerbytetotal 总发送字节数 Int 汇总（Total，KafkaProducer汇总信息统计） kafkaproducerrecordsendtotal 总发送次数 Int 汇总（Total，KafkaProducer汇总信息统计） kafkaproducerbytetotal 总发送字节数 Int 发送方法（DoSendMethod，发送消息方法监控） topic Kafka的Topic名称 Enum 发送方法（DoSendMethod，发送消息方法监控） errorCount 错误数 Int 发送方法（DoSendMethod，发送消息方法监控） invokeCount 调用次数 Int 发送方法（DoSendMethod，发送消息方法监控） maxTime 最慢时延 Int 发送方法（DoSendMethod，发送消息方法监控） ms0To10Count 010ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms10To100Count 10100ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms100To500Count 100500ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms500To1000Count 5001000ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms1000To10000Count 110s次数 Int 发送方法（DoSendMethod，发送消息方法监控） msMorethan10000Count 10s以上次数 Int 发送方法（DoSendMethod，发送消息方法监控） totalTime 调用总耗时 Int

本文介绍创建Kafka自定义策略 如果系统预置的Kafka权限，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项请参考主子账号和IAM权限管理。 目前天翼云支持可视化视图和JSON视图两种方式设置策略内容，详细介绍请查看统一身份认证用户指南权限管理自定义策略 创建自定义策略 可视化视图：通过可视化视图创建自定义策略，无需了解JSON语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图：通过JSON视图创建自定义策略，可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 Kafka自定义策略样例 以下策略样例表示：仅允许IAM用户使用Kafka主题管理、实例列表功能 { "Version": "1.1", "Statement": [ { "Effect": "Allow" "Action": [ "KAFKA:inst:kafkamanagetopic", "KAFKA:inst:kafkaclusterlist" ] } ] }

检查Kafka数据规划。 11. 选择上报告警实例主机名对应的角色“Broker”。单击图表区域右上角的下拉菜单，选择“定制”，来自定义监控项。 12. 在弹出的“定制”对话框中，选择“磁盘 > Broker磁盘使用率”，并单击“确定”。 关于Kafka磁盘使用情况信息会被显示。 13. 根据步骤12的显示信息，查看是否只有步骤2中上报告警的磁盘分区。 是，执行步骤14。 否，执行步骤15。 14. 重新进行磁盘规划，挂载新的磁盘，进入当前问题节点“实例配置”页面，重新配置“log.dirs”，增加其他磁盘相应路径，重启当前Kafka实例。 15. 查看Kafka配置的数据保存时间配置，根据业务需求和业务量权衡，考虑是否需要调小数据保存时间。 是，执行步骤16。 否，执行步骤17。 16. 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置 > 全部配置”，在右侧搜索框中填写配置项名称“log.retention.hours”，然后会显示该配置的当前值，此处的值为Topic默认的数据保存时间，可以适当调小该值。 说明 对于单独配置数据保存时间的Topic，修改Kafka服务配置页面上配置的数据保存时间不生效。 如果需要对某个Topic单独配置的话，可以使用Kafka客户端命令行，来单独配置该Topic。 例如： kafkatopics.sh zookeeper “ ZooKeeper 地址: 2181/kafka ”alter topic “ Topic 名称 ” config retention.ms “ 保存时间 ” 17. 查看是否由于某些Topic的Partition配置不合理导致部分磁盘使用率达到上限（例如：数据量非常大的Topic的Partition数目小于配置的磁盘个数，导致各磁盘上数据分配无法均匀，进而部分磁盘达到使用率上限）。 说明 对于单独配置数据保存时间的Topic，修改Kafka服务配置页面上配置的数据保存时间不生效。 如果需要对某个Topic单独配置的话，可以使用Kafka客户端命令行，来单独配置该Topic。 例如： kafkatopics.sh zookeeper “ ZooKeeper 地址: 2181/kafka ”alter topic “ Topic 名称 ” config retention.ms “ 保存时间 ” 18. 通过Kafka客户端对Topic的Partition进行扩展，命令行操作命令如下： kafkatopics.sh zookeeper“ ZooKeeper 地址 :2181/kafka ” alter topic “ Topic 名称 ” partitions “ 新Partition 数目 ” 说明 新Partition数目建议配置为Kafka数据磁盘数量的倍数。 当前步骤修改可能不会很快解决当前告警，需要结合步骤11中的数据保存时间逐渐均衡数据。 19. 考虑是否需要扩容。 说明 建议当前Kafka磁盘使用率超过80%时，则需要扩容。 是，执行步骤20。 否，执行步骤21。 20. 扩展磁盘容量，扩展后检查告警是否消失。 是，操作结束。 否，执行步骤22。 21. 检查告警是否清除。 是，操作结束。 否，执行步骤22。

产品服务协议请查看： 天翼云分布式消息服务协议

前提条件 Kafka实例的状态为“运行中”时，才能升级Kafka实例内核版本。 升级Kafka实例内核版本 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入Kafka实例列表页面。 4. 通过以下任意一种方法，升级Kafka实例。 在待升级内核版本的Kafka实例所在行，单击“更多 > 升级”，弹出“版本升级”对话框。 单击待升级内核版本的Kafka实例名称，进入实例详情页面。单击右上角的“ > 升级”，弹出“版本升级”对话框。 5. 选择执行时间，支持“立即执行”和“定时执行”。 如果选择“定时执行”，还需要指定执行时间。 6. 在“风险检查”区域，查看升级前的检查项是否正常。 如果检查项有异常，请先根据提示信息修改，然后单击“重新检查”。如果确认异常的检查项无需修改，请勾选“我已知晓风险。”。 7. 单击“确定”。 立即执行和定时执行查看升级是否完成的方法不同，具体如下： 表1110查看升级结果 执行方式 升级结果 立即执行 1. 单机升级实例名称，进入实例详情页。 2. 在左侧导航栏单击“实例管理 > 后台任务管理”，进入“后台任务管理”页面。 3. 在“即时任务”页签中，查看升级任务的状态。 1. 当任务的“状态”为“成功”时，表示升级完成。 2. 当任务的“状态”为“失败”时，表示升级失败，请联系客服处理。 定时执行 1. 单击升级实例名称，进入实例详情页。 2. 在左侧导航栏单击“实例管理 > 后台任务管理”，进入“后台任务管理”页面。 3. 在“定时任务”页签中，查看升级任务是否开始执行。 1. 当“状态”为“待执行”时，表示升级任务未执行。 2. 当“状态”为“成功”时，表示升级任务开始执行。 4. 在“即时任务”页签中，查看升级任务的状态。 1. 当任务的“状态”为“成功”时，表示升级完成。 2. 当任务的“状态”为“失败”时，表示升级失败，请联系客服处理。

检查Kafka配置的直接内存大小 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置 > 全部配置 > Broker（角色） > 环境变量”。将“KAFKAHEAPOPTS”参数中配置的“Xmx”值参考如下说明调大。 说明 建议“KAFKAHEAPOPTS”参数中“Xmx”和“Xms”值保持一致。 建议根据“Kafka直接内存资源状况”调整“KAFKAHEAPOPTS”的值为“Kafka使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。“Kafka直接内存资源状况”可在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”，选择上报告警实例主机名对应的角色。单击图表区域右上角的下拉菜单，选择“定制 > 进程 > Kafka直接内存资源状况”进行查看。 3. 保存配置，并重启Kafka服务。 4. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”中勾选待操作集群的“Kafka”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍DataArts Studio的获取Rest Client算子返回值操作。 Rest Client算子可以执行RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值。 通过EL表达式获取返回值。 通过“响应消息体解析为传递参数定义”获取返回值 如下图所示，第一个Rest Client调用了MRS服务查询集群列表的API，下图为API返回值的JSON消息体。 使用场景：需要获取集群列表中第一个集群的cluster Id，然后作为参数传递给后面的节点使用。 关键配置：在第一个Rest Client的“响应消息体解析为传递参数定义”配置中，配置clusterIdclusters[0].clusterId，后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 Rest Clien作业样例1 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式相配合，根据具体的场景选择不同的EL表达式来实现更丰富的用法。您可以参考本教程，根据您的实际业务需要，开发您自己的作业。EL表达式用法可参考表达式概述。 如下图所示，Rest Client调用了MRS服务查询集群列表的API，然后执行Kafka Client发送消息。 使用场景：Kafka Client发送字符串消息，消息内容为集群列表中第一个集群的cluster Id。 关键配置：在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段：

软件配置 MRS集群软件配置 参数 参数说明 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 集群名称 集群名称不允许重复。 只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 默认名称为mrsxxxx，xxxx为字母和数字的四位随机组合数，系统自动组合。 集群版本 当前版本为MRS 3.1.0。 集群类型 提供几种集群类型： 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，也可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。建议同时需要做离线数据分析和流处理任务时使用混合集群。 自定义：用户可按照业务需求调整集群服务的部署方式，具体请参见创建自定义拓扑集群。（目前仅MRS 3.x版本支持） 说明 MRS流式集群不支持“作业管理”和“文件管理”功能。如需在集群中安装全部组件，请选择“自定义”类型集群。 组件选择 MRS配套的组件如下： 分析集群组件 Presto：开源、分布式SQL查询引擎。 Hadoop：分布式系统基础架构。 Spark：内存分布式系统框架。（MRS 3.x版本不支持） Spark2x：Spark2x是一个对大规模数据处理的快速和通用引擎,基于开源Spark2.x版本开发。（仅MRS 3.x版本支持） Hive：建立在Hadoop上的数据仓库框架。 HBase：分布式列数据库。 Tez：提供有向无环图的分布式计算框架。 Hue：提供Hadoop UI能力，让用户通过浏览器分析处理Hadoop集群数据。 Loader：基于开源sqoop 1.99.7开发，专为Apache Hadoop和结构化数据库（如关系型数据库）设计的高效传输大量数据的工具。（MRS 3.x版本不支持） Hadoop为必选组件，且Spark与Hive组件需要配套使用。请根据业务选择搭配组件。 Flink：分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。 Oozie：Hadoop作业调度系统。（仅MRS 3.x版本支持） HetuEngine：HetuEngine是一个同异构大数据集的分布式SQL查询引擎。（仅MRS 3.1.x LTS版本支持） Ranger：一个基于Hadoop平台监控和管理数据安全的框架。 Impala：一种处理大量数据的SQL查询引擎。 ClickHouse：ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。CPU架构为鲲鹏计算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 Kudu：一种列存储管理器。 流式集群组件 Kafka：提供分布式消息订阅的系统。 Flume：提供分布式、高可用、高可靠的海量日志采集、聚合和传输系统。 ZooKeeper：一个集中的服务，它用于维护配置信息、命名、提供分布式的同步和提供分组服务。（仅MRS 3.x版本支持） Ranger：一个基于Hadoop平台监控和管理数据安全的框架。（仅MRS 3.x版本支持） 元数据 是否使用外部数据源存储元数据。 本地元数据： 元数据存储在集群本地。 数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 组件名 当“元数据”选择“数据连接”时该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger 数据连接类型 当“元数据”选择“数据连接”时该参数有效。用于表示外部数据源的类型。 Hive组件支持的数据连接类型： − RDS服务MySQL数据库− 本地数据库 Ranger组件支持的数据连接类型： − RDS服务MySQL数据库− 本地数据库 数据连接实例 当“数据连接类型”选择“RDS服务MySQL数据库”时，该参数有效。用于表示MRS集群与RDS服务数据库连接的名称，该实例必选先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考配置数据连接。

对比项 开源自建 分布式消息服务RocketMQ 自动化部署 不支持自动化部署，需要专业人员自行部署、运维 全托管PaaS，免机器资源一键自动化部署。开箱即用，按需使用，支持弹性扩容 运维监控 缺乏配套的监控运维能力 提供多维度的数据可视化监控，快速定位、处理问题 增强能力 功能单一，无法支持多种场景需求 功能丰富，支持消息重试、消息查询、消息轨迹查询、数据自动清理等定制化功能 延迟消息/定时消息 仅支持18个固定延迟时长，最长延迟2小时 支持秒级的任意延迟时长，最长延迟40天 ACL访问控制 访问控制配置复杂 灵活配置，一键生效

本章节介绍故障演练服务的委托授权相关功能。 概述 故障演练服务 需要与分布式缓存服务Redis版 、分布式消息服务Kafka 等其他云产品 协同工作。为实现这一目标，当您首次使用本服务时，系统会请求您授权创建一个服务内联委托 ，以便平台能够安全地访问和管理您在其他云产品中的相关资源。 权限说明 为完成故障注入 等功能，故障演练平台 需要获得访问其他云服务 的权限。为此，系统需要您授权创建一个名为 CtyunAssumeRoleForADTSChaos 的服务内联委托。 此委托将绑定一个名为 CtyunAssumeRolePolicyForADTSChaos 的系统权限策略，可在统一身份认证 中的策略管理查看到该策略的授权范围。 服务内联委托说明 当您首次登录故障演练平台 控制台时，系统会自动检查 CtyunAssumeRoleForADTSChaos 委托 是否存在。若不存在，系统会弹出授权提示。在您确认后，系统将自动为您创建该委托及关联的权限策略。 验证方法： 您可以在 IAM 控制台的角色管理 页面，或通过API/CLI调用 ListDelegates，查看已创建的服务内联委托。 一个更简单的验证方法是：刷新或重新登录故障演练平台 控制台，如果所有功能均可正常使用且不再弹出授权提示，则表示委托已成功创建。 注意 如果没有CtyunAssumeRoleForADTSChaos服务内联委托权限，可能会因为某个服务权限不足而影响系统功能的正常使用。 请不要自行删除或者修改CtyunAssumeRoleForADTSChaos 委托以及CtyunAssumeRolePolicyForADTSChaos策略，这可能导致故障演练服务无法正常工作。

本文主要介绍实例规格变更问题。 Kafka扩容/缩容会影响业务吗？ Kafka扩容带宽/代理个数/存储空间，都不会影响业务的使用。 Kafka扩容代理规格，在扩容过程中，节点会重启，可能造成闪断。若Topic为单副本，扩容期间无法对该Topic生产消息或消费消息。 表 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理，业务也不受影响。 扩容基准带宽/代理数量时，系统会根据当前磁盘大小进行相应比例的存储空间扩容。例如扩容前实例的代理数为3，每个代理的磁盘大小为200GB，扩容后实例的代理数为10，此时代理的磁盘大小依旧为200GB，但是总磁盘大小为2000GB。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过修改Kafka分区平衡，实现将原有Topic分区的副本迁移到新代理上。 存储空间 扩容存储空间有次数限制，只能扩容20次。 扩容存储空间不会影响业务。 代理规格 若Topic为单副本，扩容/缩容期间无法对该Topic生产消息或消费消息，会造成业务中断。 若Topic为多副本，扩容/缩容代理规格不会造成服务中断，但会逐个节点重启，负载会转移到剩余节点上，建议您在业务低峰期扩容/缩容。 扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： a. 生产客户端为Kafka开源客户端时，检查是否配置retries和retry.backoff.ms参数。建议参数值分别配置为：retries10，retry.backoff.ms1000。 b. 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); env.setRestartStrategy(RestartStrategies.fixedDelayRestart(10, Time.seconds(20))); 若实例已创建的分区数总和大于待缩容规格的实例分区数上限，此时无法缩容。不同规格配置的实例分区数上限不同，具体请参见产品规格。例如：kafka.4u8g.cluster3的实例，已创建800个分区，您想把此实例的规格缩容为kafka.2u4g.cluster3，kafka.2u4g.cluster3规格的实例分区数上限为750，此时无法缩容。 变更代理规格的时长和代理数量有关，单个代理的变更时长一般在5~10分钟，代理数量越多，规格变更时间越长。

本章节介绍故障演练服务中应用资源管理功能。 概述 应用资源 是构成应用 的组件节点，例如云主机 、云容器引擎 、分布式缓存服务Redis版 、分布式消息服务Kafka等实例。应用需要先纳管资源，才能对其进行故障演练。 添加应用资源 1. 登录应用高可用服务控制台。 2. 在左侧导航栏中，定位到故障演练 菜单，选择要操作的目标应用 ，然后单击其下的应用资源 选项，进入应用资源管理页面。 3. 在页面上方的资源类型 页签中，选择希望添加的资源类型（如云主机），然后单击添加资源按钮。 4. 在弹出的对话框中，选择资源池等筛选条件 ，单击搜索，系统将列出符合条件的、当前用户有权访问的资源清单。 5. 从列表中勾选 一个或多个资源，然后单击确认完成添加。 6. 返回应用资源列表，可以看到新添加的资源对象。 注意 列表中显示的资源状态可能存在一定延迟，如需获取最实时的信息，以该资源对应的云产品控制台为准。 删除应用资源 1. 进入目标应用的应用资源管理页面。 2. 在应用资源 列表中，找到希望删除的资源对象，单击其对应的删除按钮。 3. 在弹出的确认对话框中完成删除操作。 4. 返回应用资源列表，确认该资源对象已被成功移除。 注意 若目标资源被演练任务引用，则无法直接删除；必须先解除所有关联任务对该资源的引用，才能进行删除操作。

配置处理任务 1. 在云搜索服务实例创建页面选择Logstash实例管理，选择已经加装的Logstash实例。 2. 选择“管道管理”，选择“新建管道”。 3. 在“管道配置”窗口中,配置相关的管道配置。 python input { kafka { autooffsetreset > "latest" bootstrapservers > "ip:port,ip:port,ip:port" consumerthreads > 88 groupid > "yourgroupid" topics > ["yourkafkatopic"] codec > json } } filter { } output { elasticsearch { hosts > ["ip:port"] index > "yourindexname%{+YYYY.MM.dd}" user > "yourusername" password > "yourpassword" } } input部分用于定义数据的来源，即Logstash从哪里获取数据。这里以Kafka为例： autooffsetreset：会决定从哪个位置开始消费消息 bootstrapservers：Kafka集群的地址 consumerthreads：控制 Kafka 消费者线程的数量 groupid：消费者组ID topics：Kafka的主题列表 codec：指定数据格式 filter部分可以进行消息处理、数据解析等操作。根据实际业务规则来处理。 output部分用于将处理后的数据推送到外部系统（如数据库、消息队列、搜索引擎等）。这里以Elasticsearch为例： hosts：指定Elasticsearch的地址。 index：指定存储到Elasticsearch的索引名称，可以使用日期变量%{+YYYY.MM.dd} 来动态生成基于日期的索引。 user/password：提供Elasticsearch用户名和密码 配置完点击“预校验”，预校验会使用Logstash的语法功能来检测基础的语法，不检测逻辑和连通性。 预校验通过后可以执行后续操作。 4. 在“参数配置”中,配置相关的参数。 参数 说明 管道名称 只能包含字母、数字、中划线或下划线，且必须以字母开头，限制430个字符，实例内唯一 管道描述 限制长度50 管道工作线程数 控制Logstash同时处理事件的线程数 管道批处理大小 单个线程从input部分收集的最大事件数 管道批处理延迟 不满足批处理大小最大等待时间 队列类型 memory模式、persisted模式 memory：内存队列 persisted：磁盘队列 队列最大字节数 persisted模式生效 队列最大存储大小 队列检查点写入数 persisted模式生效 队列检查点数量 5. 启动处理任务 配置完参数后点击“保存并部署”。就启动了读取Kafka中的数据转换后写入到Elasticsearch的管道任务。 等到管道“运行中”可以尝试配置的Kafka的topics中导入一些数据，例如使用Filebeat或其他程序。 可以通过Curl命令查看logstash中配置的索引名，在Elasticsearch实例是否有数据进来。 plaintext curl " 6. 停止任务 当任务执行结束后，可以在“管道管理”页面，点击“停止”，会执行停止管道操作。

本章主要介绍翼MapReduce的配置Kafka数据传输加密功能。 操作场景 Kafka客户端和Broker之间的数据传输默认采用明文传输，客户端可能部署在不受信任的网络中，传输的数据可能遭到泄漏和篡改。 操作步骤 默认情况下，组件间的通道是不加密的。用户可以配置如下参数，设置安全通道为加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。 说明 配置后应重启对应服务使参数生效。 Kafka服务端的传输加密相关配置参数详见下表。 配置项 描述 默认值 ssl.mode.enable 是否开启SSL对应服务。如果设置为“true”，那么Broker启动过程中会启动SSL的相关服务。 false security.inter.broker.protocol Broker间通信协议。支持PLAINTEXT、SSL、SASLPLAINTEXT、SASLSSL这四种协议类型。 SASLPLAINTEXT “ssl.mode.enable”配置为“true”后，Broker会开启SSL、SASLSSL两种协议的服务，然后服务端或者客户端才能配置相关的SSL协议，进行传输加密通信。

工具名称 对应服务 说明 Flume配置工具 Flume 用于为Flume的服务端和客户端配置采集参数。 Flume客户端管理工具 Flume 查看Flume客户端监控信息。 Kafka Topic监控工具 Kafka 用于为Kafka的Topic提供监控与管理。