创建Topic 介绍分布式消息服务Kafka创建Topic的功能操作内容。 场景描述 Kafka的新建主题操作适用于以下场景: 系统扩展:当系统需要扩展以处理更多的数据时,可以通过新建主题来增加数据存储和处理的容量。管理员可以根据系统需求创建新的主题,并配置适当的分区和副本数量。 数据分流:在某些情况下,需要将特定类型或特定来源的数据分流到不同的主题中进行处理。通过新建主题,可以为这些特定的数据流创建专门的主题,并将相应的数据写入这些主题中。 数据分析和实时处理:新建主题可以用于数据分析和实时处理场景。根据不同的分析需求,可以为特定的分析任务创建新的主题,将相关的数据写入这些主题中供分析和处理。 业务需求变更:当业务需求发生变化时,可能需要创建新的主题来适应新的数据处理流程或数据存储需求。通过新建主题,可以根据新的业务需求重新组织和管理数据。 数据隔离和权限控制:有时候需要对不同的数据进行隔离和权限控制,以确保数据的安全性和私密性。通过新建主题,可以为不同的数据创建独立的主题,并设置相应的权限和访问控制规则。 总之,Kafka的新建主题操作适用于各种需要扩展、分流、分析和处理数据的场景,以及应对业务需求变更和数据隔离的需求。 操作步骤 创建Topic (1)登录管理控制台。 (2)进入Kafka管理控制台。 (3)在实例列表页在操作列,目标实例行点击“管理”。 (4)点击“Topic管理”后,点击“创建Topic”。 (5)点击“创建Topic”后,输入Topic名称、分区数等参数。 表:Topic参数说明 参数 参数说明 Topic名称 Topic名称,英文字母、数字、下划线开头,且只能由英文字母、数字、中划线、下划线组成,长度为364个字符。创建Topic后不能修改名称。 分区数 您可以设置Topic的分区数,分区数越大消费的并发度越大。该参数设置为1时,消费消息时会按照先入先出的顺序进行消费。取值范围:1100,默认值:6 副本数 每个Topic设置副本的数量,Kafka会自动在每个副本上备份数据,当其中一个Broker节点故障时数据依然是可用的,副本数越大可靠性越高。默认值:3 分区容量 每个分区的数据量的最大值,超过这个值后前面生产的消息将会被删除,保证了数据不会无限上涨挤爆磁盘。 是否同步刷盘 同步刷盘即确保消息被写入磁盘才会被认定为生产成功,该参数可提高可靠性,但是会影响性能。 消息保留时长 当消息生存时间超过该时长后,将会被清理,可用于控制存储成本。 最小同步副本数 该参数使得消息必须写入设定值个数的副本后,才能被认定生产成功,该参数可提高可靠性,但是过大会影响性能,且必须不大于副本数。 批处理消息最大值 每个批次中最大允许的消息大小,这影响了每次请求中能包含的消息总量和大小。 消息时间戳类型 CreateTime: 这是消息被生产者发送到Kafka时的时间戳,它表示消息创建的实际时间;LogAppendTime: 这是消息被Kafka日志接收并写入到日志文件时的时间戳,它表示消息写入 Kafka 的实际时间。 描述 topic的描述字段,可用作标记和说明。 标签 标签用于从不同维度对资源分类管理。 预设ACL策略 勾选提前设置好的 ACL 策略,具体 ACL 策略设置可参考用户管理页面的ACL策略管理。 消息清除策略 delete:超过消息保留时长后,消息将被删除。compact:超过消息保留时长后,消息将会被压缩而不是直接删除。 允许unclean副本选举 开启该选项后,不在ISR的副本也将可以参与leader选举。 分片滚动时间 当一个日志段的最老消息的创建时间与当前时间的差值达到该配置的值时,Kafka 会创建一个新的日志段。 分片大小 当一个日志段的大小达到该配置的值时,Kafka 会创建一个新的日志段。该配置和分片滚动时间配置可以同时使用,具体看哪个条件先行触发。 批量创建Topic (1)登录管理控制台。 (2)进入Kafka管理控制台。 (3)在实例列表页在操作列,目标实例行点击“管理”。 (4)点击“Topic管理”后、点击“导入Topic”。 (5)点击“导入Topic”后,出现如下界面,点击“下载模板”按钮,获取模板,修改后上传进行导入。 (6)点击“上传文件”完成批量创建。 模板如下。