问答
天翼云开发者社区

kafka 如何由单机部署扩容成高可用,需要哪些步骤?

回答(3) 关注(0) 浏览(1123)

如题,现已部署了单节点 kafka,需要改成高可用,需要经过哪些步骤?

如题,现已部署了单节点 kafka,需要改成高可用,需要经过哪些步骤?

朱****斌  · 发表于2022-11-25 11:41:53
3 个回答
  • 热门排序
  • 回答(3) 写回答
    李****明  ·  回答于2023-04-11 10:26:09 2023-04-11 10:26:09

    作为一款分布式消息队列,Kafka可以由单机部署扩容成高可用的集群,需要以下步骤: 1. 安装多个Kafka节点,并配置每个节点的broker.id、listeners、advertised.listeners等参数。 2. 配置每个Kafka节点的zookeeper.connect参数,指向同一个Zookeeper集群,以便Kafka节点之间进行协调和选举。 3. 配置每个Kafka节点的replica.fetchers.num、default.replication.factor、offsets.topic.replication.factor等参数,以实现多副本冗余和同步。 4. 配置每个Kafka节点的unclean.leader.election.enable参数,以避免脑裂问题。 5. 配置生产者和消费者的acks、min.insync.replicas等参数,以保证消息的可靠性和一致性。

    作为一款分布式消息队列,Kafka可以由单机部署扩容成高可用的集群,需要以下步骤: 1. 安装多个Kafka节点,并配置每个节点的broker.id、listeners、advertised.listeners等参数。 2. 配置每个Kafka节点的zookeeper.connect参数,指向同一个Zookeeper集群,以便Kafka节点之间进行协调和选举。 3. 配置每个Kafka节点的replica.fetchers.num、default.replication.factor、offsets.topic.replication.factor等参数,以实现多副本冗余和同步。 4. 配置每个Kafka节点的unclean.leader.election.enable参数,以避免脑裂问题。 5. 配置生产者和消费者的acks、min.insync.replicas等参数,以保证消息的可靠性和一致性。

    王****超  ·  回答于2022-12-11 20:50:16 2022-12-11 20:50:16

    kafka这个组件,无疑磁盘跟带宽这两个资源对它及其重要,所以要规划下磁盘跟带宽。 【磁盘】 1、类型的选择 机械磁盘、固态磁盘。前者便宜,但容易损坏,后者性能虽好,却是贵。 kafka大量使用磁盘,但使用方式是顺序读写操作,一定程度上避免了机械 磁盘随机读写慢的问题。而多副本的kafka机制,也弥补了机械磁盘易损坏的 问题,机械磁盘也可以。 2、容量的评估 高可用集群需要多大的存储空间,可以从以下几个方面考虑:新增消息数、 平均大小、留存时间、副本数、是否启用压缩 【带宽】 带宽资源,更大的计算决定所需的服务器数

    kafka这个组件,无疑磁盘跟带宽这两个资源对它及其重要,所以要规划下磁盘跟带宽。 【磁盘】 1、类型的选择 机械磁盘、固态磁盘。前者便宜,但容易损坏,后者性能虽好,却是贵。 kafka大量使用磁盘,但使用方式是顺序读写操作,一定程度上避免了机械 磁盘随机读写慢的问题。而多副本的kafka机制,也弥补了机械磁盘易损坏的 问题,机械磁盘也可以。 2、容量的评估 高可用集群需要多大的存储空间,可以从以下几个方面考虑:新增消息数、 平均大小、留存时间、副本数、是否启用压缩 【带宽】 带宽资源,更大的计算决定所需的服务器数

    l****n  ·  回答于2022-11-30 11:17:24 2022-11-30 11:17:24

    1、server.properties 增加对自动创建的topic分区和副本 2、重新设置分区 3、重新设置副本

    1、server.properties 增加对自动创建的topic分区和副本 2、重新设置分区 3、重新设置副本

    • 收藏
    • 写回答