分布式消息服务Kafka

分布式消息Kafka 是一个分布式、高吞吐量、高可用的消息队列服务,针对开源的 Kafka 提供全托管服务,解决开源产品长期以来的痛点,用户只需专注于业务开发,无需部署运维,低成本、更弹性、更可靠,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域。

产品优势
  • 高可用性

    生产消费自动负载均衡,消息节点故障时自动主备切换,保证服务的连续性

  • 高安全性

    提供用户鉴权和SASL授权访问机制,提供企业级的安全防护,确保数据传输过程中不被窃取或篡改

  • 可靠

    一份消息多份落盘存储,允许海量消息堆积

  • 全托管

    业务系统基于现有的开源 Apache Kafka 生态的代码,无需任何改造,即可迁移上云,不再需要专门部署、运维,只需专注业务本身

产品功能
  • 访问接口

    支持通过API调用,查询Broker、Topic监控指标等。


    管理控制台上进行的操作用于主题、消费组、应用用户增删查改等管理工作。

    支持通过API调用,查询Broker、Topic监控指标等。


    管理控制台上进行的操作用于主题、消费组、应用用户增删查改等管理工作。

  • 队列能力

    队列类型

    高吞吐,消息多副本异步复制。

    高可靠,消息多副本同步复制。

    队列类型

    高吞吐,消息多副本异步复制。

    高可靠,消息多副本同步复制。

  • 消息能力

    广播消息

    在同一个消费组内对所有消费者投递相同消息。

    消息回溯

    支持根据时间重置消费进度

    消息数据自动删除功能

    在磁盘满后,在保护期外的数据,能自动删除,保证服务可用性

    自动故障切换功能

    生产消费自动负载均衡,消息节点故障时自动主备切换,保证服务连续性。


    广播消息

    在同一个消费组内对所有消费者投递相同消息。

    消息回溯

    支持根据时间重置消费进度

    消息数据自动删除功能

    在磁盘满后,在保护期外的数据,能自动删除,保证服务可用性

    自动故障切换功能

    生产消费自动负载均衡,消息节点故障时自动主备切换,保证服务连续性。


  • 安全防护

    可追溯租户管理操作的记录。 提供用户鉴权和SASL授权访问机制,提供企业级的安全防护。


    可追溯租户管理操作的记录。 提供用户鉴权和SASL授权访问机制,提供企业级的安全防护。


  • 运维监控

    提供Topic、消费组、应用用户的管理;Broker、Topic多维度指标监控

    提供Topic、消费组、应用用户的管理;Broker、Topic多维度指标监控

应用场景
  • 日志收集
  • 流计算处理
  • 多路转发
适用场景
Kafka本身的性能是非常高效的,其特性决定它非常适合作为"日志收集中心",当日志数据发送到Kafka集群,对于业务而言是完全无侵入的。同时其在下游又能直接对接Hadoop/ODPS等离线仓库存储和Strom/Spark等实现实时在线分析。只需用户去关注整个流程里面的业务逻辑,而无需做更多的开发就能够实现统计、分析以及报表
实现功能

应用与分析解耦 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; 支持在线/离线分析系统 支持实时在线分析系统和类似于 Hadoop 的离线分析系统