产品定义 本节主要介绍分布式消息服务Kafka的产品简介 分布式消息服务Kafka 是一个分布式、高吞吐量、高可用的消息队列服务,针对开源的 Kafka 提供全托管服务,解决开源产品长期以来的痛点,用户只需专注于业务开发,无需部署运维,低成本、更弹性、更可靠,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,是大数据生态中不可或缺的产品之一。 关于Kafka的帮助手册阅读指引 考虑到篇幅的限制,我们提供的Kafka用户手册主要描述了产品相关的信息,以及与开源社区版Kafka的差异,如天翼云Kafka的产品规格、控制台操作、API接口调用,以及客户端对接等方面。 如果您需要了解Kafka的基础入门知识或者消息的生产和消费等技术细节,请查阅Kafka官网资料。 产品架构 Broker:消息中间件处理结点,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。 Topic:主题 一类消息的集合。 Partition:分区,topic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列。 Segment:partition物理上由多个segment组成。 offset:每个partition都由一系列有序的、不可变的消息组成,这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息。 Producer:消息和数据生成者,一般为应用调用API进行消息生产,并向Kafka的Topic发布消息。 Consumer:消息订阅者,也成为消息消费者,负责向 Kafka Broker 读取消息并进行消费。 Consumer Group:一类Consumer的集合名称,这类Consumer通常消费一类消息,且消费逻辑一致,Consumer Group 和 Topic 的关系是 N:N,同一个 Consumer Group 可以订阅多个 Topic,同一个 Topic 也可以被多个 Consumer Group 订阅。 更多信息请参见名词解释。