Apache Kafka是一个高吞吐量的分布式消息系统。

Kafka 特性:

  • 高吞吐量,高速处理大量数据
  • 可持久化,消息不会丢失
  • 分布式
  • 流数据处理
  • 扩展性,运行时添加节点

基本概念

  • Topic 一组消息
  • Record 消息 基本通信单位,固定长度消息头和一个可变长度消息体组成
  • Partition 分区和 Replica 副本
  • Leader 副本和 Follower 副本

偏移量