本技术专栏从实战出发,通过零基础入门-环境搭建-项目案例实战,让初学者快速掌握Kafka相关技术要点并投入实际项目开发,其中包括Kafka安装和配置、Kafka基本组件的实现机制、Zookeeper和控制器Controller、Kafka消息生产者和消息者的代码实现、以及和Spring Boot的集成开发、Kafka 可视化客户端工具Kafka Tool 2和Kafka Eagle、Kafka Connect 连接器和Debezium等等。
用生产者客户端 API 向 Kafka 生产消息,用消费者客户端 API 从 Kafka 读取这些消息。Kafka 0.9 版本之前,除了 broker 之外, 消费者也会使用 Zookeeper 保存一些信息,比如消费者群组的信息、 主题信息、消费分区的偏移量。
多角度分析RocketMQ、RabbitMQ和Kafka区别三大经典且成熟的MQ产品:RabbitMQ、RocketMQ、Kafka 之间的差别基本已经被网文对比烂了,但基本对选型没有指导意义,本文尝试从核心层面厘清主流MQ产品各自异同。
这里需要注意:Kafka 和 ZooKeeper 的版本,默认 Kafka2.11 版本自带的 ZooKeeper 依赖 jar 包版本为 3.5.7,因此 ZooKeeper 的版本至少在 3.5.7 及以上。