答案很简单,topic多分几个分片,然后使用消费者组去消费topic即可。答案也不难,topic分片之后,生产者定制分发策略,保证同一对象的操作请求都分发到同一个分片中,这样每个消费者就都是在按照顺序消费各自分片中的数据啦~
这周我们学习下消费者,还是先从一个消费者的Hello World学起:前两步和生产者类似,配置参数然后根据参数创建实例,区别在于消费者使用的是反序列化器,以及多了一个必填参数 group.id,用于指定消费者所属的消费组。
一、kafka基础知识入门:1、Kafka介绍:Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。它是一种高吞吐量的分布式发布/订阅消息系统,Kafka不仅是一个消息队列,还是一个可以处理流数据的平台。
它是由 LinkedIn 公司开发,使用 Scala 语言编写,之后成为 Apache 基金会的一个顶级项目。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件,然后周期性的对这些文件进行统计分析。