Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统,常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。
1)首先当 Producer 向 Broker 发送数据后,会进行 commit, 如果 commit 成功, 由于 Replica 副本机制的存在,则意味着消息不会丢失,但是 Producer 发送数据给 Broker 后来,遇到网络问题而造成通信中断,那么 Producer 就无法准确判断该消息是否已经被提交,这就可能造成 at least once 语义 。
一、kafka基础知识入门:1、Kafka介绍:Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。它是一种高吞吐量的分布式发布/订阅消息系统,Kafka不仅是一个消息队列,还是一个可以处理流数据的平台。
Kafka 简介Kafka 是一种高吞吐、分布式、基于发布和订阅模型的消息系统,最初是由 LinkedIn 公司采用 Scala 和 java 开发的开源流处理软件平台,目前是 Apache 的开源项目。