1.1、Flink基础概念1.1.1、Flink是什么Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算,它的核心目标是“数据流上的有状态计算”(Stateful Computations over Data Streams)。1.1.
废话不多说,咱们先直接上本文的目录和结论,小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助:背景及应用场景介绍:博主期望你能了解到,flink sql 提供的丰富的 join 方式对我们满足需求提供了强大的后盾, 这 6 种 join 中涉及到流与流的 join 最常用的是 regular join 以及 interval join,本节主要介绍 interval join。
那么如果你的operator state 中的 list 长度达到一定规模时,这个 offset 数组就可能会有几十 MB 的规模,关键这个数组是会返回给 job master,当 operator 的并发数目很大时,很容易触发 job master 的内存超用问题。