SQL & Table API:Flink 支持两种关系型的 API,Table API 和 SQL。DataStream API 支持 Java 和Scala 语言,预先定义了例如 map、reduce、aggregate 等函数。
首先介绍下链路调整的背景,链路调整之前的指标通过 Flink Report 发送到 Gateway,Prometheus 去采集,然后配置 grafana 进行可视化展示,其中 Gateway 和 Prometheus 是我们自己运维的。
上一节我们完成了Flink单机模式的部署,本节讲解独立集群(standalone cluster)怎么部署。部署过程比较简单,只需要在单机模式的基础上指定JobManager地址、设置TaskManager列表以及设置ssh免密登录。本节第二部分讲解独立集群高可用配置。
但是我们也要知道,Flink主要是计算框架,而不是资源调度框架,所以本身提供的资源调度并不是它的强项,所以还是和其他专业的资源调度框架集成更靠谱,所以接下来我们来学习在强大的Yarn环境中Flink是如何使用的。
本文介绍Flink的安装步骤,主要是Flink的独立部署模式,它不依赖其他平台。文中内容分为4块:前置准备、Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建。演示使用的Flink版本是1.15.