SQL & Table API:Flink 支持两种关系型的 API,Table API 和 SQL。DataStream API 支持 Java 和Scala 语言,预先定义了例如 map、reduce、aggregate 等函数。
大数据平台技术框架支持的开发语言多种多样,开发人员的背景差异也很大,这就产生出很多不同类型的程序运行在大数据平台之上,如:MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。
|- 20393 20349 20349 20349 242 8 2654449664 36137 /usr/java/jdk1.8.0_144/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx820m -Djava.io.tmpdir=/usr/local/bigdata/hadoop-3.1.4/nm-local-dir/usercache/alanchan/appcache/application_1661393017372_0006/container_1661393017372_0006_01_000007/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/usr/local/bigdata/hadoop-3.1.4/logs/userlogs/application_1661393017372_0006/container_1661393017372_0006_01_000007 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Dhadoop.root.logfile=syslog org.apache.hadoop.mapred.YarnChild 192.168.10.44 44408 attempt_1661393017372_0006_m_000005_0 7。
随着2022年3月——这个Cloudera宣布停止对CDH技术支持日子越来越近,那些已经部署CDH和其他版本Hadoop的企业面临一个迫切的问题:自己原来部署的Hadoop怎么办?是继续延用还是迁移到其他大数据平台?如果要迁移,迁移到哪个大数据平台?
以 Hive2 为例,我已有一个 Hive,再搭建一个 Hive2 相当于两个独立的数据库了,那么在 Hive1 建的库和表该如何在 Hive2 上读取呢,反过来,在 Hive2 上建的表,又该如何在 Hive1 上读取?