1)本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。Reducer 以内存作缓冲区，边 shuffle 边 aggregate 数据，等到数据 aggregate 好以后进行 reduce 。
版权声明:本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。
APIKafkaUtils.createDirectStream[String,String, StringDecoder, StringDecoder]代码演示import kafka.serializer.StringDecoderimport org.apache.spar
考满分公司面试题1）技术（1）Hadoop是什么（2）Java的特性（3）设计模式（4）怎么理解scala的函数式编程（5）tcp，udp的区别（6）网络七层和网络四层，它们的区别是什么（7）数据库存储数据的具体文件是什么，有几种（8）myisam和innodb的区别（9）数据库
这个问题虽然见过无数次，面试官问过无数次，还是有不少面试者不能完整的说出来，所以请务必记住。注:Hadoop在设计时考虑到数据的安全与高效， 数据文件默认在HDFS上存放三份， 存储策略为本地一份，同机架内其它某一节点上一份， 不同机架的某一节点上一份。
本面试宝典涵盖大数据面试高频的所有技术栈，包括Liunx&Shell基础，Hadoop，Zookpeer，Flume，Kafka，Hive，Datax，Maxwell，DolphinScheduler，Spark Core&SQL，Spark Streaming，Flink，Hbase，Clickhouse，Doris，Hudi，数据治理，数据中台，元数据管理，数据质量管理，数据仓库，大厂面试场景题，职场相关，场景题，面试必看、大数据真题、简历模板 等近50个相关技术领域的大厂面试题及详解。
《大数据和人工智能交流》头条号向广大初学者新增C 、Java 、Python 、Scala、javascript 等目前流行的计算机、大数据编程语言，希望大家以后关注本头条号更多的内容。（一）Spark简介1、什么是sparkSpark是一种基于内存计算的开源框架。
