MapReduce: MapReduce 是 Hadoop 的计算引擎，处理存储在 HDFS 中的数据。它基于 Map 和 Reduce 两个阶段进行分布式计算，Map 阶段对数据进行分片处理，Reduce 阶段则汇总中间结果。
等值Join VS 非等值JoinSparkSQL和HiveSQL不同，HiveSQL只支持等值连接，但是SparkSQL非等值连接也是支持的。等值连接和非等值连接的区别是：如果on语句中包含一个相等条件或多个需要同时满足的相等条件，那么称为等值连接，否则就称为非等值连接。
开发技术前端：vue.js echarts websocket后端API：springboot+spark+mybatis爬虫/算法：python、lstm情感分析(python实现)数据库：mysql创新点1.python+spark+springboot+vue.
Spark拥有Hadoop MapReduce所具有的优点，但不同于Hadoop MapReduce的是，Hadoop每次经过Job执行的中间结果都存储到HDFS等磁盘上，而Spark的Job中间输出结果可以保存在内存中，而不再需要读写HDFS。
