前言 本章将对Spark做一个简单的介绍，更多教程请参考：Spark教程本章知识点概括Apache Spark简介Spark的四种运行模式Spark基于Standlone的运行流程Spark基于YARN的运行流程Apache Spark是什么？
说起Spark，熟悉大数据架构的人一定不会陌生，它已是继Hadoop之后最活跃的开源项目之一。作为发源于美国加州大学伯克利分校AMPLab的集群计算平台，Spark立足于内存计算，并以多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算形式得到了行业的肯定。
2015 Spark技术峰会上，来自Databricks、微软、IBM、Cloudera、Intel、BAT、亚信的10位专家就Spark技术实践进行了全方位的分享，其内容涵盖Spark生态与发展方向，以及SparkSQL、GraphX、MLLib等不同组件在不同场景的应用难点与
《大数据和人工智能交流》头条号向广大初学者新增C 、Java 、Python 、Scala、javascript 等目前流行的计算机、大数据编程语言，希望大家以后关注本头条号更多的内容。（一）Spark简介1、什么是sparkSpark是一种基于内存计算的开源框架。
版权声明:本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。
Apache Hadoop是一个成熟的开发框架,其连接着庞大的生态系统，并且得到了Cloudera、Hortonwork、Yahoo这些卓越机构的支持与贡献，并且为各个组织提供了许多工具来管理不同大小规则的数据。
Spark拥有Hadoop MapReduce所具有的优点，但不同于Hadoop MapReduce的是，Hadoop每次经过Job执行的中间结果都存储到HDFS等磁盘上，而Spark的Job中间输出结果可以保存在内存中，而不再需要读写HDFS。
通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。性能监控工具【Spark监控工具】Spark提供了一些基本的Web监控页面，对于日常监控十分有用。1.
市面上大多都是Scala的教程，这里专门介绍如何使用Java编写相关Spark程序。本文需要熟悉Java，Maven工具。下载开发工具IDEA进入idea官网 https://www.jetbrains.com/idea 下载社区版即可。
SQL and DataFrames :Spark SQL 是 Spark 用来操作结构化数据的组件。这里强哥也要提一句，官网有这么一个说明非常重要:Note that， before Spark 2.0， the main programming interface of Spark was the Resilient Distributed Dataset . After Spark 2.0， RDDs are replaced by Dataset， which is strongly-typed like an RDD， but with richer optimizations under the hood. The RDD interface is still supported， and you can get a more detailed reference at the RDD programming guide. However， we highly recommend you to switch to use Dataset， which has better performance than RDD. See the SQL programming guide to get more information about Dataset.
