首先，从StackOverflow下载官方提供的截至20140120的问答数据sta ckoverflow. com-Posts. 7z这是一个能够直接用于分布式计算的bzip格式文件，但在我们的场景下，必须先解压并拷贝到HDFSbzcat stackover flow. com
在过去几年当中，随着Hadoop逐步成为大数据处理领域的主导性解决思路，原本存在的诸多争议也开始尘埃落定。首先，Hadoop分布式文件系统是处理大数据的正确存储平台。其次，YARN是大数据环境下理想的资源分配与管理框架选项。
Spark拥有Hadoop MapReduce所具有的优点，但不同于Hadoop MapReduce的是，Hadoop每次经过Job执行的中间结果都存储到HDFS等磁盘上，而Spark的Job中间输出结果可以保存在内存中，而不再需要读写HDFS。
最近，Apache Spark社区发布了Spark 3.0的预览版，该预览版包含许多重要的新功能，这些功能将帮助Spark创造强大的影响力，在此大数据和数据科学时代，该产品已拥有广泛的企业用户和开发人员。
在过去几年中，神经网络已经看到壮观进展，并且他们现在是图像识别和自动翻译领域中最强者。TensorFlow是数值计算和神经网络发布的谷歌的新框架。在这个博客中，我们将演示如何使用TensorFlow和Spark一起训练和应用深度学习模型。
版权声明:本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。
编者按：高可用架构推出 2015 年度案例系列文章，分享在架构领域具有典型意义的年度案例，本文由谭政分享。转载请注明来自高可用架构公众号「ArchNotes」。谭政，Hulu 网大数据基础平台研发。曾在新浪微博平台工作过。
《大数据和人工智能交流》头条号向广大初学者新增C 、Java 、Python 、Scala、javascript 等目前流行的计算机、大数据编程语言，希望大家以后关注本头条号更多的内容。（一）Spark简介1、什么是sparkSpark是一种基于内存计算的开源框架。
