Hadoop是一个大数据解决方案,提供了一套分布式系统基础架构。HDFS:分布式文件系统,HDFS分为NameNode和DataNode,NameNode负责保存元数据的基本信息,DataNode负责具体数据的存储。
MapReduce: MapReduce 是 Hadoop 的计算引擎,处理存储在 HDFS 中的数据。它基于 Map 和 Reduce 两个阶段进行分布式计算,Map 阶段对数据进行分片处理,Reduce 阶段则汇总中间结果。
|- 20393 20349 20349 20349 242 8 2654449664 36137 /usr/java/jdk1.8.0_144/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx820m -Djava.io.tmpdir=/usr/local/bigdata/hadoop-3.1.4/nm-local-dir/usercache/alanchan/appcache/application_1661393017372_0006/container_1661393017372_0006_01_000007/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/usr/local/bigdata/hadoop-3.1.4/logs/userlogs/application_1661393017372_0006/container_1661393017372_0006_01_000007 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Dhadoop.root.logfile=syslog org.apache.hadoop.mapred.YarnChild 192.168.10.44 44408 attempt_1661393017372_0006_m_000005_0 7。