文章目录

集群部署规划

hadoop102

hadoop103

hadoop104

HDFS

NameNode
DataNode

DataNode

SecondaryNameNode
DataNode

YARN

NodeManager

ResourceManager
NodeManager

NodeManager

配置

核心配置文件

core-site.xml

[root@hadoop102 hadoop]# pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[root@hadoop102 hadoop]# vim core-site.xml 


<!-- 指定 HDFS 中 NameNode 的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

hdfs 配置文件

hadoop-env.sh

[root@hadoop102 hadoop]# vim hadoop-env.sh 


export JAVA_HOME=/opt/module/jdk1.8.0_144

hdfs-site.xml

[root@hadoop102 hadoop]# vim hdfs-site.xml 


<!-- 指定 HDFS 副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<!-- 指定 Hadoop 辅助名称节点主机配置 -->
<property> 
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop104:50090</value>
</property>

yarn 配置文件

yarn-env.sh

[root@hadoop102 hadoop]# vim yarn-env.sh 


export JAVA_HOME=/opt/module/jdk1.8.0_144

yarn-site.xml

[root@hadoop102 hadoop]# vim yarn-site.xml 


<!-- reducer 获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop103</value>
</property>
<!-- 日志聚集功能使能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置 7 天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

mapreduce 配置文件

mapred-env.sh

[root@hadoop102 hadoop]# vim mapred-env.sh 


export JAVA_HOME=/opt/module/jdk1.8.0_144

mapred-site.xml

[root@hadoop102 hadoop]# vim mapred-site.xml


<!-- 指定 mr 运行在 yarn 上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!--历史服务器地址-->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>
<!--历史服务器web端地址-->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

分发配置

[root@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/