hadoop伪分布式环境搭建,完整的详细步骤

一、搭建伪分布式本次实验环境:

1、VMware14
2、一台ubtuntu 18 64位
3、主机名位master
4、ip 地址:192.168.136.31
5、本次实验需要的安装包
在这里插入图片描述

二、 伪分布式搭建前的准备

1、 查看id 地址

ip addr

在这里插入图片描述
2、 关闭防火墙
命令来关闭防火墙

ufw disable  

命令查看当前防火墙状态

ufw status   

在这里插入图片描述
3、 修改主机名、 添加主机映射

hostnamectl set-hostname master

修改虚拟机hosts文件,将ip地址添加进来

vim /etc/hosts


192.168.136.21 master

在这里插入图片描述
在这里插入图片描述
使用 :wq 保存
测试是否修改成功

Ping master

能ping通就修改成功

在这里插入图片描述
4、 设置免密(这里是伪分布式不是完全分布式,只需要能免密自己,此步骤也可以忽略)
○1打开SSH远程登录配置文件sshd_config

vim /etc/ssh/sshd_config

PermitRootLogin用来设置能不能直接以超级用户ssh登录

在这里插入图片描述
然后重启服务

service sshd restart

○2生成密钥

ssh-keygen -t rsa

回车四下
在这里插入图片描述
○3authorized_keys文件存放自己和目标的公钥,要自己手动复制文件,命令如下:
cd ~/.ssh

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

给复制的文件添加可执行权限(chmod u+x authorized_keys)
添加master的密码

ssh-copy-id master

在这里插入图片描述

三、安装jdk

回到opt目录

  cd /opt
tar -zxvf jdk-8u181-linux-x64.tar.gz

在这里插入图片描述
进行重命名

mv jdk1.8.0_181/ jdk

在这里插入图片描述
修改环境变量

vi /etc/profile

在这里插入图片描述

export JAVA_HOME=/opt/jdk       #这里是opt目录
export PATH=:$PATH:$JAVA_HOME/bin

在这里插入图片描述
使环境变量生效

source /etc/profile

在这里插入图片描述
验证是否安装成功
验证:java -version
在这里插入图片描述
到这里jdk 就安装成功了

四、搭建hadoop伪分布式

1、 解压 重命名

cd  /opt
tar -zxvf hadoop-2.7.6.tar.gz 

在这里插入图片描述

mv hadoop-2.7.6 hadoop

在这里插入图片描述
2、 修改配置文件

cd /opt/hadoop/etc/hadoop

在这里插入图片描述

a、修改 hadoop-env.sh
加上一句

export JAVA_HOME=/opt/jdk

jdk 的安装目录
在这里插入图片描述
b、修改 core-site.xml
将下面的配置参数加入进去修改成对应自己的

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop/tmp</value>
        </property>
	    <property>
                 <name>fs.trash.interval</name>
                 <value>1440</value>
        </property>
</configuration>

在这里插入图片描述
c、修改 hdfs-site.xml 将dfs.replication设置为1

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

在这里插入图片描述
d、修改文件yarn-site.xml

<configuration>
 <property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>

在这里插入图片描述
e、修改 mapred-site.xml(将mapred-site.xml.template 复制一份为 mapred-site.xml
命令:cp mapred-site.xml.template mapred-site.xml)

<configuration>
   <property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>  
		<name>mapreduce.jobhistory.address</name>  
		<value>master:10020</value>  
	</property>  
	<property>  
		<name>mapreduce.jobhistory.webapp.address</name>  
		<value>master:19888</value>  
	</property> 
</configuration>

在这里插入图片描述
修改环境变量
Vim /etc/profile
在这里插入图片描述
使环境变量生效

source /etc/proflie

在这里插入图片描述
初始化hadoop集群

 hadoop namenode -format

在这里插入图片描述
初始化成功
到 hadoop 的sbin目录启动hadoop

cd /opt/hadoop/sbin/


./start-all.sh

在这里插入图片描述
验证

jps

在这里插入图片描述
出现以上java节点 Hadoop伪分布式就搭建成功了
HDFS节点:namenode datanode
主节点,最多可以有1个:namenode
从节点,有多个:datanode
namenode负责接收用户操作请求,是用户操作的入口。维护文件系统的目录结构,称作命名空间
datanode负责存储数据
secondaryNamenode :第二名称节点 可以理解位namenode的助理
YARN 节点 ResourceManager NodeManager
主节点,最多可以有1个:ResourceManager
从节点,有很多个: NodeManager
ResourceManager负责集群资源的分配与调度MapReduce、Storm、Spark等应用,必须实现ApplicationMaster接口,才能被RM管理。NodeManager负责单节点资源的管理

验证hdfs:
可以登录浏览器地址:192.168.136.31:50070 (ip地址是master的地址)
看到下面页面证明 hdfs装好了
在这里插入图片描述
验证yarn

http://192.168.136.21:8088/

这里写上自己配置的IP地址
在这里插入图片描述