虚拟机：Hadoop集群的测试

一、格式化文件系统

通过前面的学习，此时还不能直接启动集群，因为在初次启动HDFS集群时，编写对主节点进行格式化处理，具体指令如下：

hdfs namenode -format（只需要在主节点运行即可或hadoop namenode -format）

执行以上任意一条命令若出现“successfully formatted”文字表示格式化成功，然后就可以启动集群了。

二、启动和关闭Hadoop集群

1.单个节点逐个启动和关闭

a.在主节点运行namenode进程

hadoop-daemon.sh start namenode

b.在每个从节点运行datanode进程

hadoop-daemon.sh start datanode

c.在主节点运行yarn resourcemanger进程

yarn-daemon.sh start resourcemanager

d.在每个从节点运行yarn nodemanger进程

yarn-daemon.sh start nodemanager

e.在规划节点hadoop02使用以下指令启动secondarynamenode进程

hadoop-daemon.sh start secondarynamenode

运行完成以上进程命令，如何判断是否成功？需要jps命令查看当前虚拟机进程，hadoop01是四个进程hadoop02是三个进程hadoop03是两个进程

2.脚本一键启动和关闭

（1）在主节点hadoop01上使用以下指令启动所有HDFS服务进程：

start-dfs.sh

（2）在主节点hadoop01上使用以下指令启动所有YARN服务进程：

start-yarn.sh

如果需要停止相关服务进程，只需要将start改为stop即可（即stop-dfs.sh和stop-yarn.sh）

hadoop01 192.168.21.164

通过访问以上IP+端口地址（50070 8088两个端口）

http:192.168.21.164:50070http:192.168.21.164:8088

如果没有关闭防火墙，可能导致无法访问，则使用以下命令关闭防火墙：

systemctl stop firewalld（三台机器都要关闭）

如果以主机名来访问二大集群

http://hadoop01:50070http://hadoop01:8088

则必须配置宿主机hosts文件在C：\Windows\System32\drivers\etc填写如下内容：

192.168.21.164 hadoop01192.168.21.165 hadoop02192.168.21.166 hadoop03