Hadoop 完全分布式集群配置

2021-01-20

Hadoop 完全分布式集群配置

1. 虚拟机准备

创建三台Linux 18.04的虚拟机，名称分别为hadoop100、hadoop101、hadoop102。

1.1 修改hostname

1	sudo vim /etc/hostname

修改为hadoop100。

1.2 修改虚拟机IP为静态IP

1	sudo vim /etc/netplan/00-installer-config.yaml

注意：可能配置文件名字不大相同，按Tab键补充即可

# This is the network config written by 'subiquity'
network:
  ethernets:
    ens33:
      dhcp4: no
      addresses: [192.168.3.100/24] # 根据自己的wifi设置子网
      gateway4: 192.168.3.1
      nameservers:
        addresses: [192.168.3.1]
  version: 2

IP分配：

Host	IP
hadoop100	192.168.3.100
hadoop101	192.168.3.101
hadoop102	192.168.3.102

1.3 修改hosts文件

1	sudo vim /etc/hosts

127.0.0.1 localhost

# 添加的配置
192.168.3.100 hadoop100
192.168.3.101 hadoop101
192.168.3.102 hadoop102

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

1.4 配置免密ssh登录

需要保证hadoop101可以免密登录到hadoop101,hadoop102，即默认hadoop100为master，hadoop101,hadoop102为slavves。

参考：http://dblab.xmu.edu.cn/blog/2775-2/

首先，生成hadoop100节点的公匙，如果之前已经生成过公钥，必须要删除原来生成的公钥，重新生成一次。

1
2
3

cd ~/.ssh              # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*           # 删除之前生成的公匙（如果已经存在）
ssh-keygen -t rsa       # 执行该命令后，遇到提示信息，一直按回车就可以

为了让hadoop100节点能够无密码SSH登录本机，需要在hadoop100节点上执行如下命令：

1	cat ./id_rsa.pub >> ./authorized_keys

完成后可以执行命令“ssh hadoop100”来验证一下，可能会遇到提示信息，只要输入yes即可，测试成功后，请执行“exit”命令返回原来的终端。
接下来，在hadoop100节点将上公匙传输到hadoop101,hadoop102节点：

1	scp ~/.ssh/id_rsa.pub zyj@hadoop101:/home/zyj/

1	scp ~/.ssh/id_rsa.pub zyj@hadoop102:/home/zyj/

接着在hadoop101,hadoop102点上，将SSH公匙加入授权：

1
2
3

mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在，则忽略本命令
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub    # 用完以后就可以删掉

在hadoop100终端尝试以下命令：

1	ssh hadoop101

1.5 配置Java环境

1	sudo vim /etc/profile

1
2
3

export JAVA_HOME=/home/zyj/local/jdk1.8.0_162 #自己的java安装位置
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使之生效：

1	sudo source /etc/profile

1.6 编写xsync文件

xsync为集群分发文件，可以clone相异文件到集群，scp是复制所有文件，前者效率更高。

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环 注意对应上主机名称
for((host=100; host<103; host++)); do
echo ------------------- hadoop$host --------------
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

使用实例：

1	xsync hadoop

在hadoop101,hadoop102重复以上步骤。

2. Hadoop具体配置

采用的Hadoop版本为2.10.1。

Hadoop具体配置文件夹位于hadoop-2.10.1/etc/hadoop/下。以下配置以hadoop100为例。

host	hdfs	yarn
hadoop100	NameNode	ResourceManager
hadoop101	DataNode	NodeManager
hadoop102	DataNode，SecondaryNameNode	NodeManager

2.1 修改hadoop-env.sh

1	export JAVA_HOME=/home/zyj/local/jdk1.8.0_162 #自己的java文件夹

2.2 修改slaves

1 2	hadoop101 hadoop102

2.3 修改core-site.xml文件

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop100:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/zyj/local/hadoop-2.10.1/data/tmp</value>
	</property>
</configuration>

2.4 修改hdfs-site.xml文件

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hadoop102:50090</value>
	</property>
	<property>
		 <name>dfs.namenode.name.dir</name>
		 <value>file:/home/zyj/local/hadoop-2.10.1/tmp/dfs/name</value>
	 </property>
	 <property>
	         <name>dfs.datanode.data.dir</name>
		 <value>file:/home/zyj/local/hadoop-2.10.1/tmp/dfs/data</value>
	 </property>
</configuration>

2.4 配置yarn

修改mapred-site.xml文件

<configuration>
	<property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
   	</property>
	<property>
	      <name>mapreduce.jobhistory.address</name>
	      <value>hadoop100:10020</value>
	</property>
	<property>
	      <name>mapreduce.jobhistory.webapp.address</name>
	      <value>hadoop100:19888</value>
	</property>
	<property>
	      <name>yarn.app.mapreduce.am.env</name>
	      <value>HADOOP_MAPRED_HOME=/home/zyj/local/hadoop-2.10.1</value>
	</property>
	<property>
	      <name>mapreduce.map.env</name>
	      <value>HADOOP_MAPRED_HOME=/home/zyj/local/hadoop-2.10.1</value>
	</property>
	<property>
	      <name>mapreduce.reduce.env</name>
	      <value>HADOOP_MAPRED_HOME=/home/zyj/local/hadoop-2.10.1</value>
	</property> 
</configuration>

修改yarn-site.xml文件

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop100</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

集群分发：

1	xsync hadoop-2.10.1

3. 启动

3.1 格式化namenode

1	./bin/hdfs namenode -format

3.2 启动hdfs

1 2	./sbin/start-dfs.sh ./sbin/start-yarn.sh

可以通过jps命令查看运行中的进程。

可以通过192.168.3.100:50070查看hdfs的web ui，通过192.168.3.100:8088查看yarn的web ui。