hadoop大数据(三)-Hadoop三种部署和运行方式

四 Hadoop运行模式

1）官方网址

（1）官方网站：

http://hadoop.apache.org/

（2）各个版本归档库地址

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

（3）hadoop2.7.2版本详情介绍

http://hadoop.apache.org/docs/r2.7.2/

2）Hadoop运行模式

（1）本地模式（默认模式）：

不需要启用单独进程，直接可以运行，测试和开发时使用。

（2）伪分布式模式：

等同于完全分布式，只有一个节点。

（3）完全分布式模式：

多个节点一起运行。

4.1 本地运行Hadoop 案例

4.1.1 官方grep案例

1）创建在hadoop-2.7.2文件下面创建一个input文件夹

[kingge@hadoop101 hadoop-2.7.2]$mkdir input

2）将hadoop的xml配置文件复制到input

[kingge@hadoop101 hadoop-2.7.2]$cp etc/hadoop/*.xml input

3）执行share目录下的mapreduce程序

[kingge@hadoop101 hadoop-2.7.2]$ bin/hadoop jar

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output ‘dfs[a-z.]+’

4）查看输出结果

[kingge@hadoop101 hadoop-2.7.2]$ cat output/*

4.1.2 官方wordcount案例

1）创建在hadoop-2.7.2文件下面创建一个wcinput文件夹

[kingge@hadoop101 hadoop-2.7.2]$mkdir wcinput

2）在wcinput文件下创建一个wc.input文件

[kingge@hadoop101 hadoop-2.7.2]$cd wcinput

[kingge@hadoop101 wcinput]$touch wc.input

3）编辑wc.input文件

[kingge@hadoop101 wcinput]$vim wc.input
在文件中输入如下内容
hadoop yarn
hadoop mapreduce 
kingge
kingge
保存退出：：wq

4）回到hadoop目录/opt/module/hadoop-2.7.2

5）执行程序：

[kingge@hadoop101 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

6）查看结果：

[kingge@hadoop101 hadoop-2.7.2]$cat wcoutput/part-r-00000

kingge 2

hadoop 2

mapreduce 1

yarn 1

4.1.3 总结

第一个案例：统计input文件里面的文件，文件内容包含’dfs[a-z.]+’ 规则的文字，筛选出来。

第二个案例：统计wc.input 文件中单词出现的个数，特别注意，第二次运行之前必须删除已有的结果输出目录（wcoutput）（rm -rf wcoutput/），否则执行wordcount指令就会报错，提示文件已经存在

—- 操作设计的文件都是存储在linux 的文件系统中。本地操作，不支持联网操作

4.2 伪分布式运行Hadoop案例

4.2.1 启动HDFS并运行MapReduce程序

1）分析：

​ （1）准备1台客户机

​ （2）安装jdk

​ （3）配置环境变量

​ （4）安装hadoop

​ （5）配置环境变量

​ （6）配置集群

​ （7）启动、测试集群增、删、查

​ （8）执行wordcount案例

2）执行步骤

需要配置hadoop文件如下

（1）配置集群

（a）配置：hadoop-env.sh

​ 1.Linux系统中获取jdk的安装路径：

[kingge@hadoop100 hadoop-2.7.2]$ cd etc/hadoop/

[root@ hadoop101 ~]# echo $JAVA_HOME

/opt/module/jdk1.8.0_144

​ 2.修改Jhadoop-env.sh的JAVA_HOME 路径：

export JAVA_HOME=/opt/module/jdk1.8.0_144

（b）配置：core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

（c）配置：hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

（2）启动集群

（a）格式化namenode（第一次启动时格式化，以后就不要总格式化）

​ [kingge@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode –format

​ 会在上面配置配置的存储目录生成 这两个文件

（b）启动namenode

​ [kingge@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

​ c）启动datanode

​ [kingge@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

（3）查看集群

​ （a）查看是否启动成功

[kingge@hadoop101 hadoop-2.7.2]$ jps

13586 NameNode

13668 DataNode

13786 Jps

​ （b）查看产生的log日志

当前目录：/opt/module/hadoop-2.7.2/logs

[kingge@hadoop101 logs]$ ls

hadoop-kingge-datanode-hadoop.kingge.com.log

hadoop-kingge-datanode-hadoop.kingge.com.out

hadoop-kingge-namenode-hadoop.kingge.com.log

hadoop-kingge-namenode-hadoop.kingge.com.out

SecurityAuth-root.audit

[kingge@hadoop101 logs]# cat hadoop-kingge-datanode-hadoop101.log

​ （c）web端查看HDFS文件系统

​ http://192.168.1.101:50070/dfshealth.html#tab-overview

​ 注意：如果不能查看，看如下帖子处理

http://www.cnblogs.com/zlslch/p/6604189.html

（4）操作集群

​ （a）在hdfs文件系统上创建一个input文件夹

[kingge@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/kingge/input

​ （b）将测试文件内容上传到文件系统上

[kingge@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -put wcinput/wc.input /user/kingge/input/

​ （c）查看上传的文件是否正确

[kingge@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -ls /user/kingge/input/

[kingge@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/kingge/ input/wc.input

​ （d）运行mapreduce程序(所有数据在HDFS上)

​ [kingge@hadoop101 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/kingge/input/ /user/kingge/output

​ （e）查看输出结果

命令行查看：

[kingge@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/kingge/output/*

浏览器查看

​ （f）将测试文件内容下载到本地

[kingge@hadoop101 hadoop-2.7.2]$ hadoop fs -get /user/kingge/ output/part-r-00000 ./wcoutput/

（g）删除输出结果

[kingge@hadoop101 hadoop-2.7.2]$ hdfs dfs -rmr /user/kingge/output

4.2.2 YARN上运行MapReduce 程序

1）分析：

​ （1）准备1台客户机

​ （2）安装jdk

​ （3）配置环境变量

​ （4）安装hadoop

​ （5）配置环境变量

​ （6）配置集群yarn上运行

​ （7）启动、测试集群增、删、查

​ （8）在yarn上执行wordcount案例

2）执行步骤

（1）配置集群

​（a）配置yarn-env.sh

​ 配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

（b）配置yarn-site.xml

<!-- reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>

​ （c）配置：mapred-env.sh

​ 配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

​ （d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

[kingge@hadoop101 hadoop]$ mv mapred-site.xml.template mapred-site.xml

[kingge@hadoop101 hadoop]$ vi mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

​ （2）启动集群

（a）启动resourcemanager

[kingge@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

（b）启动nodemanager

[kingge@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

​ （3）集群操作

（a）yarn的浏览器页面查看

http://192.168.1.101:8088/cluster

​ （b）删除文件系统上的output文件

[kingge@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/kingge/output

​ （c）执行mapreduce程序

​ [kingge@hadoop101 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/kingge/input /user/kingge/output

​ （d）查看运行结果

[kingge@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/kingge/output/*

4.2.3 配置临时文件存储路径

1）停止进程

[kingge@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

[kingge@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager

[kingge@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode

[kingge@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop namenode

2）修改hadoop.tmp.dir

​ [core-site.xml]

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

3）将/opt/module/hadoop-2.7.2路径中的logs文件夹删除掉

[kingge@hadoop101 hadoop-2.7.2]$ rm -rf logs/

4）进入到tmp目录将tmp目录中hadoop-kingge目录删除掉

[kingge@hadoop101 tmp]$ rm -rf hadoop-kingge/

5）格式化NameNode

​ [kingge@hadoop101 hadoop-2.7.2]$ hadoop namenode -format

6）启动所有进程

​ [kingge@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

[kingge@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

[kingge@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

[kingge@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

​ 7）查看/opt/module/hadoop-2.7.2/data/tmp这个目录下的内容。

4.2.4 配置历史服务器

​ 1）配置mapred-site.xml

[kingge@hadoop101 hadoop]$ vi mapred-site.xml

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop101:19888</value>
</property>

​ 2）查看启动历史服务器文件目录：

[kingge@hadoop101 hadoop-2.7.2]$ ls sbin/ | grep mr

mr-jobhistory-daemon.sh

​ 3）启动历史服务器

[kingge@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

​ 4）查看历史服务器是否启动

​ [kingge@hadoop101 hadoop-2.7.2]$ jps

​ 5）查看jobhistory

http://192.168.1.101:19888/jobhistory

4.2.5 配置日志的聚集

日志聚集概念：应用运行完成以后，将日志信息上传到HDFS系统上。

开启日志聚集功能步骤：

（1）配置yarn-site.xml

[kingge@hadoop101 hadoop]$ vi yarn-site.xml

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

（2）关闭nodemanager 、resourcemanager和historymanager

[kingge@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager

[kingge@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

[kingge@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver

（3）启动nodemanager 、resourcemanager和historymanager

[kingge@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

[kingge@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

[kingge@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

（4）删除hdfs上已经存在的hdfs文件

[kingge@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/kingge/output

（5）执行wordcount程序

[kingge@hadoop101 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/kingge/input /user/kingge/output

（6）查看日志

http://192.168.1.101:19888/jobhistory

4.2.6 配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：存放在hadoop相应的jar包中

[core-default.xml]

​ hadoop-common-2.7.2.jar/ core-default.xml

​ [hdfs-default.xml]

hadoop-hdfs-2.7.2.jar/ hdfs-default.xml

​ [yarn-default.xml]

hadoop-yarn-common-2.7.2.jar/ yarn-default.xml

​ [core-default.xml]

hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xml

​ （2）自定义配置文件：存放在$HADOOP_HOME/etc/hadoop

​ core-site.xml

​ hdfs-site.xml

​ yarn-site.xml

​ mapred-site.xml

4.2.7 总结

相比于本地运行模式，伪分布式模式支持互联网操作，不过集群的副本是1（不配置的话默认是3，详情查看hdfs-default.xml的dfs.replication属性）。

4.3 完全分布式部署Hadoop

分析：

​ 1）准备3台客户机（关闭防火墙、静态ip、主机名称）

​ 2）安装jdk

​ 3）配置环境变量

​ 4）安装hadoop

​ 5）配置环境变量

​ 6）安装ssh

​ 7）配置集群

​ 8）启动测试集群

4.3.1 虚拟机准备

详见3.2-3.3章。

Hadoop运行环境搭建3.2-3.3

4.3.2 主机名设置

Hadoop运行环境搭建3.4

4.3.3 scp

1）scp可以实现服务器与服务器之间的数据拷贝。

操作一：hadoop101 主动推送数据到hadoop102

操作二：hadoop102主动从hadoop101获取数据到本地

操作三：hadoop101 控制将hadoop102的数据拷贝到hadoop103

​ 接收方一般使用root**用户接受，因为有些文件夹的权限只有root用户才有，为保证传输成功，双方最好都切换到root用户**

2）案例实操

（1）将hadoop101中/opt/module和/opt/software文件拷贝到hadoop102、hadoop103和hadoop104上。

[root@hadoop101 /]# scp -r /opt/module/ root@hadoop102:/opt

[root@hadoop101 /]# scp -r /opt/software/ root@hadoop102:/opt

[root@hadoop101 /]# scp -r /opt/module/ root@hadoop103:/opt

[root@hadoop101 /]# scp -r /opt/software/ root@hadoop103:/opt

[root@hadoop101 /]# scp -r /opt/module/ root@hadoop104:/opt

[root@hadoop101 /]# scp -r /opt/software/ root@hadoop105:/opt

（2）将hadoop101服务器上的/etc/profile文件拷贝到hadoop102上。

[root@hadoop102 opt]# scp root@hadoop101:/etc/profile /etc/profile 例子1

[root@hadoop102 opt]# scp -r root@192.168.1.101:/opt/module/ /opt/–例子二

​ （3）实现两台远程机器之间的文件传输（hadoop103主机文件拷贝到hadoop104主机上）

​ [kingge@hadoop102 test]$ scp kingge@hadoop103:/opt/test/haha kingge@hadoop104:/opt/test/

注意：如果传递环境变量配置文件后需要source /etc/profile 一下，让其生效。同时可能需要修改一下文件的权限或者文件所属（chmod chown）

4.3.4 SSH无密码登录

针对执行ssh命令的 无密码操作

1）配置ssh

（1）基本语法

ssh 另一台电脑的ip地址

（2）ssh连接时出现Host key verification failed的解决方法

[root@hadoop102 opt]# ssh 192.168.1.103

The authenticity of host ‘192.168.1.103 (192.168.1.103)’ can’t be established.

RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.

Are you sure you want to continue connecting (yes/no)?

Host key verification failed.

（3）解决方案如下：直接输入yes

2）无密钥配置

（1）进入到我的home目录

​ [kingge@hadoop102 opt]$ cd ~/.ssh

（2）生成公钥和私钥：

[kingge@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（3）将公钥拷贝到要免密登录的目标机器上

[kingge@hadoop102 .ssh]$ ssh-copy-id hadoop102 （给自己授权免密登录）

[kingge@hadoop102 .ssh]$ ssh-copy-id hadoop103

[kingge@hadoop102 .ssh]$ ssh-copy-id hadoop104

查看103或者104的~/.ssh，发现多了authorized_keys 个文件

需求： A服务器需要访问B服务器，不需要输入密码

3）.ssh文件夹下的文件功能解释

​ （1）~/.ssh/known_hosts ：记录ssh访问过计算机的公钥(public key)

​ （2）id_rsa ：生成的私钥

​ （3）id_rsa.pub ：生成的公钥

​ （4）authorized_keys ：存放授权过得无秘登录服务器公钥

注意： 如果你授权的免密登录用户，被切换了，那么还是需要输入密码才能够登录。

例子：hadoop100服务器的kingge用户生成了密匙，然后发给你了hadoop101，那么100服务器就可以免密登录101服务器，但是假设100服务器su root（切换为了root用户），那么当执行ssh hadoop101 操作时，就需要输入101服务器密码，而不能免密登录，所以要想在root用户下也能免密登录101服务器，就需要在root用户下重新走一遍免密登录流程

4.3.5 rsync

rsync远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync**和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp**是把所有文件都复制过去。

（1）查看rsync使用说明

man rsync | more

​ （2）基本语法

rsync -rvl $pdir/$fname $user@hadoop$host:$pdir

​ 命令 命令参数 要拷贝的文件路径/名称 目的用户@主机:目的路径

​ 选项

-r 递归

-v 显示复制过程

-l 拷贝符号连接

​ （3）案例实操

​ 把本机/opt/tmp目录同步到hadoop103服务器的root用户下的/opt/tmp目录

[kingge@hadoop102 opt]$ rsync -rvl /opt/tmp root@hadoop103:/opt/

4.3.6 编写集群分发脚本xsync

场景：分布式系统中假设有6900**台服务器，那么假设我们需要同步配置信息，我们不可能一台台的执行scp/rsync 命令，效率极低，那怎么办呢？**

1）需求分析：循环复制文件到所有节点的相同目录下。

​ （1）原始拷贝：

rsync -rvl /opt/module root@hadoop103:/opt/

​ （2）期望脚本：

xsync 要同步的文件名称

​ （3）在/usr/local/bin这个目录下存放的脚本，可以在系统任何地方直接执行。（就是在执行xsync命令时可以不用输入/usr/local/bin这样前缀）

2）案例实操：

（1）在/usr/local/bin目录下创建xsync文件，文件内容如下：

[root@hadoop102 bin]# touch xsync

[root@hadoop102 bin]# vi xsync

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=103; host<105; host++)); do
        #echo $pdir/$fname $user@hadoop$host:$pdir
        echo --------------- hadoop$host ----------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

（2）修改脚本 xsync 具有执行权限

[root@hadoop102 bin]# chmod 777 xsync

[root@hadoop102 bin]# chown kingge:kingge -R xsync

（3）调用脚本形式：xsync 文件名称

[kingge@hadoop102 opt]$ xsync tmp/

4.3.7 编写集群操作脚本xcall

1）需求分析：在所有主机上同时执行相同的命令

xcall +命令

2）具体实现

（1）在/usr/local/bin目录下创建xcall文件，文件内容如下：

[root@hadoop102 bin]# touch xcall

[root@hadoop102 bin]# vi xcall

#!/bin/bash
pcount=$#
if((pcount==0));then
        echo no args;
        exit;
fi

echo -------------localhost----------
$@
for((host=101; host<=108; host++)); do
        echo ----------hadoop$host---------
        ssh hadoop$host $@
done

（2）修改脚本xcall具有执行权限

​ [root@hadoop102 bin]# chmod 777 xcall

[root@hadoop102 bin]# chown kingge:kingge xcall

（3）调用脚本形式： xcall 操作命令

[root@hadoop102 ~]# xcall rm -rf /opt/tmp/

4.3.8 配置集群

1）集群部署规划

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

集群规划的原则：NameNode/SecondaryNameNode/ ResourceManager必须要单独占据一个服务器(或者这三个不能在同一个节点上运行)，因为他是相当于目录，请求他的次数最大，所以不能跟其他插件部署在一起，不能跟NameNode抢占资源，因为他不能挂掉。Datanode就没有这些限制，挂掉也无所谓。

但是下面的例子中NameNode和DataNode都部署在hadoop102这个节点，因为我们是属于测试搭建环境下，所以无所谓，但是生产环境下必须按照规则

2）配置文件

​ （1）core-site.xml

[kingge@hadoop102 hadoop]$ vi core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
	<property>
		<name>fs.defaultFS</name>
        <value>hdfs://hadoop102:9000</value>
	</property>

	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
	</property>

​ （2）Hdfs

​ 2.1 hadoop-env.sh

[kingge@hadoop102 hadoop]$ vi hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

​ 2.2 hdfs-site.xml

<configuration>	
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

# 如果不配置。默认是跟namenode同个位置
	<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:50090</value>
    </property>
</configuration>

​ 2.3 Slaves

​ 配置文件里面不能存在多余的空格或者换行

[kingge@hadoop102 hadoop]$ vi slaves

hadoop102 hadoop103 hadoop104

​ （3）yarn

​ yarn-env.sh

[kingge@hadoop102 hadoop]$ vi yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

​ yarn-site.xml

​ [kingge@hadoop102 hadoop]$ vi yarn-site.xml

<configuration>

	<!-- reducer获取数据的方式 -->
	<property>
		 <name>yarn.nodemanager.aux-services</name>
		 <value>mapreduce_shuffle</value>
	</property>

	<!-- 指定YARN的ResourceManager的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop103</value>
	</property>
</configuration>

​ （4）mapreduce

​ mapred-env.sh

[kingge@hadoop102 hadoop]$ vi mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

​ mapred-site.xml

[kingge@hadoop102 hadoop]$ vi mapred-site.xml

<configuration>
	<!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

3）在集群上分发以上所有文件

[kingge@hadoop102 hadoop]$ pwd

/opt/module/hadoop-2.7.2/etc/hadoop

[kingge@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

[kingge@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml

[kingge@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/slaves

4）查看文件分发情况

[kingge@hadoop102 hadoop]$ xcall cat /opt/module/hadoop-2.7.2/etc/hadoop/slaves

4.3.9 集群启动及测试

1）启动集群

​ 清空之前启动namenode的数据

​ Rm –rf data/ log/

​ Data就是在core-site.xml中配置的文件存储目录，log就是hadoop的log目录。

​ （0）如果集群是第一次启动，需要格式化namenode

​ [kingge@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

（1）启动HDFS：

[kingge@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

–这一步跟我们之前的单个启动不一样（sbin/hadoop-daemon.sh start namenode**），这个操作是启动整个集群的namenode**和datanode—那么就需要配置ssh 无密码登录

[kingge@hadoop102 hadoop-2.7.2]$ jps

4166 NameNode

4482 Jps

4263 DataNode

[kingge@hadoop103 hadoop-2.7.2]$ jps

3218 DataNode

3288 Jps

[kingge@hadoop104 hadoop-2.7.2]$ jps

3221 DataNode

3283 SecondaryNameNode

3364 Jps

（2）启动yarn （启动namemanager 和 resourceManager）

[kingge@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

注意：Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。

因为我们在这个集群中ResourceManager是在hadoop103上面的，所以在103上启动

2）集群基本测试

（1）上传文件到集群

​ 1.上传小文件

​ [kingge@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/kingge/input

​ [kingge@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -put etc/hadoop/wc.input /user/kingge/input

上传完后 hadoop103和hadoop104 上面也会同步副本（即是，也会存在上面的/user/kingge/tep/conf 和 *-site.xml 这些东西）

查看HDFS系统的文件结构

我们可以看到他是存储在了块0，而且有三个副本101/102/103

​ 接下来我们再上传一个大文件看看

​ 2.上传大文件

[kingge@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz /user/kingge/input

为什么他这里会分为两块存储呢？因为默认块大小是128，当超过这个大小时就需要分块存储

（2）上传文件后查看文件存放在什么位置

​ 文件存储路径

​ [kingge@hadoop102 subdir0]$ pwd

/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0

​ 查看文件内容(wc.input)

[kingge@hadoop102 subdir0]$ cat blk_1073741825

hadoop

kingge

kingge

然后26 27 就是那个大文件，分为了两块

（3）拼接

-rw-rw-r–. 1 kingge kingge 134217728 5月 23 16:01 blk_1073741836

-rw-rw-r–. 1 kingge kingge 1048583 5月 23 16:01 blk_1073741836_1012.meta

-rw-rw-r–. 1 kingge kingge 63439959 5月 23 16:01 blk_1073741837

-rw-rw-r–. 1 kingge kingge 495635 5月 23 16:01 blk_1073741837_1013.meta

[kingge@hadoop102 subdir0]$ cat blk_1073741836>>tmp.file

[kingge@hadoop102 subdir0]$ cat blk_1073741837>>tmp.file

[kingge@hadoop102 subdir0]$ tar -zxvf tmp.file

已解压发现就是我们上传那个tar**大文件的解压版本，说明这两个文件就是存放着大文件**

（4）下载

[kingge@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -get /user/kingge/input/hadoop-2.7.2.tar.gz

3）性能测试集群

​ 写海量数据

​ 读海量数据

4.3.10 Hadoop启动停止方式

1）各个服务组件逐一启动

​ （1）分别启动hdfs组件

​ hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode

​ （2）启动yarn

​ yarn-daemon.sh start|stop resourcemanager|nodemanager

2）各个模块分开启动（配置ssh是前提）常用

​ （1）整体启动/停止hdfs

​ start-dfs.sh

​ stop-dfs.sh

​ （2）整体启动/停止yarn

​ start-yarn.sh

​ stop-yarn.sh

3）全部启动（不建议使用）

​ start-all.sh

​ stop-all.sh

4.3.11 集群时间同步

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。

配置时间同步实操：

1）时间服务器配置（必须root用户）

（1）检查ntp是否安装

[root@hadoop102 桌面]# rpm -qa|grep ntp

ntp-4.2.6p5-10.el6.centos.x86_64

fontpackages-filesystem-1.41-1.1.el6.noarch

ntpdate-4.2.6p5-10.el6.centos.x86_64

（2）修改ntp配置文件

[root@hadoop102 桌面]# vi /etc/ntp.conf

修改内容如下

a）修改1

#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

​ b）修改2 注释时间服务器

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst为

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

​ c）添加3 自己的时间服务器

server 127.127.1.0

fudge 127.127.1.0 stratum 10

（3）修改/etc/sysconfig/ntpd 文件

[root@hadoop102 桌面]# vim /etc/sysconfig/ntpd

增加内容如下

SYNC_HWCLOCK=yes

​ （4）重新启动ntpd

[root@hadoop102 桌面]# service ntpd status

ntpd 已停

[root@hadoop102 桌面]# service ntpd start

正在启动 ntpd： [确定]

​ （5）执行：

​ [root@hadoop102 桌面]# chkconfig ntpd on

2）其他机器配置（必须root用户）

​ （1）在其他机器配置10分钟与时间服务器同步一次

​ [root@hadoop103 hadoop-2.7.2]# crontab -e

​ 编写脚本

​ /10 * /usr/sbin/ntpdate hadoop102

​ （2）修改任意机器时间

​ [root@hadoop103 hadoop]# date -s “2017-9-11 11:11:11”

​ （3）十分钟后查看机器是否与时间服务器同步

​ [root@hadoop103 hadoop]# date

4.3.12 配置集群常见问题

1）防火墙没关闭、或者没有启动yarn

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主机名称配置错误

3）ip地址配置错误

4）ssh没有配置好

5）root用户和kingge两个用户启动集群不统一

6）配置文件修改不细心

7）未编译源码

Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

8）datanode不被namenode识别问题

Namenode在format初始化的时候会形成两个标识，blockPoolId和clusterId。新的datanode加入时，会获取这两个标识作为自己工作目录中的标识。

一旦namenode重新format后，namenode的身份标识已变，而datanode如果依然持有原来的id，就不会被namenode识别。

解决办法，删除datanode节点中的数据后，再次重新格式化namenode。

9）不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102 at java.net.InetAddress.getLocalHost(InetAddress.java:1475) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415)

解决办法：

（1）在/etc/hosts文件中添加192.168.1.102 hadoop102

​ （2）主机名称不要起hadoop hadoop000等特殊名称

10）datanode和namenode进程同时只能工作一个。

11）执行命令 不生效，粘贴word中命令时，遇到-和长–没区分开。导致命令失效

解决办法：尽量不要粘贴word中代码。

12）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。原因是在linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

13）jps不生效。

原因：全局变量hadoop java没有生效，需要source /etc/profile文件。

14）8088端口连接不上

[kingge@hadoop102 桌面]$ cat /etc/hosts

注释掉如下代码

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

#::1 hadoop102