Hadoop10-生产调优手册

NiuMT 2020-06-03 20:58:30

Hadoop

HDFS核心参数

NameNode内存生产配置

每个文件块大概占用 150byte，一台服务器 128G内存为例

128 * 1024 * 1024 * 1024 / 150Byte = 9.1亿

hadoop-env.sh

hadoop2.x：NameNode内存默认 2000m，如果服务器内存 4G， NameNode内存可以配置 3G。

HADOOP_NAMENODE_OPTS=-Xmx 3072 m

hadoop3.x：hadoop-env.sh中描述 Hadoop的内存是动态分配的，[ jmap -heap 线程号] 可以查看使用的最大内存。

export HDFS_NAMENODE_OPTS=”-Dhadoop.security.logger=INFO,RFAS -Xmx 1024 m”

export HDFS_DATANODE_OPTS=”-Dhadoop.security.logger=ERROR,RFAS -Xmx 1024 m

NameNode心跳并发配置

hdfs-site.xml

NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大该参数 。 

默认值是 10。
<property>
    <name>dfs.namenode.handler.count</name>
    <value>21</value>
</property>

$\text{dfs.namenode.handler.count}=20*log_e^{Cluster\_size}$

开启回收站配置

core-site.xml

<property>
    <name>fs.trash.interval</name>
    <value>1</value> <!-- 单位是分钟 -->
</property>
<!--
1. 默认值 fs.trash.interval = 0, 0表示禁用回收站 其他值表示设置文件的存活时间。
2. 默认值 fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为 0，则该值设置和 fs.trash.interval的参数值相等。
3. 要求 fs.trash.checkpoint.interval <= fs.trash.interval
-->

回收站目录在 HDFS集群中的路径： /user/atguigu/.Trash/….

通过网页上直接删除的文件也不会走回收站。
通过程序删除的文件不会经过回收站，需要调用 moveToTrash()才进入回收站
只有在命令行利用 hadoop fs -rm命令删除的文件才会走回收站。
恢复回收站数据: $ hadoop fs mv
/user/atguigu/.Trash/Current/user/atguigu/input
/user/atguigu/input

HDFS集群压测

写性能

$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB




2021 02 09 10:43:16,853 INFO fs.TestDFSIO: TestDFSIO : write
2021 02 09 10:43:16,854 INFO fs.Te stDFSIO: Date & time: Tue Feb 09 10:43:16 CST 2021
2021 02 09 10:43:16,854 INFO fs.TestDFSIO: Number of files: 10
2021 02 09 10:43:16,854 INFO fs.TestDFSIO: Total MBytes processed: 1280
2021 02 09 10:43:16,854 INFO fs.TestDFSIO: Throughput mb/sec: 1.61
2021 02 09 10:43:16,854 INFO fs.TestDFSIO: Average IO rate mb/sec: 1.9
2021 02 09 10:43:16,854 INFO fs.TestDFSIO: IO rate std deviation: 0.76
2021 02 09 10:43:16,854 INFO fs.TestDFSIO: Test exec time sec: 133.05
2021 02 09 10:43:16,854 INFO fs.TestDFSIO:

nrFiles 为生成 mapTask的数量，设置为 CPU核数-1

Number of files：生成 mapTask数量，一般是集群中 CPU核数 -1）

Total MBytes processed：单个 map处理的文件大小

Throughput mb/sec：单个 mapTak的吞吐量

Average IO rate mb/sec：平均 mapTak的吞吐量

IO rate std deviation：方差、反映各个 mapTask处理的差值，越小越均衡

注意：如果测试过程中，出现异常，在 yarn-site.xml中设置虚拟内存检测为 false

<!-- 是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true-->

<property>
    <name>yarn.nodemanager.vmem check enabled</name>
    <value>false</value>
</property>

分发配置并重启 Yarn集群

测试结果分析：

由于副本1在本地，则改副本不参与测试。共计10个文件*2个副本=20个文件。

1.61*20=32M/s 三台服务器均为100Mbps，100/8*3=30M/s

可以认为网络资源都已经用满。

如果实测速度远远小于网络，并且实测速度不能满足工作需求，可以考虑采用固态硬盘或者增加磁盘个数。

如果客服端不在集群节点，则三个副本都参与计算。

读性能

$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient 3.1.3-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB




2021 02 09 11:34:15,847 INFO fs.TestDFSIO: TestDFSIO : read
2021 02 09 11:34:15,847 INFO fs.TestDFSIO: Date & time: Tue Feb 09 11:34:15 CST 2021
2021 02 09 11:34:15,847 INFO fs.TestDFSIO: Number of files: 10
2021 02 09 11:34:15,847 INFO fs.TestDFSIO: Total MBytes processed: 1280
2021 02 09 11:3 4:15,848 INFO fs.TestDFSIO: Throughput mb/sec: 200.28
2021 02 09 11:34:15,848 INFO fs.TestDFSIO: Average IO rate mb/sec: 266.74
2021 02 09 11:34:15,848 INFO fs.TestDFSIO: IO rate std deviation: 143.12
2021 02 09 11:34:15,848 INFO fs.TestDFSIO: Test exec time sec: 20.83


删除测试生成数据
$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient 3.1.3-tests.jar TestDFSIO -clean

测试结果分析：为什么读取文件速度大于网络带宽由于目前只有三台服务器，且有三个副本，数据读取就近原则，相当于都是读取的本地磁盘数据，没有走网络。

HDFS多目录

NameNode多目录配置

NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。

hdfs-site.xml

<property>
    <name>dfs.namenode.name.dir</name>
    <value>
        file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.
dir}/dfs/name2
    </value> 
</property>

DataNode多目录配置

DataNode可以配置成多个目录，每个目录存储的数据不一样，数据不是副本。

hdfs-site.xml

<property>
    <name>dfs.datanode.data.dir</name>
    <value>
        file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.
dir}/dfs/data2
    </value> 
</property>

集群数据均衡之磁盘间数据均衡(Hadoop3.x)

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性）

生成均衡计划 (我们只有一块磁盘，不会生成计划)
hdfs diskbalancer -plan hadoop103

执行均衡计划
hdfs diskbalancer -execute hadoop103.plan.json

查看当前均衡任务的执行情况
hdfs diskbalancer -query hadoop103

取消均衡任务
hdfs diskbalancer -cancel hadoop103.plan.json

HDFS集群扩容及缩容

添加白名单

白名单：表示在白名单的主机
IP地址可以，用来存储数据。

企业中：配置白名单，可以尽量防止黑客恶意访问攻击。

在 NameNode节点的 /opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建 whitelist 和blacklist文件，在 whitelist 中写入可访问节点的主机名称，blacklist 保持空即可

hdfs-site.xml

白名单
<property>
    <name>dfs.hosts</name>
    <value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>

黑名单
<property>
    <name>dfs.hosts.exclude</name>
    <value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>

分发配置文件 whitelist， hdfs-site.xml
第一次添加白名单必须重启集群，不是第一次，只需要刷新 NameNode节点即可。hdfs dfsadmin -refreshNodes

服役新服务器

启动DataNode和NodeManager
添加白名单，分发文件，重启集群
刷新NameNode：hdfs dfsadmin -refreshNodes

服务器间数据均衡

节点之间数据不均衡。

开启数据均衡命令： sbin/start-balancer.sh
-threshold 10

对于参数
10，代表的是集群中各个节点的磁盘空间利用率相差不超过 10%，可根据实际情况进行调整。

停止数据均衡命令: sbin/stop-balancer.sh

由于 HDFS需要启动单独的 Rebalance Server 来执行 Rebalance 操作，所以尽量不要在 NameNode上执行 start-balancer.sh，而是找一台比较空闲的机器。

黑名单退役服务器

黑名单：表示在黑名单的主机
IP地址不可以，用来存储数据。

企业中：配置黑名单，用来退役服务器。

hdfs-site.xml配置文件中增加主机，分发文件。第一次添加黑名单必须重启集群，不是第一次，只需要刷新 NameNode节点即可。

黑名单
<property>
    <name>dfs.hosts.exclude</name>
    <value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>

检查 Web浏览器，退役节点的状态为 decommission in progress（退役中），说明数据节点正在复制块到其他节点
等待退役节点状态为 decommissioned （所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是 3，服役的节点小于等于 3，是不能退役成功的，需要修改副本数后才能退役

HDFS存储优化

MapReduce 生产经验

MR跑得慢的原因

MapReduce 程序效率的瓶颈在于两点：

计算机性能：CPU、内存、磁盘健康、网络
I/O 操作优化
- 数据倾斜
- Map和Reduce数设置不合理
- Map运行时间太长，导致Reduce等待过久
- 小文件过多
- 大量的不可分块的超大文件
- Spill次数过多
- Merge次数过多等

MR调优参数

数据倾斜问题

倾斜现象：

数据频率倾斜——某一个区域的数据量要远远大于其他区域。
数据大小倾斜——部分记录的大小远远大于平均值。

减少数据倾斜的方法：

首先检查是否空值过多造成的数据倾斜，生产环境，可以直接过滤掉空值；如果想保留空值，就自定义分区，将空值加随机数打
散。最后再二次聚合。
抽样和范围分区：可以通过对原始数据进行抽样得到的结果集来预设分区边界值。
自定义分区：基于输出键的背景知识进行自定义分区。例如，如果Map输出键的单词来源于一本书。且其中某几个专业词汇较多。那么就可以自定义分区将这这些专业词汇发送给固定的一部分Reduce实例。而将其他的都发送给剩余的Reduce实例。
Combine：使用Combine可以大量地减小数据倾斜。在可能的情况下，Combine的目的就是聚合并精简数据。
采用Map Join，尽量避免Reduce Join

MR优化方法

MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。

数据输入

合并小文件：在执行MR任务前将小文件进行合并，大量的小文件会产生大量的Map任务，增大Map任务装载次数，而任务的装载比较耗时，从而导致MR运行较慢。
采用CombineTextInputFormat来作为输入，解决输入端大量小文件场景。

Map阶段

减少溢写（Spill）次数：通过调整io.sort.mb及sort.spill.percent参数值，增大触发Spill的内存上限，减少Spill次数，从而减少磁盘IO。
减少合并（Merge）次数：通过调整io.sort.factor参数，增大Merge的文件数目，减少Merge的次数，从而缩短MR处理时间。
在Map之后，不影响业务逻辑前提下，先进行Combine处理，减少 I/O。

Reduce阶段

合理设置Map和Reduce数：两个都不能设置太少，也不能设置太多。太少，会导致Task等待，延长处理时间；太多，会导致Map、Reduce任务间竞争资源，造成处理超时等错误。
设置Map、Reduce共存：调整slowstart.completedmaps参数，使Map运行到一定程度后，Reduce也开始运行，减少Reduce的等待时间。
规避使用Reduce：因为Reduce在用于连接数据集的时候将会产生大量的网络消耗。
合理设置Reduce端的Buffer：默认情况下，数据达到一个阈值的时候，Buffer中的数据就会写入磁盘，然后Reduce会从磁盘中获得所有的数据。也就是说，Buffer和Reduce是没有直接关联的，中间多次写磁盘->读磁盘的过程，既然有这个弊端，那么就可以通过参数来配置，使得Buffer中的一部分数据可以直接输送到Reduce，从而减少IO开销：mapreduce.reduce.input.buffer.percent，默认为0.0。当值大于0的时候，会保留指定比例的内存读Buffer中的数据直接拿给Reduce使用。这样一来，设置Buffer需要内存，读取数据需要内存，Reduce计算也要内存，所以要根据作业的运行情况进行调整。

IO传输

采用数据压缩的方式，减少网络IO的的时间。安装Snappy和LZO压缩编码器。
使用SequenceFile二进制文件。

常用的调优参数。

资源相关参数

以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）

配置参数	参数说明
mapreduce.map.memory.mb	一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。
mapreduce.reduce.memory.mb	一个ReduceTask可使用的资源上限（单位:MB），默认为1024。如果ReduceTask实际使用的资源量超过该值，则会被强制杀死。
mapreduce.map.cpu.vcores	每个MapTask可使用的最多cpu core数目，默认值: 1
mapreduce.reduce.cpu.vcores	每个ReduceTask可使用的最多cpu core数目，默认值: 1
mapreduce.reduce.shuffle.parallelcopies	每个Reduce去Map中取数据的并行数。默认值是5
mapreduce.reduce.shuffle.merge.percent	Buffer中的数据达到多少比例开始写入磁盘。默认值0.66
mapreduce.reduce.shuffle.input.buffer.percent	Buffer大小占Reduce可用内存的比例。默认值0.7
mapreduce.reduce.input.buffer.percent	指定多少比例的内存用来存放Buffer中的数据，默认值是0.0

应该在YARN启动之前就配置在服务器的配置文件中才能生效（yarn-default.xml）

配置参数	参数说明
yarn.scheduler.minimum-allocation-mb	给应用程序Container分配的最小内存，默认值：1024
yarn.scheduler.maximum-allocation-mb	给应用程序Container分配的最大内存，默认值：8192
yarn.scheduler.minimum-allocation-vcores	每个Container申请的最小CPU核数，默认值：1
yarn.scheduler.maximum-allocation-vcores	每个Container申请的最大CPU核数，默认值：32
yarn.nodemanager.resource.memory-mb	给Containers分配的最大物理内存，默认值：8192

Shuffle性能优化的关键参数，应在YARN启动之前就配置好（mapred-default.xml）

配置参数	参数说明
mapreduce.task.io.sort.mb	Shuffle的环形缓冲区大小，默认100m
mapreduce.map.sort.spill.percent	环形缓冲区溢出的阈值，默认80%

容错相关参数

配置参数	参数说明
mapreduce.map.maxattempts	每个Map Task最大重试次数，一旦重试参数超过该值，则认为Map Task运行失败，默认值：4。
mapreduce.reduce.maxattempts	每个Reduce Task最大重试次数，一旦重试参数超过该值，则认为Map Task运行失败，默认值：4。
mapreduce.task.timeout	Task超时时间，经常需要设置的一个参数，该参数表达的意思为：如果一个Task在一定时间内没有任何进入，即不会读取新的数据，也没有输出数据，则认为该Task处于Block状态，可能是卡住了，也许永远会卡住，为了防止因为用户程序永远Block住不退出，则强制设置了一个该超时时间（单位毫秒），默认是600000。如果你的程序对每条输入数据的处理时间过长（比如会访问数据库，通过网络拉取数据等），建议将该参数调大，该参数过小常出现的错误提示是“AttemptID:attempt_14267829456721_123456_m_000224_0 Timed out after 300 secsContainer killed by the ApplicationMaster.”。

HDFS小文件优化方法

DFS上每个文件都要在NameNode上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用NameNode的内存空间，另一方面就是索引文件过大使得索引速度变慢。

小文件的优化无非以下几种方式：

在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。
在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并。
在MapReduce处理时，可采用CombineTextInputFormat提高效率。

Hadoop Archive：是一个高效地将小文件放入HDFS块中的文件存档工具，它能够将多个小文件打包成一个HAR文件，这样就减少了NameNode的内存使用。

Sequence File： Sequence File由一系列的二进制key/value组成，如果key为文件名，value为文件内容，则可以将大批小文件合并成一个大文件。

CombineFileInputFormat：CombineFileInputFormat是一种新的InputFormat，用于将多个文件合并成一个单独的Split，另外，它会考虑数据的存储位置。

开启JVM重用：对于大量小文件Job，可以开启JVM重用会减少45%运行时间。JVM重用原理：一个Map运行在一个JVM上，开启重用的话，该Map在JVM上运行完毕后，JVM继续运行其他Map。具体设置：mapreduce.job.jvm.numtasks值在10-20之间。

Hadoop11-源码解析

Hadoop07-MapReduce框架原理