02-Hadoop编译源码

Hadoop编译源码（面试重点）

准备工作

（1）系统联网，或者有yum源

（2）hadoop-2.7.2-src.tar.gz

进入hadoop-2.7.2-src文件夹，查看BUILDING.txt

cd hadoop-2.7.2-src

more BUILDING.txt

可以看到编译所需的库或者工具

（3）jdk-8u144-linux-x64.tar.gz

（4）apache-ant-1.9.9-bin.tar.gz（build工具，打包用的）

（5）apache-maven-3.0.5-bin.tar.gz

（6）protobuf-2.5.0.tar.gz（序列化的框架）

（7）apache-tomcat-6.0.44.tar.gz

配置jdk

验证命令：java -version

配置Maven

[root@hadoop101 apache-maven-3.0.5]# vi conf/settings.xml

<mirrors>

<!-- mirror

| Specifies a repository mirror site to use instead of a given repository. The repository that

| this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used

| for inheritance and direct lookup purposes, and must be unique across the set of mirrors.

|
<mirror>
    <id>mirrorId</id>
    <mirrorOf>repositoryId</mirrorOf>
    <name>Human Readable Name for this Mirror.</name>
    <url>http://my.repository.com/repo/path</url>
</mirror>
-->

<mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>central</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
</mirrors>

[root@hadoop101 apache-maven-3.0.5]# vi /etc/profile

:' #MAVEN_HOME '
export MAVEN_HOME=/opt/module/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin

[root@hadoop101 software]#source /etc/profile

验证命令：mvn -version

配置ant

[root@hadoop101 apache-ant-1.9.9]# vi /etc/profile

:' #ANT_HOME '
export ANT_HOME=/opt/module/apache-ant-1.9.9
export PATH=$PATH:$ANT_HOME/bin

[root@hadoop101 software]#source /etc/profile

验证命令：ant -version

安装 g++、make、cmake等库

[root@hadoop101 apache-ant-1.9.9]# yum install glibc-headers

[root@hadoop101 apache-ant-1.9.9]# yum -y install svn ncurses-devel gcc*

[root@hadoop101 apache-ant-1.9.9]# yum install make

[root@hadoop101 apache-ant-1.9.9]# yum install cmake

[root@hadoop101 apache-ant-1.9.9]# yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel

安装protobuf

[root@hadoop101 protobuf-2.5.0]#./configure

[root@hadoop101 protobuf-2.5.0]# make

[root@hadoop101 protobuf-2.5.0]# make check

[root@hadoop101 protobuf-2.5.0]# make install

[root@hadoop101 protobuf-2.5.0]# ldconfig

[root@hadoop101 hadoop-dist]# vi /etc/profile

:' #LD_LIBRARY_PATH '
export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0
export PATH=$PATH:$LD_LIBRARY_PATH

[root@hadoop101 software]#source /etc/profile

验证命令：protoc —version

安装findbugs

解压：tar -zxvf findbugs-3.0.1.tar.gz -C /opt/moudles/

配置环境变量:

在 /etc/profile 文件末尾添加：

export FINDBUGS_HOME=/opt/findbugs-3.0.1
export PATH=$PATH:$FINDBUGS_HOME/bin

保存退出，并使更改生效。

验证命令：findbugs -version

编译源码

1.进入到源码目录

[root@hadoop101 hadoop-2.7.2-src]# pwd

/opt/hadoop-2.7.2-src

2.通过maven执行编译命令

[root@hadoop101 hadoop-2.7.2-src]#mvn package -Pdist,native -DskipTests -Dtar

编译过程中会下载 apache-tomcat-6.0.44.tar.gz，速度非常慢，把提前下载好的文件放到如下目录：

注：编译前这两个目录并不存在，编译过程中及时中断，然后复制文件

hadoop-2.7.2-src/hadoop-common-project/hadoop-kms/downloads/

hadoop-2.7.2-src/hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads

等待时间30分钟左右，最终成功是全部SUCCESS，如图

成功的64位hadoop包在/opt/hadoop-2.7.2-src/hadoop-dist/target下

编译源码过程中常见的问题及解决方案

（1）MAVEN install时候JVM内存溢出

处理方式：在环境配置文件和maven的执行文件均可调整MAVEN_OPT的heap大小。（详情查阅MAVEN 编译 JVM调优问题，如：http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method）

（2）编译期间maven报错。可能网络阻塞问题导致依赖库下载不完整导致，多次执行命令（一次通过比较难）：

[root@hadoop101 hadoop-2.7.2-src]#mvn package -Pdist,native -DskipTests -Dtar

（3）报ant、protobuf等错误，插件下载未完整或者插件版本问题，最开始链接有较多特殊情况，同时推荐2.7.0版本的问题汇总帖子 http://www.tuicool.com/articles/IBn63qf