大数据最全HadoopHadoop-编译源码,2024年最新大数据开发开发谈

JAY.LIN 收录于未分类

2024-05-15 约 1250 字预计阅读 3 分钟

https://bing.ee123.net/img/rand?artid=138906831

大数据最全【Hadoop】Hadoop 编译源码，2024年最新大数据开发开发谈

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

为什么要源码编译

Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries) 的概念。
说白了，就是Hadoop的某些功能，必须通过JNT来协调Java类文件和Native代码生成的库文件一起才能工作。
linux系统要运行Native 代码，首先要将Native 编译成目标CPU 架构的[.so]文件。而不同的处理器架构，需要编译出相应平台的动态库[.so] 文件，才能被正确的执行，所以最好重新编译一次hadoop源码，让[.so]文件与自己处理器相对应。
简单来说就是编译出适合自己机器的Hadoop。

Hadoop 编译源码

1前期工作准备

CentOS 联网
配置 CentOS 能连接外网。Linux 虚拟机 ping 是畅通的。
jar 包准备（hadoop 源码、JDK8、maven、ant 、protobuf）
① hadoop-2.7.7-src.tar.gz
② jdk-8u151-linux-x64.tar.gz
③ apache-ant-1.9.9-bin.tar.gz（build 工具，打包用的）
④ apache-maven-3.0.5-bin.tar.gz
⑤ protobuf-2.5.0.tar.gz（序列化的框架）

2jar 包安装

参考我的另一篇博客：【Linux】Linux上的一些软件安装与环境配置（Centos7配置JDK、Hadoop）

2.1安装 Maven

下载地址：链接：https://pan.baidu.com/s/1qp_LhRMvqpIXXznbDdK3kw?pwd=6666 提取码：6666
上传到/root/soft
解压到/opt/module/

tar -zxvf apache-maven-3.8.4-bin.tar.gz -C /opt/module/

配置环境变量

 vim /etc/profile #添加以下内容
export MAVEN_HOME=/opt/module/apache-maven-3.8.4
export PATH=$PATH:$MAVEN_HOME/bin

    #生效
    source /etc/profile

进入解压后的 Maven 目录，编辑配置文件（更改 Maven 镜像）

<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

查看 Maven 是否安装成功

2.2 安装 ant

下载地址：链接：https://pan.baidu.com/s/1_5AU5KjwjWBZoNEYwVj5sw?pwd=6666 提取码：6666
上传到/root/soft
解压到/opt/module/

tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/module/

配置环境变量

vim /etc/profile

#添加以下内容
#ANT_HOME
export ANT_HOME=/opt/module/apache-ant-1.9.9
export PATH=$PATH:$ANT_HOME/bin

#生效
source /etc/profile

查看 ant 是否安装成功

2.3 安装 glibc-headers 和 g++

yum install glibc-headers

yum install gcc-c++

2.4 安装 make 和 cmake

 yum install make

 yum install cmake

既有适合小白学习的零基础资料，也有适合 3 年以上经验的小伙伴深入学习提升的进阶课程，涵盖了 95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

小伙伴深入学习提升的进阶课程，涵盖了 95%以上大数据知识点，真正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新