• hudi安装


    一、下载安装包

    进入hudi官网:
    https://hudi.apache.org/releases/download

    下载安装包:在这里插入图片描述
    我这里下载最新版0.11.1

    二、上传服务器并编译

    如下图,这里上传到/usr/local/hudi目录下,并解压到该目录下

    在这里插入图片描述
    我这边服务器安装的是cdh5.16.2,hadoop版本是2.6.0的,scala版本是2.11.8。
    如下图:
    在这里插入图片描述

    在这里插入图片描述

    编译

    编译:

    cd /usr/local/hudi/hudi-0.11.1
    mvn clean install -DskipTests -Drat.skip=true -Dscala-2.11
    
    • 1
    • 2

    在这里插入图片描述
    如果你的服务器已经安装有maven,那么就应该在编译了,可以跳过maven安装过程。
    注意:maven版本最好在3.8以上。

    我这个服务器没有安装maven,说没有mvn命令,所以需要安装一下:

    ==============================================================================

    安装maven

    maven官方网站下载

    下载最新的3.8.6版本
    在这里插入图片描述

    上传服务器后,解压命令如下:

     tar -zxvf apache-maven-3.8.6-bin.tar.gz
    
    • 1

    可以修改conf/settings.xml,资源设置成阿里镜像:

    	<mirror>
          <id>alimaven</id>
          <name>aliyun maven</name>
          <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
          <mirrorOf>central</mirrorOf>        
        </mirror>
    	
    	<mirror>
    		<id>alimaven</id>
    		<mirrorOf>central</mirrorOf>
    		<name>aliyun maven</name>
    		<url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
    	</mirror>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13

    配置maven:

    vim /etc/profile
    
    • 1

    把maven路径添加进来,写自己的maven路径:

    export MAVEN_HOME=/usr/local/apache-maven-3.8.6
    export PATH=$MAVEN_HOME/bin:$PATH
    
    • 1
    • 2

    最后应用一下:
    source /etc/profile

    maven安装完成:
    在这里插入图片描述

    ============================================================================

    在次运行编译命令:

    cd /usr/local/hudi/hudi-0.11.1
    mvn clean install -DskipTests -Drat.skip=true -Dscala-2.11
    
    • 1
    • 2

    如下图,开始正常编译了:
    在这里插入图片描述

    遇到的问题

    在这里插入图片描述

    原因:设置的hadoop版本不匹配,我之前设置的hadoop是2.6.0,因为hudi编译版本要是在2.7+
    解决:把命令后面设置hadoop版本的给去掉,或者设置为高版本的。

  • 相关阅读:
    python psutil模块获取系统磁盘|CPU|内存Memory|时区TimeZone等信息
    C++ 就地构造对象
    CPU性能分析--火焰图使用
    easy-rules规则引擎最佳落地实践
    springboot中使用rabbitmq
    Linux 安装 Android SDK
    【前端】特效开发
    supervisor—进程管理神器
    vi配置文件.vimrc内容示例
    阿里巴巴 Github 星标 57.9KJava 面试突击汇总(全彩版)首次公开
  • 原文地址:https://blog.csdn.net/weixin_36939535/article/details/125595536