• hudi安装


    一、下载安装包

    进入hudi官网:
    https://hudi.apache.org/releases/download

    下载安装包:在这里插入图片描述
    我这里下载最新版0.11.1

    二、上传服务器并编译

    如下图,这里上传到/usr/local/hudi目录下,并解压到该目录下

    在这里插入图片描述
    我这边服务器安装的是cdh5.16.2,hadoop版本是2.6.0的,scala版本是2.11.8。
    如下图:
    在这里插入图片描述

    在这里插入图片描述

    编译

    编译:

    cd /usr/local/hudi/hudi-0.11.1
    mvn clean install -DskipTests -Drat.skip=true -Dscala-2.11
    
    • 1
    • 2

    在这里插入图片描述
    如果你的服务器已经安装有maven,那么就应该在编译了,可以跳过maven安装过程。
    注意:maven版本最好在3.8以上。

    我这个服务器没有安装maven,说没有mvn命令,所以需要安装一下:

    ==============================================================================

    安装maven

    maven官方网站下载

    下载最新的3.8.6版本
    在这里插入图片描述

    上传服务器后,解压命令如下:

     tar -zxvf apache-maven-3.8.6-bin.tar.gz
    
    • 1

    可以修改conf/settings.xml,资源设置成阿里镜像:

    	<mirror>
          <id>alimaven</id>
          <name>aliyun maven</name>
          <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
          <mirrorOf>central</mirrorOf>        
        </mirror>
    	
    	<mirror>
    		<id>alimaven</id>
    		<mirrorOf>central</mirrorOf>
    		<name>aliyun maven</name>
    		<url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
    	</mirror>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13

    配置maven:

    vim /etc/profile
    
    • 1

    把maven路径添加进来,写自己的maven路径:

    export MAVEN_HOME=/usr/local/apache-maven-3.8.6
    export PATH=$MAVEN_HOME/bin:$PATH
    
    • 1
    • 2

    最后应用一下:
    source /etc/profile

    maven安装完成:
    在这里插入图片描述

    ============================================================================

    在次运行编译命令:

    cd /usr/local/hudi/hudi-0.11.1
    mvn clean install -DskipTests -Drat.skip=true -Dscala-2.11
    
    • 1
    • 2

    如下图,开始正常编译了:
    在这里插入图片描述

    遇到的问题

    在这里插入图片描述

    原因:设置的hadoop版本不匹配,我之前设置的hadoop是2.6.0,因为hudi编译版本要是在2.7+
    解决:把命令后面设置hadoop版本的给去掉,或者设置为高版本的。

  • 相关阅读:
    【FusionInsight 迁移】HBase从C50迁移到6.5.1(03)6.5.1上准备Loader
    DeepLab-LargeFOV--学习笔记
    ARR过亿,甄云科技姚一鸣:奔向数字采购标准化时代
    云计算的发展趋势和挑战
    主动免疫可信计算打造安全可信网络产业生态体系
    node框架之express
    Nacos服务注册
    Lumiprobe 活性染料丨杂染料:BDP FL 神经酰胺
    Linux入门教程||Linux系统目录结构
    Docker完整版(一)
  • 原文地址:https://blog.csdn.net/weixin_36939535/article/details/125595536