• apache dophinscheduler 3.1.0 编译


    源码编译

    从github下载apache dophinscheduler 3.1.0的源码,解压

    编译

    mvn clean install -Prelease
    
    • 1

    跳过测试、注释、格式检查, IntelliJ IDEA 编译需加单引号 windows下命令行输入

    mvn clean install -Prelease -Dmaven.test.skip=true -Dcheckstyle.skip=true -Dmaven.javadoc.skip=true
    
    • 1

    编译报错
    编译报错可能是镜像的问题,解决方案,修改pom文件 D:\github\dolphinscheduler-3.1.0\pom.xml
    找到spotlesss-maven-plugin插件,然后注释掉, 重新编译源码。

    mvn clean package -Prelease -Dmaven.test.skip=true -Dcheckstyle.skip=true -Dmaven.javadoc.skip=true
    
    • 1

    生成tar包所在路径如下所示:

    dolphinscheduler-3.1.0/dolphinscheduler-dist/target
    
    • 1

    Standalone部署

    使用root 用户部署, 启动standalone-server

    /opt/DS/apache-dolphinscheduler-3.1.0-bin/bin/dolphinscheduler-daemon.sh start standalone-server
    /opt/DS/apache-dolphinscheduler-3.1.0-bin/bin/dolphinscheduler-daemon.sh stop standalone-server
    /opt/apache-dolphinscheduler-3.1.0-bin/bin/dolphinscheduler-daemon.sh status standalone-server
    
    • 1
    • 2
    • 3

    查看日志

    tail -f /opt/DS/apache-dolphinscheduler-3.1.0-bin/standalone-server/logs/dolphinscheduler-standalone.log
    
    • 1

    登录页面

    http://192.168.3.201:12345/dolphinscheduler/ui/
    
    • 1

    账号密码

    admin/dolphinscheduler123
    
    • 1

    使用内置的H2数据库, 数据质量的规则列表查询有问题,所以使用mysql作为数据库。配置mysql数据库、hadoop、spark的环境变量
    修改文件 /opt/DS/apache-dolphinscheduler-3.1.0-bin/bin/env/dolphinscheduler_env.sh

    export DATABASE=${DATABASE:-mysql}
    export SPRING_PROFILES_ACTIVE=${DATABASE}
    export SPRING_DATASOURCE_DRIVER_CLASS_NAME=com.mysql.cj.jdbc.Driver
    export SPRING_DATASOURCE_URL=jdbc:mysql://192.168.3.212:3306/dolphinscheduler3?characterEncoding=utf-8
    export SPRING_DATASOURCE_USERNAME=root
    export SPRING_DATASOURCE_PASSWORD=xxxxx
    
    export HADOOP_HOME=${HADOOP_HOME:-=/home/hadoop/hadoop/hadoop-2.8.5}
    export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/home/hadoop/hadoop/hadoop-2.8.5/etc/hadoop}
    export SPARK_HOME2=${SPARK_HOME2:-/home/hadoop/spark/spark-2.4.8-bin-hadoop2.7}
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    拷贝mysql-connector-java 到standalone-server的lib目录

    /opt/dolphinscheduler/apache-dolphinscheduler-3.1.0-bin/standalone-server/libs/standalone-server
    
    • 1

    启动服务即可!

  • 相关阅读:
    【无标题】
    IP代理安全吗?如何防止IP被限制访问?
    RISC-V架构——中断委托和中断注入
    ubuntu环境下通过apt-get安装软件 nginx 怎么配置文件
    在window10下python:ocr实战
    腾讯云4核8G服务器选CVM还是轻量比较好?价格对比
    LeetCode·707.设计链表·架构题
    【C语言】详解 malloc 、calloc函数的区别
    第5节-PhotoShop基础课程-颜色模式
    【快应用】网络图片保存到相册失败案例
  • 原文地址:https://blog.csdn.net/windydreams/article/details/127678233