• apache dophinscheduler 3.1.0 编译


    源码编译

    从github下载apache dophinscheduler 3.1.0的源码,解压

    编译

    mvn clean install -Prelease
    
    • 1

    跳过测试、注释、格式检查, IntelliJ IDEA 编译需加单引号 windows下命令行输入

    mvn clean install -Prelease -Dmaven.test.skip=true -Dcheckstyle.skip=true -Dmaven.javadoc.skip=true
    
    • 1

    编译报错
    编译报错可能是镜像的问题,解决方案,修改pom文件 D:\github\dolphinscheduler-3.1.0\pom.xml
    找到spotlesss-maven-plugin插件,然后注释掉, 重新编译源码。

    mvn clean package -Prelease -Dmaven.test.skip=true -Dcheckstyle.skip=true -Dmaven.javadoc.skip=true
    
    • 1

    生成tar包所在路径如下所示:

    dolphinscheduler-3.1.0/dolphinscheduler-dist/target
    
    • 1

    Standalone部署

    使用root 用户部署, 启动standalone-server

    /opt/DS/apache-dolphinscheduler-3.1.0-bin/bin/dolphinscheduler-daemon.sh start standalone-server
    /opt/DS/apache-dolphinscheduler-3.1.0-bin/bin/dolphinscheduler-daemon.sh stop standalone-server
    /opt/apache-dolphinscheduler-3.1.0-bin/bin/dolphinscheduler-daemon.sh status standalone-server
    
    • 1
    • 2
    • 3

    查看日志

    tail -f /opt/DS/apache-dolphinscheduler-3.1.0-bin/standalone-server/logs/dolphinscheduler-standalone.log
    
    • 1

    登录页面

    http://192.168.3.201:12345/dolphinscheduler/ui/
    
    • 1

    账号密码

    admin/dolphinscheduler123
    
    • 1

    使用内置的H2数据库, 数据质量的规则列表查询有问题,所以使用mysql作为数据库。配置mysql数据库、hadoop、spark的环境变量
    修改文件 /opt/DS/apache-dolphinscheduler-3.1.0-bin/bin/env/dolphinscheduler_env.sh

    export DATABASE=${DATABASE:-mysql}
    export SPRING_PROFILES_ACTIVE=${DATABASE}
    export SPRING_DATASOURCE_DRIVER_CLASS_NAME=com.mysql.cj.jdbc.Driver
    export SPRING_DATASOURCE_URL=jdbc:mysql://192.168.3.212:3306/dolphinscheduler3?characterEncoding=utf-8
    export SPRING_DATASOURCE_USERNAME=root
    export SPRING_DATASOURCE_PASSWORD=xxxxx
    
    export HADOOP_HOME=${HADOOP_HOME:-=/home/hadoop/hadoop/hadoop-2.8.5}
    export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/home/hadoop/hadoop/hadoop-2.8.5/etc/hadoop}
    export SPARK_HOME2=${SPARK_HOME2:-/home/hadoop/spark/spark-2.4.8-bin-hadoop2.7}
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    拷贝mysql-connector-java 到standalone-server的lib目录

    /opt/dolphinscheduler/apache-dolphinscheduler-3.1.0-bin/standalone-server/libs/standalone-server
    
    • 1

    启动服务即可!

  • 相关阅读:
    二维码登录的原理
    第八章 小程序后端开发
    分久必合?数据库进入“超”融合时代 | 爱分析调研
    JavaScript 模块导出示例
    k8s--基础--21--Statefulset
    基于java+SpringBoot+HTML+Mysql二手物品购物网站
    网络面试-0x10地址栏输入URL敲入回车后发生了什么?
    Linux系列讲解 —— 【fsck】检查并修复Linux文件系统
    Windows下 Qt + OpenCV 开发环境搭建
    【具身智能模型1】PaLM-E: An Embodied Multimodal Language Model
  • 原文地址:https://blog.csdn.net/windydreams/article/details/127678233