• DolphinScheduler-安装


    DolphinScheduler-安装

    1、上传解压

    tar -zxvf DolphinScheduler-bin.tar.gz

    2、修改配置文件

    cd conf
    2.1、修改mysql链接配置
    vim datasource.properties
    修改一下配置
    spring.datasource.driver-class-name=com.mysql.jdbc.Driver
    spring.datasource.url=jdbc:mysql://node1:3306/dolphinscheduler?characterEncoding=UTF-8&allowMultiQueries=true
    spring.datasource.username=root
    spring.datasource.password=123456

    2.2、修改安装配置
    vim config/install_config.conf
    mysql地址
    dbhost="master:3306"
    mysql用户名
    username="root"
    数据库名
    dbname="dolphinscheduler"
    mysql密码
    password="123456"
    zookeeper链接地址
    zkQuorum="master:2181" --- 如果是分布式的话,就不是这样了,每个节点都需要配
    dolphinscheduler安装路径
    installPath="/usr/local/soft/dolphinscheduler"

    安装用户
    deployUser="root"

    配置邮箱服务器,需要开启邮箱smtp服务
    mailServerHost="smtp.163.com"
    端口号
    mailServerPort="25"
    邮箱地址
    mailSender="mllib_fiy@163.com"
    用户名和邮箱地址一致
    mailUser="mllib_fiy@163.com"
    邮箱密码
    mailPassword="PQUFLTJBDEASRRSX"

    starttlsEnable="false"

    hdfs访问地址
    defaultFS="hdfs://master:9000"
    dolphinscheduler上传到hdfs路径
    resourceUploadPath="/dolphinscheduler"
    上传文件使用的用户名
    hdfsRootUser="root"

    2.3、修改环境变量
    vim env/dolphinscheduler_env.sh

    export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
    export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
    export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.7.6/etc/hadoop
    export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6
    export SPARK_HOME2=/usr/local/soft/spark-2.4.5
    export DATAX_HOME=/usr/local/soft/datax/bin/datax.py

    export PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$DATAX_HOME:$PATH

    3、初始化数据库

    进入mysql创建dolphinscheduler数据库
    mysql -uroot -p123456
    CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

    执行脚本创建表
    cd /usr/local/soft/DolphinScheduler-bin/script
    sh create-dolphinscheduler.sh

    启动zk 如果是多节点,每一节点中都需要启动
    zkServer.sh start

    4、一键部署

    sh install.sh

    安装好之后可以到/usr/local/soft/dolphinscheduler/log查看日志

    5、访问dolphinscheduler,用户名:admin , 密码:dolphinscheduler123

    http://192.168.129.201:12345/dolphinscheduler

    使用dolphinscheduler

    1、创建root租户--用于执行脚本的用户(权限)
    2、将租户赋权给admin用户
    3、创建项目
    4、创建流程

    6 . 自己随便乱点

    用户:登录时候用到。

    租户:在用户里面可以创建多个租户

    6.1 在安全中心创建租户和用户,并对安全 做出保障,小组做管理

    6.2 可以在数据元中心建立对各种数据的连接

    6.3 最重要的就是资源中心和项目管理

    在资源中心可以上传我们的脚本和jar包,然后进行定时调度

    在项目管理中创建工作流,负责上线下线

  • 相关阅读:
    JAVA学习(年薪计算器)
    Linux系统编程(四)——signal信号处理
    Flask的 preprocess_request
    0.基本概念——数据结构学习
    用docker搭载redis集群
    Asp.Net Core服务端处理请求过来的压缩格式
    【并联有源电力滤波器】基于pq理论的并联有源电力滤波器(Simulink)
    驱动开发--创建设备文件--控制LED灯
    【mq】从零开始实现 mq-07-负载均衡 load balance
    Ble Mesh的Heatbeat
  • 原文地址:https://blog.csdn.net/weixin_48370579/article/details/126258614