DolphinScheduler 集群部署

安装

上传相关组件
apache-dolphinscheduler-2.0.5-bin.tar.gz
mysql-connector-java-8.0.16.jar

解压

tar -zxvf apache-dolphinscheduler-2.0.5-bin.tar.gz
1

启动

service mysqld start
1

查看状态

service mysqld status
1

登录

mysql -u root -proot123456
1

创建元数据库

mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; 
1

创建用户

mysql> CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler'; 
1

赋予用户相应权限

mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%'; 
mysql> flush privileges;
1
2

修改解压目录下的 conf/config 目录下的install_config.conf 文件

vim /software/apache-dolphinscheduler-2.0.5-bin/conf/config/install_config.conf
1

install_config.conf

# 将要部署任一 DolphinScheduler 服务的服务器主机名或 ip 列表
ips="hadoop100,hadoop101,hadoop102" 

# master 所在主机名列表，必须是 ips 的子集 
masters="hadoop100" 

# worker 主机名及队列，此处的 ip 必须在 ips 列表中 
workers="hadoop100:default,hadoop101:default,hadoop102:default" 

# 告警服务所在服务器主机名 
alertServer="hadoop100"

# api 服务所在服务器主机名 
apiServers="hadoop100"

# DS安装路径，如果不存在会创建 
installPath="/opt/module/dolphinscheduler"

# 部署用户
deployUser="root"

# 配置javaHome
javaHome="/usr/java/jdk1.8.0_311-amd64"

# 配置mysql数据库
DATABASE_TYPE="mysql"

# 配置数据库连接（注意ssl要配）
SPRING_DATASOURCE_URL="jdbc:mysql://hadoop100:3306/dolphinscheduler?useUnicode=true&characterEncoding=utf8&useSSL=false"

# 注册中心地址，即 Zookeeper 集群的地址 
registryServers="hadoop100:2181,hadoop101:2181,hadoop102:2181" 

# 资源存储类型
resourceStorageType="HDFS"

# hdfs地址
defaultFS="hdfs://hadoop100:8020"

#Yarn地址
singleYarnIp="hadoop100"

hdfsRootUser="root"
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

查看install_config.conf 和 /etc/ssh/sshd_config 端口是否一致

编辑用户vim /etc/sudoers，添加

chen    ALL=(ALL)       NOPASSWD:ALL
1

查看$JAVA_HOME路径

echo $JAVA_HOME
1

拷贝 MySQL 驱动到 DolphinScheduler 的解压目录下的 lib 中，要求使用 MySQL JDBC Driver 8.0.16

cp /software/mysql-connector-java-8.0.16.jar /software/apache-dolphinscheduler-2.0.5-bin/lib/
1

初始化数据库

/software/apache-dolphinscheduler-2.0.5-bin/script/createdolphinscheduler.sh
1

一键部署

启动 Zookeeper 集群
/home/zk.sh start

启动 Hadoop 集群
/home/hadoop.sh start

一键部署并启动
/software/apache-dolphinscheduler-2.0.5-bin/install.sh

部署完成可以删除解压目录
rm -rf /software/apache-dolphinscheduler-2.0.5-bin/

DolphinScheduler UI

地址 http://hadoop100:12345/dolphinscheduler
用户名为：admin，密码为 dolphinscheduler123

启停命令

一键启停所有服务 (注意同 Hadoop 的启停脚本进行区分)
./bin/start-all.sh
./bin/stop-all.sh

启停 Master
./bin/dolphinscheduler-daemon.sh start master-server
./bin/dolphinscheduler-daemon.sh stop master-server

启停 Worker
./bin/dolphinscheduler-daemon.sh start worker-server
./bin/dolphinscheduler-daemon.sh stop worker-server

启停 Api
./bin/dolphinscheduler-daemon.sh start api-server
./bin/dolphinscheduler-daemon.sh stop api-server

启停 Logger
./bin/dolphinscheduler-daemon.sh start logger-server
./bin/dolphinscheduler-daemon.sh stop logger-server

启停 Alert
./bin/dolphinscheduler-daemon.sh start alert-server
./bin/dolphinscheduler-daemon.sh stop alert-server