dolphinscheduler2.0.3搭建+Kerberos+hadoop结合

dolphinscheduler官网只是给出了搭建方式 具体使用中需要和hdfs结合的话需要配置更多参数

如果配置了数据目录不会自动创建，记得自己手动创建一下

例子

data.basedir.path=/data/dsdata

初次搭建的时候可以直接设置成kerberos模式
kerberosStartUp="true"
krb5ConfPath="/etc/krb5.conf"
keytabUserName="hdfs/hdfs"
keytabPath="/var/lib/keytab/hdfs.keytab"
kerberosExpireTime="24"
记得要用能操作hdfs的用户

服务目录需要
ln -s /etc/hadoop/conf/core-site.xml  .
ln -s /etc/hadoop/conf/hdfs-site.xml  .
1
2
3
4
5
6
7
8
9
10
11
12
13

搭建完成之后的配置存放在 conf下的 common.properties 中 初步搭建完成之后可以修改这里的配置来进行调整

跟hadoop有关需要调整的配置有下面几个

不配置kerberos的话只需要这几个
# resource storage type: HDFS, S3, NONE
resource.storage.type=HDFS  

fs.defaultFS=hdfs://nameservice1 #ha模式下不仅需要配置ha的地址，同时需要把core-site.xml和hdfs-site.xml放到conf目录下
cd到你部署ds的conf目录下
ln -s /etc/hadoop/conf/core-site.xml  .
ln -s /etc/hadoop/conf/hdfs-site.xml  .

kerberos下还需要配置这几个

# whether to startup kerberos
hadoop.security.authentication.startup.state=true

# java.security.krb5.conf path
java.security.krb5.conf.path=/etc/krb5.conf

# login user from keytab username
login.user.keytab.username=hdfs/hdfs@TEST.COM #需要一个可以操作hdfs的用户 我复用了hive的用户不行，后来在kerbers上新生成了这个用户

# login user from keytab path
login.user.keytab.path= /var/lib/keytab/hdfs.keytab # key要把属主属组改成ds的 不然没权限

# kerberos expire time, the unit is hour
kerberos.expire.time=24
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

然后移动到

conf下的env 修改dolphinscheduler_env.sh

修改默认的配置

export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_CONF_DIR=/etc/hadoop/conf
export YARN_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-yarn
export FLINK_HOME=/data/flink-1.12.1
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export ZOOKEEPER_HOME=/opt/cloudera/parcels/CDH/lib/zookeeper
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export JAVA_HOME=/usr/local/jdk
export DATAX_HOME=/data/datax
export PYTHON_HOME=/usr/bin/python3
export KAFKA_HOME=/opt/cloudera/parcels/CDH/lib/kafka
export SOLR_HOME=/opt/cloudera/parcels/CDH/lib/solr
export IMPALA_HOME=/opt/cloudera/parcels/CDH/lib/impala
export HADOOP_COMMON_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_HDFS_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-hdfs
export HADOOP_MAPRED_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:
$PATH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

按照你的环境进行更改 注意最下面的SPARK1改成删掉1，改成SPARK

我是基于cdh的 如果你也是cdh 那应该只需要修改datax flink 其他都可以复制我的

配置完成之后 回到最上级目录

sh ./bin/stop-all.sh

sh ./bin/start-all.sh

打开web ui

资源中心—文件管理—随便创建一个文件夹 成功了就是配置完成 失败 需要去master的logs里查

dolphinscheduler-api.log

这个日志 排查问题

如果是kerberos环境则需要先建立租户

安全中心–租户管理–创建租户—这个租户用服务器上已经有的用户即可 我直接复用了dolphinscheduler

然后在用户管理里创建一个新用户或者把admin 放到你的租户下

然后使用你已经放到租户下的用户去

资源中心—文件管理—随便创建一个文件夹 成功了就是配置完成 失败 需要去master的logs里查