dolphinscheduler3.0beta搭建+hadoop+kerberos

按照官网的流程先把大致的东西搭建出来  ，这里就不赘述了

具体使用中需要和hdfs结合的话需要配置更多参数

如果你的大数据平台也是cdh 那可以直接复用我的环境

注意最下面的SPARK1那里我删掉1，改成SPARK了  最下面的输出也要跟着改下 

export HADOOP_HOME=${HADOOP_HOME:-/opt/cloudera/parcels/CDH/lib/hadoop}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/etc/hadoop/conf}
#export SPARK_HOME1=${SPARK_HOME1:-/opt/soft/spark1}
export SPARK_HOME=${SPARK_HOME:-/opt/cloudera/parcels/CDH/lib/spark}
export PYTHON_HOME=${PYTHON_HOME:-/usr/local/python3.6.11}
export HIVE_HOME=${HIVE_HOME:-/opt/cloudera/parcels/CDH/lib/hive}
export FLINK_HOME=${FLINK_HOME:-/data/flink-1.13.6}
export DATAX_HOME=${DATAX_HOME:-/data/datax}

注意ds3必须要用flink1.13以上的版本 

搭完之后应该是访问不了的 ，因为部署脚本有bug ，没有分发mysql包到api-server上

我的ds部署位置是/data/dolphinscheduler-3-beta 下面都按此举例

cp /data/apache-dolphinscheduler-3.0.0-beta-2-bin/tools/libs/mysql-connector-java-8.0.16.jar  /data/apache-dolphinscheduler-3.0.0-beta-2-bin/api-server/mysql-connector-java-8.0.16.jar 

记得把包分发到所有节点的所有服务 ， alert-server  api-server master-server  worker-server 命令只是换换位置，不再赘述。

部署脚本的权限也有问题，手动设置一下 

chown -R dolphinscheduler:dolphinscheduler  /data/dolphinscheduler-3-beta/

把权限处理一下  这会再stop-all start-all 应该可以访问了 

搭建完成之后的配置存放在 conf下的 common.properties 中 初步搭建完成之后可以修改这里的配置来进行调整

随便找个服务修改conf下的common.properties文件

需要修改的部分如下
hadoop.security.authentication.startup.state=true
data.basedir.path=/data/dsdata   ds文件的存储位置  记得自己手动创建
resource.storage.type=HDFS 
java.security.krb5.conf.path=/etc/krb5.conf 指定krb5文件的位置
login.user.keytab.username=hdfs/supergroup@CDP.PROD 指定kerberos用户名
这个用户需要拥有对hdfs的操作权限 可以自己先kinit完了测试一下
login.user.keytab.path=/var/lib/keytab/hdfs.keytab 指定keytab文件位置
hdfs.root.user=hdfs 指定hdfs的root用户
fs.defaultFS=hdfs://nameservice1  ha的hdfs需要填写ha路径
yarn.resourcemanager.ha.rm.ids=master1.cdp.prod:8032 yarn的路径
yarn.application.status.address  这个不用修改 
yarn.job.history.status.address=http://master2.cdp.prod:19888/ws/v1/history/mapreduce/jobs/%s   yarn 的jobhistory路径

然后分发到 alert-server  api-server master-server  worker-server 的conf下  直接覆盖原来的就好了  ，这些配置文件都是一样的

然后把hadoop的配置文件软链接过来

ln -s /etc/hadoop/conf/hdfs-site.xml /data/dolphinscheduler-3-beta/api-server/conf/hdfs-site.xml
ln -s /etc/hadoop/conf/hdfs-site.xml /data/dolphinscheduler-3-beta/worker-server/conf/hdfs-site.xml
ln -s /etc/hadoop/conf/hdfs-site.xml /data/dolphinscheduler-3-beta/master-server/conf/hdfs-site.xml
ln -s /etc/hadoop/conf/hdfs-site.xml /data/dolphinscheduler-3-beta/alert-server/conf/hdfs-site.xml
 
 
 
ln -s /etc/hadoop/conf/core-site.xml /data/dolphinscheduler-3-beta/api-server/conf/core-site.xml
ln -s /etc/hadoop/conf/core-site.xml /data/dolphinscheduler-3-beta/worker-server/conf/core-site.xml
ln -s /etc/hadoop/conf/core-site.xml /data/dolphinscheduler-3-beta/master-server/conf/core-site.xml
ln -s /etc/hadoop/conf/core-site.xml /data/dolphinscheduler-3-beta/alert-server/conf/core-site.xml

然后创建之前配置的本地文件位置 

mkdir /data/dsdata
chown -R dolphinscheduler:dolphinscheduler  /data/dsdata

记得在所有节点上执行 

完了就可以  stop-all start-all

然后去ds上测试一下

首先创建一个租户  比如test 

然后去资源中心再创建几个test文件夹

然后再去项目管理里创建几个test项目 

都可以创建的话就是部署成功了 ，有错误需要去apiserver的日志里查看 。按流程来基本应该没有问题