【任务调度】Apache DolphinScheduler快速入门

Apache DolphinScheduler基本概念
概念：分布式、去中心化、易扩展的可视化DAG工作流任务调度系统。
作用：解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
1
2
3

架构图

Apache DolphinScheduler是一款开源的调度工具，使用java语言开发，共分为ApiApplicationServer、MasterServer、WorkerServer、LoggerServer、AlertServer五大模块。DolphinScheduler 组件依赖Zookeeper和HDFS两个大数据组件，其中ZK用于master和worker注册使用，HDFS用于资源文件管理使用。
在这里插入图片描述

在这里插入图片描述

登录admin账号，创建一个租户，创建一个用户，将用户跟租户关联起来

新建一个告警组，分配给上边新建的用户

登录新建用户

项目管理中新建项目，进入之后进行工作流定义

此处以shell脚本为例:
shell脚本中使用自定义参数
在这里插入图片描述
工作流定义好之后便可以上线了，需要再修改的还得先下线
上线之后会生成一个工作流实例，这边便可以看到相关的日志信息了

B站视频,快速上手Apache DolphinScheduler
https://www.bilibili.com/video/BV1dp4y1S7zT/?spm_id_from=333.337.search-card.all.click&vd_source=e093a8beebd274a58351e637a7c32cbb
1
2

相关阅读:
人脸视频检索系统设计（C++）
系统架构设计师教程第3章信息系统基础知识-3.1 信息系统概述
第02章_MySQL的数据目录
网络安全系列-四十: suricata 的运行模型Running mode讲解
Ubuntu crontab 遇到的sh脚本一些问题（手动执行可以，自动执行不行）
剑指offer.在排序数组中查找数字
axios
squid专业的日志分析工具sarg
vue缓存当前路由（在输入框中输入信息后，跳转其他路由再回来，仍可看到刚刚输入的内容等）
后端工程师求职实录：二线城市就业攻略与心得分享

原文地址：https://blog.csdn.net/weixin_42369773/article/details/137939341