• 工作流调度系统Azkaban


    1、概述

    1.1、工作流调度系统

    一个完整的数据分析系统通常都是由大量任务单元组成:

    • shell脚本程序
    • java程序
    • mapreduce程序
    • hive脚本等

            各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度任务的执行。

            假如,我有这样一个需求,某个业务系统每天产生20G原始数据,每天都要对其进行处理,处理步骤如下所示:

    • 通过Hadoop先将原始数据同步到HDFS上;
    • 借助MapReduce计算框架对原始数据进行转换,生成的数据以分区表的形式存储到多张Hive表 中;
    • 需要对Hive中多个表的数据进行JOIN处理,得到一个明细数据Hive大表;
    • 将明细数据进行各种统计分析,得到结果报表信息;
    • 需要将统计分析得到的结果数据同步到业务系统中,供业务调用使用。

    1.2、工作流调度实现方式

    • 简单的任务调度:直接用linux的crontab;
    • 复杂的任务调度:开发调度平台或使用现成的开源调度系统,比如Ooize、Azkaban、Airflow等

    1.3、Azkaban与Oozie对比

    功能

    • 两者均可以调度mapreduce,pig,java,脚本工作流任务
    • 两者均可以定时执行工作流任务

    工作流定义

    • Azkaban使用Properties文件定义工作流
    • Oozie使用XML文件定义工作流

    工作流传参

    • Azkaban支持直接传参,例如${input}
    • Oozie支持参数和EL表达式,例如${fs:dirSize(myInputDir)}

    定时执行

    • Azkaban的定时执行任务是基于时间的
    • Oozie的定时执行任务基于时间和输入数据

    资源管理

    • Azkaban有较严格的权限控制,如用户对工作流进行读/写/执行等操作
    • Oozie暂无严格的权限控制

    工作流执行

    • Azkaban有两种运行模式,分别是solo server mode(executor server和web server部署在同⼀台 节点)和multi server mode(executor server和web server可以部署在不同节点)
    • Oozie作为工作流服务器运行,支持多用户和多工作流

    2、Azkaban介绍

            Azkaban是由linkedin(领英)公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建⽴立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。

            Azkaban定义了一种K文件(properties)格式来建立任务之间的依赖关系,并提供一个易于使用的web 用户界面维护和跟踪你的工作流。

    有如下功能特点

    • Web用户界面
    • 方便上传工作流
    • 方便设置任务之间的关系
    • 调度工作流

    架构角色

    mysql服务器: 存储元数据,如项目名称、项目描述、项目权限、任务状态、SLA规则等

    AzkabanWebServer:对外提供web服务,使用户可以通过web页面管理。职责包括项目管理、权限授权、任务调度、监控executor。

    AzkabanExecutorServer:负责具体的工作流的提交、执行。

  • 相关阅读:
    基于蝙蝠算法的无人机航迹规划-附代码
    Linux上运行Nacos服务出现报错及解决方法
    数据结构-b树
    模仿dcloudio/uni-preset-vue 自定义基于uni-app的小程序框架
    JDBC-API详解-Connection类
    MindOpt有关于Python的建模与优化
    为何要实现发票信息的数字化管理?
    Webpack 安装教程
    StringCoding字符串的编码问题
    Skywalking流程分析_7(构造/实例方法的增强流程)
  • 原文地址:https://blog.csdn.net/weixin_52851967/article/details/127626788