• 数据仓库任务调度器-Azkaban | 案例测试2<电话报警通知机制>



    一、内容说明

    此文章主要向大家演示在大数据项目中使用Azkaban作为任务调度器的时候,当任务发生错误和失败,又或者任务执行成功时怎么部署实现Azkaban自动 电话报警通知项目负责人,在上一篇文章中针对邮件报警配置做了详细的描述,这篇文章中我将演示借助 睿象云平台实现Azkaban的电话报警机制。同时,需要有一个126邮箱,此邮箱地址将会交给Azkaban使用,作为自动报警机制的发件人通知睿象云进行打电话通知项目负责人
    接下来,我将为大家一步一步的讲解如何实现Azkaban电话报警机制,如果对您有用,感谢一键三连。

    二、准备工作

    1. 安装配置好azkaban
    2. 注册一个126邮箱,并将POP3/SMTP服务设置为开启模式,且保存扫码发送短信后邮箱给的权限码,不会操作的在此文章中有详细描述

    三、配置电话报警机制

    1. 配置睿象云

    • 在浏览器中搜索睿象云,点击进入红色框中这个链接
      在这里插入图片描述

    • 点击免费试用
      在这里插入图片描述

    • 注册睿象云账号,已有的可忽略这一步
      在这里插入图片描述

    • 登录睿象云

    • 选择 智能告警 平台
      在这里插入图片描述

    • 点击上方的 集成 ,然后下拉列表选择 Email
      在这里插入图片描述

    • 配置应用名和邮箱地址,点击获取保存
      这个邮箱地址是Azkaban调度时在web页面中设置的收件人邮箱
      在这里插入图片描述

    • 点击上方的 配置,然后点击 通知策略,再点击右上角的 新建通知策略
      在这里插入图片描述

    • 进行配置通知策略,选项可根据自己需求进行选择,最后点击保存
      在这里插入图片描述

    2. 配置azkaban-web

    • 进入azkaban-web/conf目录下,对azkaban.properties进行配置

      配置邮件发送人 ,mail.sender和mail.host在文件中已有,我们还需要在文件中添加mail.user= 和 mail.password,配置如下,password填写授权码授权码在开启POP3/SMTP服务时保存,host为邮箱的SMTP服务器地址

      mail.sender=xuxiang_ethan@126.com
      mail.host=smtp.126.com
      mail.user=xuxiang_ethan@126.com
      mail.password=此处填写邮箱授权码
      
    • 启动Azkaban-exec
      在这里插入图片描述

    • 激活Azkaban-exec
      在保存azkaban信息的数据库中查看是否激活,active为1表示激活,0表示未激活
      在这里插入图片描述

    • 启动Azkaban-web
      在这里插入图片描述

      至此,azkaban的配置完成

    3. 案例实操

    需求:
    JobC依赖JobA和JobB

    • 1.在windows本地编写mail.project文件

      azkaban-flow-version: 2.0
      
    • 2.编写mail.flow文件

      nodes:
      - name: JobA
      type: command
      config:
        command: echo "I am JobA"
      - name: JobB
      type: command
      config:
        command: echo "I am JobB"
      - name: JobC
      type: command
      dependsOn:
        - JobA
        - JobB
      config:
        command: echo "I am dependence JobA and JobB"
      

    演示Azkaban任务成功时报警

      1. mail.project、mail.flow放在一个文件夹中,并将文件夹打包为zip压缩包
        在这里插入图片描述

    压缩包
    在这里插入图片描述

      1. 进入azkaban-web的页面进行登录,用户名 和 密码在前面的安装中有详细说明,在azkaban-web/conf/azkaban-users.xml中
        在这里插入图片描述
      1. 创建项目 在azkaban中创建调度作业项目
      1. 上传压缩包
        在这里插入图片描述
      1. 点击Executor Flow查看任务流程图
        在这里插入图片描述
        在这里插入图片描述
      1. 点击左侧的 Notification 配置邮件报警的收件邮箱
        在这里插入图片描述
      1. 填写报警收件人邮箱地址,此时填写的是 睿象云 上配置的那个邮箱地址
        睿象云中的邮件地址在这里插入图片描述
        在Azkaban的通知中进行配置任务调度执行成功通知
        在这里插入图片描述
      1. 执行调度流程-点击右下角的Executor
        在这里插入图片描述
        任务执行成功,同时收到睿象云平台的告警电话
        在这里插入图片描述

    总结

    至此,Azkaban的电话报警机制的整个部署流程就弄好了,任务执行成功的报警是同样的操作,只需要确保Job任务以及所需要的shell文件都正确即可!!
    若有写得不明之处还望海涵。感谢关注,感谢点赞

  • 相关阅读:
    cesium 在大屏自适应插件下放大位置偏移
    设计模式 单一职责原则、开放封闭原则、依赖倒置原则、里氏代换原则
    争议不断的AI绘画,如今成为了顶流?
    【信号处理】基于扩展卡尔曼滤波器和无迹卡尔曼滤波器的窄带信号时变频率估计(Matlab代码实现)
    pyflink 安装和测试
    AnyGo(虚拟定位软件) for MacOS苹果电脑安装下载 支持最高系统 兼容M芯片
    智慧公厕擦手纸洗手液余量实时在线统计
    2023年第四届MathorCup高校数学建模挑战赛——大数据竞赛B题 实现代码
    SpringBoot-08-@Conditional注解使用说明
    微软出品自动化神器Playwright,不用写一行代码(Playwright+Java)系列
  • 原文地址:https://blog.csdn.net/IT_technologier/article/details/127102370