• Azkaban安装部署


    1、Azkaban的安装准备工作

    1.1、编译

            这里选用azkaban3.51.0这个版本自己进行重新编译,编译完成之后得到我们需要的安装包进行安装。

    1. cd /opt/lagou/software/
    2. wget https://github.com/azkaban/azkaban/archive/3.51.0.tar.gz
    3. tar -zxvf 3.51.0.tar.gz -C ../servers/
    4. cd /opt/lagou/servers/azkaban-3.51.0/
    5. yum -y install git
    6. yum -y install gcc-c++
    7. ./gradlew build installDist -x test

            Gradle是一个基于Apache Ant和Apache Maven的项目自动化构建工具。-x test 跳过测试。(注意联网下载jar可能会失败、慢)

    1.2、上传编译后的安装文件

    相关资料:地址链接:https://pan.baidu.com/s/1JCGzYBUJMPkgziq5NyqMCg?pwd=5zki 

    在linux122节点创建目录

    mkdir /opt/lagou/servers/azkaban

     

    2、solo-server模式部署

    2.1、单服务模式安装

    (1)解压

            azkaban 的solo server使用的是一个单节点的模式来进行启动服务的,只需要一个azkaban-soloserver-0.1.0-SNAPSHOT.tar.gz的安装包即可启动,所有的数据信息都是保存在H2这个azkaban默认的数据当中

    tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ../../servers/azkaban

    (2)修改配置文件

    修改时区配置文件

    1. cd /opt/lagou/servers/azkaban-solo-server-0.1.0-SNAPSHOT/conf
    2. vim azkaban.properties
    3. # 添加下面内容
    4. default.timezone.id=Asia/Shanghai

    修改commonprivate.properties配置文件 

    1. cd /opt/lagou/servers/azkaban-solo-server-0.1.0-SNAPSHOT/plugins/jobtypes
    2. vim commonprivate.properties
    3. # 添加下面内容
    4. execute.as.user=false
    5. memCheck.enabled=false

    azkaban默认需要3G的内存,剩余内存不足则会报异常。

    (3)启动solo-server

    1. cd /opt/lagou/servers/azkaban-solo-server-0.1.0-SNAPSHOT
    2. bin/start-solo.sh

    (4) 浏览器页面访问

    浏览器页面访问:http://linux122:8081/index

    登录信息 

    用户名:azkaban

    密码: azkaban

    2、单服务模式使用

    需求:使用azkaban调度我们的shell脚本,执行linux的shell命令

    具体步骤

    • 开发job文件
    • 创建普通文本文件 foo.job,文件内容如下
      1. type=command
      2. command=echo 'hello world'
    • 打成压缩包

    • 进入web页面,创建project 

    • 指定project名称和描述信息 

    • Azkaban上传我们的压缩包 

    • 查看工作流计划并执行  

    • 运行结果页面 

    • 停止程序
      bin/shutdown-solo.sh

  • 相关阅读:
    QT学习总结之QWidget详解
    基于 ACOEGC_T3(PF) 搭建 JLink 调试环境
    Linux中gitlab-runner部署使用备忘
    长安链Solidity智能合约调用原理分析
    软件测试【秋招面试】字节跳动等各类大厂—面经
    hot100-相交链表
    mysql查询json字符串内容
    【VUE项目实战】65、配置路由懒加载
    【剑指offer】删除链表中重复的结点
    【办公常识】写好的代码如何上传?使用svn commit
  • 原文地址:https://blog.csdn.net/weixin_52851967/article/details/127638600