码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Azkaban安装部署


    1、Azkaban的安装准备工作

    1.1、编译

            这里选用azkaban3.51.0这个版本自己进行重新编译,编译完成之后得到我们需要的安装包进行安装。

    1. cd /opt/lagou/software/
    2. wget https://github.com/azkaban/azkaban/archive/3.51.0.tar.gz
    3. tar -zxvf 3.51.0.tar.gz -C ../servers/
    4. cd /opt/lagou/servers/azkaban-3.51.0/
    5. yum -y install git
    6. yum -y install gcc-c++
    7. ./gradlew build installDist -x test

            Gradle是一个基于Apache Ant和Apache Maven的项目自动化构建工具。-x test 跳过测试。(注意联网下载jar可能会失败、慢)

    1.2、上传编译后的安装文件

    相关资料:地址链接:https://pan.baidu.com/s/1JCGzYBUJMPkgziq5NyqMCg?pwd=5zki 

    在linux122节点创建目录

    mkdir /opt/lagou/servers/azkaban

     

    2、solo-server模式部署

    2.1、单服务模式安装

    (1)解压

            azkaban 的solo server使用的是一个单节点的模式来进行启动服务的,只需要一个azkaban-soloserver-0.1.0-SNAPSHOT.tar.gz的安装包即可启动,所有的数据信息都是保存在H2这个azkaban默认的数据当中

    tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ../../servers/azkaban

    (2)修改配置文件

    修改时区配置文件

    1. cd /opt/lagou/servers/azkaban-solo-server-0.1.0-SNAPSHOT/conf
    2. vim azkaban.properties
    3. # 添加下面内容
    4. default.timezone.id=Asia/Shanghai

    修改commonprivate.properties配置文件 

    1. cd /opt/lagou/servers/azkaban-solo-server-0.1.0-SNAPSHOT/plugins/jobtypes
    2. vim commonprivate.properties
    3. # 添加下面内容
    4. execute.as.user=false
    5. memCheck.enabled=false

    azkaban默认需要3G的内存,剩余内存不足则会报异常。

    (3)启动solo-server

    1. cd /opt/lagou/servers/azkaban-solo-server-0.1.0-SNAPSHOT
    2. bin/start-solo.sh

    (4) 浏览器页面访问

    浏览器页面访问:http://linux122:8081/index

    登录信息 

    用户名:azkaban

    密码: azkaban

    2、单服务模式使用

    需求:使用azkaban调度我们的shell脚本,执行linux的shell命令

    具体步骤

    • 开发job文件
    • 创建普通文本文件 foo.job,文件内容如下
      1. type=command
      2. command=echo 'hello world'
    • 打成压缩包

    • 进入web页面,创建project 

    • 指定project名称和描述信息 

    • Azkaban上传我们的压缩包 

    • 查看工作流计划并执行  

    • 运行结果页面 

    • 停止程序
      bin/shutdown-solo.sh

  • 相关阅读:
    通用串行总线USB接口——基础总结(USB版本演进、接口类型、电气特性、拓扑结构、USB硬件接口实现)
    实时监控linux系统内存和硬盘,空间不足时发送邮件告警
    神经网络 深度神经网络,深度神经网络进展情况
    详解BLEU的原理和计算
    企业备份解决方案:保护您的企业虚拟机安全!
    [Usaco2015 dec]Max Flow 树上差分
    十六.镜头知识之工业镜头的质量判断因素
    七夕送男朋友什么礼物最好?七夕送男朋友礼物排行榜
    【JavaWeb】模板引擎Thymeleaf
    桌面应用开发有哪些主流框架?
  • 原文地址:https://blog.csdn.net/weixin_52851967/article/details/127638600
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号