• 分布式任务调度-XXL-job

    源码仓库地址

    http://gitee.com/xuxueli0323/xxl-job

    前置环境

    docker容器环境配置

    1.  拉取msyql镜像：  docker pull mysql:5.7
    2.  
    3.  创建mysql容器:
    4. docker run -p 3306:3306 --name mysql57 \
    5. -v /opt/mysql/conf:/etc/mysql \
    6. -v /opt/mysql/logs:/var/log/mysql \
    7. -v /opt/mysql/data:/var/lib/mysql \
    8. -e MYSQL_ROOT_PASSWORD=root \
    9. -d mysql:5.7
    10.  
    11.  拉取xxl-job镜像：docker pull xuxueli/xxl-job-admin:2.3.0
    12.   
    13.  创建xxl-job容器：
    14. docker run -e PARAMS="--spring.datasource.url=jdbc:mysql://192.168.74.128:3306/xxl_job?Unicode=true&characterEncoding=UTF-8 \
    15. --spring.datasource.username=root \
    16. --spring.datasource.password=root" \
    17. -p 8888:8080 \
    18. -v /tmp:/data/applogs \
    19. --name xxl-job-admin --restart=always  -d xuxueli/xxl-job-admin:2.3.0

    连接linux数据库，并创建任务调度所用到的数据库xxl-job。

    用到的表sql

    1. #
    2. # XXL-JOB v2.3.0
    3. # Copyright (c) 2015-present, xuxueli.
    4.  
    5. CREATE database if NOT EXISTS `xxl_job` default character set utf8mb4 collate utf8mb4_unicode_ci;
    6. use `xxl_job`;
    7.  
    8. SET NAMES utf8mb4;
    9.  
    10. CREATE TABLE `xxl_job_info` (
    11.   `id` int(11) NOT NULL AUTO_INCREMENT,
    12.   `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
    13.   `job_desc` varchar(255) NOT NULL,
    14.   `add_time` datetime DEFAULT NULL,
    15.   `update_time` datetime DEFAULT NULL,
    16.   `author` varchar(64) DEFAULT NULL COMMENT '作者',
    17.   `alarm_email` varchar(255) DEFAULT NULL COMMENT '报警邮件',
    18.   `schedule_type` varchar(50) NOT NULL DEFAULT 'NONE' COMMENT '调度类型',
    19.   `schedule_conf` varchar(128) DEFAULT NULL COMMENT '调度配置，值含义取决于调度类型',
    20.   `misfire_strategy` varchar(50) NOT NULL DEFAULT 'DO_NOTHING' COMMENT '调度过期策略',
    21.   `executor_route_strategy` varchar(50) DEFAULT NULL COMMENT '执行器路由策略',
    22.   `executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',
    23.   `executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',
    24.   `executor_block_strategy` varchar(50) DEFAULT NULL COMMENT '阻塞处理策略',
    25.   `executor_timeout` int(11) NOT NULL DEFAULT '0' COMMENT '任务执行超时时间，单位秒',
    26.   `executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',
    27.   `glue_type` varchar(50) NOT NULL COMMENT 'GLUE类型',
    28.   `glue_source` mediumtext COMMENT 'GLUE源代码',
    29.   `glue_remark` varchar(128) DEFAULT NULL COMMENT 'GLUE备注',
    30.   `glue_updatetime` datetime DEFAULT NULL COMMENT 'GLUE更新时间',
    31.   `child_jobid` varchar(255) DEFAULT NULL COMMENT '子任务ID，多个逗号分隔',
    32.   `trigger_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '调度状态：0-停止，1-运行',
    33.   `trigger_last_time` bigint(13) NOT NULL DEFAULT '0' COMMENT '上次调度时间',
    34.   `trigger_next_time` bigint(13) NOT NULL DEFAULT '0' COMMENT '下次调度时间',
    35.   PRIMARY KEY (`id`)
    36. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    37.  
    38. CREATE TABLE `xxl_job_log` (
    39.   `id` bigint(20) NOT NULL AUTO_INCREMENT,
    40.   `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
    41.   `job_id` int(11) NOT NULL COMMENT '任务，主键ID',
    42.   `executor_address` varchar(255) DEFAULT NULL COMMENT '执行器地址，本次执行的地址',
    43.   `executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',
    44.   `executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',
    45.   `executor_sharding_param` varchar(20) DEFAULT NULL COMMENT '执行器任务分片参数，格式如 1/2',
    46.   `executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',
    47.   `trigger_time` datetime DEFAULT NULL COMMENT '调度-时间',
    48.   `trigger_code` int(11) NOT NULL COMMENT '调度-结果',
    49.   `trigger_msg` text COMMENT '调度-日志',
    50.   `handle_time` datetime DEFAULT NULL COMMENT '执行-时间',
    51.   `handle_code` int(11) NOT NULL COMMENT '执行-状态',
    52.   `handle_msg` text COMMENT '执行-日志',
    53.   `alarm_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '告警状态：0-默认、1-无需告警、2-告警成功、3-告警失败',
    54.   PRIMARY KEY (`id`),
    55.   KEY `I_trigger_time` (`trigger_time`),
    56.   KEY `I_handle_code` (`handle_code`)
    57. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    58.  
    59. CREATE TABLE `xxl_job_log_report` (
    60.   `id` int(11) NOT NULL AUTO_INCREMENT,
    61.   `trigger_day` datetime DEFAULT NULL COMMENT '调度-时间',
    62.   `running_count` int(11) NOT NULL DEFAULT '0' COMMENT '运行中-日志数量',
    63.   `suc_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行成功-日志数量',
    64.   `fail_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行失败-日志数量',
    65.   `update_time` datetime DEFAULT NULL,
    66.   PRIMARY KEY (`id`),
    67.   UNIQUE KEY `i_trigger_day` (`trigger_day`) USING BTREE
    68. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    69.  
    70. CREATE TABLE `xxl_job_logglue` (
    71.   `id` int(11) NOT NULL AUTO_INCREMENT,
    72.   `job_id` int(11) NOT NULL COMMENT '任务，主键ID',
    73.   `glue_type` varchar(50) DEFAULT NULL COMMENT 'GLUE类型',
    74.   `glue_source` mediumtext COMMENT 'GLUE源代码',
    75.   `glue_remark` varchar(128) NOT NULL COMMENT 'GLUE备注',
    76.   `add_time` datetime DEFAULT NULL,
    77.   `update_time` datetime DEFAULT NULL,
    78.   PRIMARY KEY (`id`)
    79. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    80.  
    81. CREATE TABLE `xxl_job_registry` (
    82.   `id` int(11) NOT NULL AUTO_INCREMENT,
    83.   `registry_group` varchar(50) NOT NULL,
    84.   `registry_key` varchar(255) NOT NULL,
    85.   `registry_value` varchar(255) NOT NULL,
    86.   `update_time` datetime DEFAULT NULL,
    87.   PRIMARY KEY (`id`),
    88.   KEY `i_g_k_v` (`registry_group`,`registry_key`,`registry_value`)
    89. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    90.  
    91. CREATE TABLE `xxl_job_group` (
    92.   `id` int(11) NOT NULL AUTO_INCREMENT,
    93.   `app_name` varchar(64) NOT NULL COMMENT '执行器AppName',
    94.   `title` varchar(12) NOT NULL COMMENT '执行器名称',
    95.   `address_type` tinyint(4) NOT NULL DEFAULT '0' COMMENT '执行器地址类型：0=自动注册、1=手动录入',
    96.   `address_list` text COMMENT '执行器地址列表，多地址逗号分隔',
    97.   `update_time` datetime DEFAULT NULL,
    98.   PRIMARY KEY (`id`)
    99. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    100.  
    101. CREATE TABLE `xxl_job_user` (
    102.   `id` int(11) NOT NULL AUTO_INCREMENT,
    103.   `username` varchar(50) NOT NULL COMMENT '账号',
    104.   `password` varchar(50) NOT NULL COMMENT '密码',
    105.   `role` tinyint(4) NOT NULL COMMENT '角色：0-普通用户、1-管理员',
    106.   `permission` varchar(255) DEFAULT NULL COMMENT '权限：执行器ID列表，多个逗号分割',
    107.   PRIMARY KEY (`id`),
    108.   UNIQUE KEY `i_username` (`username`) USING BTREE
    109. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    110.  
    111. CREATE TABLE `xxl_job_lock` (
    112.   `lock_name` varchar(50) NOT NULL COMMENT '锁名称',
    113.   PRIMARY KEY (`lock_name`)
    114. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    115.  
    116. INSERT INTO `xxl_job_group`(`id`, `app_name`, `title`, `address_type`, `address_list`, `update_time`) VALUES (1, 'xxl-job-executor-sample', '示例执行器', 0, NULL, '2018-11-03 22:21:31' );
    117. INSERT INTO `xxl_job_info`(`id`, `job_group`, `job_desc`, `add_time`, `update_time`, `author`, `alarm_email`, `schedule_type`, `schedule_conf`, `misfire_strategy`, `executor_route_strategy`, `executor_handler`, `executor_param`, `executor_block_strategy`, `executor_timeout`, `executor_fail_retry_count`, `glue_type`, `glue_source`, `glue_remark`, `glue_updatetime`, `child_jobid`) VALUES (1, 1, '测试任务1', '2018-11-03 22:21:31', '2018-11-03 22:21:31', 'XXL', '', 'CRON', '0 0 0 * * ? *', 'DO_NOTHING', 'FIRST', 'demoJobHandler', '', 'SERIAL_EXECUTION', 0, 0, 'BEAN', '', 'GLUE代码初始化', '2018-11-03 22:21:31', '');
    118. INSERT INTO `xxl_job_user`(`id`, `username`, `password`, `role`, `permission`) VALUES (1, 'admin', 'e10adc3949ba59abbe56e057f20f883e', 1, NULL);
    119. INSERT INTO `xxl_job_lock` ( `lock_name`) VALUES ( 'schedule_lock');
    120.  
    121. commit;
    122.

      （1） 打开mysql容器，确保连接的mysql表数据正确

      （2） 打开xxl 容器 

    打开映射网址

    http://192.168.74.128:8888/xxl-job-admin/

    后端配置使用任务调度

    依赖

    2.     
    3.         org.springframework.boot
    4.         spring-boot-starter-web
    5.     
    6.  
    7.     
    8.     
    9.         com.xuxueli
    10.         xxl-job-core
    11.         2.3.0
    12.

    yml配置

    1. server:
    2.   port: ${port:8881}
    3.  
    4. xxl:
    5.   job:
    6.     admin:
    7.       addresses: http://192.168.74.128:8888/xxl-job-admin
    8.     executor:
    9.       appname: xxl-job-executor-sample
    10.       port: ${executor.port:9999}

     使用架构

     config配置

    1. package com.heima.xxljob.config;
    2.  
    3. import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
    4. import org.slf4j.Logger;
    5. import org.slf4j.LoggerFactory;
    6. import org.springframework.beans.factory.annotation.Value;
    7. import org.springframework.context.annotation.Bean;
    8. import org.springframework.context.annotation.Configuration;
    9.  
    10. /**
    11.  * xxl-job config
    12.  *
    13.  * @author xuxueli 2017-04-28
    14.  */
    15. @Configuration
    16. public class XxlJobConfig {
    17.     private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
    18.  
    19.     @Value("${xxl.job.admin.addresses}")
    20.     private String adminAddresses;
    21.  
    22.     @Value("${xxl.job.executor.appname}")
    23.     private String appname;
    24.  
    25.     @Value("${xxl.job.executor.port}")
    26.     private int port;
    27.  
    28.  
    29.     @Bean
    30.     public XxlJobSpringExecutor xxlJobExecutor() {
    31.         logger.info(">>>>>>>>>>> xxl-job config init.");
    32.         XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
    33.         xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
    34.         xxlJobSpringExecutor.setAppname(appname);
    35.         xxlJobSpringExecutor.setPort(port);
    36.         return xxlJobSpringExecutor;
    37.     }
    38.  
    39.  
    40. }

    job使用

    1. @Component
    2. public class HelloJob {
    3.  
    4.     @Value("${server.port}")
    5.     private String port;
    6.  
    7.  
    8.     @XxlJob("guo")
    9.     public void helloJob(){
    10.         System.out.println("简单任务执行了。。。。"+port);
    11.  
    12.     }
    13.     
    14. }

    快速入门使用

    任务调度执行器

     任务调度执行管理

     配置文件为执行器的AppName

     使用任务调度的注解：任务管理的执行器handler

     轮询策略

    切换不同的端口号 

     -Dserver.port=8882 -Dexecutor.port=9997

     

     分片广播

     

    1. package com.heima.xxljob.job;
    2.  
    3. import com.xxl.job.core.context.XxlJobHelper;
    4. import com.xxl.job.core.handler.annotation.XxlJob;
    5. import org.springframework.beans.factory.annotation.Value;
    6. import org.springframework.stereotype.Component;
    7.  
    8. import java.util.ArrayList;
    9. import java.util.List;
    10.  
    11.  
    12. @Component
    13. public class HelloJob {
    14.  
    15.     @Value("${server.port}")
    16.     private String port;
    17.  
    18.  
    19.     //    @XxlJob("gmr")
    20. //    public void helloJob(){
    21. //        System.out.println("简单任务执行了。。。。"+port);
    22. //
    23. //    }
    24.     @XxlJob("gmr")
    25.     public void helloJob() {
    26.         int shardIndex = XxlJobHelper.getShardIndex();
    27.         int shardTotal = XxlJobHelper.getShardTotal();
    28.  
    29.         List list = getList();
    30.  
    31.         for (Integer integer : list) {
    32.             if (integer % shardTotal == shardIndex) {
    33.                 System.out.println("当前第" + shardIndex + "分片执行了，任务项为" + integer);
    34.             }
    35.         }
    36.  
    37.     }
    38.  
    39.     public List getList() {
    40.  
    41.         ArrayList list = new ArrayList<>();
    42.  
    43.         for (int i = 0; i < 1000; i++) {
    44.             list.add(i);
    45.         }
    46.         return list;
    47.     }
    48.  
    49. }

  • 相关阅读:
    Photoshop 2024(ps ai beta) v25.0
    C/C++ 字符串问题总结
    如何在IDEA中创建Module、以及怎样在IDEA中删除Module?
    STM32F103C8T6第二天：按键点灯轮询法和中断法、RCC、电动车报警器（振动传感器、继电器、喇叭、433M无线接收发射模块）
    华为云桌面——云端上“最卷的云”
    Vue3：对ref、reactive的一个性能优化API
    Web缓存
    颗粒归仓水稻总体产量5500吨 国稻种芯-洪江：怀化水稻秋收
    MyBatisPlus详解
    Wireshark 通过 nrf-sniffer for BLE 抓包环境配置说明
  • 原文地址：https://blog.csdn.net/weixin_67573348/article/details/134450761