• 多线程处理一个大的LIST集合


    业务背景:

    有一批5~10W的Excel文件,使用Poi直接拿到了一个大的List集合,在进行业务遍历时,发现速度堪忧,5W数据大概要跑1个小时。决定使用多线程对其进行优化

    第一步.声明一个线程池对象

    此处直接定义一个线程池交由spring进行管理

    1. @EnableAsync @Component public class AsyncThreadPool {
    2. @Bean("ThreadPoolTaskExecutor")
    3. public ThreadPoolTaskExecutor initializeThreadPool() {
    4. ThreadPoolTaskExecutor threadPool = new ThreadPoolTaskExecutor ();
    5. /**核心线程数:线程池创建时候初始化的线程数*/
    6. threadPool.setCorePoolSize(5);
    7. /**最大线程数:线程池最大的线程数,只有在缓冲队列满了之后才会申请超过核心线程数的线程*/
    8. threadPool.setMaxPoolSize(10);
    9. /**缓冲队列:用来缓冲执行任务的队列*/
    10. threadPool.setQueueCapacity(1000);
    11. /**允许线程的空闲时间60秒:当超过了核心线程之外的线程在空闲时间到达之后会被销毁*/
    12. threadPool.setKeepAliveSeconds(30);
    13. /**缓冲队列满了之后的拒绝策略:由调用线程处理(一般是主线程)*/
    14. threadPool.setRejectedExecutionHandler(new ThreadPoolExecutor.DiscardPolicy());
    15. /**初始化*/
    16. threadPool.initialize();
    17. return threadPool;
    18. }
    19. }

    第二步,新建类,里面写具体业务逻辑代码,开启异步且指定线程池对象

    1. @Slf4j
    2. @Async("ThreadPoolTaskExecutor")
    3. @Component public class AsyncThreadUpdate {
    4. public Future 方法名(参数~可有可不有){
    5. 这里写具体业务逻辑
    6. return new AsyncResult(true);
    7. }
    8. }

    第三步,在业务层分批处理数据并调用此异步方法

    1. List<Future<Boolean>> futures = new ArrayList<Future<Boolean>>(strList.size()/ThreadPool_NUM);
    2. List<String[]> sonList = strList.subList(i, i + toIndex);
    3. /**注入第二步的类,直接调用里面已经开启的异步方法*/
    4. Future<Boolean> future = asyncThreadUpdate.getThreadFuture(参数~可以不加); futures.add(future)
    5. for (Future<Boolean> future : futures) {
    6. /**调用get方法,等待所有异步线程执行完毕*/
    7. future.get();
    8. }

    备注:

    上面方法执行完毕后发现并不理想,是因为没有调用线程等待,即:等待所有的task任务结束后才继续往下执行

  • 相关阅读:
    gradle使用教程,小白一篇就够
    Python实现天文计算
    【附代码】使用Shapely计算点面关系
    NtripShare Cloud GNSS解算云平台之动态、快速静态、静态解算
    为什么你学不会递归?谈谈我的经验
    Java的数据类型
    护网蓝队初级面试题摘录(下)
    居舍杂志居舍杂志社居舍编辑部2022年第27期目录
    react项目导出数据doc格式及其他格式方法
    佳音通讯400电话中心:在线自选,惠及企业
  • 原文地址:https://blog.csdn.net/weixin_47996698/article/details/125525476