码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 多线程处理一个大的LIST集合


    业务背景:

    有一批5~10W的Excel文件,使用Poi直接拿到了一个大的List集合,在进行业务遍历时,发现速度堪忧,5W数据大概要跑1个小时。决定使用多线程对其进行优化

    第一步.声明一个线程池对象

    此处直接定义一个线程池交由spring进行管理

    1. @EnableAsync @Component public class AsyncThreadPool {
    2. @Bean("ThreadPoolTaskExecutor")
    3. public ThreadPoolTaskExecutor initializeThreadPool() {
    4. ThreadPoolTaskExecutor threadPool = new ThreadPoolTaskExecutor ();
    5. /**核心线程数:线程池创建时候初始化的线程数*/
    6. threadPool.setCorePoolSize(5);
    7. /**最大线程数:线程池最大的线程数,只有在缓冲队列满了之后才会申请超过核心线程数的线程*/
    8. threadPool.setMaxPoolSize(10);
    9. /**缓冲队列:用来缓冲执行任务的队列*/
    10. threadPool.setQueueCapacity(1000);
    11. /**允许线程的空闲时间60秒:当超过了核心线程之外的线程在空闲时间到达之后会被销毁*/
    12. threadPool.setKeepAliveSeconds(30);
    13. /**缓冲队列满了之后的拒绝策略:由调用线程处理(一般是主线程)*/
    14. threadPool.setRejectedExecutionHandler(new ThreadPoolExecutor.DiscardPolicy());
    15. /**初始化*/
    16. threadPool.initialize();
    17. return threadPool;
    18. }
    19. }

    第二步,新建类,里面写具体业务逻辑代码,开启异步且指定线程池对象

    1. @Slf4j
    2. @Async("ThreadPoolTaskExecutor")
    3. @Component public class AsyncThreadUpdate {
    4. public Future 方法名(参数~可有可不有){
    5. 这里写具体业务逻辑
    6. return new AsyncResult(true);
    7. }
    8. }

    第三步,在业务层分批处理数据并调用此异步方法

    1. List<Future<Boolean>> futures = new ArrayList<Future<Boolean>>(strList.size()/ThreadPool_NUM);
    2. List<String[]> sonList = strList.subList(i, i + toIndex);
    3. /**注入第二步的类,直接调用里面已经开启的异步方法*/
    4. Future<Boolean> future = asyncThreadUpdate.getThreadFuture(参数~可以不加); futures.add(future)
    5. for (Future<Boolean> future : futures) {
    6. /**调用get方法,等待所有异步线程执行完毕*/
    7. future.get();
    8. }

    备注:

    上面方法执行完毕后发现并不理想,是因为没有调用线程等待,即:等待所有的task任务结束后才继续往下执行

  • 相关阅读:
    买瓜(dfs+剪枝)
    Sentry 是一个开源的错误监控和日志聚合平台-- 通过docker-compose 安装Sentry
    上传航测影像就能土方计算?!0基础倾斜摄影土方计算流程
    java毕业设计Vue框架龙猫宠物交易平台源码+系统+数据库+lw文档+调试运行
    基于区块链与联邦学习技术的数据交易平台
    集体唱好混动技术,传统车企最后的倔强?
    离散型行业与MES系统——密不可分的关系
    跑步耳机排行榜,目前最好的六款跑步耳机
    MP3算法及代码例程
    【微电网优化】基于matlab遗传算法求解微电网经济优化问题【含Matlab源码 2062期】
  • 原文地址:https://blog.csdn.net/weixin_47996698/article/details/125525476
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号