• 多线程处理文件集合,先拆分,在执行


    1. try {
    2. File file = new File(path);
    3. File[] files = file.listFiles();
    4. log.info("当前共有文件 "+files.length+"个");
    5. List filesList = new ArrayList<>(Arrays.asList(files));
    6. List> dividedLists = SplitListUtils.splitList(filesList, 10);
    7. int numThreads = Math.min(10, dividedLists.size()); // 获取实际的任务数量
    8. log.info("线程数:"+ numThreads);
    9. // 创建线程池并执行任务
    10. ExecutorService executor = Executors.newFixedThreadPool(numThreads);
    11. for (List subFiles : dividedLists) {
    12. executor.execute(() -> processFiles(subFiles));
    13. }
    14. executor.shutdown();
    15. boolean finished = false;
    16. try {
    17. finished = executor.awaitTermination(Long.MAX_VALUE, TimeUnit.NANOSECONDS);
    18. } catch (InterruptedException e) {
    19. // 处理中断异常
    20. e.printStackTrace();
    21. }
    22. // 在执行完所有任务后继续后面的操作处理 collect_task 结束
    23. if (finished) {
    24. // 所有任务已完成,可以执行后续操作
    25. System.out.println("ok.....");
    26. } else {
    27. // 等待超时或者被中断,可以根据需要进行处理
    28. System.out.println("执行中....");
    29. }
    30. } catch (Exception e) {
    31. e.printStackTrace();
    32. }
    1. public static List> splitList(List list, int numLists) {
    2. List> dividedLists = new ArrayList<>();
    3. int size = list.size();
    4. int average = size / numLists;
    5. int remainder = size % numLists;
    6. int index = 0;
    7. for (int i = 0; i < numLists; i++) {
    8. int sublistSize = average + (i < remainder ? 1 : 0);
    9. List sublist = new ArrayList<>(list.subList(index, index + sublistSize));
    10. if(sublist.size() > 0){
    11. dividedLists.add(sublist);
    12. }
    13. index += sublistSize;
    14. }
    15. return dividedLists;
    16. }

    上面代码的拆分, 最多集合是10个,如果大集合的总数小于10,那就是大集合的数量。要是大集合的数量大于10个,那就均分到10个小集合中。

  • 相关阅读:
    Win10开机内存占用超80%?一招解决!
    使用 NodeJS(JavaScript 和 TypeScript)使用 MS Access (MDB) 文件的 3 种方法
    并发性,时间和相对性(1)-确定前后关系
    多vlan实现互访,使用NAT、DHCP、ACL等技术实现公司组网
    分布式队列celery学习
    [nlp] grad norm先降后升再降
    java114-Calendar类方法before
    周赛补题(力扣、acwing)
    Mac系统安装flutter
    7、Nacos配置管理
  • 原文地址:https://blog.csdn.net/zhanghe687/article/details/133880777