多线程快速处理List集合（结合线程池的使用）

有一个大List集合，遍历进行一些耗时操作，不能达到性能要求，查询日志，单个任务虽然有不少数据库和第三方API请求，比较耗时，但返回效率尚可，所以优先采用多线程方式进行处理并行请求数据库和第三方API，因为处理完还要对list所属的数据进行操作，所以，线程池多线程处理要等待全部处理完。

上代码：

import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;


public class testList {
    public static void main(String [] args) {
        List<String> list = new ArrayList<>();
        for (int i = 1; i <= 900; i++) {
            list.add("a"+i);
        }
        ExecutorService touchWorker = Executors.newFixedThreadPool(9, Executors.defaultThreadFactory());
        int size = list.size();
        long start=System.currentTimeMillis();
        if (size > 100) {
            int batch = size % 100 == 0 ? size / 100 : size / 100 + 1; //将List集合切片
            for (int j = 0; j < batch; j++) {
                int end = (j + 1) * 100;
                if (end > size) {
                    end = size;
                }
                List<String> subList = list.subList(j * 100, end);//截取每个小分片的数据 第一次是0-100的数据以此类推
                touchWorker.execute(()-> sleepTest(subList));//让线程池执行工作
            }
            touchWorker.shutdown();//关闭线程池
            while (true) {
                if (touchWorker.isTerminated()) {
                    break;
                }
            }
        } else {
            sleepTest(list);
        }
        long end =System.currentTimeMillis();
        System.out.println((end-start)/1000);
    }

    private static void sleepTest(List<String> subList) {
        for (String i : subList) {
            try {
                //耗时操作
                System.out.println("######" + i + "######" + Thread.currentThread().getName());
                Thread.sleep(100);
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52

执行结果：
一共耗时10s；
可以看到我上面是让每个操作都休眠0.1s，然后开了9个线程，分片也正好是分了9个片，所以每个线程都拿到100条数据进行处理，这是最快的方式，如果固定线程池开5个线程的话，还是同样的操作，那么看现在的执行时间：

用时20s，也可以想到，前面5个处理500条用了10秒，后面4个线程处理剩下的400条也耗时10秒。所以在实际的工作中可以动态的根据分片的大小调整线程池里线程的数量 。

void shutdown()
启动一次顺序关闭，执行以前提交的任务，但不接受新任务。若已经关闭，则调用没有其他作用。
抛出：SecurityException - 如果安全管理器存在并且关闭，此 ExecutorService 可能操作某些不允许调用者修改的线程（因为它没有保持RuntimePermission(“modifyThread”)），或者安全管理器的 checkAccess 方法拒绝访问。

boolean isTerminated()
若关闭后所有任务都已完成，则返回true。注意除非首先调用shutdown或shutdownNow，否则isTerminated永不为true。返回：若关闭后所有任务都已完成，则返回true。

至于用哪种线程池的话可以看下面
参考文章里

参考文章：
https://blog.csdn.net/qililong88/article/details/114320641

四种常见线程池介绍及使用举例

使用无限大小线程池 newCachedThreadPool 可能遇到的问题

java多线程：使用newFixedThreadPool方法创建指定线程数量的线程池

整理收集几种多线程分段处理list集合的方法

Java中终止（销毁）线程的方法