java线上CPU、内存打满处理

1.环境说明

k8s、linux、docker、springboot、springcloud、 jdk1.8

2.mac 启动jvisualvm

直接输入jvisualvm

jvisualvm
1

3.模拟堆内存溢出

@GetMapping("/hello")
    public void getInfo2() throws InterruptedException {

        Set<MyObject> objects = new LinkedHashSet<MyObject>();
        objects.add(new MyObject());
        objects.add(new MyObject());
        objects.add(new MyObject());
        System.out.println(objects.size());
        while(true){
            objects.add(new MyObject());
            System.out.println(objects.size());
            Thread.sleep(100L);
        }
    }

    static class MyObject{
        //设置默认数组长度为99999更快的发生OutOfMemoryError
        List<String> list = new ArrayList<>(10000);
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

4. JVM参数-XX:+HeapDumpOnOutOfMemoryError

5.执行模块方法

注：当内存到达限制后，会进行内存堆栈的导出，所以这个方法执行会非常久（我配置是最大4G内存）

6.发现问题

k8s 控制台执行如下命令

 kubectl -n lc top pods
1

cpu和内存不断飙高，等服务报内存溢出后，直接去容器内部把堆栈文件下载下来。
拷贝命令如下：

cp lc/sx-system-deployment-58d67dbdd4-vdwc2:/sx/java_pid1.hprof /root/java_pid1.hprof
1

所在容器目录：

7.分析堆栈文件

装入


查找
找到占用最大的对象

右键–》在实例视图中显示

找到问题代码

8.注意事项

堆内存增长查看要用如下命令

jmap -heap pid
1

9.模拟栈内存溢出

package test.oom;

public class StackOOM {
    private int stackLength = 1;

    public void stackLeak() {
        stackLength++;
        stackLeak();
    }

    public static void main(String[] args) throws Throwable {
        StackOOM oom = new StackOOM();
        try {
            oom.stackLeak();
        } catch (Throwable e) {
            System.out.println("stack length:" + oom.stackLength);
            throw e;
        }
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

10.栈内存溢出报错

11.模拟CPU打满

    @GetMapping("/hello1")
    public void getInfo3() throws InterruptedException {

        CpuTest myThread1 = new CpuTest();
        CpuTest myThread2 = new CpuTest();
        CpuTest myThread3 = new CpuTest();
        CpuTest myThread4 = new CpuTest();
        myThread1.start();
        myThread2.start();
        myThread3.start();
        myThread4.start();
    }

class CpuTest extends Thread {
        @Override
        public void run() {
            int i = 0;
            while (true) {
                i++;
            }
        }
    }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

12.CPU打满发现问题

12.1步骤1

方法1

kubectl -n lc top pods
1

查看到CPU会飙到limits限制的临界点

方法2

1.先在宿主机上使用top命令查出占用CPU高的进程id
2.通过使用以下命令查出对应的容器

docker ps -q | xargs docker inspect --format '{{.State.Pid}} {{.Name}}' | column -t|grep PID
1

12.2 步骤2

查找到占CPU的线程
方法1 利用arthas工具

java -jar /opt/arthas/arthas-boot.jar
1

进入arthas 界面后，输入dashboard

得到占CPU严重的是线程

12.3步骤3

方法1
在arthas 中直接使用thread ID(该ID为上一步取得的id)

方法2
通过spring boot admin 查看导致CPU 占满的代码

13.找出JVM中最耗cpu的线程

除了用第12步骤的方法外，还可以用以下这种方法

参考：找出JVM中最耗cpu的线程

java 基础命令

1.查询虚拟机运行参数信息。
jinfo -flags pid 
2.输出堆内存设置和使用情况（JDK11使用jhsdb jmap --heap --pid pid）
jmap -heap pid
3.用于输出运行主类的全名
jps -l 
4.生成堆栈快照
jmap -dump:format=b,file=2020.dump pid

5.查询虚拟机当前的线程快照信息
jstack -l pid
jstack -l pid >> 文件名
6.从容器中拷贝文件到宿主机
kubectl  cp lc/sx-system-deployment-58d67dbdd4-vdwc2:/sx/java_pid1.hprof /root/java_pid1.hprof
7.通过pid 查找容器名称
nsenter --pid --uts -t 145483  hostname
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16