简介

Arthas 是Alibaba开源的Java诊断工具，动态跟踪Java代码；实时监控JVM状态，可以在不中断程序执行的情况下轻松完成JVM相关问题排查工作 。支持JDK 6+，支持Linux/Mac/Windows。这个工具真的很好用，而且入门超简单，十分推荐。

使用场景

1. 这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？
2. 我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？
3. 遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？
4. 线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！
5. 是否有一个全局视角来查看系统的运行状况？
6. 有什么办法可以监控到JVM的实时运行状态？ 接下来，围绕这6个问题，学习下Arthas的基本用法。

文档地址:

https://arthas.aliyun.com/doc/

https://github.com/alibaba/arthas

安装

执行下面命令下载

wget https://alibaba.github.io/arthas/arthas-boot.jar
1

启动

用java -jar的方式启动

java -jar arthas-boot.jar

[INFO] Found existing java process, please choose one and hit RETURN.
* [1]: 79952 cn.test.MobileApplication
  [2]: 93872 org.jetbrains.jps.cmdline.Launcher
1
2
3
4
5

然后输入数字，选择你想要监听的应用，回车即可

也可点此下载arthas相关jar

如果java -jar选择启动某个应用的时候，报下面的错

java -jar arthas-boot.jar
[INFO] arthas-boot version: 3.1.4
[INFO] Process 11544 already using port 3658
[INFO] Process 11544 already using port 8563
[INFO] Found existing java process, please choose one and hit RETURN.
* [1]: 11544
  [2]: 119504 cn.test.MobileApplication
  [3]: 136340 org.jetbrains.jps.cmdline.Launcher
  [4]: 3068
2	#选择第2个启动
[ERROR] Target process 119504 is not the process using port 3658, you will connect to an unexpected process.
[ERROR] 1. Try to restart arthas-boot, select process 11544, shutdown it first with running the 'shutdown' command.
[ERROR] 2. Or try to use different telnet port, for example: java -jar arthas-boot.jar --telnet-port 9998 --http-port -1

1
2
3
4
5
6
7
8
9
10
11
12
13
14

注意提示[ERROR] 1，只需要进入11544这个应用，然后执行shutdown关闭这个应用就可以启动了

常用命令

命令列表

jvm-相关

• dashboard - 当前系统的实时数据面板
• getstatic - 查看类的静态属性
• heapdump - dump java heap, 类似 jmap 命令的 heap dump 功能
• jvm - 查看当前 JVM 的信息
• logger - 查看和修改 logger
• mbean - 查看 Mbean 的信息
• memory - 查看 JVM 的内存信息
• ognl - 执行 ognl 表达式
• perfcounter - 查看当前 JVM 的 Perf Counter 信息
• sysenv - 查看 JVM 的环境变量
• sysprop - 查看和修改 JVM 的系统属性
• thread - 查看当前 JVM 的线程堆栈信息
• vmoption - 查看和修改 JVM 里诊断相关的 option
• vmtool - 从 jvm 里查询对象，执行 forceGc

class/classloader 相关

• classloader - 查看 classloader 的继承树，urls，类加载信息，使用 classloader 去 getResource
• dump - dump 已加载类的 byte code 到特定目录
• jad - 反编译指定已加载类的源码
• mc - 内存编译器，内存编译.java文件为.class文件
• redefine - 加载外部的.class文件，redefine 到 JVM 里
• retransform - 加载外部的.class文件，retransform 到 JVM 里
• sc - 查看 JVM 已加载的类信息
• sm - 查看已加载类的方法信息

monitor/watch/trace 相关

注意

请注意，这些命令，都通过字节码增强技术来实现的，会在指定类的方法中插入一些切面来实现数据统计和观测，因此在线上、预发使用时，请尽量明确需要观测的类、方法以及条件，诊断结束要执行 stop 或将增强过的类执行 reset 命令。

• monitor - 方法执行监控
• stack - 输出当前方法被调用的调用路径
• trace - 方法内部调用路径，并输出方法路径上的每个节点上耗时
• tt - 方法执行数据的时空隧道，记录下指定方法每次调用的入参和返回信息，并能对这些不同的时间下调用进行观测
• watch - 方法执行数据观测

profiler/火焰图

• profiler - 使用async-profiler在新窗口打开对应用采样，生成火焰图

鉴权

• auth - 鉴权

options

• options - 查看或设置 Arthas 全局开关

管道

Arthas 支持使用管道对上述命令的结果进行进一步的处理，如sm java.lang.String * | grep 'index'

• grep - 搜索满足条件的结果
• plaintext - 将命令的结果去除 ANSI 颜色
• wc - 按行统计输出结果

后台异步任务

当线上出现偶发的问题，比如需要 watch 某个条件，而这个条件一天可能才会出现一次时，异步后台任务就派上用场了，详情请参考这里

• 使用 > 将结果重写向到日志文件，使用 & 指定命令是后台运行，session 断开不影响任务执行（生命周期默认为 1 天）
• jobs - 列出所有 job
• kill - 强制终止任务
• fg - 将暂停的任务拉到前台执行
• bg - 将暂停的任务放到后台执行

基础命令

• base64 - base64 编码转换，和 linux 里的 base64 命令类似
• cat - 打印文件内容，和 linux 里的 cat 命令类似
• cls - 清空当前屏幕区域
• echo - 打印参数，和 linux 里的 echo 命令类似
• grep - 匹配查找，和 linux 里的 grep 命令类似
• help - 查看命令帮助信息
• history - 打印命令历史
• keymap - Arthas 快捷键列表及自定义快捷键
• pwd - 返回当前的工作目录，和 linux 命令类似
• quit - 退出当前 Arthas 客户端，其他 Arthas 客户端不受影响
• reset - 重置增强类，将被 Arthas 增强过的类全部还原，Arthas 服务端关闭时会重置所有增强过的类
• session - 查看当前会话的信息
• stop - 关闭 Arthas 服务端，所有 Arthas 客户端全部退出
• tee - 复制标准输入到标准输出和指定的文件，和 linux 里的 tee 命令类似
• version - 输出当前目标 Java 进程所加载的 Arthas 版本号

1. dashboard

当前系统的实时数据面板，按 ctrl+c 退出。

NAME: 线程名

GROUP: 线程组名

PRIORITY: 线程优先级, 1~10之间的数字，越大表示优先级越高

STATE: 线程的状态

CPU%: 线程消耗的cpu占比，采样100ms，将所有线程在这100ms内的cpu使用量求和，再算出每个线程的cpu使用占比。

TIME: 线程运行总时间，数据格式为分：秒

INTERRUPTED: 线程当前的中断位状态

DAEMON: 是否是daemon线程

2、stack

输出当前方法被调用的调用路径

很多时候我们都知道一个方法被执行，但是有很多地方调用了它，你并不知道是谁调用了它，此时你需要的是 stack 命令。

[arthas@79952]$ stack com.baomidou.mybatisplus.extension.service.IService getOne
Press Q or Ctrl+C to abort.
Affect(class-cnt:202 , method-cnt:209) cost in 10761 ms.
ts=2019-11-13 11:49:13;thread_name=http-nio-8801-exec-6;id=2d;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@a6c54c3
    @com.baomidou.mybatisplus.extension.service.impl.ServiceImpl.getOne()
        at com.baomidou.mybatisplus.extension.service.IService.getOne(IService.java:230)
        ...... ......
        at cn.test.mobile.controller.order.OrderController.getOrderInfo(OrderController.java:500)

1
2
3
4
5
6
7
8
9

可以看到OrderController.java的第500行调用了这个getOne接口。

注意这个命令需要调用后才会触发日志，相似的还有watch、trace等

3、jad

反编译指定已加载类的源码

有时候，版本发布后，代码竟然没有执行，代码是最新的吗，这时可以使用jad反编译相应的class。

jad cn.test.mobile.controller.order.OrderController

1
2

仅编译指定的方法

jad cn.test.mobile.controller.order.OrderController getOrderInfo

ClassLoader:
@RequestMapping(value={"getOrderInfo"}, method={RequestMethod.POST})
public Object getOrderInfo(HttpServletRequest request, @RequestBody Map map) {
    ResponseVo responseVo = new ResponseVo();
    ... ... ...  ...

1
2
3
4
5
6
7
8

4、sc

“Search-Class” 的简写 ，查看JVM已加载的类信息 有的时候，你只记得类的部分关键词，你可以用sc获取完整名称 当你碰到这个错的时候“ClassNotFoundException”或者“ClassDefNotFoundException”，你可以用这个命令验证下

模糊搜索

sc *OrderController*
cn.test.mobile.controller.order.OrderController

1
2
3

打印类的详细信息 sc -d

sc -d cn.test.mobile.controller.order.OrderController

 class-info        cn.test.mobile.controller.order.OrderController
 code-source       /F:/IDEA-WORKSPACE-TEST-qyb/trunk/BE/mobile/target/classes/
 name              cn.test.mobile.controller.order.OrderController
 isInterface       false
 isAnnotation      false
 isEnum            false
 isAnonymousClass  false
 isArray           false
 isLocalClass      false
 isMemberClass     false
 isPrimitive       false
 isSynthetic       false
 simple-name       OrderController
 modifier          public
 annotation        org.springframework.web.bind.annotation.RestController,org.springframework.web.bind.annotation.Requ
                   estMapping
 interfaces
 super-class       +-cn.test.mobile.controller.BaseController
                     +-java.lang.Object
 class-loader      +-sun.misc.Launcher$AppClassLoader@18b4aac2
                     +-sun.misc.Launcher$ExtClassLoader@480bdb19
 classLoaderHash   18b4aac2

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

与之相应的还有sm( “Search-Method” )，查看已加载类的方法信息

查看String里的方法

sm java.lang.String
java.lang.String <init>([BII)V
java.lang.String <init>([BLjava/nio/charset/Charset;)V
java.lang.String <init>([BLjava/lang/String;)V
java.lang.String <init>([BIILjava/nio/charset/Charset;)V
java.lang.String <init>([BIILjava/lang/String;)V
... ... ... ...

1
2
3
4
5
6
7
8

查看String中toString的详细信息

sm -d java.lang.String toString
declaring-class  java.lang.String
 method-name      toString
 modifier         public
 annotation
 parameters
 return           java.lang.String
 exceptions
 classLoaderHash  null

1
2
3
4
5
6
7
8
9
10

5、watch

可以监测一个方法的入参和返回值

有些问题线上会出现，本地重现不了，这时这个命令就有用了

观察getOrderInfo的出参和返回值，出参就是方法结束后的入参

watch cn.test.mobile.controller.order.OrderController getOrderInfo "{params,returnObj}" -x 2

Press Q or Ctrl+C to abort.
Affect(class-cnt:1 , method-cnt:1) cost in 456 ms.
ts=2019-11-13 15:30:18; [cost=18.48307ms] result=@ArrayList[
    @Object[][  # 这个就是出参，params
        @RequestFacade[org.apache.catalina.connector.RequestFacade@1d81dbd7],
        @LinkedHashMap[isEmpty=false;size=2], # 把遍历深度x改为3就可以查看map里的值了
    ],
    @ResponseVo[ # 这个就是返回值 returnObj
        log=@Logger[Logger[cn.test.db.common.vo.ResponseVo]],
        success=@Boolean[true],
        message=@String[Ok],
        count=@Integer[0],
        code=@Integer[1000],
        data=@HashMap[isEmpty=false;size=1],
    ],
]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

观察getOrderInfo的入参和返回值

watch cn.test.mobile.controller.order.OrderController getOrderInfo "{params,returnObj}" -x 3 -b

Press Q or Ctrl+C to abort.
Affect(class-cnt:1 , method-cnt:1) cost in 93 ms.
ts=2019-11-13 15:37:38; [cost=0.012479ms] result=@ArrayList[
    @Object[][
        @RequestFacade[
            request=@Request[org.apache.catalina.connector.Request@d04e652],
            sm=@StringManager[org.apache.tomcat.util.res.StringManager@7ae7a97b],
        ],
        @LinkedHashMap[
            @String[payNo]:@String[190911173713755288],
            @String[catalogId]:@String[6],
        ],
    ],
    null,# -b是方法调用之前观察，所以还没有返回值
]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

如果需要捕捉异常的话，使用throwExp，如{params,returnObj,throwExp}

6、trace

输出方法内部调用路径，和路径上每个节点的耗时

可以通过这个命令，查看哪些方法耗性能，从而找出导致性能缺陷的代码，这个耗时还包含了arthas执行的时间哦。

输出getOrderInfo的调用路径

trace -j cn.test.mobile.controller.order.OrderController getOrderInfo

Press Q or Ctrl+C to abort.
Affect(class-cnt:1 , method-cnt:1) cost in 92 ms.
---ts=2019-11-13 15:46:59;thread_name=http-nio-8801-exec-4;id=2b;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@a6c54c3
    ---[15.509011ms] cn.test.mobile.controller.order.OrderController:getOrderInfo()
        +---[0.03584ms] cn.test.db.common.vo.ResponseVo:<init>() #472
        +---[0.00992ms] java.util.HashMap:<init>() #473
        +---[0.02176ms] cn.test.mobile.controller.order.OrderController:getUserInfo() #478
        +---[0.024ms] java.util.Map:get() #483
        +---[0.00896ms] java.lang.Object:toString() #483
        +---[0.00864ms] java.lang.Integer:parseInt() #483
        +---[0.019199ms] com.baomidou.mybatisplus.core.conditions.query.QueryWrapper:<init>() #500
        +---[0.135679ms] com.baomidou.mybatisplus.core.conditions.query.QueryWrapper:allEq() #500
        +---[12.476072ms] cn.test.db.service.IOrderMediaService:getOne() #500
        +---[0.0128ms] java.util.HashMap:put() #501
        +---[0.443517ms] cn.test.db.common.vo.ResponseVo:setSuccess() #503
        `---[0.03488ms] java.util.Map:put() #504

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

输出getOrderInfo的调用路径，且cost大于10ms，-j是指过滤掉jdk中的方法，可以看到输出少了很多

trace -j cn.test.mobile.controller.order.OrderController getOrderInfo '#cost > 10'

Press Q or Ctrl+C to abort.
Affect(class-cnt:1 , method-cnt:1) cost in 96 ms.
---ts=2019-11-13 15:53:42;thread_name=http-nio-8801-exec-2;id=29;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@a6c54c3
    ---[13.803743ms] cn.test.mobile.controller.order.OrderController:getOrderInfo()
        +---[0.01312ms] cn.test.db.common.vo.ResponseVo:<init>() #472
        +---[0.01408ms] cn.test.mobile.controller.order.OrderController:getUserInfo() #478
        +---[0.0128ms] com.baomidou.mybatisplus.core.conditions.query.QueryWrapper:<init>() #500
        +---[0.303998ms] com.baomidou.mybatisplus.core.conditions.query.QueryWrapper:allEq() #500
        +---[12.675431ms] cn.test.db.service.IOrderMediaService:getOne() #500
        `---[0.409917ms] cn.test.db.common.vo.ResponseVo:setSuccess() #503

1
2
3
4
5
6
7
8
9
10
11
12
13

7、jobs

执行后台异步任务

线上有些问题是偶然发生的，这时就需要使用异步任务，把信息写入文件。

使用 & 指定命令去后台运行，使用 > 将结果重写到日志文件，以trace为例

trace -j cn.test.mobile.controller.order.OrderController getOrderInfo > test.out &

1
2

jobs——列出所有job

 jobs
[76]*  
       Running           trace -j cn.test.mobile.controller.order.OrderController getOrderInfo >> test.out &
       execution count : 0
       start time      : Wed Nov 13 16:13:23 CST 2019
       timeout date    : Thu Nov 14 16:13:23 CST 2019
       session         : f4fba846-e90b-4234-959e-e78ad0a5db8c (current)

1
2
3
4
5
6
7
8

job id是76, * 表示此job是当前session创建，状态是Running，execution count是执行次数，timeout date是超时时间

异步执行时间，默认为1天，如果要修改，使用options命令,

options job-timeout 2d

1
2

options可选参数 1d, 2h, 3m, 25s，分别代表天、小时、分、秒

kill——强制终止任务

kill 76
kill job 76 success

1
2
3

最多同时支持8个命令使用重定向将结果写日志

请勿同时开启过多的后台异步命令，以免对目标JVM性能造成影响

8、logger

查看logger信息，更新logger level

查看

logger
 name                ROOT
 class               ch.qos.logback.classic.Logger
 classLoader         sun.misc.Launcher$AppClassLoader@18b4aac2
 classLoaderHash     18b4aac2 #改日志级别时要用到它
 level               INFO
 effectiveLevel      INFO
 ... ... ... ...

1
2
3
4
5
6
7
8
9

更新日志级别

logger --name ROOT --level debug
update logger level success.

1
2
3

如果执行这个命令时出错：update logger level fail.

指定classLoaderHash重试一下试试

logger -c 18b4aac2 --name ROOT --level debug
update logger level success.

1
2
3

9、redefine

redefine jvm已加载的类 ，可以在不重启项目的情况下，热更新类。

这个功能真的很强大，但是命令不一定会成功

下面我们来模拟：假设我想修改OrderController里的某几行代码，然后热更新至jvm：

a. 反编译OrderController，默认情况下，反编译结果里会带有ClassLoader信息，通过–source-only选项，可以只打印源代码。方便和mc/redefine命令结合使用

jad --source-only cn.test.mobile.controller.order.OrderController > OrderController.java

1
2

生成的OrderController.java在哪呢，执行pwd就知道在哪个目录了

b. 查找加载OrderController的ClassLoader

sc -d cn.test.mobile.controller.order.OrderController | grep classLoaderHash
classLoaderHash   18b4aac2

1
2
3

c. 修改保存好OrderController.java之后，使用mc(Memory Compiler)命令来编译成字节码，并且通过-c参数指定ClassLoader

mc -c 18b4aac2 OrderController.java -d ./
1

d. 热更新刚才修改后的代码

redefine -c 18b4aac2 OrderController.class
redefine success, size: 1
1
2

然后代码就更新成功了。

Web Console

arthas 还支持webUI。用户在 attach 成功之后，可以直接访问：http://127.0.0.1:8563/ 在新窗口打开。

可以填入 IP，远程连接其它机器上的 arthas。

注意

默认情况下，arthas 只 listen 127.0.0.1，所以如果想从远程连接，则可以使用 --target-ip参数指定 listen 的 IP，更多参考-h的帮助说明。 注意会有安全风险，考虑下面的 tunnel server 的方案。

Docker

这里有三种方式在docker 中使用 Arthas

1. 把 Arthas 安装到基础镜像里

可以很简单把 Arthas 安装到你的 Docker 镜像里。

FROM openjdk:8-jdk-alpine

# copy arthas
COPY --from=hengyunabc/arthas:latest /opt/arthas /opt/arthas
1
2
3
4

如果想指定版本，可以查看具体的 tags：

https://hub.docker.com/r/hengyunabc/arthas/tags

2. 诊断 Docker 里的 Java 进程

docker exec -it  ${containerId} /bin/bash -c "wget https://arthas.aliyun.com/arthas-boot.jar && java -jar arthas-boot.jar"
1

3. 诊断 k8s 里容器里的 Java 进程

kubectl exec -it ${pod} --container ${containerId} -- /bin/bash -c "wget https://arthas.aliyun.com/arthas-boot.jar && java -jar arthas-boot.jar"
1