在项目中记录日志的时候，常常会直接输出一个对象，直接输出对象会调用对象的toString方法，最终一会把一个对象的每个字段甚至嵌套的字段都打印出来。但是一般拿到日志需要做某些分析或排查问题的时候，常常需要将日志转成json字符串，方便在各种中间件传输以及接口调用。本文针对这种场景，设计了一种快速将日志转换成json的工具，非常实用，并且提出了一种通用的方法去做类似的转换工作。
在项目中输出各种日志，常常会把一些对象一起输出来，如下：
//请求有问题，将请求的request对象输出，便于排查问题
LogUtil.error(log, "request error, request=", request);
但是输出后的这个对象，往往是按照重写的toString方法来进行输出的，这种输出效果我们看完全可以，但是如果要用它来排查问题，肯定不太方便，例如：将这个请求重试一遍，debug一下；将这个请求传到mq中排查一下链路。等等还有很多。这些操作往往有一个共性，就是，它需要是一个json字符串，因为json是一般的序列化手段，所以如果用json格式的对象去排查问题肯定要方便的多。
看到这里就有个问题了，既然我们需要json格式的对象，我们在打日志的时候用fastjson打出来不就好了吗?
可是可以，但是任何json工具都是基于反射的，比起直接输出对象，性能上要差很多，并且json格式的数据相比而言会占用额外的空间。
所以更常见的做法是：打印日志的时候直接输出对象，然后需要转成json的时候再用相应的工具转成json来使用。
而一般的toString方法常使用Lombok的插件生成，所以本文代码主要针对Lombok生成的toString方法来考虑。
对于这种日志转换，如果要能考虑到方方面面，本身是一个非常庞大的工程，但是日常使用的时候，大部分场景是用不到的，所以我们需要针对一般的case分析出恰到好处的需求。
假设有一个订单类，如下：
@Data
public class Order {
private String name;
private int count;
private double money;
private Buyer buyer;
private List<String> items;
private Date createTime;
private boolean isPay;
}
编译后的toString方法为：
public String toString() {
return "Order(name=" + this.getName() + ", count=" + this.getCount() + ", money=" + this.getMoney() + ", buyer=" + this.getBuyer() + ", items=" + this.getItems() + ", createTime=" + this.getCreateTime() + ", isPay=" + this.isPay() + ")";
}
其中购买者类如下：
@Data
public class Buyer {
String uid;
String type;
Map<String, String> extInfo;
}
编译后的toString方法为：
public String toString() {
return "Buyer(uid=" + this.getUid() + ", type=" + this.getType() + ", extInfo=" + this.getExtInfo() + ")";
}
现在我构造如下一个order对象：
public static void main(String[] args) throws ParseException{
Order order = new Order();
order.setCount(1);
order.setMoney(5.20d);
order.setName("name");
Buyer buyer = new Buyer();
buyer.setUid("uid");
buyer.setType("online");
Map<String, String> extInfo = new HashMap<>();
extInfo.put("note", "12345");
buyer.setExtInfo(extInfo);
order.setBuyer(buyer);
List<String> items = new ArrayList<>();
items.add("item1");
items.add("item2");
order.setItems(items);
order.setCreateTime(new GregorianCalendar(2022, Calendar.AUGUST, 25, 0, 0, 0).getTime());
System.out.println(order);
}
那么日志输出，应该为一下内容：
Order(name=name, count=1, money=5.2, buyer=Buyer(uid=uid, type=online, extInfo={note=12345}), items=[item1, item2], createTime=Thu Aug 25 00:00:00 CST 2022, isPay=true)
而我们理想条件下，应该需要得到如下的json字符串：
{
"isPay": true,
"money": 5.2,
"createTime": "2022-08-25 00:00:00",
"name": "name",
"count": 1,
"items": [
"item1",
"item2"
],
"buyer": {
"uid": "uid",
"type": "online",
"extInfo": {
"note": "12345"
}
}
}
我们仔细观察一下，从这个转换中，我们可以得到以下的基本信息：
不过，还有一种case很常见，但是上面这个例子没体现出来的地方，就是继承的场景，我们稍微更改一下上面的类，Buyer类进行拆分，变成如下两个类，满足继承关系：
@Data
public class User {
String uid;
}
@Data
@ToString(callSuper=true)
public class Buyer extends User{
String type;
Map<String, String> extInfo;
}
注意：@ToString(callSuper=true) 表示生成toString方法的时候，连同父类的属性一起打印出来。
这样打印的结果是：
Order(name=name, count=1, money=5.2, buyer=Buyer(super=User(uid=uid), type=online, extInfo={note=12345}), items=[item1, item2], createTime=Thu Aug 25 00:00:00 CST 2022, isPay=true)
注意加了super=()。
也就是说我们还需要处理这种场景下的转换。
在上面我们打印了时间，发现默认是CST（中央标准时间）格式的时间，所以我们需要转换为更直白一点的时间表示，在某些国际业务场景下，UTC（协调世界时）也非常常用，所以需要考虑一下这两种不同格式时间的转换。
还有这样一个场景，如果一个对象为空，java里面默认会打印出：
好了，上面是从一个工具的使用场景去分析的需求，接下来，我们还需要站在技术侧的角度去思考一些问题。
我们仔细对比一下日志和需要的json：
Order(name=name, count=1, money=5.2, buyer=Buyer(super=User(uid=uid), type=online, extInfo={note=12345}), items=[item1, item2], createTime=Thu Aug 25 00:00:00 CST 2022, isPay=true)
{"isPay":true,"money":5.2,"createTime":"2022-08-25 00:00:00","name":"name","count":1,"items":["item1","item2"],"buyer":{"uid":"uid","type":"online","extInfo":{"note":"12345"}}}
发现在日志的体现里，所有东西都被当成了字符串，也没有双引号啥的；但是在json里面，有的数字就是数字展示，有的数字就是带双引号的，被视作字符串，那我们怎么知道日志里面的数字到底对应的是数字还是单引号呢？
有人可能会说用反射去取类的字段就可以了，但是这里有个前提条件，要能拿到这个类，但是作为一个临时使用的工具来说，还要专门去导入需要的jar包，未免过于麻烦，当然能拿到类用反射去匹配字段肯定是最快的方式，在这里我们的实现不需要能拿到类就能转换成json。
那么既然不拿这个类，就无法区分到底哪些是数字哪些是字符串了，需要做一个取舍，但是有这样一个情况，在很多中间件里，如果实际是int类型，你传了一个"123"，实际上反序列化的时候它也能拓展支持，只要字段名相同，所以这里我们可以适当取舍，对所有数字类型和布尔类型，都当成字符串来处理，实在最后类型对不上，手调几个也没太大关系，反正定位是临时使用的工具。
综上，我们需要满足如下需求：
当然，实际转换的过程可能要更加复杂，但是大部分情况下，这些类型已经够用了，所以此处我们仅针对这些情况来考虑转换。
记下来我们详细分析一下，要实现这样应该工具，应该从哪几个方面下手。
首先，我们要知道，一个json，本身就是一个大map，我们把所有的属性构造成map键值对的方式后用fastjson转一下就可以变成json字符串，现在难点就来到了如何把里面所有的属性提取出来构造一个map。
再来观察一下打印输出的结果：
Order(name=name, count=1, money=5.2, buyer=Buyer(super=User(uid=uid), type=online, extInfo={note=12345}), items=[item1, item2], createTime=Thu Aug 25 00:00:00 CST 2022, isPay=true)
我们可以某些细节：
[a,b,c]。中括号里面内容用逗号分隔{a=xx,b=xx}。大括号里面是一些键值对，用逗号分隔。super()的方式进行表达。a=xx这样。我们拿到这样一个字符串后，首先应该做的就是确定我们当前拿到的是个什么类型，是对象类型、集合类型、map类型还是什么，知道是种什么类型后，然然层层深入往里面进行处理，递归的处理，直到处理到我们能轻松解决的类型为止。
如何确定拿到的字符串是一个什么类型，在我们不知道原类的基础上，我们唯一的办法就是，根据这些类型的特征来判断，很明显：使用正则表达式是一种不错的方法，这几种类型的正则表达式如下所示：
//CST日期匹配正则
private static Pattern cstDatePattern = Pattern.compile("^[a-zA-Z]{3} [a-zA-Z]{3} [0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2} CST ((19|20)\\d{2})$");
//UTC日期匹配正则
private static Pattern utcDatePattern = Pattern.compile("^[0-9]{4}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{3}$]");
//数字类型匹配正则
private static Pattern numPattern = Pattern.compile("^-?[0-9]+\\.?[0-9]*$");
//集合类型
private static Pattern listPattern = Pattern.compile("^\\[.*\\]$");
//map类型
private static Pattern mapPattern = Pattern.compile("^\\{.*\\}$");
//对象类型
private static Pattern objectPattern = Pattern.compile("^[a-zA-Z0-9\\.]+\\(.+\\)$");
//super
private static Pattern superPattern = Pattern.compile("^super=[a-zA-Z0-9\\.]+\\(.+\\)$");
知道是什么类型后，我们应该深入的去解析每一种类型里面的字段，这里可能存在嵌套，比如一个对象里面的一个属性它还是一个对象，那么我们要能把里面属性的字符串内容给分割出来才行，要分割里面的对象，不能简单的通过某种分隔符来做，因为里面这个对象还可能嵌套了n层，面对这种嵌套的场景，我们常使用栈来处理。
经过上面的分析，我们的处理无非三步：
我们可以借助栈，使用如下工具类来分割出下一个要处理的部分。
public static class ToStringTokenUtils {
private static List<Character> TOKEN_LEFT = Arrays.asList('(', '[', '{');
private static List<Character> TOKEN_RIGHT = Arrays.asList(')', ']', '}');
static String splitToken(String str) {
if(StringUtils.isBlank(str)) {
return str;
}
int index = indexOfSplitToken(str, ',');
return str.substring(0, index);
}
static Pair<String, String> parseToken(String token) {
int index = indexOfSplitToken(token, '=');
return new Pair<>(token.substring(0, index), token.substring(index + 1));
}
private static int indexOfSplitToken(String token, char split) {
Deque<Character> stack = new LinkedList<>();
for(int i = 0; i < token.length(); i++) {
char c = token.charAt(i);
if(TOKEN_LEFT.contains(c)) {
stack.push(c);
} else if(TOKEN_RIGHT.contains(c)) {
//括号一定要匹配
if(TOKEN_LEFT.indexOf(stack.peek()) != TOKEN_RIGHT.indexOf(c)) {
throw new RuntimeException("括号匹配异常, stack=" + stack + ",token=" + token);
}
stack.pop();
} else if(c == split && stack.isEmpty()) {
return i;
}
}
if(stack.isEmpty()) {
return token.length();
}
//匹配结束都没匹配到，匹配异常
throw new RuntimeException("获取分割下标异常, stack=" + stack + ",token=" + token);
}
}
导包：
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.76</version>
</dependency>
<dependency>
<groupId>commons-lang</groupId>
<artifactId>commons-lang</artifactId>
<version>2.6</version>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.12</version>
</dependency>
import com.alibaba.fastjson.JSON;
import javafx.util.Pair;
import org.apache.commons.lang.StringUtils;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.*;
import java.util.regex.Pattern;
/**
* @author ATFWUS
*/
public class LogToJson {
private static final String NULL = "" ;
//CST日期匹配正则
private static Pattern cstDatePattern = Pattern.compile("^[a-zA-Z]{3} [a-zA-Z]{3} [0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2} CST ((19|20)\\d{2})$");
//UTC日期匹配正则
private static Pattern utcDatePattern = Pattern.compile("^[0-9]{4}-[0-9]{2}T[0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{3}$]");
//数字类型匹配正则
private static Pattern numPattern = Pattern.compile("^-?[0-9]+\\.?[0-9]*$");
//集合类型
private static Pattern listPattern = Pattern.compile("^\\[.*\\]$");
//map类型
private static Pattern mapPattern = Pattern.compile("^\\{.*\\}$");
//对象类型
private static Pattern objectPattern = Pattern.compile("^[a-zA-Z0-9\\.]+\\(.+\\)$");
//super
private static Pattern superPattern = Pattern.compile("^super=[a-zA-Z0-9\\.]+\\(.+\\)$");
public static String toJsonString(String str) throws ParseException{
return JSON.toJSONString(strToMap(str));
}
public static <T> T toObject(String str, Class<T> clazz) throws ParseException {
return JSON.parseObject(toJsonString(str), clazz);
}
private static Map<String, Object> strToMap(String str) throws ParseException {
//空校验
str = StringUtils.trim(str);
if(StringUtils.isEmpty(str)) {
return str == null ? null : new HashMap<>();
}
//获取str主要内容 第一个"()"
str = StringUtils.substringAfter(str, "(").trim();
str = StringUtils.substringBeforeLast(str, ")").trim();
//开始构造
String token;
Map<String, Object> map = new HashMap<>();
while(StringUtils.isNotEmpty(str) && StringUtils.isNotEmpty(token = ToStringTokenUtils. splitToken(str))) {
str = StringUtils.removeStart(str, token).trim();
str = StringUtils.removeStart(str, ",").trim();
// 如果带"super="(lombok的@ToString(callSuper=true), 按照当前层继续处理
if(superPattern.matcher(token).matches()) {
token = token.substring(token.indexOf("(") + 1, token.length() - 1);
str = String.format("%s, %s", token, str);
continue;
}
Pair<String, String> pair = ToStringTokenUtils.parseToken(token);
map.put(pair.getKey(), buildTypeValue(pair.getKey(), pair.getValue()));
}
return map;
}
private static Object buildTypeValue(String key, String value) throws ParseException {
// value为null的情况
if(StringUtils.isEmpty(value)) {
return null;
} else if (NULL.equals(value)) {
return null;
}
// CST日期类型
if(cstDatePattern.matcher(value).matches()) {
SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
Date us = new SimpleDateFormat("EEE MMM dd HH:mm:ss zzzz yyyy", Locale.ENGLISH).parse(value);
return format.format(us);
}
// UTC日期类型
if(utcDatePattern.matcher(value).matches()) {
SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
Date us = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSS", Locale.ENGLISH).parse(value);
return format.format(us);
}
// 数字类型
if(numPattern.matcher(value).matches()) {
return value;
}
// 集合类型
if(listPattern.matcher(value).matches()) {
return buildListValue(value);
}
// map类型
if(mapPattern.matcher(value).matches()) {
return buildMapValue(value);
}
// 对象类型
if(objectPattern.matcher(value).matches()) {
return strToMap(value);
}
//其余一律当做str处理
return value;
}
private static Object buildListValue(String value) throws ParseException {
List<Object> result = new ArrayList<>();
// 去除左右括号
value = value.substring(1, value.length() - 1).trim();
String token = null;
while(StringUtils.isNotBlank(value) && StringUtils.isNotBlank(token = ToStringTokenUtils.splitToken(value))) {
result.add(buildTypeValue(null, token));
value = StringUtils.removeStart(value, token).trim();
value = StringUtils.removeStart(value, ",").trim();
}
return result;
}
private static Object buildMapValue(String value) throws ParseException {
Map<Object, Object> result = new HashMap<>();
value = value.substring(1, value.length() - 1).trim();
if(StringUtils.isEmpty(value)) {
return result;
}
String token = null;
while(StringUtils.isNotEmpty(token = ToStringTokenUtils.splitToken(value))) {
Pair<String, String> pair = ToStringTokenUtils.parseToken(token);
result.put(buildTypeValue(pair.getKey(), pair.getKey()), buildTypeValue(pair.getKey(), pair.getValue()));
value = StringUtils.removeStart(value, token).trim();
value = StringUtils.removeStart(value, ",").trim();
}
return result;
}
public static class ToStringTokenUtils {
private static List<Character> TOKEN_LEFT = Arrays.asList('(', '[', '{');
private static List<Character> TOKEN_RIGHT = Arrays.asList(')', ']', '}');
static String splitToken(String str) {
if(StringUtils.isBlank(str)) {
return str;
}
int index = indexOfSplitToken(str, ',');
return str.substring(0, index);
}
static Pair<String, String> parseToken(String token) {
int index = indexOfSplitToken(token, '=');
return new Pair<>(token.substring(0, index), token.substring(index + 1));
}
private static int indexOfSplitToken(String token, char split) {
Deque<Character> stack = new LinkedList<>();
for(int i = 0; i < token.length(); i++) {
char c = token.charAt(i);
if(TOKEN_LEFT.contains(c)) {
stack.push(c);
} else if(TOKEN_RIGHT.contains(c)) {
//括号一定要匹配
if(TOKEN_LEFT.indexOf(stack.peek()) != TOKEN_RIGHT.indexOf(c)) {
throw new RuntimeException("括号匹配异常, stack=" + stack + ",token=" + token);
}
stack.pop();
} else if(c == split && stack.isEmpty()) {
return i;
}
}
if(stack.isEmpty()) {
return token.length();
}
//匹配结束都没匹配到，匹配异常
throw new RuntimeException("获取分割下标异常, stack=" + stack + ",token=" + token);
}
}
public static void main(String[] args) throws ParseException{
Order order = new Order();
order.setCount(1);
order.setMoney(5.20d);
order.setName("name");
Buyer buyer = new Buyer();
buyer.setUid("uid");
buyer.setType("online");
Map<String, String> extInfo = new HashMap<>();
extInfo.put("note", "12345");
buyer.setExtInfo(extInfo);
order.setBuyer(buyer);
List<String> items = new ArrayList<>();
items.add("item1");
items.add("item2");
order.setItems(items);
order.setCreateTime(new GregorianCalendar(2022, Calendar.AUGUST, 25, 0, 0, 0).getTime());
order.setPay(true);
String logStr = order.toString();
System.out.println(logStr);
System.out.println(LogToJson.toJsonString(logStr));
System.out.println(JSON.toJSONString(order));
}
}
输出结果：
Order(name=name, count=1, money=5.2, buyer=Buyer(super=User(uid=uid), type=online, extInfo={note=12345}), items=[item1, item2], createTime=Thu Aug 25 00:00:00 CST 2022, isPay=true)
{"isPay":"true","money":"5.2","createTime":"2022-08-25 00:00:00","name":"name","count":"1","items":["item1","item2"],"buyer":{"uid":"uid","type":"online","extInfo":{"note":"12345"}}}
{"buyer":{"extInfo":{"note":"12345"},"type":"online","uid":"uid"},"count":1,"createTime":1661356800000,"items":["item1","item2"],"money":5.2,"name":"name","pay":true}
从实用性上来讲，应该能解决大部分项目中这种日志转json的问题，少部分复杂的对象可能还需要手动调整一下。
本文实现了较为简单场景下的日志向json的转换，优势是不需要知道原类，使用正则匹配的方式确定可能的类型，整个实现过程中，参考了fastjson源代码的设计，能较为简单的表达fastjson分层设计的思想里面的一点：一个类处理一种类型， 若嵌套，嵌套的部分交给其它类来处理，单一职责。
在不知道原类的情况下做转换，会存在一个致命缺陷：字符串和某些类型无法区分，理论上来说，要拿到这个类通过反射来逐一匹配字段才能完全正确，当然这里面也会存在很多问题，这是未来值得拓展的一点。
本篇文章算是抛砖引玉了，在这种对象、日志、json等之间的转换，还是存在很多细节问题的，去仔细阅读以下fastjson的源码可能会有更多收获。
ATFWUS 2022-08-25