• Fastjson反序列化随机性失败

    37d148b68fed31d516959810b1ad1e57.gif

    本文主要讲述了一个具有"随机性"的反序列化错误！

    前言

    Fastjson作为一款高性能的JSON序列化框架，使用场景众多，不过也存在一些潜在的bug和不足。本文主要讲述了一个具有"随机性"的反序列化错误！

    问题代码

    为了清晰地描述整个报错的来龙去脉，将相关代码贴出来，同时也为了可以本地执行，看一下实际效果。

    ▐  StewardTipItem

    1. package test;
    2.  
    3.  
    4. import java.util.List;
    5.  
    6.  
    7. public class StewardTipItem {
    8.  
    9.  
    10.     private Integer type;
    11.  
    12.  
    13.     private List<String> contents;
    14.  
    15.  
    16.     public StewardTipItem(Integer type, List<String> contents) {
    17.         this.type = type;
    18.         this.contents = contents;
    19.     }
    20. }

    ▐  StewardTipCategory

    反序列化时失败，此类有两个特殊之处：

    1. 返回StewardTipCategory的build方法(忽略返回null值)。

    2. 构造函数『C1』Map<Integer, List<String>> items参数与List<StewardTipItem> items属性同名，但类型不同！

    1. package test;
    2.  
    3.  
    4. import java.util.ArrayList;
    5. import java.util.List;
    6. import java.util.Map;
    7.  
    8.  
    9. public class StewardTipCategory {
    10.  
    11.  
    12.     private String category;
    13.  
    14.  
    15.     private List<StewardTipItem> items;
    16.  
    17.  
    18.     public StewardTipCategory build() {
    19.         return null;
    20.     }
    21.  
    22.  
    23.     //C1 下文使用C1引用该构造函数
    24.     public StewardTipCategory(String category, Map<Integer, List<String>> items) {
    25.         List<StewardTipItem> categoryItems = new ArrayList<>();
    26.         for (Map.Entry<Integer, List<String>> item : items.entrySet()) {
    27.             StewardTipItem tipItem = new StewardTipItem(item.getKey(), item.getValue());
    28.             categoryItems.add(tipItem);
    29.         }
    30.         this.items = categoryItems;
    31.         this.category = category;
    32.     }
    33.  
    34.  
    35.     // C2 下文使用C2引用该构造函数
    36.     public StewardTipCategory(String category, List<StewardTipItem> items) {
    37.         this.category = category;
    38.         this.items = items;
    39.     }
    40.  
    41.  
    42.     public String getCategory() {
    43.         return category;
    44.     }
    45.  
    46.  
    47.     public void setCategory(String category) {
    48.         this.category = category;
    49.     }
    50.  
    51.  
    52.     public List<StewardTipItem> getItems() {
    53.         return items;
    54.     }
    55.  
    56.  
    57.     public void setItems(List<StewardTipItem> items) {
    58.         this.items = items;
    59.     }
    60. }

    ▐  StewardTip

    1. package test;
    2.  
    3.  
    4. import java.util.ArrayList;
    5. import java.util.List;
    6. import java.util.Map;
    7.  
    8.  
    9. public class StewardTip {
    10.  
    11.  
    12.     private List<StewardTipCategory> categories;
    13.  
    14.  
    15.     public StewardTip(Map<String, Map<Integer, List<String>>> categories) {
    16.         List<StewardTipCategory> tipCategories = new ArrayList<>();
    17.         for (Map.Entry<String, Map<Integer, List<String>>> category : categories.entrySet()) {
    18.             StewardTipCategory tipCategory = new StewardTipCategory(category.getKey(), category.getValue());
    19.             tipCategories.add(tipCategory);
    20.         }
    21.         this.categories = tipCategories;
    22.     }
    23.  
    24.  
    25.     public StewardTip(List<StewardTipCategory> categories) {
    26.         this.categories = categories;
    27.     }
    28.  
    29.  
    30.     public List<StewardTipCategory> getCategories() {
    31.         return categories;
    32.     }
    33.  
    34.  
    35.     public void setCategories(List<StewardTipCategory> categories) {
    36.         this.categories = categories;
    37.     }
    38. }

    ▐  JSON字符串

    1. {
    2.     "categories":[
    3.         {
    4.             "category":"工艺类",
    5.             "items":[
    6.                 {
    7.                     "contents":[
    8.                         "工艺类-提醒项-内容1",
    9.                         "工艺类-提醒项-内容2"
    10.                     ],
    11.                     "type":1
    12.                 },
    13.                 {
    14.                     "contents":[
    15.                         "工艺类-疑问项-内容1"
    16.                     ],
    17.                     "type":2
    18.                 }
    19.             ]
    20.         }
    21.     ]
    22. }

    ▐  FastJSONTest

    1. package test;
    2.  
    3.  
    4. import com.alibaba.fastjson.JSONObject;
    5.  
    6.  
    7. public class FastJSONTest {
    8.  
    9.  
    10.     public static void main(String[] args) {
    11.         String tip = "{\"categories\":[{\"category\":\"工艺类\",\"items\":[{\"contents\":[\"工艺类-提醒项-内容1\",\"工艺类-提醒项-内容2\"],\"type\":1},{\"contents\":[\"工艺类-疑问项-内容1\"],\"type\":2}]}]}";
    12.         try {
    13.             JSONObject.parseObject(tip, StewardTip.class);
    14.         } catch (Exception e) {
    15.             e.printStackTrace();
    16.         }
    17.     }
    18. }

    ▐  堆栈信息

    当执行FastJSONTest的main方法时报错：

    1. com.alibaba.fastjson.JSONException: syntax error, expect {, actual [
    2.   at com.alibaba.fastjson.parser.deserializer.MapDeserializer.parseMap(MapDeserializer.java:228)
    3.   at com.alibaba.fastjson.parser.deserializer.MapDeserializer.deserialze(MapDeserializer.java:67)
    4.   at com.alibaba.fastjson.parser.deserializer.MapDeserializer.deserialze(MapDeserializer.java:43)
    5.   at com.alibaba.fastjson.parser.deserializer.DefaultFieldDeserializer.parseField(DefaultFieldDeserializer.java:85)
    6.   at com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer.deserialze(JavaBeanDeserializer.java:838)
    7.   at com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer.deserialze(JavaBeanDeserializer.java:288)
    8.   at com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer.deserialze(JavaBeanDeserializer.java:284)
    9.   at com.alibaba.fastjson.parser.deserializer.ArrayListTypeFieldDeserializer.parseArray(ArrayListTypeFieldDeserializer.java:181)
    10.   at com.alibaba.fastjson.parser.deserializer.ArrayListTypeFieldDeserializer.parseField(ArrayListTypeFieldDeserializer.java:69)
    11.   at com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer.deserialze(JavaBeanDeserializer.java:838)
    12.   at com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer.deserialze(JavaBeanDeserializer.java:288)
    13.   at com.alibaba.fastjson.parser.DefaultJSONParser.parseObject(DefaultJSONParser.java:672)
    14.   at com.alibaba.fastjson.JSON.parseObject(JSON.java:396)
    15.   at com.alibaba.fastjson.JSON.parseObject(JSON.java:300)
    16.   at com.alibaba.fastjson.JSON.parseObject(JSON.java:573)
    17.   at test.FastJSONTest.main(FastJSONTest.java:17)

    问题排查

    排查过程有两个难点：

    1. 不能根据报错信息得到异常时JSON字符串的key，position或者其他有价值的提示信息。

    2. 报错并不是每次执行都会发生，存在随机性，执行十次可能报错两三次，没有统计失败率。

    

    经过多次执行之后还是找到了一些蛛丝马迹！下面结合源码对整个过程进行简单地叙述，最后也会给出怎么能在报错的时候debug到代码的方法。

    ▐  JavaBeanInfo:285行

    5486aecf233f805c67eebf52857fe7ab.png

    clazz是StewardTipCategory.class的情况下，提出以下两个问题：

    Q1：Constructor[] constructors数组的返回值是什么？

    Q2：constructors数组元素的顺序是什么？

    参考java.lang.Class#getDeclaredConstructors的注释，可得到A1：

    68f19614cc9cec2e11b22cd772950b64.png

    • A1

    public test.StewardTipCategory(java.lang.String,java.util.Map<java.lang.Integer, java.util.List<java.lang.String>>)『C1』

    public test.StewardTipCategory(java.lang.String,java.util.List<test.StewardTipItem>)『C2』

    

    • A2

    build()方法，C1构造函数，C2构造函数三者在Java源文件的顺序决定了constructors数组元素的顺序！

    

    下表是经过多次实验得到的一组数据，因为是手动触发，并且次数较少，所以不能保证100%的准确性，只是一种大概率事件。

    java.lang.Class#getDeclaredConstructors底层实现是native getDeclaredConstructors0，JVM的这部分代码没有去阅读，所以目前无法解释产生这种现象的原因。

    前

    中

    后

    数组元素顺序

    build()

    C1

    C2

    随机

    C1

    build()

    C2

    C2,C1

    C1

    C2

    build()

    C2,C1

    build()

    C2

    C1

    随机

    C2

    build()

    C1

    C1,C2

    C2

    C1

    build()

    C1,C2

    C1


    C2

    C2,C1

    C2

    C1

    C1,C2

    正是因为java.lang.Class#getDeclaredConstructors返回数组元素顺序的随机性，才导致反序列化失败的随机性！

    1. [C2,C1]反序列化成功！

    2. [C1,C2]反序列化失败！

    

    [C1,C2]顺序下探寻反序列化失败时代码执行的路径。

    ▐  JavaBeanInfo:492行

    62dc37fe940b5ee5237b1d799778162a.png

    com.alibaba.fastjson.util.JavaBeanInfo#build()方法体代码量比较大，忽略执行路径上的无关代码。

    1. [C1,C2]顺序下代码会执行到492行，并执行两次(StewardTipCategory#category, StewardTipCategory#items各执行一次)。

    2. 结束后创建一个com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer。

    ▐  JavaBeanDeserializer:49行

    2b2d094f5db8c6824b471b3f1cbbf592.png

    JavaBeanDeserializer两个重要属性:

    1. private final FieldDeserializer[]   fieldDeserializers;

    2. protected final FieldDeserializer[] sortedFieldDeserializers;

    

    反序列化test.StewardTipCategory#items时fieldDeserializers的详细信息。

    com.alibaba.fastjson.parser.deserializer.DefaultFieldDeserializer

    com.alibaba.fastjson.parser.deserializer.DefaultFieldDeserializer#fieldValueDeserilizer

    (属性值null,运行时会根据fieldType获取具体实现类)

    com.alibaba.fastjson.util.FieldInfo#fieldType

    (java.util.Map<java.lang.Integer, java.util.List<java.lang.String>>)

    2f1ed3595cc83c54c8368b431c14571e.png

    创建完成执行com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer#deserialze(com.alibaba.fastjson.parser.DefaultJSONParser, java.lang.reflect.Type, java.lang.Object, java.lang.Object, int, int[])

    ▐  JavaBeanDeserializer:838行

    2a46395830dffc11dcf464edc6012227.png

    ▐  DefaultFieldDeserializer:53行


    a129c6240f5c11c89d4d5045f0b7c52d.png

    com.alibaba.fastjson.parser.ParserConfig#getDeserializer(java.lang.Class<?>, java.lang.reflect.Type)根据字段类型设置com.alibaba.fastjson.parser.deserializer.DefaultFieldDeserializer#fieldValueDeserilizer的具体实现类。

    ▐  DefaultFieldDeserializer:34行

    284006e8b35d4ceb4f82796f601eaf33.png

    test.StewardTipCategory#items属性的实际类型是List<StewardTipItem>。

    反序列化时根据C1构造函数得到的fieldValueDeserilizer的实现类是com.alibaba.fastjson.parser.deserializer.MapDeserializer。

    执行com.alibaba.fastjson.parser.deserializer.MapDeserializer#deserialze(com.alibaba.fastjson.parser.DefaultJSONParser, java.lang.reflect.Type, java.lang.Object)时报错。

    ▐  MapDeserializer:228行

    c43c23847ed29b79782484db14a30856.png

    ▐  JavaBeanDeserializer:838行

    73e03bcdd5eee913d5605d231f41fdea.png

    java.lang.Class#getDeclaredConstructors返回[C2,C1]顺序，

    反序列化时根据C2构造函数得到的fieldValueDeserilizer的实现类是

    com.alibaba.fastjson.parser.deserializer.ArrayListTypeFieldDeserializer，反序列化成功。

    问题解决

    ▐  代码

    1. 删除C1构造函数，使用其他方式创建StewardTipCategory。

    2. 修改C1构造函数参数名称，类型，避免误导Fastjson。

    ▐  调试

    1. package test;
    2.  
    3.  
    4. import com.alibaba.fastjson.JSONObject;
    5.  
    6.  
    7. import java.lang.reflect.Constructor;
    8.  
    9.  
    10. public class FastJSONTest {
    11.  
    12.  
    13.     public static void main(String[] args) {
    14.         Constructor<?>[] declaredConstructors = StewardTipCategory.class.getDeclaredConstructors();
    15.         // if true must fail！
    16.        if ("public test.StewardTipCategory(java.lang.String,java.util.Map<java.lang.Integer, java.util.List<java.lang.String>>)".equals(declaredConstructors[0].toGenericString())) {
    17.           String tip = "{\"categories\":[{\"category\":\"工艺类\",\"items\":[{\"contents\":[\"工艺类-提醒项-内容1\",\"工艺类-提醒项-内容2\"],\"type\":1},{\"contents\":[\"工艺类-疑问项-内容1\"],\"type\":2}]}]}";
    18.             try {
    19.                 JSONObject.parseObject(tip, StewardTip.class);
    20.             } catch (Exception e) {
    21.                 e.printStackTrace();
    22.             }
    23.         }
    24.     }
    25. }

    总结

    ▐  开发过程中尽量遵照规范/规约，不要特立独行

    StewardTipCategory构造函数C1方法签名明显不是一个很好的选择，方法体除了属性赋值，还做了一些额外的类型/数据转换，也应该尽量避免。

    ▐  专业有深度

    开发人员对于使用的技术与框架要有深入的研究，尤其是底层原理，不能停留在使用层面。一些不起眼的事情可能导致不可思议的问题：java.lang.Class#getDeclaredConstructors。

    ▐   Fastjson

    框架实现时要保持严谨，报错信息尽可能清晰明了，StewardTipCategory反序列化失败的原因在于，fastjson只检验了属性名称，构造函数参数个数而没有进一步校验属性类型。

    <<重构：改善既有代码的设计>>提倡代码方法块尽量短小精悍，Fastjson某些模块的方法过于臃肿。

    吾生也有涯，而知也无涯

    团队介绍

    每平每屋·设计家，作为阿里巴巴旗下家装家居设计平台，为家装家居企业和设计师提供专业设计工具和渲染服务，同时依托阿里商业生态，帮助设计师和企业打通设计与商品全链路，推动家装家居设计全流程数字化。

    基于云计算和AI为核心，以3D云设计工具为技术底层，提供产业上下游数字化基础设施；作为产业数字化解决方案提供商，提供全生命周期数字化产品，助力产业商家完成数字化升级转型；新渠道设计带单驱动以设计师为中心的全域营销数字化，增加商家销售渠道；推出云管家模式，为商家提供从精准获客到用户服务的装修全流程产业服务一体化解决方案，加速全流程服务一体化。

    如果您对我们做的事情感兴趣可将简历发送至topping-zhaopin@alibaba-inc.com,期待您的加入！

    ✿  拓展阅读

    82e0e69afae96357cc08684a619b832b.png

    04905e8fc1bbf22b900db20bfa74454f.png

    作者|崔亚斌

    编辑|橙子君

    2123248d90ccd10ee46c1b35e4d00d53.png

  • 相关阅读:
    java集合之迭代器遍历元素
    【3D建模制作技巧分享】3dmax如何设置视图布局
    Linux内核——环境搭建
    【VS】以VS为IDE的报错#?may be unsafe
    Leetcode 剑指 Offer II 004. 只出现一次的数字
    2023秋招笔试算法Python3题解
    linux grep 加 正则表达式搜索
    Linux搭建samba文件共享服务器，实现基于Linux和Windows的共享文件服务
    C++-openssl-aes-加密解密
    udp的简单整理
  • 原文地址：https://blog.csdn.net/Taobaojishu/article/details/125454325