码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 记一次 ThreadLocal 泄漏导致的 shardingsphere-jdbc-core 单元测试偶发失败的排查与修复


    文章目录

    • 现象
    • 排查过程
      • 尝试本地复现
        • 尝试 Maven 运行单个模块的测试
        • 尝试使用不同 JDK 运行模块的测试
      • 分析问题
        • 分析日志
        • TransactionType 的来源?
      • 再次尝试本地复现
        • 分析测试执行顺序
        • 想办法调整单元测试执行顺序
    • 修复方案
    • 如何避免?

    现象

    https://github.com/apache/shardingsphere/issues/19346

    本地运行 shardingsphere-jdbc-core 的单元测试没问题,但 GitHub Actions 中的 CI 有一定概率失败。

    排查过程

    尝试本地复现

    尝试 Maven 运行单个模块的测试

    使用 Maven 构建 shardingsphere-jdbc-core,多次尝试未能复现:

    mvn clean install -pl shardingsphere-jdbc/shardingsphere-jdbc-core
    
    • 1

    尝试使用不同 JDK 运行模块的测试

    在这里插入图片描述

    尝试了以下几种 JDK:

    • Oracle Java 17.0.1
    • Eclipse Temurin 17.0.1
    • Docker Official OpenJDK 17.0.1

    均未能复现问题。

    分析问题

    分析日志

    重新观察报错信息:

    在这里插入图片描述

    可以发现几乎所有的报错都指向同一个地方:

    在这里插入图片描述

    都是因为 TransactionType 是一个 Mock 的对象,导致获取不到 ShardingSphereTransactionManager。

    TransactionType 的来源?

    来源一:
    TransactionRule 的 defaultType
    在这里插入图片描述

    来源二:
    来源于 TransactionTypeHolder。但 TransactionTypeHolder 中的值的根本来源是 TransactionRule 的 defaultType。所以根源还是来源一。

    在这里插入图片描述

    TransactionTypeHolder 使用了 ThreadLocal 存储 TransactionType。由于单元测试在同一个模块中默认单线程串行运行,所以此处考虑有没有可能是单元测试中存在 ThreadLocal 泄漏?

    在这里插入图片描述

    由于报错的直接原因是 TransactionType 是个 mock 对象,因此我们先看看哪里有可能会产生 mock 的 TransactionType。
    通过全局搜索发现,代码中并没有直接 mock TransactionType。但是存在不少 TransactionRule 的 RETURNS_DEEP_STUBS。

    在这里插入图片描述

    很可能是这些 TransactionRule 的 DEEP_STUBS 返回的 mock 的 TransactionType。

    通过在 TransactionTypeHolder 打断点也能确认,部分单元测试会将 mock TransactionType 放入 ThreadLocal

    在这里插入图片描述

    再次尝试本地复现

    但是本地如何才能重现问题证明泄漏?

    分析测试执行顺序

    根据经验,单元测试偶发报错很大可能和执行顺序有关系,观察 GitHub Actions 报错的单元测试执行顺序:
    发现其中的 org.apache.shardingsphere.driver.jdbc.adapter.ConnectionAdapterTest 使用了 mock TransactionRule 并且在报错的测试之前执行:
    在这里插入图片描述
    相关链接:https://github.com/apache/shardingsphere/runs/7407025246?check_suite_focus=true

    但是本地执行单元测试时,ConnectionAdapterTest 永远在会报错的测试后面,通过 Pattern 指定也无法控制执行顺序。
    在这里插入图片描述

    想办法调整单元测试执行顺序

    换个思路,如果我们把 ConnectionAdapterTest 测试类挪个位置?
    在本地把 ConnectionAdapterTest 挪到 org.apache.shardingsphere.driver.jdbc.core.statement 包下面:

    在这里插入图片描述

    再次执行测试,本地复现成功:

    在这里插入图片描述

    修复方案

    单元测试中凡是涉及 mock TransactionRule DEEP_STUBS 的地方都需要清理 ThreadLocal。
    https://github.com/apache/shardingsphere/pull/19362

    如何避免?

    与 mockStatic 泄漏不同,使用 ThreadLocal 的是生产代码,对于不熟悉代码的人根本不知道里面使用了 ThreadLocal,更不知道会有泄漏的风险。最好的解决方案是从生产代码上避免使用 ThreadLocal,但需要考虑实际情况。

  • 相关阅读:
    简单易学,让你拥有个性化的二维码
    面试题:什么是微服务 ?
    RobotFrameWork自动化测试环境搭建
    软件测试:功能测试常用的测试用例大全
    kubernetes集群编排——etcd
    Jconsole 开启远程连接遇到的一些坑
    线程池实现
    Spring Boot集成第三方登录之微信登录
    绕过Windows 11安装限制,Rufus带给你“奇迹”,低配电脑的春天
    ASP.NET Core WebApi返回结果统一包装实践
  • 原文地址:https://blog.csdn.net/wu_weijie/article/details/126059089
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号