• 一篇文章带你搞懂什么是幂等性问题?如何解决幂等性问题?


    1.什么是幂等性?

    先看一下度娘的解释:

    幂等(idempotent、idempotence)是一个数学与计算机学概念,常见于抽象代数中。

    在编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同幂等函数,或幂等方法,是指可以使用相同参数重复执行,并能获得相同结果的函数。这些函数不会影响系统状态,也不用担心重复执行会对系统造成改变。

    例如,“setTrue()”函数就是一个幂等函数,无论多次执行,其结果都是一样的.更复杂的操作幂等保证是利用唯一交易号(流水号)实现。

    2.什么是接口幂等性

    在HTTP/1.1中,对幂等性进行了定义。它描述了一次和多次请求某一个资源对于资源本身应该具有同样的结果(网络超时等问题除外),即第一次请求的时候对资源产生了副作用,但是以后的多次请求都不会再对资源产生副作用。

    这里的副作用是不会对结果产生破坏或者产生不可预料的结果。也就是说,其任意多次执行对资源本身所产生的影响均与一次执行的影响相同

    3.保证幂等性有什么作用?

    总的来说就是围绕这句话:前端重复提交选中的数据,后台只产生对应这个数据的一个反应结果。

    想想自己生活中的例子:抢红包只能抢一次,不能抢多次

    抢微信红包的时候我们都知道:一个红包一旦你抢过之后,以后无论你点多少次都是一样的结果。红包会提示你已经抢过此红包,而不会让你再抢一次。

    抢红包接口就是一个非常典型的幂等接口,抢一次和抢多次具有一样的效果。类似的接口在我们的开发过程中会有很多,比如在电商的下单过程中:

    订单创建接口,第一次调用返回超时了,重试机制一般会再次调用这个接口,此时我们不能因为这个接口被调了两次就创建两个一样的订单;
    库存扣减接口,支付接口也是类似的逻辑;

    PS:这边顺带说下幂等和防止重复提交的区别。
    防止重复提交更多的是不让用户发起多次一样的请求。比如说用户在线购物下单时点了提交订单按钮,但是由于网络原因响应很慢,此时用户比较心急多次点击了订单提交按钮。
    这种情况下就可能会造成多次下单。一般防止重复提交的方案有:将订单按钮置灰,跳转到结果页等。主要还是从客户端的角度来解决这个问题。

    幂等更多的是在重复请求已经发生,或是无法避免的情况下,采取一定的技术手段让这些重复请求不给系统带来副作用。

    下面我再列出一些可能会重复提交的例子

    • 前端重复提交表单: 在填写一些表格时候,用户填写完成提交,很多时候会因网络波动没有及时对用户做出提交成功响应,致使用户认为没有成功提交,然后一直点提交按钮,这时就会发生重复提交表单请求。
    • 用户恶意进行刷单: 例如在实现用户投票这种功能时,如果用户针对一个用户进行重复提交投票,这样会导致接口接收到用户重复提交的投票信息,这样会使投票结果与事实严重不符。
    • 接口超时重复提交: 很多时候 HTTP 客户端工具都默认开启超时重试的机制,尤其是第三方调用接口时候,为了防止网络波动超时等造成的请求失败,都会添加重试机制,导致一个请求提交多次。
    • 消息进行重复消费: 当使用 MQ 消息中间件时候,如果发生消息中间件出现错误未及时提交消费信息,导致发生重复消费。

    使用幂等性最大的优势在于使接口保证任何幂等性操作,免去因重试等造成系统产生的未知的问题。

    4.Restful API 接口的幂等性

    现在流行的 Restful 推荐的几种 HTTP 接口方法中,分别存在幂等行与不能保证幂等的方法,如下:

    • √ 满足幂等
    • x 不满足幂等
    • - 可能满足也可能不满足幂等,根据实际业务逻辑有关
    方法类型是否幂等描述
    GetGet 方法用于获取资源。其一般不会也不应当对系统资源进行改变,所以是幂等的。
    Post×Post 方法一般用于创建新的资源。其每次执行都会新增数据,所以不是幂等的。
    Put-Put 方法一般用于修改资源。该操作则分情况来判断是不是满足幂等,更新操作中直接根据某个值进行更新,也能保持幂等。不过执行累加操作的更新是非幂等。
    Delete-Delete 方法一般用于删除资源。该操作则分情况来判断是不是满足幂等,当根据唯一值进行删除时,删除同一个数据多次执行效果一样。不过需要注意,带查询条件的删除则就不一定满足幂等了。例如在根据条件删除一批数据后,这时候新增加了一条数据也满足条件,然后又执行了一次删除,那么将会导致新增加的这条满足条件数据也被删除。

    5.如何实现幂等性

    方案一:数据库唯一主键

    方案描述

    数据库唯一主键的实现主要是利用数据库中主键唯一约束的特性,一般来说唯一主键比较适用于“插入”时的幂等性,其能保证一张表中只能存在一条带该唯一主键的记录。

    使用数据库唯一主键完成幂等性时需要注意的是,该主键一般来说并不是使用数据库中自增主键,而是使用分布式 ID 充当主键(雪花算法等等),这样才能能保证在分布式环境下 ID 的全局唯一性。

    适用操作:

    • 插入操作
    • 删除操作

    使用限制:

    • 需要生成全局唯一主键 ID;

    主要流程:

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3kD5E2i1-1659405504572)(D:\note\笔记仓库\图片\image-20220802092731601.png)]

    主要流程:

    • ① 客户端执行创建请求,调用服务端接口。
    • ② 服务端执行业务逻辑,生成一个分布式 ID,将该 ID 充当待插入数据的主键,然后执数据插入操作,运行对应的 SQL 语句。
    • ③ 服务端将该条数据插入数据库中,如果插入成功则表示没有重复调用接口。如果抛出主键重复异常,则表示数据库中已经存在该条记录,返回错误信息到客户端。

    方案二:数据库乐观锁、MVCC思想

    方案描述:

    数据库乐观锁方案一般只能适用于执行“更新操作”的过程,我们可以提前在对应的数据表中多添加一个字段,充当当前数据的版本标识。这样每次对该数据库该表的这条数据执行更新时,都会将该版本标识作为一个条件,值为上次待更新数据中的版本标识的值。

    适用操作:

    • 更新操作

    使用限制:

    • 需要数据库对应业务表中添加额外字段;

    描述示例:

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lWa6T3KL-1659405504574)(D:\note\笔记仓库\图片\image-20220802093211724.png)]

    方案三:防重 Token 令牌 + Redis

    方案描述:

    针对客户端连续点击或者调用方的超时重试等情况,例如提交订单,此种操作就可以用 Token 的机制实现防止重复提交。简单的说就是调用方在调用接口的时候先向后端请求一个全局 ID(Token),请求的时候携带这个全局 ID 一起请求(Token 最好将其放到 Headers 中),后端需要对这个 Token 作为 Key,用户信息作为 Value 到 Redis 中进行键值内容校验,如果 Key 存在且 Value 匹配就执行删除命令,然后正常执行后面的业务逻辑。如果不存在对应的 Key 或 Value 不匹配就返回重复执行的错误信息,这样来保证幂等操作。

    适用操作:

    • 插入操作
    • 更新操作
    • 删除操作

    使用限制:

    • 需要生成全局唯一 Token 串;
    • 需要使用第三方组件 Redis 进行数据效验;

    主要流程:

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fZEcZuoj-1659405504577)(D:\note\笔记仓库\图片\image-20220802093905244.png)]

    • ① 服务端提供获取 Token 的接口,该 Token 可以是一个序列号,也可以是一个分布式 ID 或者 UUID 串。
    • ② 客户端调用接口获取 Token,这时候服务端会生成一个 Token 串。
    • ③ 然后将该串存入 Redis 数据库中,以该 Token 作为 Redis 的键(注意设置过期时间)。
    • ④ 将 Token 返回到客户端,客户端拿到后应存到表单隐藏域中。
    • ⑤ 客户端在执行提交表单时,把 Token 存入到 Headers 中,执行业务请求带上该 Headers。
    • ⑥ 服务端接收到请求后从 Headers 中拿到 Token,然后根据 Token 到 Redis 中查找该 key 是否存在。
    • ⑦ 服务端根据 Redis 中是否存该 key 进行判断,如果存在就将该 key 删除,然后正常执行业务逻辑。如果不存在就抛异常,返回重复提交的错误信息。

    注意,在并发情况下,执行 Redis 查找数据与删除需要保证原子性,否则很可能在并发下无法保证幂等性。其实现方法可以使用分布式锁或者使用 Lua 表达式来注销查询与删除操作。

    方案四、下游传递唯一序列号

    方案描述:

    所谓请求序列号,其实就是每次向服务端请求时候附带一个短时间内唯一不重复的序列号,该序列号可以是一个有序 ID,也可以是一个订单号,一般由下游生成,在调用上游服务端接口时附加该序列号和用于认证的 ID。

    当上游服务器收到请求信息后拿取该 序列号下游 认证ID 进行组合,形成用于操作 Redis 的 Key,然后到 Redis 中查询是否存在对应的 Key 的键值对,根据其结果:

    • 如果存在,就说明已经对该下游的该序列号的请求进行了业务处理,这时可以直接响应重复请求的错误信息。
    • 如果不存在,就以该 Key 作为 Redis 的键,以下游关键信息作为存储的值(例如下游商传递的一些业务逻辑信息),将该键值对存储到 Redis 中 ,然后再正常执行对应的业务逻辑即可。

    适用操作:

    • 插入操作
    • 更新操作
    • 删除操作

    使用限制:

    • 要求第三方传递唯一序列号;
    • 需要使用第三方组件 Redis 进行数据效验;

    主要流程:

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nvBmMSib-1659405504578)(D:\note\笔记仓库\图片\image-20220802094439472.png)]

    主要步骤:

    • ① 下游服务生成分布式 ID 作为序列号,然后执行请求调用上游接口,并附带“唯一序列号”与请求的“认证凭据ID”。
    • ② 上游服务进行安全效验,检测下游传递的参数中是否存在“序列号”和“凭据ID”。
    • ③ 上游服务到 Redis 中检测是否存在对应的“序列号”与“认证ID”组成的 Key,如果存在就抛出重复执行的异常信息,然后响应下游对应的错误信息。如果不存在就以该“序列号”和“认证ID”组合作为 Key,以下游关键信息作为 Value,进而存储到 Redis 中,然后正常执行接来来的业务逻辑。

    上面步骤中插入数据到 Redis 一定要设置过期时间。这样能保证在这个时间范围内,如果重复调用接口,则能够进行判断识别。如果不设置过期时间,很可能导致数据无限量的存入 Redis,致使 Redis 不能正常工作。

    6.引用幂等性后造成的影响

    幂等性是为了简化客户端逻辑处理,能放置重复提交等操作,但却增加了服务端的逻辑复杂性和成本,其主要是:

    • 把并行执行的功能改为串行执行,降低了执行效率。
    • 增加了额外控制幂等的业务逻辑,复杂化了业务功能;

    所以在使用时候需要考虑是否引入幂等性的必要性,根据实际业务场景具体分析,除了业务上的特殊要求外,一般情况下不需要引入的接口幂等性。

    7.总结

    幂等性是开发当中很常见也很重要的一个需求,尤其是支付、订单等与金钱挂钩的服务,保证接口幂等性尤其重要。在实际开发中,我们需要针对不同的业务场景我们需要灵活的选择幂等性的实现方式:

    • 去重表:对于下单等存在唯一主键的,可以使用“唯一主键方案”的方式实现。
    • MVCC版本控制思想:对于更新订单状态等相关的更新场景操作,使用“乐观锁方案”实现更为简单。
    • 唯一序列号和认证ID:对于上下游这种,下游请求上游,上游服务可以使用“下游传递唯一序列号方案和认证ID”更为合理。
    • Token机制:类似于前端重复提交、重复下单、没有唯一ID号的场景,可以通过 Token 与 Redis 配合的“防重 Token 方案”实现更为快捷。

    参考资料:

    JAVA日知录

    实现接口幂等性的几种方案 - 程序员自由之路 - 博客园 (cnblogs.com)

  • 相关阅读:
    uniapp地图组件(map)使用问题总结
    Hyperledger Fabric 核心概念
    2.6【七天学好Linux】第六天 用户和组的管理
    金仓数据库KingbaseES客户端编程开发框架-MyBatis-Plus(4. MyBatis-Plus注意点)
    mycat
    Java异常处理
    ARC147E Examination
    2023商业银行大零售数字化转型白皮书-中电金信
    运算符练习
    Express实现定时发送邮件
  • 原文地址:https://blog.csdn.net/qq_53578500/article/details/126116312