【OceanBase诊断调优】—— SQL 执行报错 -4119，RPC packet to send too long

适用版本

OceanBase 数据库所有版本。

问题现象

SQL 执行报错 error 4119 (RPC packet to send too long)。通过 trace_id 查询 observer.log 可以看到如下信息 obrpc packet payload execced its limit。

[2022-07-06 23:12:19.264373] WARN  [RPC.OBRPC] rpc_call (ob_rpc_proxy.ipp:313) [149401][2450][YB42C0A82E93-0005E1FB8C5F099B] [lt=9] [dc=0] obrpc packet payload execced its limit(payload=3889006354, limit=2146435072, ret=-4119)

问题原因

OceanBase 数据库跨节点的 RPC 传输对一次传输的 packet 大小有内部限制，当传输的数据大于限制时，就会出现此类报错。

目前，在 OceanBase 数据库中有 RPC packet 的大小有2个地方来限制。

1. 租户配置项 max_allowed_packet 控制网络包的大小，默认值较小（有的版本为 4M，有的版本为 16M）。
2. RPC 代码的底层限制，最大 size 2G。

在 OMS、DataX 等导数工具执行 INSERT 语句时，因为一次 INSERT 插入的数据量过多，有可能导致数据量超过 max_allowed_packet 的 -4119 错误。

对于跨分区的 DML 场景，比如 INSERT INTO t1 SELECT 或者 CREATE TABLE t1 AS SELECT，以及全局索引创建，在 V3.2 版本之前，因为 SQL 引擎没有对 RPC 包进行拆分，容易出现 RPC packet 超过 2G 的 -4119 错误。从 V3.2 版本开始，OceanBase 数据库使用新的 SQL 引擎，对跨分区的 DML 场景进行了优化，但是 PL、trigger 依然使用旧的 SQL 引擎，仍然会出现 RPC packet 超过 2G 的问题。从 V4.0 版本开始，RPC packet 超过 2G 的问题理论上得到了彻底的解决。

解决方法

• 对于 OMS、DataX 等导数工具执行 INSERT 语句时产生的 -4119 错误，可以通过调大 max_allowed_packet 来解决。

  obclient> SET GLOBAL max_allowed_packet=67108864;
  

• 对于跨分区的 DML 场景，可以尝试使用 PDML 是把一个任务的 RPC 传输数据拆分给多个任务来规避。

  /*+ enable_parallel_dml parallel(16) */
  

  注意

  如果数据量过大，使用 PDML 可能也无法规避。此时，需要应用来分批执行 DML。

• 在 V4.x 版本，由集群配置项 _max_rpc_packet_size 来设置 RPC 的底层限制，可以通过调大该配置项来解决。

  obclient> alter system set _max_rpc_packet_size = '64M';
  

 

附录

• obdiag 下载地址： OceanBase分布式数据库-海量数据 笔笔算数
• obdiag 官方文档： OceanBase分布式数据库-海量数据 笔笔算数
• obdiag github地址：  https://github.com/oceanbase/obdiag
• obdiag SIG 营地： 诊断工具 · OceanBase 技术交流