• 调整COSWriter解决X-easypdf / PDFBOX生成大量数据时OOM问题

    背景

    业务需要生成一个15W数据左右的PDF交易报表。希望我们写在一个文件里，不拆分成多个PDF文件。

    使用的技术组件

    1.         <dependency>
    2.             <groupId>wiki.xsxgroupId>
    3.             <artifactId>x-easypdf-pdfboxartifactId>
    4.             <version>2.11.10version>
    5.         dependency>

    生成PDF方法

    testPDF: 使用xeasypdf实现未做修改

    testDynamicPdf: 使用了修改后的方法实现

    1. package wiki.xsx.core.pdf.doc;
    2.  
    3. import org.junit.Test;
    4. import wiki.xsx.core.pdf.component.table.XEasyPdfCell;
    5. import wiki.xsx.core.pdf.component.table.XEasyPdfRow;
    6. import wiki.xsx.core.pdf.component.table.XEasyPdfTable;
    7. import wiki.xsx.core.pdf.component.text.XEasyPdfText;
    8. import wiki.xsx.core.pdf.handler.XEasyPdfHandler;
    9. import wiki.xsx.core.pdf.mark.XEasyPdfWatermark;
    10.  
    11. public class XEasyPdfDynamicTest {
    12.  
    13.     public static final int GENERATE_PAGE = 10000;
    14.  
    15.     @Test
    16.     //原生办法，最好别执行，会内存溢出。
    17.     public void testPdf() {
    18.         // 定义pdf输出路径
    19.         String outputPath = "D://out.pdf";
    20.  
    21.         XEasyPdfText titleText = XEasyPdfHandler.Text.build("明细");
    22.         titleText.setHorizontalStyle(XEasyPdfPositionStyle.CENTER);
    23.         titleText.setFontSize(32);
    24.         titleText.setMarginTop(15);
    25.         XEasyPdfWatermark watermark = XEasyPdfHandler.Watermark.build("账单");
    26.         // 如果需要动态加Page，需要使用定制的对象；
    27.         XEasyPdfDocument document = XEasyPdfHandler.Document.build();
    28.         document.setGlobalHeader(XEasyPdfHandler.Header.build(titleText));
    29.         document.setGlobalWatermark(watermark);
    30.  
    31.         int[] cellWidth = {130, 80, 80, 262};
    32.  
    33.         for (int current = 0; current < GENERATE_PAGE; current++) {
    34.             XEasyPdfPage xEasyPdfPage = generatePage(current, cellWidth);
    35.             document.addPage(xEasyPdfPage);
    36.         }
    37.         document.save(outputPath).close();
    38.     }
    39.  
    40.     @Test
    41.     public void testDynamicPdf() {
    42.         // 定义pdf输出路径
    43.         String outputPath = "D://out.pdf";
    44.  
    45.         XEasyPdfText titleText = XEasyPdfHandler.Text.build("明细");
    46.         titleText.setHorizontalStyle(XEasyPdfPositionStyle.CENTER);
    47.         titleText.setFontSize(32);
    48.         titleText.setMarginTop(15);
    49.         XEasyPdfWatermark watermark = XEasyPdfHandler.Watermark.build("账单");
    50.         // 如果需要动态加Page，需要使用定制的对象；
    51.         XEasyPdfDynamicPdfDocument document = new XEasyPdfDynamicPdfDocument();
    52.         document.setGlobalHeader(XEasyPdfHandler.Header.build(titleText));
    53.         document.setGlobalWatermark(watermark);
    54.  
    55.         int[] cellWidth = {130, 80, 80, 262};
    56.  
    57.         for (int current = 1; current <= GENERATE_PAGE; current++) {
    58.             XEasyPdfPage xEasyPdfPage = generatePage(current, cellWidth);
    59.             document.addPage(xEasyPdfPage);
    60.             if (current % 100 == 0) {
    61.                 document.flush();
    62.             }
    63.         }
    64.         document.dynamicSave(outputPath, new XEasyPdfDynamicPage(10000, document)).close();
    65.     }
    66.  
    67.     public static XEasyPdfPage generatePage(long current, int[] cellWidth) {
    68.         // 这里构建一下页数；
    69.         XEasyPdfTable table = XEasyPdfHandler.Table.build();
    70.         XEasyPdfPage page = XEasyPdfHandler.Page.build();
    71.  
    72.         table.setMarginTop(30);
    73.         table.setMarginLeft(20);
    74.         table.enableCenterStyle();
    75.  
    76.         XEasyPdfRow headRow = XEasyPdfHandler.Table.Row.build();
    77.         XEasyPdfCell headCell1 = XEasyPdfHandler.Table.Row.Cell.build(cellWidth[0]);
    78.         headCell1.addContent(XEasyPdfHandler.Text.build("卡号"));
    79.         XEasyPdfCell headCell2 = XEasyPdfHandler.Table.Row.Cell.build(cellWidth[1]);
    80.         headCell2.addContent(XEasyPdfHandler.Text.build("下标"));
    81.         XEasyPdfCell headCell3 = XEasyPdfHandler.Table.Row.Cell.build(cellWidth[2]);
    82.         headCell3.addContent(XEasyPdfHandler.Text.build("金额"));
    83.         XEasyPdfCell headCell4 = XEasyPdfHandler.Table.Row.Cell.build(cellWidth[3]);
    84.         headCell4.addContent(XEasyPdfHandler.Text.build("描述"));
    85.         headRow.addCell(headCell1, headCell2, headCell3, headCell4);
    86.  
    87.         table.addRow(headRow);
    88.         page.addComponent(table);
    89.         for (int i = 0; i < 14; i++) {
    90.             // 14行一页；
    91.             XEasyPdfRow row = XEasyPdfHandler.Table.Row.build();
    92.             row.setHeight(50);
    93.             XEasyPdfCell cell1 = XEasyPdfHandler.Table.Row.Cell.build(cellWidth[0]);
    94.             cell1.addContent(XEasyPdfHandler.Text.build("123456"));
    95.             XEasyPdfCell cell2 = XEasyPdfHandler.Table.Row.Cell.build(cellWidth[1]);
    96.             cell2.addContent(XEasyPdfHandler.Text.build("j-" + current + ":i-" + i));
    97.             XEasyPdfCell cell3 = XEasyPdfHandler.Table.Row.Cell.build(cellWidth[2]);
    98.             cell3.addContent(XEasyPdfHandler.Text.build("20.1"));
    99.             XEasyPdfCell cell4 = XEasyPdfHandler.Table.Row.Cell.build(cellWidth[3]);
    100.             cell4.addContent(XEasyPdfHandler.Text.build("说明"));
    101.             row.addCell(cell1, cell2, cell3, cell4);
    102.             table.addRow(row);
    103.         }
    104.         return page;
    105.     }
    106. }

    testPdf执行情况

    1. Exception in thread "RMI TCP Connection(idle)" java.lang.OutOfMemoryError: Java heap space
    2. 	at java.base/java.security.AccessController.wrapException(AccessController.java:828)
    3. 	at java.base/java.security.AccessController.doPrivileged(AccessController.java:716)
    4. 	at java.rmi/sun.rmi.transport.Transport.serviceCall(Transport.java:196)
    5. 	at java.rmi/sun.rmi.transport.tcp.TCPTransport.handleMessages(TCPTransport.java:587)
    6. 	at java.rmi/sun.rmi.transport.tcp.TCPTransport$ConnectionHandler.run0(TCPTransport.java:828)
    7. 	at java.rmi/sun.rmi.transport.tcp.TCPTransport$ConnectionHandler.lambda$run$0(TCPTransport.java:705)
    8. 	at java.rmi/sun.rmi.transport.tcp.TCPTransport$ConnectionHandler$$Lambda$176/0x000001bb3a9bd290.run(Unknown Source)
    9. 	at java.base/java.security.AccessController.executePrivileged(AccessController.java:776)
    10. 	at java.base/java.security.AccessController.doPrivileged(AccessController.java:399)
    11. 	at java.rmi/sun.rmi.transport.tcp.TCPTransport$ConnectionHandler.run(TCPTransport.java:704)
    12. 	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136)
    13. 	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635)
    14. 	at java.base/java.lang.Thread.run(Thread.java:833)
    15.  
    16. java.lang.OutOfMemoryError: Java heap space
    17. 11月 16, 2023 4:15:07 下午 org.apache.pdfbox.cos.COSDocument finalize
    18. 警告: Warning: You did not close a PDF Document
    19.  
    20. Process finished with exit code -1

    从JVM监控可以看出CPU与内存占用会随着PDF文件写入而逐渐增大。【很正常，因为他无法释放内存】

    testDynamicPdf运行情况

    源代码

    基于源码fork的仓库地址【源码我没权限改，所以fork了一个】：

    x-easypdf: 一个用搭积木的方式构建pdf的框架（基于pdfbox/fop）icon-default.png?t=N7T8https://gitee.com/crazyAsm/x-easypdf分支：FEATURE_Dynamic_Generate

    OOM原因

    超过1万页的数据，使用原版的COSWriter类会占用大量内存。

    COSWriter在写文件时，会使用doWriterBody方法写入PDF的基础信息。如下：

    1. protected void doWriteBody(COSDocument doc) throws IOException
    2.     {
    3.         COSDictionary trailer = doc.getTrailer();
    4.         COSDictionary root = trailer.getCOSDictionary(COSName.ROOT);
    5.         COSDictionary info = trailer.getCOSDictionary(COSName.INFO);
    6.         COSDictionary encrypt = trailer.getCOSDictionary(COSName.ENCRYPT);
    7.         if( root != null )
    8.         {
    9.             addObjectToWrite( root );
    10.         }
    11.         if( info != null )
    12.         {
    13.             addObjectToWrite( info );
    14.         }
    15.  
    16.         doWriteObjects();
    17.         willEncrypt = false;
    18.         if( encrypt != null )
    19.         {
    20.             addObjectToWrite( encrypt );
    21.         }
    22.  
    23.         doWriteObjects();
    24.     }

    可以看到会写入的信息有root、基础信息、与加密信息【因为这个不咋占内存，这里就不展开说明了】；然后会执行doWriteObjects()；

     第一次写入时可以看出，写的是Type\Version\Page\MetaData这四个信息；

    分别对应PDF文件内容的Type\Version\Page\MetaData：f

    根据PDF的规则，实际Page栏的4 0 R 代表 第一页对应内容在4 0 obj 位置，有多少页Page就会有多少个引用键。4 0 obj 对应的是第一页的内容，内容又是由一堆引用键组成的。COSWriter的问题也就在这里，只要页数够大，内容够多，这里就会占用大量内存。

    解决思路

    既然内存占用原因是写入时在内存中存放了太多的内容，那么解决思路也就很容易得出来：一页一页写就行了。

    因为我用的事X-EasyPdf 所以基于这个改造了一下。【源码自己看下git仓库吧】

    XEasyPdfDynamicCOSWriter：基于COSWriter改造的类目的：在doWriteObjet时，动态加载Page并写入；
    XEasyPdfDynamicPage：动态页的实现，结合XEasyPDFDocument的flush方法，借助临时文件增量写页内容。
    XEasyPdfDynamicPdfDocument：增加了个实现，写文件改用XEasyPdfDynamicCOSWriter类。

    参考文章

    https://zxyle.github.io/PDF-Explained/resources/pdf_reference_1.7.pdf

  • 相关阅读:
    使用easyx制作一个绘画程序
    JVM内存区域划分
    mac连接easyconnnect显示“本地环境出现异常”
    什么是短网址？如何调用接口生成短地址？
    JavaWeb简单实例——DBCP数据库连接池
    【LeetCode】35.复杂链表的复制
    ArcGIS 10.7之 栅格影像裁剪操作
    Go 中的方法
    一文搞懂 MySQL 索引数据结构
    多校联测13 菜
  • 原文地址：https://blog.csdn.net/u013205724/article/details/134443649