背景
产品功能需要实现标准文档的在线预览功能,由于DOC文档没办法直接通过浏览器打开预览,需要提前转换为PDF文档或者HTML页面。
经过测试发现DOC转为HTML页面后文件体积较大,而且生成的静态资源文件较多,需要额外搭建Web容器存放,所以还是考虑转换为PDF格式文档。
选型
需求明确后就要考虑如何实现了,这里对比了开源文档转换工具例如:kkFileView
、documents4j
、poi
、openoffice
、aspose
、Spire.Office
等。
选型主要考虑以下几个方面:
1、转换为PDF文档后是否会失真,也就是和原DOC文档的格式还原度;
2、是否支持大文档,有些标准文档超过40MB用MSOffice直接打开就会很卡,文档转换就更慢了;
3、工具收费情况。
简单说下结论:
1、上面几个工具全部验证了一遍,后发现都不太合适,原因有二,一是免费工具会失真或者限制了文档的大小,二是收费的工具可以用但是贵;
2、最后选择用WPS进行文档格式转换,原因很简单,首先WPS有个人版是可以免费使用的,其次WPS转换PDF文档的还原度相当高,另外客户方已经采购了WPS的企业版本,如果后续文档转换失真也有个说法;
3、解决方案:基于CentOS安装WPS,通过Python的Pywpsrpc组件调用WPS的文档转换功能,对外提供文档转换服务。
镜像构建
服务镜像已构建完成,如有需要可以联系笔者V:hsky23557544
基础镜像
由于涉及安装的组件太多,编写Dockerfile的话太麻烦也不便于试错,所以决定先拉取一个基础的CentOS镜像,把软件服务都安装好,最后通过docker commit
将容器打成镜像。
1、基础镜像docker pull centos:7.6.1810
2、启动容器docker run --name centos --network host -dit --privileged=true centos:7.6.1810 /usr/sbin/init
3、更新到国内的YUM源,加速后面的软件安装,网上教程很多不增加篇幅
安装CentOS桌面
pywpsrpc需要依赖系统桌面调用WPS的API,如需headless运行可以参考:https://github.com/timxx/pywpsrpc/wiki/Run-on-Server
yum -y install epel-release
yum groupinstall "GNOME Desktop"
systemctl isolate graphical.target
systemctl set-default graphical.target
yum install xrdp -y
yum install tigervnc-server -y
# 设置vnc访问密码
vncpasswd root
systemctl start xrdp
systemctl enable xrdp
WPSOffice安装
1、官网Linux版本安装包下载:https://linux.wps.cn/
2、安装yum localinstall wps-office-11.1.0.11711-1.x86_64.rpm
安装WPSOffice依赖的字体
推荐使用开源项目安装:https://github.com/dv-anomaly/ttf-wps-fonts
git clone https://github.com/iamdh4/ttf-wps-fonts.git
cd ttf-wps-fonts
sudo sh install.sh
rm -rf /tmp/ttf-wps-fonts
安装Python3.6
开始用Python3.9版本安装pywpsrpc的时候直接报错了,查阅了一些pywpsrpc的issues发现需要使用Python3.6.x版本,另外pywpsrpc没有arm版本需要自行编译whl安装。
1、下载安装包:https://registry.npmmirror.com/-/binary/python/3.6.15/Python-3.6.15.tgz
2、安装依赖:yum install -y gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl--devel
3、编译安装
# 解压压缩包
tar -zxvf Python-3.6.15.tgz
# 进入文件夹
cd Python-3.6.15
# 配置安装位置
./configure prefix=/usr/local/python3
# 安装
make && make install
# 建立软连接
ln -s /usr/local/python3/bin/python3.6 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3.6 /usr/bin/pip3
4、安装pywpsrpc:pip3 install pywpsrpc -i https://pypi.tuna.tsinghua.edu.cn/simple
5、安装flask:pip3 install flask -i https://pypi.tuna.tsinghua.edu.cn/simple
如果使用pip安装依赖包时提示SSL证书验证的问题,需要重新编译安装openssl,操作如下:
# 下载源码包
wget http://www.openssl.org/source/openssl-1.1.1l.tar.gz
# 编译安装
mkdir /usr/local/ssl
./config --prefix=/usr/local/ssl --openssldir=/usr/local/ssl no-zlib
make && make install
echo "/usr/local/ssl/lib" >> /etc/ld.so.conf
测试是否安装好,ldconfig -v 显示出相关内容,并查看/usr/local/ssl目录下确实有安装好的文件
# 回到Python源吗目录下
make clean
# 配置安装位置
./configure prefix=/usr/local/python3
修改Modules/Setup文件
make && make install
ln -s /usr/local/python3/bin/python3 /usr/local/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3
安装QT5
1、下载安装包:https://download.qt.io/archive/qt/5.12/5.12.12/
2、安装依赖包:yum -y install mesa-libGL-devel mesa-libGLU-devel freeglut-devel gdb
3、安装包授权:chmod +x qt-opensource-linux-x64-5.12.12.run
4、使用mstsc
远程登录CentOS桌面,执行./qt-opensource-linux-x64-5.12.12.run
通过图形化界面安装,安装时会提示注册按提示信息操作即可
文档转换服务
import traceback, uuid, os
from flask import Flask, request, send_from_directory
from pywpsrpc.rpcwpsapi import (createWpsRpcInstance, wpsapi)
from pywpsrpc.common import (S_OK, QtApp)
app = Flask(__name__)
# 设置文件上传保存路径
app.config['UPLOAD_FOLDER'] = '/tmp'
# MAX_CONTENT_LENGTH设置上传文件的大小,单位字节
app.config['MAX_CONTENT_LENGTH'] = 1024 * 1024 * 1024
formats = {
"doc": wpsapi.wdFormatDocument,
"docx": wpsapi.wdFormatXMLDocument,
"rtf": wpsapi.wdFormatRTF,
"html": wpsapi.wdFormatHTML,
"pdf": wpsapi.wdFormatPDF,
"xml": wpsapi.wdFormatXML,
}
class ConvertException(Exception):
def __init__(self, text, hr):
self.text = text
self.hr = hr
def __str__(self):
return """Convert failed:
Details: {}
ErrCode: {}
""".format(self.text, hex(self.hr & 0xFFFFFFFF))
def convert_to(path, format, abort_on_fails=False):
hr, rpc = createWpsRpcInstance()
if hr != S_OK:
raise ConvertException("Can't create the rpc instance", hr)
hr, app = rpc.getWpsApplication()
if hr != S_OK:
raise ConvertException("Can't get the application", hr)
try:
# we don't need the gui
app.Visible = False
docs = app.Documents
def _handle_result(hr):
if abort_on_fails and hr != S_OK:
raise ConvertException("convert_file failed", hr)
hr = convert_file(path, docs, format)
_handle_result(hr)
except Exception as e:
print(traceback.format_exc())
app.Quit(wpsapi.wdDoNotSaveChanges)
def convert_file(file, docs, format):
hr, doc = docs.Open(file, ReadOnly=True)
if hr != S_OK:
return hr
out_dir = os.path.dirname(os.path.realpath(file)) + "/out"
os.makedirs(out_dir, exist_ok=True)
# you have to handle if the new_file already exists
new_file = out_dir + "/" + os.path.splitext(os.path.basename(file))[0] + "." + format
ret = doc.SaveAs2(new_file, FileFormat=formats[format])
# always close the doc
doc.Close(wpsapi.wdDoNotSaveChanges)
return ret
@app.route("/convert", methods=["POST"])
def do_convert():
try:
# 转换格式参数
convert_format = request.form['format']
# 获取文件参数
file = request.files['file']
# 文件后缀
file_ext = file.filename.rsplit('.')[-1]
file_name_uuid = str(uuid.uuid4())
# UUID文件名
file_name = file_name_uuid + "." + file_ext
# 保存文件
file.save(os.path.join(app.config['UPLOAD_FOLDER'], file_name))
# 文件转换
print("开始转换文档[%s]" % file_name)
convert_to(os.path.join(app.config['UPLOAD_FOLDER'], file_name), convert_format, True)
print("文档转换完成[%s]" % file_name)
# 返回转换后的文件
convert_file_name = file_name_uuid + "." + convert_format
return send_from_directory(app.config['UPLOAD_FOLDER'] + '/out', convert_file_name, as_attachment=True)
except Exception as e:
print('文档转换时发生错误')
print(traceback.format_exc())
return {"success": False}
if __name__ == "__main__":
app.run(host="0.0.0.0", port=9000)
使用mstsc
远程登录CentOS桌面,执行启动脚本:
#!/bin/bash
set -e
export PATH=$PATH:/opt/kingsoft/wps-office/office6
export LD_LIBRARY_PATH=/opt/Qt5.12.12/5.12.12/gcc_64/lib
python3 /root/converter.py
服务验证
1、远程桌面登录CentOS桌面后能够正常打开WPS软件,没有提示字体依赖错误;
2、文档转换接口测试:
curl --location --request POST 'http://10.32.x.x:9000/convert' \
--header 'User-Agent: Apifox/1.0.0 (https://apifox.com)' \
--header 'Accept: */*' \
--header 'Host: 10.32.x.x:9000' \
--header 'Content-Type: multipart/form-data; boundary=--------------------------851319197095122366611715' \
--form 'format="pdf"' \
--form 'file=@"需要转换的DOC文档路径"'