langchain加载.doc、.docx遇到的问题

问题集

【问题1】：nltk文件包下载失败

import nltk
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
1
2
3

如果始终下载不成功，可尝试‘云梯’科学上网后再下载。没有云梯，也可参考
LangChain:万能的非结构化文档载入详解（一） 中 nltk的源码 手动下载方式。

根据报错提示，可以把下载的文件解压到以下任意目录【每个人的报错提示目录可能不一样，根据自己的来】：

我下载成功后的目录结构为：

【问题2】：FileNotFoundError: soffice command was not found. Please install libreoffice。

解决办法：安装系统软件libreOffice（类似MicrosoftOffice的功能）

（1）安装 如果你需要使用 soffice 命令，你需要在你的系统上安装 LibreOffice。安装方法依赖于你的操作系统：

• 对于Windows，你可以访问 LibreOffice 的官方网站（https://www.libreoffice.org/download/download/）下载安装程序。 对于
• macOS，你可以在 App Store 中搜索 LibreOffice 并进行安装，或者访问 LibreOffice的官方网站下载安装程序。
• 对于 Linux，你可以使用你的包管理器来安装 LibreOffice。例如，对于 Ubuntu 或 Debian，你可以使用以下命令：sudo apt-get install libreoffice。对于 CentOS 或 Fedora，你可以使用：sudo yum install libreoffice。

安装完成后，还需要把 LibreOffice 的路径（你的安装盘\LibreOffice\program）添加到系统的 PATH 环境变量中。

---

（2）测试（以windows为例）

• cmd测试：cmd --> soffice --version,如果正常输出安装版本信息，则说明LibreOffice安装成功！
• pycharm执行代码测试：
  如果在pycharm中调用soffice功能还是报 “FileNotFoundError: soffice command was not found. Please install libreoffice”，可以：
  在PyCharm中，点击顶部菜单的 “Run”，然后选择 “Edit Configurations”。修改 “Environment variables”，添加一个新的环境变量，变量名填写 “PATH”（大写），变量值填写 soffice 的路径=你的安装盘\LibreOffice\program。

【问题3】：加载.doc文件报错UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xd3 in position 37: invalid continuation byte

（1）具体错误详情：

File “D:\worksoft\python310\lib\site-packages\unstructured\partition\common.py”, line 425, in convert_office_doc
logger.info(output.decode().strip())
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xd3 in position 37: invalid continuation byte

从报错信息中可以看到是logger.info(output.decode().strip()) 这行代码引起的。这行是日志操作，注释掉也不会影响主程序。所以可以修改源码，把这行注释掉。
（2）不好的点
这行日志来自unstructured包，每次在不同的地方执行langchain加载.doc的方法，都要重新下载unstructured包，并修改unstructured\partition\common.py的源码。