import nltk
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
如果始终下载不成功,可尝试‘云梯’科学上网后再下载。没有云梯,也可参考
LangChain:万能的非结构化文档载入详解(一) 中 nltk的源码 手动下载方式。
根据报错提示,可以把下载的文件解压到以下任意目录【每个人的报错提示目录可能不一样,根据自己的来】:
我下载成功后的目录结构为:
解决办法:安装系统软件libreOffice(类似MicrosoftOffice的功能)
(1)安装 如果你需要使用 soffice 命令,你需要在你的系统上安装 LibreOffice。安装方法依赖于你的操作系统:
- 对于Windows,你可以访问 LibreOffice 的官方网站(https://www.libreoffice.org/download/download/)下载安装程序。 对于
- macOS,你可以在 App Store 中搜索 LibreOffice 并进行安装,或者访问 LibreOffice的官方网站下载安装程序。
- 对于 Linux,你可以使用你的包管理器来安装 LibreOffice。例如,对于 Ubuntu 或 Debian,你可以使用以下命令:sudo apt-get install libreoffice。对于 CentOS 或 Fedora,你可以使用:sudo yum install libreoffice。
安装完成后,还需要把 LibreOffice 的路径(你的安装盘\LibreOffice\program)添加到系统的 PATH 环境变量中。
(2)测试(以windows为例)
- cmd测试:cmd --> soffice --version,如果正常输出安装版本信息,则说明LibreOffice安装成功!
- pycharm执行代码测试:
如果在pycharm中调用soffice功能还是报 “FileNotFoundError: soffice command was not found. Please install libreoffice”,可以:
在PyCharm中,点击顶部菜单的 “Run”,然后选择 “Edit Configurations”。修改 “Environment variables”,添加一个新的环境变量,变量名填写 “PATH”(大写),变量值填写 soffice 的路径=你的安装盘\LibreOffice\program。
(1)具体错误详情:
File “D:\worksoft\python310\lib\site-packages\unstructured\partition\common.py”, line 425, in convert_office_doc
logger.info(output.decode().strip())
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xd3 in position 37: invalid continuation byte
从报错信息中可以看到是logger.info(output.decode().strip()) 这行代码引起的。这行是日志操作,注释掉也不会影响主程序。所以可以修改源码,把这行注释掉。
(2)不好的点
这行日志来自unstructured包,每次在不同的地方执行langchain加载.doc的方法,都要重新下载unstructured包,并修改unstructured\partition\common.py的源码。