-
Windows + Msys 下编译 TensorFlow 2.14
之前编译 TensorFlow 2.9.1 CC库成功，具体步骤请转 Windows 下编译 TensorFlow 2.9.1 CC库 。
但编译 TF 2.14.0 遇到了很大困难，具体过程类似前文，这里仅列出遇到的问题，有解决则给出我自己的解决方法。
安装基本工具
宁滥毋缺
- pacman -S --noconfirm --needed base-devel vim tar wget unzip protobuf
- pacman -S --noconfirm --needed \
- ${MINGW_PACKAGE_PREFIX}-cmake \
- ${MINGW_PACKAGE_PREFIX}-gcc \
- ${MINGW_PACKAGE_PREFIX}-toolchain \
- ${MINGW_PACKAGE_PREFIX}-boost \
- ${MINGW_PACKAGE_PREFIX}-ccache \
- ${MINGW_PACKAGE_PREFIX}-eigen3 \
- ${MINGW_PACKAGE_PREFIX}-gcc-libgfortran \
- ${MINGW_PACKAGE_PREFIX}-grpc \
- ${MINGW_PACKAGE_PREFIX}-gtk3 \
- ${MINGW_PACKAGE_PREFIX}-julia \
- ${MINGW_PACKAGE_PREFIX}-dlfcn \
- ${MINGW_PACKAGE_PREFIX}-ogre3d \
- ${MINGW_PACKAGE_PREFIX}-python \
- ${MINGW_PACKAGE_PREFIX}-python2 \
- ${MINGW_PACKAGE_PREFIX}-python-pip \
- ${MINGW_PACKAGE_PREFIX}-python-psutil \
- ${MINGW_PACKAGE_PREFIX}-python-idna \
- ${MINGW_PACKAGE_PREFIX}-vtk
- pacman -S --noconfirm --needed \
- ${MINGW_PACKAGE_PREFIX}-libpng \
- ${MINGW_PACKAGE_PREFIX}-libjpeg \
- ${MINGW_PACKAGE_PREFIX}-libtiff \
- ${MINGW_PACKAGE_PREFIX}-libwebp \
- ${MINGW_PACKAGE_PREFIX}-dlib \
- ${MINGW_PACKAGE_PREFIX}-ffmpeg \
- ${MINGW_PACKAGE_PREFIX}-harfbuzz \
- ${MINGW_PACKAGE_PREFIX}-lapack \
- ${MINGW_PACKAGE_PREFIX}-openblas \
- ${MINGW_PACKAGE_PREFIX}-opencl-clhpp \
- ${MINGW_PACKAGE_PREFIX}-opencl-headers \
- ${MINGW_PACKAGE_PREFIX}-opencl-icd \
- ${MINGW_PACKAGE_PREFIX}-openmp
- pacman -U https://mirrors.tuna.tsinghua.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-numpy-1.23.5-1-any.pkg.tar.zst
- pacman -U http://mirrors.ustc.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-setuptools-67.6.1-1-any.pkg.tar.zst \
- http://mirrors.ustc.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-werkzeug-2.3.7-1-any.pkg.tar.zst
安装Bazel
不同tensorflow版本对应的Bazel版本是不同的，提前确定好。
对于 tensorflow 2.14.0，下载安装 Windows 版本 bazel 6.1.2，复制到 C:/Windows/system32 目录或 D:/msys64/mingw64/bin 目录下，改名为 bazel.exe
- wget https://github.com/bazelbuild/bazel/releases/download/6.1.2/bazel-6.1.2-windows-x86_64.exe
- ## 国内镜像
- wget https://hub.nuaa.cf/bazelbuild/bazel/releases/download/6.1.2/bazel-6.1.2-windows-x86_64.exe
- cp bazel-6.1.2-windows-x86_64.exe /mingw64/bin/bazel.exe
下载 tensorflow
git 克隆后切换到指定版本
- git clone --recursive https://github.com/tensorflow/tensorflow.git
- cd tensorflow
- # switch to the branch you want to build
- git checkout r2.14 # r1.9, r1.10, etc.
或下载源码包并解压
- wget https://github.com/tensorflow/tensorflow/archive/refs/tags/v2.14.0.zip
- ## 国内镜像
- wget https://hub.nuaa.cf/tensorflow/tensorflow/archive/refs/tags/v2.14.0.zip
- ## 解压
- unzip v2.14.0.zip
进入tensorflow 目录，编译 & 安装
- cd tensorflow-2.14.0
- ./configure ## 和执行 python configure.py 效果一样
- ## tensorflow:libtensorflow_cc.so
- bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package
- ## build install python-package
- bazel-bin/tensorflow/tools/pip_package/build_pip_package package/20230912
- ## remove old version and install new package
- pip uninstall tensorflow
- pip install package/20230912/tensorflow-*.whl
问题：
github下载超时
将bazel脚本中 github.com链接换成国内github 镜像，加速下载，这里我使用hub.yzuu.cf。
- sed -i -e 's#https:\/\/github\.com#https://hub.yzuu.cf#g' \
- */*.bzl */*/*.bzl */*/*/*.bzl */*/*/*/*.bzl \
- */*.py */*/*.py */*/*/*.py */*/*/*/*.py
但是部分 bazel 脚本会将 github URL 替换成 镜像站 URL。
https://github.com/...........
--> https://storage.googleapis.com/mirror.tensorflow.org/github.com/..........
这会造成 https://hub.yzuu.cf/.......... 被转换成 https://storage.googleapis.com/mirror.tensorflow.org/hub.yzuu.cf/...........
所以，当发现这种错误引起的下载失败的话，再将 github镜像 url 转换回原url，继续编译。
- sed -i -e 's#https\:\/\/hub\.yzuu\.cf#https://github.com#g' \
- */*.bzl */*/*.bzl */*/*/*.bzl */*/*/*/*.bzl \
- */*.py */*/*.py */*/*/*.py */*/*/*/*.py
pip下载超时
可以看看 pip有没有设置镜像URL，如果没有，设置到镜像站，我选用清华镜像站
- pip config get global.index-url
- pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
报错：用户没有权限
执行 os.symlink(target, link_name)时，报告用户没有权限。我即使以管理员执行 msys2也无法解决这个问题。
最后 直接用管理员账号登录，重新准备所有环境才解决
报错：Couldn't find undname.exe under。。。
一般是使用的 MSVC版本不合适，我安装 VS2019后这个问题被解决。
报错：fatal error C1007: 无法识别的标志“-ReducedOptimizeHugeFunctions”(在“p2”中)
VS2015，VS2017 还不支持这个选项，一定要安装 VS2019。
（VS2022 我没有成功，保留意见）。
参考 tensorflow源码根目录配置文件.bazelrc 的说明
为了保证进入 Msys2界面后 VS2019 编译环境 正常，在~/.bashrc 中追加初始化指令，你需要修改为你机器的VS2019安装路径。
"D:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Auxiliary\Build\vcvars64.bat"报错：ERROR: No matching distribution found for numpy==1.23.5
默认版本不兼容，安装指定版本的 python-numpy
- wget https://mirrors.tuna.tsinghua.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-numpy-1.23.5-1-any.pkg.tar.zst
- pacman -U mingw-w64-x86_64-python-numpy-1.23.5-1-any.pkg.tar.zst
指定安装包版本
- wget https://mirrors.tuna.tsinghua.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-psutil-5.9.5-2-any.pkg.tar.zst
- wget https://mirrors.tuna.tsinghua.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-idna-3.4-2-any.pkg.tar.zst
报错 : fatal error C1060: 编译器的堆空间不足
限制 bazel 占用资源数。实际使用下来效果改善不大，只能反复编译个几十遍。
- bazel build --config=opt \
- --local_ram_resources=HOST_RAM*.8 \
- --local_cpu_resources=HOST_CPUS-2 \
- //tensorflow/tools/pip_package:build_pip_package
报错 ：无法打开 legalize_tf_xla_call_module_to_stablehlo_pass.obj.params
windows下 有MAX_PATH=260 的限制，--output_base 设置编译输出路径尽量短小就好。
试试这个 ，不行就新建个短名用户重新编译吧。
修改 mingw安装路径的 /etc/profile 文件，在前面添加强制初始化环境变量，重启mingw 环境。我实际使用的是 x，只一个字符，尽量缩短最后生成的路径长度。
- USER=roe
- USERNAME=roe
- HOME=/home/roe
报错： 无法打开包括文件: “dirent.h”
参考： Visual studio 2019 报错没有“dirent.h”文件， 补一个 dirnet.h 文件到 VS2019 include目录
报错： 无法打开包括文件: “dlfcn.h”
pacman -S --noconfirm --needed ${MINGW_PACKAGE_PREFIX}-dlfcn
-
相关阅读:
【解决问题】跨域 图片跨域问题 has been blocked by CORS policy No-Access-Control-Allow-Origin
【刷题记录⑨】Java工程师丨字节面试真题（三）
Docker安装Jenkins打包Maven项目为Docker镜像并运行【保姆级图文教学】
11GR2 rac 2节点一键安装演示
ClickPaaS马俊：模型驱动的低代码平台实践
餐厅订座预约小程序的效果如何
商城项目 pc----商品详情页
关于对ServletContext对象的应用详解
C#实现图片转Base64字符串.并支持markdown文件打开展示
双十一游戏党必备的数码好物有哪些？2022双11游戏党必备外设清单
- 原文地址：https://blog.csdn.net/Tonyfield/article/details/133849484