python使用Pyinstaller如何打包整个项目

Python
329
0
0
2023-06-25
解读卷积神经网络的人脸识别
上一篇
Pygame游戏开发实例讲解之图形绘制与键鼠事件
下一篇
目录
  • 使用Pyinstaller打包整个项目
  • 1 .安装Pyinstaller
  • 2. 打开命令窗口
  • 3. 生成 spec文件
  • 4. 打开生成的spec文件
  • 5. 执行spec文件，在命令行输入
  • 6.生成中出现的问题
  • 使用pyinstaller打包pytorch踩的那些坑
  • 问题1：单个文件打包还是文件夹打包？
  • 问题2：一起打包的数据文件找不到？
  • 问题3：GPU训练的模型要放到CPU环境跑？
  • 问题4：直接打包还是用spec文件配置？
  • 总结

使用Pyinstaller打包整个项目

今天真的被Pyinstaller给坑到了！！！

本文利用spec文件进行对整个项目进行打包，直接输入命令打包也可以，但会出现比较多的问题。

1 .安装Pyinstaller

pip install pyinstaller

2. 打开命令窗口

由于我这里是在Anaconda环境下创建的虚拟环境，因此要切换到对应的环境下，避免打包无关的包，同时切换到对于目录下。

关于目录，我这里是包含主文件、文件(各数据集的存放)以及同等级的py文件：

3. 生成 spec文件

执行以下命令：

pyi-makespec -w xxx.py（xxx.py文件为要执行的主文件，这里我是Insect_predict.py

4. 打开生成的spec文件

（这里是Insect_predict.spec），如下（一些需要自己添加:

#当出现出现"RecursionError: maximum recursion depth exceeded问题时，可能打包时出现了大量的递归超出了python预设的递归深度，需要添加如下三行。
import sys
import os.path as osp
sys.setrecursionlimit()
#----------------------------------------------------------------
block_cipher = None

SETUP_DIR ='D:\\ssd-pytorch-mql\\'

#所有项目中的py文件路径以列表形式写入Analysis如下
#pathex定义了打包的主目录,默认生成，只写文件名
#当出现打包后执行程序时出现类似No Module named xxx，可以将模块填入到hiddenimports中
#excludes不要什么文件
#data将非py文件的路径与存放的文件夹名写在元组里

a = Analysis(
  ['Insect_predict.py',
   'ssd.py','summary.py','voc_annotation.py','get_map.py',
  'D:\\ssd-pytorch-mql\\nets\\mobilenetv.py',
  'D:\\ssd-pytorch-mql\\nets\\ssd.py',
  'D:\\ssd-pytorch-mql\\nets\\ssd_training.py',
   'D:\\ssd-pytorch-mql\\nets\\vgg.py',
    'D:\\ssd-pytorch-mql\\utils\\anchors.py',
    'D:\\ssd-pytorch-mql\\utils\\callbacks.py',
    'D:\\ssd-pytorch-mql\\utils\\dataloader.py',
    'D:\\ssd-pytorch-mql\\utils\\utils.py',
    'D:\\ssd-pytorch-mql\\utils\\utils_bbox.py',
    'D:\\ssd-pytorch-mql\\utils\\utils_fit.py',
    'D:\\ssd-pytorch-mql\\utils\\utils_map.py'],
  pathex=['D:\ssd-pytorch-mql'],
  binaries=[],
  datas=[(SETUP_DIR+'model_data','model_data'),(SETUP_DIR+'VOCdevkit','VOCdevkit'),(SETUP_DIR+'img','img')],
  hiddenimports=[],
  hookspath=[],
  hooksconfig={},
  runtime_hooks=[],
  excludes=['zmq','pandas','tensorflow'],
  win_no_prefer_redirects=False,
  win_private_assemblies=False,
  cipher=block_cipher,
  noarchive=False,
)
pyz = PYZ(a.pure, a.zipped_data, cipher=block_cipher)

exe = EXE(
  pyz,
  a.scripts,
  [],
  exclude_binaries=True,
  name='Insect_predict',
  debug=False,
  bootloader_ignore_signals=False,
  strip=False,
  upx=True,
  console=False,
  disable_windowed_traceback=False,
  argv_emulation=False,
  target_arch=None,
  codesign_identity=None,
  entitlements_file=None,
)
coll = COLLECT(
  exe,
  a.binaries,
  a.zipfiles,
  a.datas,
  strip=False,
  upx=True,
  upx_exclude=[],
  name='Insect_predict',
)

以上内容是在生产spec文件后添加上去的，可根据自己文件内报错进行修改。

5. 执行spec文件，在命令行输入

pyinstaller -D xxx.spec或pyinstaller xxx.spec(我的后者才可以运行)

6.生成中出现的问题

若生成中遇到如图所示,即可在spec文件里面添加 excludes=[zmq]或出现lib not found…含有必要包的，可以将后面的路径添加到系统环境变量当中，我的这样是可以的，暂时还没有遇到模块的问题，如果有遇到可

以考虑是否版本问题：

当执行完成会生产两个文件夹dist和build，exe可执行文件就在dist文件里面。

一步一步解决，总是可以的！！！

使用pyinstaller打包pytorch踩的那些坑

花费了亿点时间，终于在自己的电脑上搞定了pyinstaller的安装并且让它成功打包了一些小程序之后，尝试着用它打包pytorch这样的复杂程序，结果遇到的问题远比想象中要多，于是记个笔记，也避免后来人踩坑。

问题1：单个文件打包还是文件夹打包？

用pyinstaller打包pytorch的感觉就是大，这文件真的大……已经尽力用from import代替import之类的方式减少了导入的库内容，但还是打包出了一个巨大无比的应用程序。

没有使用upx压缩的情况下，打包为文件夹需要3G，而打包为单个exe文件则是需要1.3G，怎么看好像都是打包成一个exe比较划算的样子……？

大错特错！

首先是启动速度，打包为文件夹的情况下，启动基本是秒启动，但是打包为一整个exe文件，启动就需要将近30s才能print出第一行提示语句……

其次，借着这次机会也正好了解了一下exe的运行机制，打包为整个exe文件之后，它每次运行都会把相当于整个文件夹的内容释放到一个c盘的临时文件夹中，而且它不会马上删除！

你问我为什么发现了这件事？因为试运行了几次之后，我的C盘直接裂裂裂裂裂开了……

可怜弱小又无助的系统盘QvQ

经过测试发现，打包为整个文件夹的话，程序就会在当前路径直接运行，而不会创造一个巨大无比的临时文件在一次次运行中炸掉C盘，因此最后决定采用打包为一个文件夹的形式。

问题2：一起打包的数据文件找不到？

毕竟……是pytorch嘛，最终打包的肯定是只有测试模式的代码，而不会把训练模式的大段代码都塞进exe里面，所以，希望把一个.pth的模型数据文件一起打包进去，这样加载的网络模型只要直接从模型里面读数据就可以了。

很快，新的问题出现了，当把模型的路径设置为当前路径的时候，会出现一种非常诡异的情况：在本地计算机上运行正常，但是把整个打包好的文件夹放在别的电脑上运行的时候，它直接报错说，找不到该文件！

你总不会是把绝对路径给打包到exe里面去了吧？？？

好在查阅了一堆网络资料后，发现这可能是运行路径的问题，但是网上给出的写法五花八门，大部分试了之后发现根本没卵用， 另一个问题是，打包之后的文件夹过于杂乱，因此甚至想找到启动程序的exe文件都需要滚轮往下滑好几页，寻思之后，干脆在整个文件夹外面写一个.bat文件作为启动脚本：

start 文件夹/启动文件.exe

此时的目录结构如图所示：

|-测试工作区
  |-打包的整个项目文件夹
    |-打包后的数据文件
    |-打包后的启动程序.exe
  |-用于启动exe的脚本.bat

但是这又引出了新的问题：这个运行的路径到底是临时程序文件路径，还是exe启动程序路径，还是bat脚本路径？？？

我没看懂，但我大受震撼.jpg

猜测半天不如进行实测，于是把网上五花八门的写法都拉进来写了个测试代码打包到exe里面看看结果：

import os

print("当前程序路径",os.getcwd(), os.path.exists(os.getcwd()+'\\'+G_model_path))
print("当前脚本路径", sys.path[], os.path.exists(sys.path[0]+'\\'+G_model_path))
print("当前默认所在路径", os.path.abspath('.'), os.path.exists(os.path.abspath('.')+'\\'+G_model_path))
print('临时执行路径',os.path.split(os.path.realpath(__file__))[], os.path.exists(os.path.split(os.path.realpath(__file__))[0]+'\\'+G_model_path))

每一行都会显示这种写法得到的路径信息，与能否在这条路径上找到打包到文件夹里面的数据文件。

首先尝试直接双击exe启动，得到结果：

当前程序路径 测试工作区\打包的整个项目文件夹 True
当前脚本路径 测试工作区\打包的整个项目文件夹\base_library.zip False
当前默认所在路径 测试工作区\打包的整个项目文件夹 True
临时执行路径 测试工作区\打包的整个项目文件夹 True

然后试着用.bat启动exe，得到结果：

当前程序路径 测试工作区 False
当前脚本路径 测试工作区\打包的整个项目文件夹\base_library.zip False
当前默认所在路径 测试工作区 False
临时执行路径 测试工作区\打包的整个项目文件夹 True

实践出真知，全部测试之后的结果表明，sys.path[0]就是渣渣！ 在直接双击运行exe的时候，有三种措施都能起效，但是通过bat运行exe的时候，只有最后一种写法

os.path.split(os.path.realpath(__file__))[0]才能找到正确的数据文件所在路径。

问题3：GPU训练的模型要放到CPU环境跑？

这个问题相对来说比较简单，只需要修改加载模型参数的代码。

从G_model.load_state_dict(load(G_model_path))

改为G_model.load_state_dict(load(G_model_path, map_location=device('cpu')))

问题4：直接打包还是用spec文件配置？

推荐先生成spec文件，完成配置后重新打包

然后在test.spec中修改参数：

4.1 添加PYTHONPATH

如果你需要import项目根目录中的文件夹作为库，需要将文件夹路径添加到该参数

必须用绝对路径！相对路径不生效！

pathex=['path']

4.2 添加数据文件

程序调用的相对路径中的数据文件

datas=[(oldpath, newpath1), (oldpath2, newpath2)]

4.3 手动添加没有被识别到的调用库

hiddenimports=['libs']

问题全部解决之后，程序运行正常√

解读卷积神经网络的人脸识别
上一篇
Pygame游戏开发实例讲解之图形绘制与键鼠事件
下一篇