码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • python 多进程windows报错 linux不报错 TypeError: cannot pickle ‘_thread.lock‘ object


    代码:

    class Controller(object):
    def handle_new(self):
        record=[]
        for job_name in self.job_info_dic:
            tasks = self.job_info_dic[job_name]['tasks']
            corn = self.job_info_dic[job_name]['corn']
            interval = self.job_info_dic[job_name]['interval']
    
            for task in tasks:
                process=multi.Process(target=self.cal_task_job,args=(task,corn,interval,))
                process.start()
                record.append(process)
        for process in record:
            process.join()

    具体报错是:

    File "D:\anaconda3\lib\multiprocessing\process.py", line 121, in start
        self._popen = self._Popen(self)
      File "D:\anaconda3\lib\multiprocessing\context.py", line 224, in _Popen
        return _default_context.get_context().Process._Popen(process_obj)
      File "D:\anaconda3\lib\multiprocessing\context.py", line 327, in _Popen
        return Popen(process_obj)
      File "D:\anaconda3\lib\multiprocessing\popen_spawn_win32.py", line 93, in __init__
        reduction.dump(process_obj, to_child)
      File "D:\anaconda3\lib\multiprocessing\reduction.py", line 60, in dump
        ForkingPickler(file, protocol).dump(obj)
    TypeError: cannot pickle '_thread.lock' object

    从报错看,是序列化对象时出错的,那就需要把传给multi.Process的参数逐一序列化一下,看哪个参数不能被序列化,结果发现:

    a=pickle.dumps(self.cal_task_job)

    报错和上面一样,那就是这个self.cal_task_job有问题了.

    那为啥linux上就没问题呢?

    因为windows创建一个子进程,会拷贝主进程中的所有代码,在linux和mac当中,并不会拷贝你在主进程中执行的代码。

    解决办法,把cal_task_job函数移到类的外面,而不作为类的一个方法,问题就解决了。多进程实现,没有报错。

  • 相关阅读:
    mysql笔记
    CAXA 3D实体设计2024:塑造未来的创新引擎
    86双周t4 6143. 预算内的最多机器人数目 周赛309 t4 6170. 会议室 III
    CMD脚本实战教程
    正则表达式
    基于springboot创建的web项目整合Quartz框架
    深入理解JVM虚拟机_3 常见的Java虚拟机
    【ContextCapture建模精品教程】三维实景模型生成集群设置(2)——工程文件网络路径设置
    nginx 编译使用 nginx_upstream_check_module
    黑马JVM总结(二十七)
  • 原文地址:https://blog.csdn.net/rona1/article/details/127978746
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号