Python Multiprocessing多进程 使用tqdm显示进度条的实现

 更新时间:2019年08月13日 14:19:43   作者:SiyuanChen   我要评论
这篇文章主要介绍了Python Multiprocessing多进程 使用tqdm显示进度条的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1.背景

在python运行一些,计算复杂度比较高的函数时,服务器端单核CPU的情况比较耗时,因此需要多CPU使用多进程加快速度

2.函数要求

笔者使用的是:pathos.multiprocessing 库,进度条显示用tqdm库,安装方法:

pip install pathos

安装完成后

from pathos.multiprocessing import ProcessingPool as Pool
from tqdm import tqdm

这边使用pathos的原因是因为,multiprocessing 库中的Pool 函数只支持单参数输入,例如 f(x) = x**2,而不能处理 f (x,y) = x+y 这类的函数

更不用说一些需要参数的函数 例如:F(x , alpha=0.5, gamma = 0.1) 这样。

3.代码

定义一个 函数 F [ X ] ,其中,输入X是可以在第一个维度上迭代的array, 大小:[ num_X, len ] , 在第一维度 num_X 上进行迭代。

def F(X,lamda=10,weight=0.05):
  res={} 
  res.update(F_1(X,lamda=lamda,weight=weight))
  res.update(F_2(X,lamda=lamda,weight=weight))
  return res

x 是 F 的输出,是一个dict (字典格式)

这里的两个函数超参数 lamda 和 weight 虽然每次调用的时候值是一样的,但是还是需要放一个数组每次用于迭代。

zip_lamda = [lamda for i in range(len(X)) ]
zip_weight = [weight for i in range(len(X)) ]
with tqdm(total=len(cold_sequences)) as t:
    for i, x in enumerate(pool.imap(F,X,zip_lamda,zip_weight)):
      X[i,:] = [x[key] for key in x.keys()]
      Y[i,] = 0
      t.update()
  pool.close()
  pool.join()

4.结果

mutiprocess 加速前

mutiprocess 加速后

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持澳门金沙网上娱乐。

相关文章

  • 详解python列表(list)的使用技巧及高级操作

    详解python列表(list)的使用技巧及高级操作

    这篇文章主要介绍了详解python列表(list)的使用技巧及高级操作,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-08-08
  • 状态机的概念和在Python下使用状态机的教程

    状态机的概念和在Python下使用状态机的教程

    这篇文章主要介绍了状态机的概念和在Python下使用状态机的教程,本文来自于IBM官方开发者技术文档,需要的朋友可以参考下
    2015-04-04
  • python pygame实现2048游戏

    python pygame实现2048游戏

    这篇文章主要为大家详细介绍了python pygame实现2048游戏,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-11-11
  • python中self原理实例分析

    python中self原理实例分析

    这篇文章主要介绍了python中self原理,较为详细的分析了self的原理与相关的使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-04-04
  • Python爬虫工程师面试问题总结

    Python爬虫工程师面试问题总结

    本篇文章给大家总结了关于Python爬虫工程师面试问题总结,希望我们整理的内容能够帮助到大家。
    2018-03-03
  • Django objects的查询结果转化为json的三种方式的方法

    Django objects的查询结果转化为json的三种方式的方法

    这篇文章主要介绍了Django objects的查询结果转化为json的三种方式的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-11-11
  • 关于pytorch中网络loss传播和参数更新的理解

    关于pytorch中网络loss传播和参数更新的理解

    今天小编就为大家分享一篇关于pytorch中网络loss传播和参数更新的理解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • Python单元测试实例详解

    Python单元测试实例详解

    这篇文章主要介绍了Python单元测试,结合实例形式详细分析了Python单元测试模块的功能、使用方法及相关操作注意事项,需要的朋友可以参考下
    2018-05-05
  • pytorch 数据集图片显示方法

    pytorch 数据集图片显示方法

    今天小编就为大家分享一篇pytorch 数据集图片显示方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07
  • python获取多线程及子线程的返回值

    python获取多线程及子线程的返回值

    这篇文章主要介绍了python获取多线程及子线程的返回值的相关资料,需要的朋友可以参考下
    2017-11-11

最新评论