python 多进程与进程池

本文主要是介绍python 多进程与进程池，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

多进程：

　　导入包：from multiprocessing import Process, Queue

函数式使用法：

　　def abc(abc,bcd):

　　　　print(abc,bcd)

　　　　return abc,bcd

　　基本调用：

　　　　res = Process(target=abc,args=(abc,bcd))  # 传入函数名，参数使用元组的形式写后面

　　　　res.start() # 启动

　　　　res.join()  # 等待进程运行结束

　　　　res.close()  # 关闭进程

　　多次调用：

　　　　res_list=[]

　　　　for i in range(20):

　　　　　　res = Process(target=abc，args=(i,i+1))

　　　　　　res.start()

　　　　　　res_list.append(res)

　　　　for res in res_list:

　　　　　　res.jion()

类式调用：

　　在类中写一个run() 函数，然后调用run，方法同上

消息队列：

　　q = Queue(N)

　　q.maxsize　　   # 队列最大数,python3.7中使用

　　q._maxsize　　# python 3.9中使用

　　q.qsize()　　  #队列中当前消息数

　　q.full()　　  # 队列满 返回True

　　q.empty()　　# 队列空 返回True

　　q.put('abc')　　# 向队列中添加消息

　　q.get()　　　　# 从队列中取消息

双队列使用（未完成）：

　　模拟进程池，设置两个队列，其中一个大的，用来存储所有提交的任务

　　一个小的，相当于进程池的数量

　　缺点是没有进程池反映快，优点是可以知道队列总数和当前任务数

　　h = Queue(20)　　# 根据需要设置成最大数

　　c = Queue(4)　　# 设置成cpu核心数

　　def submit(msg,h,c):

　　　　# 如果c已满，则提交到h

　　　　if c.full():

　　　　　　h.put(msg)

　　　　else:

　　　　　　c.put(msg)

进程池：

　　导入包：from concurrent.futures import ProcessPoolExecutor

　　pool = ProcessPoolExecutor(5)　　# 创建容量为5的进程池，默认大小为cpu核心数

　　def abc(name,age):

　　　　print(name,age)

　　　　return name,age

　　def callback(a):

　　　　for i in a.result():

　　　　　　print(i)

　　　　return 'abc'

　　pool.submit(abc,name,age)　　# abc 为函数名，name,age为函数的参数，有几个跟几个

　　res = poo.submit(abc,name,age).add__done_callback(callback)　　

　　# 提交任务时后面可以跟一个回调函数，abc的返回值以元组的形式直接传递给回调函数，回调函数返回值可能是一个元组（待测试）

这篇关于python 多进程与进程池的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！