多进程2

淩亂°似流年 2021-12-20 08:17 240阅读 0赞

进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或打印同一个终端,是没有问题的

加锁是将程序由并发转换为串行,牺牲运行效率,避免竞争

加锁可以保证多个进程修改同一块数据时,同一时间只能有一个任务可以进行修改,降低速度,保证数据安全

文件共享可以实现进程间通信,但问题是:

1.效率低(共享数据基于文件,文件是硬盘上的数据)  
2.需要自己加锁处理  
mutiprocessing模块提供基于消息的IPC通信机制:队列和管道

1.队列和管道都是将数据存放在内存中

2.队列又是基于(管道加锁)实现的

应避免使用共享数据,尽可能使用消息传递和队列,避免处理复杂的同步和锁的问题,而且进程增加可以获得更好的可扩展性

进程之间互相隔离,要实现进程间通信(IPC),multiprocessing模块支持两种格式:队列和管道,这两种方式都是使用消息传递的

Queue(maxsize):创建共享的进程队列,Queue是多进程安全的队列,可以使用Queue实现多进程之间的数据传递

maxsize是队列中允许最大项数,省略则无大小限制

q.put()方法用以插入数据到队列中,put方法还有两个可选参数,blocked和timeout,如果blocked为True(默认值),并且timeout为正值,那么在等待的时间内没有取到任何元素,会抛出Que.Empty异常,如果blocked为False,有两种情况存在,如果Queue有一个值可用,则会立即返回该值,否则队列为空,则会立即抛出Queue.Empty异常

q.getnowait()同q.get(False)  
q.put\_nowait():同q.put(False)  
q.empty():调用此方法时,q为空则返回True,该结果不可靠,比如在返回True的过程中,如果队列中又加入了项目

q.full():调用此方法时q已满则会返回True,该结果不可靠,比如在返回True的过程中,如果队列中的项目被取走

q.qsize():返回队列中目前项目的正确数量,结果不可靠,

生产者消费者模型:

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题,生产者和消费者彼此之间不直接通讯,而通过阻塞队列来进行通讯,所以生产者生产完数据之后不用等待消费者处理,直接扔给阻塞队列,消费者不找生产者要数据,而是直接从阻塞队列里取,阻塞队列就相当于一个缓冲区,平衡了生产者和消费者的处理能力

生产者消费者模型总结:

程序中有两类角色:

一类负责生产数据(生产者)  
一类负责处理数据(消费者)  
引入生产者消费者模型为了解决的问题是:

平衡生产者与消费者之间的工作能力,从而提高程序整体处理数据的速度

如何实现:

生产者<====>队列<====>消费者  
生产者消费者模型实现类程序的解耦合

转载于:https://www.cnblogs.com/suncunxu/p/10192529.html

发表评论取消回复

表情：

评论列表（有 0 条评论，240人围观）

还没有评论，来说两句吧...

相关阅读

相关 python 多进程（十四-2）

多进程能像多线程一样共享全局变量吗？因为多进程是多个独立的进程,每人拥有一份代码,每人都拥有一个空间,无法做到操作同一个全局资源. 所以多进程无法像多线程一样共享全局

分手后的思念是犯贱/ 2023年10月05日 20:27/ 0 赞/ 13 阅读

相关 Python-多进程(进程,锁,通讯,进程池)

文章目录 Python-多进程(进程,锁,通讯,进程池) 创建多进程守护进程进程间的通信进程队列(

素颜马尾好姑娘i/ 2023年10月02日 22:11/ 0 赞/ 53 阅读

相关 pm2多进程合并日志

pm2多进程合并日志 pm2开启多进程安装PM2 启动PM2 停止PM2进程停止指定pm2启动的进程

小鱼儿/ 2022年12月30日 07:57/ 0 赞/ 276 阅读

相关 HTTP服务器项目2：Linux多进程开发

HTTP服务器项目2：Linux多进程开发 1.进程概述： 01 / 程序和进程程序是包含一系列信息的文件，这些信息描述了如何在运行时创建一个进程： ◼ 二进制格

墨蓝/ 2022年11月11日 05:29/ 0 赞/ 247 阅读

相关 684-进程&进程控制&多进程&进程控制块

什么是进程？进程是由程序变换而来，介绍进程时，需要先从程序说起。（1）当程序没有运行时当程序没有被运行时，该程序（可执行文件）只是存放在硬盘上的静态数据，与

港控/mmm°/ 2022年09月16日 06:08/ 0 赞/ 239 阅读

相关编写多进程程序 --多进程编程

实验目的通过编写多进程程序，熟练掌握fork()、exec()、wait()和waitpid()等函数的使用，进一步理解在Linux中多进程编程的步骤。实验内容

客官°小女子只卖身不卖艺/ 2022年08月01日 14:50/ 0 赞/ 251 阅读

相关【进程（2）】—— 进程控制

fork函数 include <sys/types.h> include <unistd.h> pid_t fork(void); fork调

客官°小女子只卖身不卖艺/ 2022年05月29日 02:26/ 0 赞/ 268 阅读

相关多进程服务器端 ---(2) *

信号处理父进程往往很繁忙，因此不能只调用waitpid函数以等待子进程终止。接下来讨论解决方案。向操作系统求助子进程终止的识别主体是操作系统

喜欢ヅ旅行/ 2022年05月25日 09:16/ 0 赞/ 277 阅读

相关多进程2

进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或打印同一个终端,是没有问题的加锁是将程序由并发转换为串行,牺牲运行效率,避免竞争加锁可以保证多个进程修

淩亂°似流年/ 2021年12月20日 08:17/ 0 赞/ 241 阅读

相关多进程

多进程概述多进程代码： from multiprocessing import Process 方法：进程对象.start()

迷南。/ 2021年11月11日 15:16/ 0 赞/ 381 阅读