Python进程、线程、协程详解

进程与线程的历史

我们都知道计算机是由硬件和软件组成的。硬件中的CPU是计算机的核心,它承担计算机的所有任务。 操作系统是运行在硬件之上的软件,是计算机的管理者,它负责资源的管理和分配、任务的调度。 程序是运行在系统上的具有某种功能的软件,比如说浏览器,音乐播放器等。 每次执行程序的时候,都会完成一定的功能,比如说浏览器帮我们打开网页,为了保证其独立性,就需要一个专门的管理和控制执行程序的数据结构——进程控制块。 进程就是一个程序在一个数据集上的一次动态执行过程。 进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成;数据集则是程序在执行过程中所需要使用的资源;进程控制块用来记录进程的外部特征,描述进程的执行变化过程,系统可以利用它来控制和管理进程,它是系统感知进程存在的唯一标志。


在早期的操作系统里,计算机只有一个核心,进程执行程序的最小单位,任务调度采用时间片轮转的抢占式方式进行进程调度。每个进程都有各自的一块独立的内存,保证进程彼此间的内存地址空间的隔离。 随着计算机技术的发展,进程出现了很多弊端,一是进程的创建、撤销和切换的开销比较大,二是由于对称多处理机(对称多处理机(SymmetricalMulti-Processing)又叫SMP,是指在一个计算机上汇集了一组处理器(多CPU),各CPU之间共享内存子系统以及总线结构)的出现,可以满足多个运行单位,而多进程并行开销过大。 这个时候就引入了线程的概念。 线程也叫轻量级进程,它是一个基本的CPU执行单元,也是程序执行过程中的最小单元,由线程ID、程序计数器、寄存器集合 和堆栈共同组成。线程的引入减小了程序并发执行时的开销,提高了操作系统的并发性能。 线程没有自己的系统资源,只拥有在运行时必不可少的资源。但线程可以与同属与同一进程的其他线程共享进程所拥有的其他资源。


进程与线程之间的关系

线程是属于进程的,线程运行在进程空间内,同一进程所产生的线程共享同一内存空间,当进程退出时该进程所产生的线程都会被强制退出并清除。线程可与属于同一进程的其它线程共享进程所拥有的全部资源,但是其本身基本上不拥有系统资源,只拥有一点在运行中必不可少的信息(如程序计数器、一组寄存器和栈)。


python 线程

Threading用于提供线程相关的操作,线程是应用程序中工作的最小单元。


1、threading模块

threading 模块建立在 _thread 模块之上。thread 模块以低级、原始的方式来处理和控制线程,而 threading 模块通过对 thread 进行二次封装,提供了更方便的 api 来处理线程。

上述代码创建了20个“前台”线程,然后控制器就交给了CPU,CPU根据指定算法进行调度,分片执行指令。

import threading

import time

   

def worker(num):

    """

    thread worker function

    :return:

    """

    time.sleep(1)

    print("The num is  %d" % num)

    return

   

for i in range(20):

    t = threading.Thread(target=worker,args=(i,),name=“t.%d” % i)

    t.start()


Thread方法说明


t.start() : 激活线程,


t.getName() : 获取线程的名称


t.setName() : 设置线程的名称 


t.name : 获取或设置线程的名称


t.is_alive() : 判断线程是否为激活状态


t.isAlive() :判断线程是否为激活状态


t.setDaemon() 设置为后台线程或前台线程(默认:False);通过一个布尔值设置线程是否为守护线程,必须在执行start()方法之后才可以使用。如果是后台线程,主线程执行过程中,后台线程也在进行,主线程执行完毕后,后台线程不论成功与否,均停止;如果是前台线程,主线程执行过程中,前台线程也在进行,主线程执行完毕后,等待前台线程也执行完成后,程序停止


t.isDaemon() : 判断是否为守护线程


t.ident :获取线程的标识符。线程标识符是一个非零整数,只有在调用了start()方法之后该属性才有效,否则它只返回None。


t.join() :逐个执行每个线程,执行完毕后继续往下执行,该方法使得多线程变得无意义


t.run() :线程被cpu调度后自动执行线程对象的run方法



2、线程锁threading.RLock和threading.Lock


由于线程之间是进行随机调度,并且每个线程可能只执行n条执行之后,CPU接着执行其他线程。为了保证数据的准确性,引入了锁的概念。所以,可能出现如下问题:


例:假设列表A的所有元素就为0,当一个线程从前向后打印列表的所有元素,另外一个线程则从后向前修改列表的元素为1,那么输出的时候,列表的元素就会一部分为0,一部分为1,这就导致了数据的不一致。锁的出现解决了这个问题。

import threading

import time

   

globals_num = 0

   

lock = threading.RLock()

   

def Func():

    lock.acquire()  # 获得锁

    global globals_num

    globals_num += 1

    time.sleep(1)

    print(globals_num)

    lock.release()  # 释放锁

   

for i in range(10):

    t = threading.Thread(target=Func)

    t.start()


3、threading.RLock和threading.Lock 的区别

RLock允许在同一线程中被多次acquire。而Lock却不允许这种情况。 如果使用RLock,那么acquire和release必须成对出现,即调用了n次acquire,必须调用n次的release才能真正释放所占用的琐。


import threading

lock = threading.Lock()    #Lock对象

lock.acquire()

lock.acquire()  #产生了死琐。

lock.release()

lock.release() 

import threading

rLock = threading.RLock()  #RLock对象

rLock.acquire()

rLock.acquire()    #在同一线程内,程序不会堵塞。

rLock.release()

rLock.release()


python 协程


线程和进程的操作是由程序触发系统接口,最后的执行者是系统;协程的操作则是程序员。


协程存在的意义:对于多线程应用,CPU通过切片的方式来切换线程间的执行,线程切换时需要耗时(保存状态,下次继续)。协程,则只使用一个线程,在一个线程中规定某个代码块执行顺序。


协程的适用场景:当程序中存在大量不需要CPU的操作时(IO),适用于协程;


event loop是协程执行的控制点, 如果你希望执行协程, 就需要用到它们。


event loop提供了如下的特性:


注册、执行、取消延时调用(异步函数)

创建用于通信的client和server协议(工具)

创建和别的程序通信的子进程和协议(工具)

把函数调用送入线程池中


import asyncio

   

async def cor1():

    print("COR1 start")

    await cor2()

    print("COR1 end")

   

async def cor2():

    print("COR2")

   

loop = asyncio.get_event_loop()

loop.run_until_complete(cor1())

loop.close()



asyncio.get_event_loop()  : asyncio启动默认的event loop

run_until_complete()  :  这个函数是阻塞执行的,知道所有的异步函数执行完成,

close()  :  关闭event loop。

1、greenlet

import greenlet

def fun1():

    print("12")

    gr2.switch()

    print("56")

    gr2.switch()

  

def fun2():

    print("34")

    gr1.switch()

    print("78")

  

  

gr1 = greenlet.greenlet(fun1)

gr2 = greenlet.greenlet(fun2)

gr1.switch()


2、gevent

gevent属于第三方模块需要下载安装包

pip3 install --upgrade pip3

pip3 install gevent



import gevent

  

def fun1():

    print("www.baidu.com")   # 第一步

    gevent.sleep(0)

    print("end the baidu.com")  # 第三步

  

def fun2():

    print("www.zhihu.com")   # 第二步

    gevent.sleep(0)

    print("end th zhihu.com")  # 第四步

  

gevent.joinall([

    gevent.spawn(fun1),

    gevent.spawn(fun2),

])

遇到IO操作自动切换:

import gevent

import requests

def func(url):

    print("get: %s"%url)

    gevent.sleep(0)

    date =requests.get(url)

    ret = date.text

    print(url,len(ret))

gevent.joinall([

    gevent.spawn(func, 'https://www.pythontab.com/'),

    gevent.spawn(func, 'https://www.yahoo.com/'),

    gevent.spawn(func, 'https://github.com/'),

])



摘自:https://www.pythontab.com/html/2016/pythonhexinbiancheng_0724/1053.html





时间 2016.09.19
评论