1. 程式人生 > >00.用 yield 實現 Python 協程

00.用 yield 實現 Python 協程

cin before 加鎖 控制 gen 並且 占用 uci 遇到

來源:Python與數據分析 鏈接:

https://mp.weixin.qq.com/s/GrU6C-x4K0WBNPYNJBCrMw

什麽是協程

引用官方的說法:

協程是一種用戶態的輕量級線程,協程的調度完全由用戶控制。協程擁有自己的寄存器上下文和棧。協程調度切換時,將寄存器上下文和棧保存到其他地方,在切回來的時候,恢復先前保存的寄存器上下文和棧,直接操作棧則基本沒有內核切換的開銷,可以不加鎖的訪問全局變量,所以上下文的切換非常快。

與線程相比,協程更輕量。一個Python線程大概占用8M內存,而一個協程只占用1KB不到內存。協程更適用於IO密集型的應用。

在講述協程的實現前,我們有必要先來看一下send方法。

send方法

yield表達式有一個返回值,send方法的作用就是控制這個返回值,send的參數就是yield表達式的返回值。我們來看一下官方文檔上關於send的定義

generate.send(value):生成器的send(value)方法會將value值“發送”給生成器中的方法。value參數變成當前yield表達式的值。send()方法會返回生成器生成的下一個yield值或者StopIteration異常(如果生成器沒有生成下一個yield值就退出了)。當通過調用send()啟動生成器時,value值必須為None,因為當前還沒有yield表達式可以接收參數。

是不是看暈了?我們來看一個例子

def func():
    while True:
        print("before yield")
        x = yield
        print("after yield:",x)

g = func()
next(g) # 程序運行到yield並停在該處,等待下一個next
g.send(1) # 給yield發送值1,這個值被賦值給了x,並且打印出來,然後繼續下一次循環停在yield處
g.send(2) # 給yield發送值2,這個值被賦值給了x,並且打印出來,然後繼續下一次循環停在yield處
next(g) # 沒有給x賦值,執行print語句,打印出None,繼續循環停在yield處

上面的代碼輸出

before yield
after yield: 1
before yield
after yield: 2
before yield
after yield: None
before yield

第一次調用next的時候,程序從函數最開始處運行,打印出

before yield

執行到yield處,停在該處。

接下來,向生成器send(1)。send在這裏起到兩個作用,一個是將參數值賦給yield的返回值,然後該返回值賦給了變量x;一個是繼續程序的執行,直到下一次遇到yield停下來。第二個功能和next類似。其實,next 就相當於 send(None) 。

執行了 send(1) 後,x被賦值給yield的返回值,即send的參數1,並繼續往下執行,打印出了

after yield: 1

繼續執行,回到循環的開始,向下執行,打印出

before yield

再次遇到yield,停在該處,等待下一次send或next的調用。

向生成器send(2)。這裏的步驟和 send(1) 相同,打印出下面兩條後,在yield處停住。

after yield: 2

before yield

執行 next(g),x被賦值為yield表達式的返回值,也就是None,繼續向下執行,打印出

after yield: None

再次回到循環的開始,向下執行,打印出

before yield

程序運行結束。

現在是不是有點理解send了?

yield和send實現Python協程

我們來用協程實現一個生產者/消費者的例子

import time
def consume():
    r = ‘‘
    while True:
        n = yield r
        if not n:
            return
        print(‘[consumer] consuming %s...‘ % n)
        time.sleep(1)
        r = ‘well received‘

def produce(c):
    next(c)
    n = 0
    while n < 5:
        n = n + 1
        print(‘[producer] producing %s...‘ % n)
        r = c.send(n)
        print(‘[producer] consumer return: %s‘ % r)
    c.close()
    
if __name__==‘__main__‘:

    c = consume()

    produce(c)

運行上面的程序,會輸出

[producer] producing 1...
[consumer] consuming 1...
[producer] consumer return: well received
[producer] producing 2...
[consumer] consuming 2...
[producer] consumer return: well received
[producer] producing 3...
[consumer] consuming 3...
[producer] consumer return: well received
[producer] producing 4...
[consumer] consuming 4...
[producer] consumer return: well received
[producer] producing 5...
[consumer] consuming 5...
[producer] consumer return: well received

produce函數負責生產數據,consume函數負責消費數據。具體執行過程如下:

  1. 首先調用consume函數,consume函數的返回是一個生成器,把這個生成器傳入produce函數。
  2. produce函數中調用next(c)啟動生成器。
  3. 計算 n = n+1 生成數據,一旦生產了數據,調用 c.send(n) 切換到consume執行。
  4. consume函數中拿到數據後賦值給n,繼續執行yield後面的語句。
  5. consume函數中打印消費的數據,並設置返回值r,又回到循環的開始,通過yield把結果傳回。
  6. produce拿到consume返回的值,繼續生產下一個數據。
  7. 5個數據生產完畢後,循環結束,通過c.close()關閉consume,結束全過程。

produce和consume函數在一個線程內執行,通過調用send方法和yield互相切換,實現協程的功能。

00.用 yield 實現 Python 協程