00.用 yield 實現 Python 協程
來源:Python與數據分析 鏈接:
https://mp.weixin.qq.com/s/GrU6C-x4K0WBNPYNJBCrMw
什麽是協程
引用官方的說法:
協程是一種用戶態的輕量級線程,協程的調度完全由用戶控制。協程擁有自己的寄存器上下文和棧。協程調度切換時,將寄存器上下文和棧保存到其他地方,在切回來的時候,恢復先前保存的寄存器上下文和棧,直接操作棧則基本沒有內核切換的開銷,可以不加鎖的訪問全局變量,所以上下文的切換非常快。
與線程相比,協程更輕量。一個Python線程大概占用8M內存,而一個協程只占用1KB不到內存。協程更適用於IO密集型的應用。
在講述協程的實現前,我們有必要先來看一下send方法。
send方法
yield表達式有一個返回值,send方法的作用就是控制這個返回值,send的參數就是yield表達式的返回值。我們來看一下官方文檔上關於send的定義
generate.send(value):生成器的send(value)方法會將value值“發送”給生成器中的方法。value參數變成當前yield表達式的值。send()方法會返回生成器生成的下一個yield值或者StopIteration異常(如果生成器沒有生成下一個yield值就退出了)。當通過調用send()啟動生成器時,value值必須為None,因為當前還沒有yield表達式可以接收參數。
是不是看暈了?我們來看一個例子
def func(): while True: print("before yield") x = yield print("after yield:",x) g = func() next(g) # 程序運行到yield並停在該處,等待下一個next g.send(1) # 給yield發送值1,這個值被賦值給了x,並且打印出來,然後繼續下一次循環停在yield處 g.send(2) # 給yield發送值2,這個值被賦值給了x,並且打印出來,然後繼續下一次循環停在yield處 next(g) # 沒有給x賦值,執行print語句,打印出None,繼續循環停在yield處
上面的代碼輸出
before yield
after yield: 1
before yield
after yield: 2
before yield
after yield: None
before yield
第一次調用next的時候,程序從函數最開始處運行,打印出
before yield
執行到yield處,停在該處。
接下來,向生成器send(1)。send在這裏起到兩個作用,一個是將參數值賦給yield的返回值,然後該返回值賦給了變量x;一個是繼續程序的執行,直到下一次遇到yield停下來。第二個功能和next類似。其實,next 就相當於 send(None) 。
執行了 send(1) 後,x被賦值給yield的返回值,即send的參數1,並繼續往下執行,打印出了
after yield: 1
繼續執行,回到循環的開始,向下執行,打印出
before yield
再次遇到yield,停在該處,等待下一次send或next的調用。
向生成器send(2)。這裏的步驟和 send(1) 相同,打印出下面兩條後,在yield處停住。
after yield: 2
before yield
執行 next(g),x被賦值為yield表達式的返回值,也就是None,繼續向下執行,打印出
after yield: None
再次回到循環的開始,向下執行,打印出
before yield
程序運行結束。
現在是不是有點理解send了?
yield和send實現Python協程
我們來用協程實現一個生產者/消費者的例子
import time
def consume():
r = ‘‘
while True:
n = yield r
if not n:
return
print(‘[consumer] consuming %s...‘ % n)
time.sleep(1)
r = ‘well received‘
def produce(c):
next(c)
n = 0
while n < 5:
n = n + 1
print(‘[producer] producing %s...‘ % n)
r = c.send(n)
print(‘[producer] consumer return: %s‘ % r)
c.close()
if __name__==‘__main__‘:
c = consume()
produce(c)
運行上面的程序,會輸出
[producer] producing 1...
[consumer] consuming 1...
[producer] consumer return: well received
[producer] producing 2...
[consumer] consuming 2...
[producer] consumer return: well received
[producer] producing 3...
[consumer] consuming 3...
[producer] consumer return: well received
[producer] producing 4...
[consumer] consuming 4...
[producer] consumer return: well received
[producer] producing 5...
[consumer] consuming 5...
[producer] consumer return: well received
produce函數負責生產數據,consume函數負責消費數據。具體執行過程如下:
- 首先調用consume函數,consume函數的返回是一個生成器,把這個生成器傳入produce函數。
- produce函數中調用next(c)啟動生成器。
- 計算 n = n+1 生成數據,一旦生產了數據,調用 c.send(n) 切換到consume執行。
- consume函數中拿到數據後賦值給n,繼續執行yield後面的語句。
- consume函數中打印消費的數據,並設置返回值r,又回到循環的開始,通過yield把結果傳回。
- produce拿到consume返回的值,繼續生產下一個數據。
- 5個數據生產完畢後,循環結束,通過c.close()關閉consume,結束全過程。
produce和consume函數在一個線程內執行,通過調用send方法和yield互相切換,實現協程的功能。
00.用 yield 實現 Python 協程