1. 程式人生 > >Python多程序併發操作中程序池Pool的應用

Python多程序併發操作中程序池Pool的應用

     在利用Python進行系統管理的時候,特別是同時操作多個檔案目錄,或者遠端控制多臺主機,並行操作可以節約
大量的時間。當被操作物件數目不大時,可以直接利用multiprocessing中的Process動態成生多個程序,10幾個
還好,但如果是上百個,上千個目標,手動的去限制程序數量卻又太過繁瑣,這時候程序池Pool發揮作用的時候

就到了。

      Pool可以提供指定數量的程序,供使用者呼叫,當有新的請求提交到pool中時,如果池還沒有滿,那麼就會
建立一個新的程序用來執行該請求;但如果池中的程序數已經達到規定最大值,那麼該請求就會等待,直到池中
有程序結束,才會建立新的程序來它。這裡有一個簡單的例子:

    #!/usr/bin/env python
    #coding=utf-8
    """
    Author: Squall
    Last modified: 2011-10-18 16:50
    Filename: pool.py
    Description: a simple sample for pool class
    """

    from multiprocessing import Pool
    from time import sleep


    def f(x):
        for i in range(10):
            print '%s --- %s ' % (i, x)
            sleep(1)


    def main():
        pool = Pool(processes=3)    # set the processes max number 3
        for i in range(11,20):
            result = pool.apply_async(f, (i,))
        pool.close()
        pool.join()
        if result.successful():
            print 'successful'


    if __name__ == "__main__":
        main()

       先建立容量為3的程序池,然後將f(i)依次傳遞給它,執行指令碼後利用ps aux | grep pool.py檢視程序情
況,會發現最多隻會有三個程序執行。pool.apply_async()用來向程序池提交目標請求,pool.join()是用來等待
程序池中的worker程序執行完畢,防止主程序在worker程序結束前結束。但必pool.join()必須使用在
pool.close()或者pool.terminate()之後。其中close()跟terminate()的區別在於close()會等待池中的worker進
程執行結束再關閉pool,而terminate()則是直接關閉。result.successful()表示整個呼叫執行的狀態,如果還有

worker沒有執行完,則會丟擲AssertionError異常。

    利用multiprocessing下的Pool可以很方便的同時自動處理幾百或者上千個並行操作,指令碼的複雜性也大大降

低。