multiprocessing包是Python中的多進程管理包。與threading.Thread類似，它可以利用multiprocessing.Process對象來創建一個進程。該進程可以運行在Python程序內部編寫的函數。 該Process對象與Thread對象的用法相同，也有start(), run(), join()的方法。此外multiprocessing包中也有Lock/Event/Semaphore/Condition類 (這些對象可以像多線程那樣，通過參數傳遞給各個進程)，用以同步進程，其用法與threading包中的同名類一致。所以，multiprocessing的很大一部份與threading使用同一套API，只不過換到了多進程的情境。 但在使用這些共享API的時候，我們要注意以下幾點: * 在UNIX平臺上，當某個進程終結之后，該進程需要被其父進程調用wait，否則進程成為僵尸進程(Zombie)。所以，有必要對每個Process對象調用**join()**方法 (實際上等同于wait)。對于多線程來說，由于只有一個進程，所以不存在此必要性。 * multiprocessing提供了IPC工具(比如Pipe和Queue)，效率上更高。應優先考慮**Pipe和Queue**，避免使用Lock/Event/Semaphore/Condition等同步方式 (因為它們占據的不是用戶進程的資源)。 * 多進程應該避免共享資源。在多線程中，我們可以比較容易地共享資源，比如使用全局變量或者傳遞參數。在多進程情況下，由于每個進程有自己獨立的內存空間，以上方法并不合適。此時我們可以通過共享內存和Manager的方法來共享資源。但這樣做提高了程序的復雜度，并因為同步的需要而降低了程序的效率。 * Process.PID中保存有PID，如果進程還沒有start()，則PID為None。 ### Queue 先加入隊列再取 ```python from multiprocessing import Process, Queue from random import randint from time import sleep def f(q, i): for x in xrange(randint(1, 4)): sleep(x) q.put([42, i, x]) if __name__ == '__main__': q = Queue() for i in xrange(5): p = Process(target=f, args=(q,i)) p.start() p.run() for i in xrange(5): print q.get() p.join() ``` ### 進程池 ```python from multiprocessing import Pool import os import time def fun(id): print 'Run task id: %s pid: %s ppid: %s' % (id, os.getpid(), os.getppid()) time.sleep(3) if __name__ == '__main__': print 'Main Process pid %s' % os.getpid() pool = Pool(processes=5) for i in xrange(10): pool.apply_async(fun, args=(i,)) print "wait..." pool.close() pool.join() print 'Done' ``` ### 并行map ``` import multiprocessing def f(x): return x ** 2 pool = multiprocessing.Pool() pool.mao(map, [1, 2, 3, 4]) ```