### 什么是生產者消費者模式
在工作中,大家可能會碰到這樣一種情況:某個模塊負責產生數據,這些數據由另一個模塊來負責處理(此處的模塊是廣義的,可以是類、函數、線程、進程等)。
> * `生產者`:產生數據的模塊,產生數據的時間是不確定的;
> * `消費者`:而處理數據的模塊,處理數據的時間是不確定的;
> * `倉庫`:在生產者與消費者之間的緩沖區。

### 生產者消費者模式的優點
#### 1、解耦
假設生產者和消費者分別是兩個類。如果讓生產者直接調用消費者的某個方法,那 么生產者對于消費者就會產生依賴(也就是`耦合`)。將來如果消費者的代碼發生變化, 可能會影響到生產者。而如果兩者都依賴于某個緩沖區,兩者之間不直接依賴,耦合也 就相應降低了。
舉個例子,我們去郵局投遞信件,如果不使用郵筒(也就是緩沖區),你必須得把 信直接交給郵遞員。有同學會說,直接給郵遞員不是挺簡單的嘛?其實不簡單,你必須 得認識誰是郵遞員,才能把信給他(光憑身上穿的制服,萬一有人假冒,就慘了)。這 就產生和你和郵遞員之間的依賴(相當于生產者和消費者的強耦合)。萬一哪天郵遞員 換人了,你還要重新認識一下(相當于消費者變化導致修改生產者代碼)。而`郵筒`相對 來說比較固定,你依賴它的成本就比較低(相當于和緩沖區之間的`弱耦合`)。
#### 2、支持并發
由于生產者與消費者是兩個獨立的`并發體`,他們之間是用緩沖區作為橋梁連接,生產者只需要往緩沖區里丟數據,就可以繼續生產下一個數據,而消費者只需要從緩沖區了拿數據即可,這樣就不會因為彼此的處理速度而發生阻塞。
接上面的例子,如果我們不使用郵筒,我們就得在郵局等郵遞員,直到他回來,我們把信件交給他,這期間我們啥事兒都不能干(也就是生產者阻塞),或者郵遞員得挨家挨戶問,誰要寄信(相當于消費者輪詢)。
#### 3、支持忙閑不均
緩沖區還有另一個好處。如果制造數據的速度時快時慢,緩沖區的好處就體現出來 了。當數據制造快的時候,消費者來不及處理,未處理的數據可以暫時存在緩沖區中。 等生產者的制造速度慢下來,消費者再慢慢處理掉。
為了充分復用,我們再拿寄信的例子來說事。假設郵遞員一次只能帶走1000封信。 萬一某次碰上情人節(也可能是圣誕節)送賀卡,需要寄出去的信超過1000封,這時 候郵筒這個緩沖區就派上用場了。郵遞員把來不及帶走的信暫存在郵筒中,等下次過來 時再拿走。
模塊Queue
```
#!/usr/bin/env python
# coding=utf-8
from threading import Thread
from time import sleep
from Queue import Queue
class Producer(Thread):
def __init__(self, worker, queue):
Thread.__init__(self)
self.__worker = worker
self.__queue = queue
def run(self):
while True:
if 0 <= queue.qsize() <= 10:
queue.put('baozi')
print '%s 生產了1個包子, 一共%s個包子' % (self.__worker, queue.qsize())
sleep(1)
elif 10 < queue.qsize() <= 20:
queue.put('baozi')
print '%s 生產了1個包子, 一共%s個包子' % (self.__worker, queue.qsize())
sleep(2)
else:
print 'queue is full rest 3 sec'
sleep(3)
class Consumer(Thread):
def __init__(self, client, queue):
Thread.__init__(self)
self.__client = client
self.__queue = queue
def run(self):
while True:
if queue.empty():
print '趕緊生產,么有包子了'
sleep(1)
else:
queue.get('包子')
# queue.get('包子')
print '%s 消費了2個包子, 還剩%s個包子' % (self.__client, queue.qsize())
sleep(1)
# 先進先出,線程安全
queue = Queue(maxsize=20)
for item in ['yang', 'yuan', '沙僧', '如來', '觀音']:
temp = Producer(item, queue)
temp.start()
for item in ['豬八戒', '唐僧']:
temp = Consumer(item, queue)
temp.start()
```
- 前言
- 環境搭建
- pypi
- 打包
- Python 2 和 Python 3 的版本之間差別
- 項目
- 第一部分
- 第1章 基礎
- Python安裝
- python代碼文件類型
- python對象
- 核心數據類型
- 核心數據類型--整型和浮點型
- 核心數據類型--字符串
- str.format
- 核心數據類型--列表
- 核心數據類型--元組
- 核心數據類型--字典
- 核心數據類型--集合
- 核心數據類型--文件對象
- 調用bash
- 標準輸入輸出
- str-repr
- 字符編碼
- 迭代器和生成器
- 第2章 語句和語法
- 賦值語句
- if語句
- while語句
- for語句
- assert
- 第3章 函數
- 函數作用域
- 工廠函數
- 內置函數
- 遞歸
- 嵌套作用域和lambda
- 參數傳遞
- 函數式編程
- property可寫與可讀
- 第5章 模塊
- 模塊導入
- 模塊命名空間
- 相對導入和絕對導入
- 模塊重載
- 在模塊中隱藏數據
- 過渡性重載
- 第6章 類
- 面向對象還是面向過程?
- 構造函數 析構函數
- call
- 運算符重載
- str()
- 待定
- 即時生成屬性
- 多態
- 線程和進程
- thread模塊
- threading模塊
- threading線程鎖
- 糖果機
- multiprocessing
- 阻塞非阻塞同步異步
- 單線程和多線程對比
- 生產者消費者模型
- 第二部分
- 獲取系統資源信息
- 獲取進程所占的物理內存
- dmidecode獲取系統信息
- 網絡編程
- 網絡基礎
- python中的套接字
- socket模塊
- 第三部分 高級功能
- 閉包入門
- 閉包的應用
- 裝飾器入門
- 裝飾器應用
- 第四部分 項目實戰
- graphite
- 模塊
- collections
- datetime
- Enum
- faker
- fabric
- fileinput
- fire
- fnmatch
- getpass
- glob
- hashlib
- heapq
- json模塊
- log
- os
- Paramiko
- parser
- platform
- pyyaml
- Queue
- random
- re
- 特殊符號和字符
- re模塊
- shelves
- subprocess
- time
- urllib_urllib2_requests
- urllib urllib2
- requests
- 標準模塊ConfigParser
- 擴展模塊Mysqldb
- 擴展模塊dns
- 擴展模塊request
- uuid
- cacheout 緩存庫
- delorean 時間
- 附錄
- 內置函數
- python實現各種排序算法
- 常見報錯
- pymongo
- pyrocksdb
- 常用
- ERROR