[TOC] # 隊列服務配置 在配置文件queue.php的connections中已經默認定義了redis的連接： ~~~ 'redis' => [ 'driver' => 'redis', 'connection' => 'default', 'queue' => 'default', 'expire' => 60, ], ~~~ 在.env環境配置文件中把默認的隊列驅動改成redis： ~~~ QUEUE_DRIVER=redis ~~~ 為了避免配置緩存的影響，執行以下命令清除并重建配置緩存： ~~~ php artisan config:cache ~~~ # 新建Queueable Jobs 使用命令： ~~~ php artisan make:job MyJob ~~~ 新建一個名為MyJob的隊列處理類，在App/Jobs目錄下自動生成一個MyJob.php文件。 MyJob.php需要實現handle方法，用來具體執行隊列任務，構造函數可以用來傳遞需要的參數，handle方法支持依賴注入。 這里handle方法隨便寫了一個，就是往一個list類型數據結構中存一個key-value數據，測試消費隊列的時候有沒有起作用，構造函數傳兩個參數就是key和value. ~~~ <?php namespace App\Jobs; use App\Jobs\Job; use Illuminate\Queue\SerializesModels; use Illuminate\Queue\InteractsWithQueue; use Illuminate\Contracts\Queue\ShouldQueue; use Illuminate\Support\Facades\Redis; class MyJob extends Job implements ShouldQueue { use InteractsWithQueue, SerializesModels; private $key; private $value; /** * Create a new job instance. * * @return void */ public function __construct($key, $value) { $this->key = $key; $this->value = $value; } /** * Execute the job. * * @return void */ public function handle() { Redis::hset('queue.test', $this->key, $this->value); } public function failed() { dump('failed'); } } ~~~ 在控制器中使用dispatch方法調用隊列，將任務放入隊列中，控制器中寫個方法如public function test()，new MyJob的構造函數傳兩個隨機生成的字符串參數： ~~~ $queueId = $this->dispatch(new MyJob('key_'.str_random(4), str_random(10))); dd($queueId); ~~~ 也可以指定分發 ~~~ //發送消息 public function SendMessage(Request $request){ ... $this->dispatch((new SendMessage($sendParams))->onQueue('snail:SendMessage')); } ~~~ ## 內部實現  配置并訪問路由，可以多訪問幾次，然后到Redis中查看，會發現把隊列存入了一個queue::queue:default的List結構中 其中value內容如下，這是轉換成json格式的，而實際上是經過序列號的字符串： ~~~ { "job": "Illuminate\\Queue\\CallQueuedHandler@call", "data": { "command": "O:14:\"App\\Jobs\\MyJob\":6:{s:19:\"\u0000App\\Jobs\\MyJob\u0000key\";i:1;s:21:\"\u0000App\\Jobs\\MyJob\u0000value\";i:2;s:10:\"connection\";N;s:5:\"queue\";N;s:5:\"delay\";N;s:6:\"\u0000*\u0000job\";N;}" }, "id": "EV2bhqUlx0T8pRCVHw1qT0fkP8AQcyI8", "attempts": 1 } ~~~ 這里data參數里包含了隊列服務Job的名稱，構造函數的參數等信息，消費者執行任務的依據。attempts表示重試的次數，往往執行隊列任務失敗了會重試，可以設置最多嘗試次數 # 消費隊列 這個時候任務只是入了隊列，但并沒有消費，執行： ~~~ php artisan queue:listen ~~~ 這個命令，Laravel就開始消費隊列。 可以看到這幾個任務以此被消費，再去Redis看看有沒有實現預期要達到的效果，每個任務往一個List類型的結構寫入數據 也可以這樣 ~~~ home/niuyufu/php/bin/php /home/niuyufu/webroot/snail_api/artisan queue:work --queue=snail:SendMessage --tries=3 --memory=512 --daemon ~~~ ## 內部實現  隊列消息分析 監控redis對應隊列消息具體產生的消息操作如下 ~~~ tail -f | redis-cli -h 10.94.120.13 -p 6380 monitor | grep "queues:snail" 1492446053.406282 [0 10.95.117.155:57132] "WATCH" "queues:snail:SendMessage:delayed" 1492446053.406452 [0 10.95.117.155:57132] "ZRANGEBYSCORE" "queues:snail:SendMessage:delayed" "-inf" "1492446053" 1492446053.406754 [0 10.95.117.155:57132] "WATCH" "queues:snail:SendMessage:reserved" 1492446053.406842 [0 10.95.117.155:57132] "ZRANGEBYSCORE" "queues:snail:SendMessage:reserved" "-inf" "1492446053" 1492446053.407029 [0 10.95.117.155:57132] "LPOP" "queues:snail:SendMessage" 1492446053.407700 [0 10.95.117.155:57132] "ZADD" "queues:snail:SendMessage:reserved" "1492446113" "{job}" 1492446053.463953 [0 10.95.117.155:57132] "ZREM" "queues:snail:SendMessage:reserved" "{job}" ~~~ PS如果你的redis是codis的話注意了因為codis禁用方法列表 ~~~ KEYS, MOVE, OBJECT, RENAME, RENAMENX, SORT, SCAN, BITOP,MSETNX, BLPOP, BRPOP, BRPOPLPUSH, PSUBSCRIBEPUBLISH, PUNSUBSCRIBE, SUBSCRIBE, UNSUBSCRIBE, DISCARD, EXEC, MULTI, UNWATCH, WATCH, SCRIPT EXISTS, SCRIPT FLUSH, SCRIPT KILL, SCRIPT LOAD, AUTH, ECHO, SELECT, BGREWRITEAOF, BGSAVE, CLIENT KILL, CLIENT LIST, CONFIG GET, CONFIG SET, CONFIG RESETSTAT, DBSIZE, DEBUG OBJECT, DEBUG SEGFAULT, FLUSHALL, FLUSHDB, INFO, LASTSAVE, MONITOR, SAVE, SHUTDOWN, SLAVEOF, SLOWLOG, SYNC, TIME ~~~ 所以執行消費任務會有以下錯誤 ~~~ [Predis\Connection\ConnectionException] Error while reading line from the server. [tcp://100.90.154.39:3000] ~~~ 解決方法為修改config/queue.php ~~~ 'redis' => [ 'driver' => 'redis', 'connection' => 'default', 'queue' => 'default', 'expire' => null, //禁用即可 ], ~~~ # 優化日志處理 如果你的系統有切割文件日志操作。會發現雖然日志被切分了但程序卻沒有往新文件里寫入。如2017-04-18 13:50啟動的項目日志會一直打到 snail.log.2017041813上。 改進方案 app/Jobs/Job.php文件中添加如下方法 ~~~ public function releaseLoggerFile(){ $handles=\Log::getMonolog()->getHandlers(); if(!is_array($handles) || empty($handles)){ return; } foreach($handles as $handle){ if(method_exists($handle, "close")){ $handle->close(); } } return; } ~~~ 在具體job實現類中的handle方法結尾添加 ~~~ public function handle() { ... $this->releaseLoggerFile(); //釋放log文件 } ~~~ # 線上部署 創建任務shell ~~~ #!/bin/sh day=$(date +'%y%m%d') now=$(date +"%F %T") php_command="/home/niuyufu/php/bin/php" command="/home/niuyufu/webroot/snail_api/artisan" log="/home/niuyufu/webroot/log/wave" queue_name_arr=("snail:SendMessage" "snail:SendMessageToApp") case $1 in "run") for queue_name in ${queue_name_arr[*]} do count=$(ps aux | grep artisan |grep queue=${queue_name} | grep -v grep | wc -l) if [ ${count} -lt 1 ];then echo "${now}:${queue_name} process has exit ${count}\n"; nohup $php_command $command queue:work --queue=${queue_name} --tries=3 --memory=512 --daemon >> $log/queueMonitor.log 2>&1 & else echo "${now}:${queue_name} process is runing"; fi done ;; "stop") kill -9 $(ps -ef | grep "queue:work" | grep -v grep | awk '{print $2}' | tr -s '\n' ' ') echo ${now}."Queue process all stop"; ;; "list") ps -ef | grep "queue:work" | grep -v grep ;; *) echo " Usage: QueueMonitorCommandShell.sh [run|stop|list] " ;; esac ~~~ # 總結 laravel這邊的延遲隊列使用了三個隊列。 ~~~ queue:default:delayed // 存儲延遲任務 queue:default // 存儲“生”任務就是未處理任務 queue:default:reserved // 存儲待處理任務 ~~~ 任務在三個隊列中進行輪轉最后一定進入到queue:default:reserved并且成功后把任務從這個隊列中刪除。 laravel5.1 使用了watch來控制隊列的原子操作但由于codis本身不支持 watch 方法。所以使用codis不能完全體驗隊列功能延遲隊列不支持、不支持數據重跑對線上數據比較嚴格操作謹慎使用。 laravel5.3 之后redis隊列 開始使用lua腳本支持的隊列原子操作它沒有使用 watch multi等操作所以如果線上codis 支持lua的話可以完整體驗到隊列功能。