restfulApi操作es · 學習筆記

``` $baseUrl = "http://192.168.7.233:9200/"; $client = new \GuzzleHttp\Client(['base_uri'=>$baseUrl]); $route = "/syslog-20200430/syslog/AXHIYvFxkH5UzwK97ZzM"; $route = "_count"; $route = "_search"; $route = "/syslog-20200430/syslog/_count"; $route = "/syslog-20200430/syslog/_search"; $route = "/_template"; // $route = urlencode($route); $body = [ 'headers'=> [ 'Content-Type' => 'application/json', ], 'json'=> [ 'query'=> [ 'match'=> [ '@timestamp'=> "2020-04-30T00:22:12.761Z" ] ] ], 'json'=> [ 'query'=> [ 'must'=> [ 'match'=> [ '@timestamp'=> "2020-04-30T00:22:12.761Z" ] ], 'filter'=> [ 'range'=> [ '@timestamp'=> "2020-04-30T00:22:12.761Z" ] ], ] ] ]; // $response = $client->request('GET', $route, $body); $route = "/apilog_".date('Ymd'); $body = [ 'settings' => [ 'number_of_shards' => 5, 'number_of_replicas' => 1 ], 'mappings' => [ '_source' => [ 'enabled' => true ], 'properties' => [ 'id' => [ 'type' => 'long' ], # 單次請求標識ID 'request_id' => [ 'type' => 'long', ], # api請求路由 eg：/a/b/c 'api' => [ 'type' => 'text', ], # 客戶端調用方唯一標識ID， eg: #8asdasdasf242544 'partner_id' => [ 'type' => 'text', ], # 客戶端調用方HOST 'client_host' => [ 'type' => 'ip', ], # 請求參數，應該是個querystring【類似？name=54skyer&age=18..】，會做搜索 'request_data' => [ 'type' => 'object', ], # 請求的時間，取程序當前時間，這里不確定存時間戳還是日期，不太清楚二者區別，但是該字段會作為搜索條件 'request_time' => [ 'type' => 'date', 'format' => 'yyyy-MM-dd HH:mm:ss', ], # 日志記錄的時間，不做搜索 'log_time' => [ 'type' => 'date', 'format' => 'yyyy-MM-dd HH:mm:ss', 'index'=> false ], # 客戶端請求到服務的連接耗時，單位秒，邏輯上會用（request_time - 請求參數里的timestamp字段【客戶端程序當前時間】），會做搜索條件 'connect_cost_time' => [ 'type' => 'short', ], # 服務端業務邏輯響應耗時，單位秒，邏輯上會用（log_time - request_time），會做搜索條件 'service_cost_time' => [ 'type' => 'short', ], # 響應信息里的code 0正常其他數字不正常，會做搜索，用來排錯 'code' => [ 'type' => 'long', ], # 響應信息里的msg 參數異常，業務邏輯異常，數據庫連接異常等等各種無法正常響應請求的自定義信息，會做搜索，用來排錯 'msg' => [ 'type' => 'text', ], # 響應數據，可能是個json字符串或者xml字符串 'response_data' => [ 'type' => 'text', ], ], ] ]; $response = $client->request('PUT', $route, $body); $content = json_decode($response->getBody()->getContents(), true); return $content; ``` ***** $baseUrl = "http://192.168.7.233:9200/"; $client = new \GuzzleHttp\Client(['base_uri'=>$baseUrl]); // $route = "/syslog-20200430/syslog/AXHIYvFxkH5UzwK97ZzM"; // $route = "_count"; // $route = "_search"; // $route = "/syslog-20200430/syslog/_count"; // $route = "/syslog-20200430/syslog/_search"; // $route = "/_template"; // // $route = urlencode($route); // $body = [ // 'headers'=> [ // 'Content-Type' => 'application/json', // ], // 'json'=> [ // 'query'=> [ // 'match'=> [ // '@timestamp'=> "2020-04-30T00:22:12.761Z" // ] // ] // ], // 'json'=> [ // 'query'=> [ // 'must'=> [ // 'match'=> [ // '@timestamp'=> "2020-04-30T00:22:12.761Z" // ] // ], // 'filter'=> [ // 'range'=> [ // '@timestamp'=> "2020-04-30T00:22:12.761Z" // ] // ], // ] // ] // ]; // $response = $client->request('GET', $route, $body); $routeTemp = "/apilog_".date('Ymd')."/amazon/"; $response = $client->request('PUT', $route, $body); // $body = [ // 'settings' => [ // 'number_of_shards' => 5, // 'number_of_replicas' => 1 // ], // 'mappings' => [ // '_source' => [ // 'enabled' => true // ], // 'properties' => [ // 'id' => [ // 'type' => 'long' // ], // # 單次請求標識ID // 'request_id' => [ // 'type' => 'long', // ], // # api請求路由 eg：/a/b/c // 'api' => [ // 'type' => 'text', // ], // # 客戶端調用方唯一標識ID， eg: #8asdasdasf242544 // 'partner_id' => [ // 'type' => 'keyword', // ], // # 客戶端調用方HOST // 'client_host' => [ // 'type' => 'ip', // ], // # 請求參數，應該是個querystring【類似？name=54skyer&age=18..】，會做搜索 // 'request_data' => [ // 'type' => 'object', // ], // # 請求的時間，取程序當前時間，這里不確定存時間戳還是日期，不太清楚二者區別，但是該字段會作為搜索條件 // 'request_time' => [ // 'type' => 'date', // 'format' => 'yyyy-MM-dd HH:mm:ss', // ], // # 日志記錄的時間，不做搜索 // 'log_time' => [ // 'type' => 'date', // 'format' => 'yyyy-MM-dd HH:mm:ss', // 'index'=> false // ], // # 客戶端請求到服務的連接耗時，單位秒，邏輯上會用（request_time - 請求參數里的timestamp字段【客戶端程序當前時間】），會做搜索條件 // 'connect_cost_time' => [ // 'type' => 'short', // ], // # 服務端業務邏輯響應耗時，單位秒，邏輯上會用（log_time - request_time），會做搜索條件 // 'service_cost_time' => [ // 'type' => 'short', // ], // # 響應信息里的code 0正常其他數字不正常，會做搜索，用來排錯 // 'code' => [ // 'type' => 'long', // ], // # 響應信息里的msg 參數異常，業務邏輯異常，數據庫連接異常等等各種無法正常響應請求的自定義信息，會做搜索，用來排錯 // 'msg' => [ // 'type' => 'text', // ], // # 響應數據，可能是個json字符串或者xml字符串 // 'response_data' => [ // 'type' => 'text', // ], // ], // ] // ]; // $response = $client->request('PUT', $route, $body); // $content = json_decode($response->getBody()->getContents(), true); // return $content; set_time_limit(18000); // phpinfo();die; $start = time(); // dd(\App\Model\MongoDb\Log::count([])); $batchArr = []; $platform = [ 'amazon', 'shopee', 'wish', 'ebay', 'aliexpress' ]; $route = [ 'orders', 'products', 'logistics', 'finance', 'inventory' ]; $random1 = [ "bfowmHI6NAn3q0CS", "OIY6dkAFeNRGimWg", "WqmLYryIafmb240t", "egBNXtXzPvnpVH1x", "pkC1bziiG6QGxSKr", ]; $random2 = [ "bfowmHI6NAn3q0CS", "OIY6dkAFeNRGimWg", "WqmLYryIafmb240t", "egBNXtXzPvnpVH1x", "pkC1bziiG6QGxSKr", ]; $currentTime = time(); for($i=105676; $i< 5000000; $i++){ $request_id = date('YmdHis').rand(1000,9999); dd((int) $request_id); $body = [ 'headers'=> [ 'Content-Type' => 'application/json', ], 'json'=> [ 'id' => (int) $request_id, # 單次請求標識ID 'request_id' =>(int) $request_id, # api請求路由 eg：/a/b/c "api"=> "/".$platform[rand(0,4)]."/".$route[rand(0,4)]."", # 客戶端調用方唯一標識ID， eg: #8asdasdasf242544 'partner_id' => "sync_task", # 客戶端調用方HOST 'client_host' => "192.168.30.100", # 請求參數，應該是個querystring【類似？name=54skyer&age=18..】，會做搜索 'request_data' => [ "platform"=> $platform[rand(0,4)], "route"=>$route[rand(0,4)], "access_token"=> "50000101510awsuehRDWSh1c02fe70ahAPCsS0eHdJmzEsXCky8tPDKok2iVt0" ], # 請求的時間，取程序當前時間，這里不確定存時間戳還是日期，不太清楚二者區別，但是該字段會作為搜索條件 'request_time' => date('Y-m-d H:i:s', $currentTime+(rand(-864000, 864000))), # 日志記錄的時間，不做搜索 'log_time' => "2020-05-03 09:12:00", # 客戶端請求到服務的連接耗時，單位秒，邏輯上會用（request_time - 請求參數里的timestamp字段【客戶端程序當前時間】），會做搜索條件 'connect_cost_time' => $i, # 服務端業務邏輯響應耗時，單位秒，邏輯上會用（log_time - request_time），會做搜索條件 'service_cost_time' => $i+2, # 響應信息里的code 0正常其他數字不正常，會做搜索，用來排錯 'code' => 0, # 響應信息里的msg 參數異常，業務邏輯異常，數據庫連接異常等等各種無法正常響應請求的自定義信息，會做搜索，用來排錯 'msg' => "success", # 響應數據，可能是個json字符串或者xml字符串 'response_data' => '/rest/image/migrate?access_token=50000101510awsuehRDWSh1c02fe70ahAPCsS0eHdJmzEsXCky8tPDKok2iVt0&app_key=102187&partner_id='.$random1[rand(0,4)]."/".$random2[rand(0,4)].'&payload=<?xml version="1.0" encoding="UTF-8" ?> <Request> <Image> <Url><![CDATA[http://th-imgs.oss-cn-shenzhen.aliyuncs.com/ft/1/2/122149-8.jpg?x-oss-process=image/resize,l_1200/watermark,image_d2F0ZXJtYXJrL0xBNDMucG5n,t_100,g_nw&t=1588162428]]></Url> </Image> </Request>&sign_method=sha256&sign=A82ACC682ED2C60E5108B7BB7E6D5022792E6872496DA158E4F1BEB7AA823896&timestamp=1588162428505', ] ]; // if($i !=0 && $i%1000==0){ // $result = \App\Model\MongoDb\Log::insert($batchArr); // $batchArr = []; // var_export($result)."<br/>"; // } $response = $client->request('PUT', $routeTemp.$i, $body); // $content = json_decode($response->getBody()->getContents(), true); // return $content; } // $where = [ // ['logTime', ">", time()-86400*2], // ['logTime', "<", time()+86400*2], // // ['requestUrl', 'like', '%egBNXtXzPvnpVH1x/OIY6dkAFeNRGimWg%'] // ]; // $record = \App\Model\MongoDb\Log::paginate($where); // echo ("完成查詢,耗時".(time()-$start)."<br/>"); // dd($record); dd("完成插入,耗時".(time()-$start)); /* define('USER_INFO', '中間件首頁訪問'); //行為類型，1登入，2退出，3增加，4修改，5查詢，6刪除，0其他 define('ACTION_TYPE', 5); return view('index.index');