# CURL與PHP-CLI的應用【Curl篇】 標簽（空格分隔）： Linux PHP --- > curl是一個極為強大的HTTP傳輸工具,支持文件的上傳和下載; #### curl在命令行下的使用 ##### 命令參數 ```shell -a/--append 上傳文件時，附加到目標文件 -A/--user-agent <string> 設置用戶代理發送給服務器 - anyauth 可以使用“任何”身份驗證方法 -b/--cookie <name=string/file> cookie字符串或文件讀取位置 - basic 使用HTTP基本驗證 -B/--use-ascii 使用ASCII /文本傳輸 -c/--cookie-jar <file> 操作結束后把cookie寫入到這個文件中 -C/--continue-at <offset> 斷點續轉 -d/--data <data> HTTP POST方式傳送數據 --data-ascii <data> 以ascii的方式post數據 --data-binary <data> 以二進制的方式post數據 --negotiate 使用HTTP身份驗證 --digest 使用數字身份驗證 --disable-eprt 禁止使用EPRT或LPRT --disable-epsv 禁止使用EPSV -D/--dump-header <file> 把header信息寫入到該文件中 --egd-file <file> 為隨機數據(SSL)設置EGD socket路徑 --tcp-nodelay 使用TCP_NODELAY選項 -e/--referer 來源網址 -E/--cert <cert[:passwd]> 客戶端證書文件和密碼 (SSL) --cert-type <type> 證書文件類型 (DER/PEM/ENG) (SSL) --key <key> 私鑰文件名 (SSL) --key-type <type> 私鑰文件類型 (DER/PEM/ENG) (SSL) --pass <pass> 私鑰密碼 (SSL) --engine <eng> 加密引擎使用 (SSL). "--engine list" for list --cacert <file> CA證書 (SSL) --capath <directory> CA目錄 (made using c_rehash) to verify peer against (SSL) --ciphers <list> SSL密碼 --compressed 要求返回是壓縮的形勢 (using deflate or gzip) --connect-timeout <seconds> 設置最大請求時間 --create-dirs 建立本地目錄的目錄層次結構 --crlf 上傳是把LF轉變成CRLF -f/--fail 連接失敗時不顯示http錯誤 --ftp-create-dirs 如果遠程目錄不存在，創建遠程目錄 --ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用 --ftp-pasv 使用 PASV/EPSV 代替端口 --ftp-skip-pasv-ip 使用PASV的時候,忽略該IP地址 --ftp-ssl 嘗試用 SSL/TLS 來進行ftp數據傳輸 --ftp-ssl-reqd 要求用 SSL/TLS 來進行ftp數據傳輸 -F/--form <name=content> 模擬http表單提交數據 -form-string <name=string> 模擬http表單提交數據 -g/--globoff 禁用網址序列和范圍使用{}和[] -G/--get 以get的方式來發送數據 -h/--help 幫助 -H/--header <line>自定義頭信息傳遞給服務器 --ignore-content-length 忽略的HTTP頭信息的長度 -i/--include 輸出時包括protocol頭信息 -I/--head 只顯示文檔信息 從文件中讀取-j/--junk-session-cookies忽略會話Cookie - 界面<interface>指定網絡接口/地址使用 - krb4 <級別>啟用與指定的安全級別krb4 -j/--junk-session-cookies 讀取文件進忽略session cookie --interface <interface> 使用指定網絡接口/地址 --krb4 <level> 使用指定安全級別的krb4 -k/--insecure 允許不使用證書到SSL站點 -K/--config 指定的配置文件讀取 -l/--list-only 列出ftp目錄下的文件名稱 --limit-rate <rate> 設置傳輸速度 --local-port<NUM> 強制使用本地端口號 -m/--max-time <seconds> 設置最大傳輸時間 --max-redirs <num> 設置最大讀取的目錄數 --max-filesize <bytes> 設置最大下載的文件總量 -M/--manual 顯示全手動 -n/--netrc 從netrc文件中讀取用戶名和密碼 --netrc-optional 使用 .netrc 或者 URL來覆蓋-n --ntlm 使用 HTTP NTLM 身份驗證 -N/--no-buffer 禁用緩沖輸出 -o/--output 把輸出寫到該文件中 -O/--remote-name 把輸出寫到該文件中，保留遠程文件的文件名 -p/--proxytunnel 使用HTTP代理 --proxy-anyauth 選擇任一代理身份驗證方法 --proxy-basic 在代理上使用基本身份驗證 --proxy-digest 在代理上使用數字身份驗證 --proxy-ntlm 在代理上使用ntlm身份驗證 -P/--ftp-port <address> 使用端口地址，而不是使用PASV -Q/--quote <cmd>文件傳輸前，發送命令到服務器 -r/--range <range>檢索來自HTTP/1.1或FTP服務器字節范圍 --range-file 讀取（SSL）的隨機文件 -R/--remote-time 在本地生成文件時，保留遠程文件時間 --retry <num> 傳輸出現問題時，重試的次數 --retry-delay <seconds> 傳輸出現問題時，設置重試間隔時間 --retry-max-time <seconds> 傳輸出現問題時，設置最大重試時間 -s/--silent靜音模式。不輸出任何東西 -S/--show-error 顯示錯誤 --socks4 <host[:port]> 用socks4代理給定主機和端口 --socks5 <host[:port]> 用socks5代理給定主機和端口 --stderr <file> -t/--telnet-option <OPT=val> Telnet選項設置 --trace <file> 對指定文件進行debug --trace-ascii <file> Like --跟蹤但沒有hex輸出 --trace-time 跟蹤/詳細輸出時，添加時間戳 -T/--upload-file <file> 上傳文件 --url <URL> Spet URL to work with -u/--user <user[:password]>設置服務器的用戶和密碼 -U/--proxy-user <user[:password]>設置代理用戶名和密碼 -v/--verbose -V/--version 顯示版本信息 -w/--write-out [format]什么輸出完成后 -x/--proxy <host[:port]>在給定的端口上使用HTTP代理 -X/--request <command>指定什么命令 -y/--speed-time 放棄限速所要的時間。默認為30 -Y/--speed-limit 停止傳輸速度的限制，速度時間'秒' -z/--time-cond 傳送時間設置 -0/--http1.0 使用HTTP 1.0 -1/--tlsv1 使用TLSv1（SSL） -2/--sslv2 使用SSLv2的（SSL） -3/--sslv3 使用的SSLv3（SSL） --3p-quote like -Q for the source URL for 3rd party transfer --3p-url 使用url，進行第三方傳送 --3p-user 使用用戶名和密碼，進行第三方傳送 -4/--ipv4 使用IP4 -6/--ipv6 使用IP6 -#/--progress-bar 用進度條顯示當前的傳送狀態 ``` ##### 實例 **抓取頁面內容到一個文件中** ```shell curl -o home.html http://www.pinlehuo.com $ -o/--output 把輸出寫到該文件中 # 或者 ↓↓ $ curl http://www.linuxidc.com > page.html ``` **抓具體的文件,用-O（大寫的），后面的url要具體到某個文件，不然抓不下來。我們還可以用正則來抓取東西,但文件名還是得具體** ```shell $ curl -O www.pinlehuo.com/d/file/admin/2015/05/5551bf06428ec.jpg $ curl -O http://www.codesky.net/wp-content/uploads/2010/[0-9][0-9]/aaaaa.jpg ``` **模擬表單信息，模擬登錄，保存cookie信息** ```shell # -D/--dump-header <file> 把header信息寫入到該文件中 $ curl -c ./cookie_c.txt -F log=aaaa -F pwd=****** http://www.codesky.net/wp-login.php (沒試過~) ``` **查看響應頭信息** ```shell curl -I http://www.sunrisecorp.net/ ``` **模擬表單信息，模擬登錄，保存頭信息** ```shell curl -D ./cookie_D.txt -F log=aaaa -F pwd=****** http://www.codesky.net/wp-login.php # -c(小寫)產生的cookie和-D里面的cookie是不一樣的。 ``` **使用cookie文件** ```shell curl -b ./cookie_c.txt http://www.codesky.net/wp-admin ``` **斷點續傳，-C(大寫的)** ```shell curl -C -O http://www.codesky.net/wp-content/uploads/2010/09/compare_varnish.jpg ``` **傳送數據,最好用登錄頁面測試，因為你傳值過去后，curl回抓數據，你可以看到你傳值有沒有成功** ```shell curl -d log=aaaa http://www.codesky.net/wp-login.php ``` **偽造來源地址，有的網站會判斷，請求來源地址** ```shell curl -e http://localhost http://www.codesky.net/wp-login.php ``` **當我們經常用curl去搞人家東西的時候，人家會把你的IP給屏蔽掉的,這個時候,我們可以用代理** ```shell curl -x 24.10.28.84:32779 -o home.html http://www.codesky.net ``` **比較大的東西，我們可以分段下載** ```shell [root@krlcgcms01 mytest]# curl -r 0-100 -o img.part1 http://www.codesky.net/wp- content/uploads/2010/09/compare_varnish.jpg % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 101 100 101 0 0 105 0 --:--:-- --:--:-- --:--:-- 0 [root@krlcgcms01 mytest]# curl -r 100-200 -o img.part2 http://www.codesky.net/wp- content/uploads/2010/09/compare_varnish.jpg % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 101 100 101 0 0 57 0 0:00:01 0:00:01 --:--:-- 0 [root@krlcgcms01 mytest]# curl -r 200- -o img.part3 http://www.codesky.net/wp- content/uploads/2010/09/compare_varnish.jpg % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 104k 100 104k 0 0 52793 0 0:00:02 0:00:02 --:--:-- 88961 [root@krlcgcms01 mytest]# ls |grep part | xargs du -sh 4.0K one.part1 112K three.part3 4.0K two.part2 用的時候，把他們cat一下就OK了,cat img.part* >img.jpg ``` **顯示下載進度信息** ```shell [root@krlcgcms01 mytest]# curl -# -O http://www.codesky.net/wp-content/uploads/2010/09/compare_varnish.jpg ######################################################################## 100.0% ``` **通過ftp下載文件** ```shell [zhangy@BlackGhost ~]$ curl -u 用戶名:密碼 -O http://www.codesky.net/demo/curtain/bbstudy_files/style.css % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 101 1934 101 1934 0 0 3184 0 --:--:-- --:--:-- --:--:-- 7136 或者用下面的方式 [zhangy@BlackGhost ~]$ curl -O ftp://用戶名:密碼@ip:port/demo/curtain/bbstudy_files/style.css ``` **通過ftp上傳** ```shell [zhangy@BlackGhost ~]$ curl -T test.sql ftp://用戶名:密碼@ip:port/demo/curtain/bbstudy_files/ ``` #### curl在PHP腳本下的使用 ##### 安裝cURL庫 **WAMP環境** 分別打開以下 2 個文件： wamp\bin\php\(your php version)\php.ini wamp\bin\Apache\(your apache version)\bin\php.ini 搜索 extension=php_curl.dll ，然后刪除前面的符號 ; 重啟WAMP 即可。 //↑↑先按照以上的操作,如果不行,再參考以下兩個; 注：如果是64位的系統，還需要訪問 http://www.anindya.com/ 下載對應版本的64位php壓縮包，解壓后，將 ext 目錄下 的 php_curl.dll 覆蓋 wamp php對應版本 wamp\bin\php\php5.4.12\ext 目錄下的 php_curl.dll 文件，然后重啟WAMP 參考網站:http://blog.csdn.net/ewili/article/details/9008493 **window** 1.php.ini把前面的extension=php_curl.dll分號去掉; 2.php_curl.dll,libeay32.dll,ssleay32.dll 復制到 %windir%/system32下 **linux** 如果php已經在系統編譯好，后來又需要添加新的擴展。一種方式就是重新完全編譯php，另一種方式就是單獨編譯擴展庫，以extension的形式擴展。下面以安裝curl擴展為例： ./configure make php要求curl的目錄要有include和lib目錄，并且include下要有easy.h 和curl.h兩個文件，lib下要有libcurl.a。經編譯后include下的文件有了，但是lib目錄下沒有。原來生成到lib/.libs目錄下，所以要copy到lib目錄 2、進入安裝原php的源碼目錄， cd ext cd curl phpize ./configure --with-curl=DIR make 就會在PHPDIR/ext/curl/moudles/下生成curl.so的文件。 ##### PHP中的CURL函數庫 ```sp curl_close — 關閉一個curl會話 curl_copy_handle — 拷貝一個curl連接資源的所有內容和參數 curl_errno — 返回一個包含當前會話錯誤信息的數字編號 curl_error — 返回一個包含當前會話錯誤信息的字符串 curl_exec — 執行一個curl會話 curl_getinfo — 獲取一個curl連接資源句柄的信息 curl_init — 初始化一個curl會話 curl_multi_add_handle — 向curl批處理會話中添加單獨的curl句柄資源 curl_multi_close — 關閉一個批處理句柄資源 curl_multi_exec — 解析一個curl批處理句柄 curl_multi_getcontent — 返回獲取的輸出的文本流 curl_multi_info_read — 獲取當前解析的curl的相關傳輸信息 curl_multi_init — 初始化一個curl批處理句柄資源 curl_multi_remove_handle — 移除curl批處理句柄資源中的某個句柄資源 curl_multi_select — Get all the sockets associated with the cURL extension, which can then be "selected" curl_setopt_array — 以數組的形式為一個curl設置會話參數 curl_setopt — 為一個curl設置會話參數 參考網址:http://blog.csdn.net/superbirds/article/details/7532277: curl_setopt 會話參數詳解 參考網址:http://www.zhibotie.net/space-1-do-blog-id-71.html curl_version — 獲取curl相關的版本信息 curl_init()函數的作用初始化一個curl會話，curl_init()函數唯一的一個參數是可選的，表示一個url地址。 curl_exec()函數的作用是執行一個curl會話，唯一的參數是curl_init()函數返回的句柄。 curl_close()函數的作用是關閉一個curl會話，唯一的參數是curl_init()函數返回的句柄。 ``` **普通抓取網頁實例** ```sp // 1. 初始化 $ch = curl_init(); //$ch = curl_init("http://www.baidu.com/"); // 2. 設置選項，包括URL curl_setopt($ch, CURLOPT_URL, "http://www.baidu.com/");//CURLOPT_URL: 這是你想用PHP取回的URL地址。你也可以在用curl_init()函數初始化時設置這個選項 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//設定是否輸出頁面內容,這里為0的話,后面就不用echo,就直接把curl抓回來的內容輸出; curl_setopt($ch, CURLOPT_HEADER, 0);//設定是否顯示頭信息,為1的時候,就會把響應頭信息也給一并輸出 // 3. 執行并獲取HTML文檔內容 $output = curl_exec($ch); //echo $output;//輸出抓回來的網頁;如果curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0),就不需要此句; // 4. 釋放curl句柄 curl_close($ch); ``` **在抓取的基礎上判斷錯誤并輸出錯誤,得到抓取過來的頁面的信息** ```sp // 1. 初始化 $ch = curl_init(); //$ch = curl_init("http://www.baidu.com/"); // 2. 設置選項，包括URL curl_setopt($ch, CURLOPT_URL, "http://www.baidu.com");//CURLOPT_URL: 這是你想用PHP取回的URL地址。你也可以在用curl_init()函數初始化時設置這個選項 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//設定是否輸出頁面內容,這里為0的話,后面就不用echo,就直接把curl抓回來的內容輸出; curl_setopt($ch, CURLOPT_HEADER, 0);//設定是否顯示頭信息,為1的時候,就會把響應頭信息也給一并輸出 // 3. 執行并獲取HTML文檔內容 $output = curl_exec($ch); //echo $output;//輸出抓回來的網頁;如果curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0),就不需要此句; #判斷錯誤并輸出錯誤 if($output === false){ //全等,不能==; 是為了和獲取為空字符串分開; echo "cUrl Error:" . curl_error($h); //如果獲取失敗的話,就輸出失敗原因;但是在有時候卻被工信部重定向到114查詢; } #得到抓取過來的頁面的信息 //$info = curl_getinfo($ch); //print_r($info);//包含了抓取過來的頁面的信息 /* “url” //資源網絡地址 “content_type” //內容編碼 “http_code” //HTTP狀態碼 “header_size” //header的大小 “request_size” //請求的大小 “filetime” //文件創建時間 “ssl_verify_result” //SSL驗證結果 “redirect_count” //跳轉技術 “total_time” //總耗時 “namelookup_time” //DNS查詢耗時 “connect_time” //等待連接耗時 “pretransfer_time” //傳輸前準備耗時 “size_upload” //上傳數據的大小 “size_download” //下載數據的大小 “speed_download” //下載速度 “speed_upload” //上傳速度 “download_content_length”//下載內容的長度 “upload_content_length” //上傳內容的長度 “starttransfer_time” //開始傳輸的時間 “redirect_time”//重定向耗時 */ //echo '獲取'. $info['url'] . '耗時'. $info['total_time'] . '秒'; // 4. 釋放curl句柄 curl_close($ch); ```