#### 百度地圖獲取-全國數據(名稱,地址,電話)
通過調用百度地圖,抓取全國某個地方的數據,如餐廳,車管所
#### 1.在百度地圖開放api上注冊一個帳號
并創建應用,獲取一個調用密鑰,一般密鑰每天都有調用限制,有時需要好幾天才能處理完一份數據
具體參考:
http://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-placeapi
#### 2.需要自己有全國城市的數據,獲取到百度地圖去獲取
接下來,在我的城市表里增加兩個字段,isdeal:表示該城市是否處理完,dealpage:表示當前城市獲取到第幾頁,默認從0開始,然后不斷遍歷城市獲取數據,當處理完成或者處理不了把isdeal=1,處理完一頁之后,dealpage+1.
Php案例代碼:
~~~
/**
* 爬蟲 -》車管所 -》交警大隊
*/
public function curl()
{
/**
* 1.先獲取城市
*/
$cityService = service('City');
$officeService = service('BtrOffice');
//獲取一個未處理城市
$city = $cityService->where(['isdeal' => 0])->order('id asc')->find();
if (!$city) {
return success("數據已經處理完成!");
}
$parameter = [
'query' => '車管所',//要查詢的地方,如餐廳
'page_size' => 20,//每頁大小,最多20
'page_num' => $city['dealpage'],
'scope' => 1,//1 或空,則返回基本信息
'region' => $city['name'],//城市名稱或百度地圖城市代碼
'output' => 'json',//返回格式
'ak'=>'c6hlXlNBKnVYMQVEIeX0MW7BRGPcGU17'//應用密鑰,有限制
// 'ak' => '4oyItR1wqUfit5q4lGNO3kd5roGmmccy'
];
$url = 'http://api.map.baidu.com/place/v2/search?' . http_build_query($parameter);//拼接參數
$result = json_decode(http_request($url), true);
if ($result['status'] != 0) {//返回錯誤結果
return error($result['message']);
}
if (isset($result['results'])) {
$content = $result['results'];
if (count($content) <= 0) {//過濾數據
$city['isdeal'] = 1;
$res = $cityService->update($city);
if ($res) {
log_debug("獲取車管所", $city['name'] . '處理完成');
return success("{$city['name']}-城市處理完成");
} else {
log_debug("獲取車管所", $city['name'] . '處理完成異常');
return error("{$city['name']}處理完成異常");
}
}
/**
* 保存數據
*/
foreach ($content as $item) {
//省份數據
//數據有設置
if (isset($item['num'])&&$item['num']>=0) {//過濾數據
$city['isdeal'] = 1;
$res = $cityService->update($city);
if ($res) {
log_debug("獲取車管所", $city['name'] . '處理完成');
return success("{$city['name']}-城市處理完成");
} else {
log_debug("獲取車管所", $city['name'] . '處理完成異常');
return error("{$city['name']}處理完成異常");
}
}
//保存數據進庫
$office['type'] = 1;//車管所
$office['city_id'] = $city['id'];
if (isset($item['name']))
$office['name'] = $item['name'];
else {
continue;
}
if (isset($item['telephone']))
$office['phone'] = $item['telephone'];
//組裝地址
if (isset($item['address']))
$office['address'] = $item['address'];
if (isset($item['location']['lat']))
$office['lat'] = $item['location']['lat'];
if (isset($item['location']['lng']))
$office['lng'] = $item['location']['lng'];
$res = $officeService->add($office);
if (!$res) {
log_debug("車管所數據", "添加失敗");
}
}
//處理下一頁
$city['dealpage'] = $city['dealpage'] + 1;
$res = $cityService->update($city);
if (!$res) {
log_debug("車管所數據", "處理下一頁失敗");
return error($city['name'] . ":處理一頁失敗");
} else {
return success($city['name'] . ":處理一頁");
}
} else {
$city['isdeal'] = 1;
$res = $cityService->update($city);
if ($res) {
log_debug("獲取車管所", $city['name'] . '處理完成');
return success("{$city['name']}-城市處理完成");
} else {
log_debug("獲取車管所", $city['name'] . '處理完成異常');
return error("{$city['name']}處理完成異常");
}
}
}
~~~
結果預覽:

- 我的筆記
- 服務器
- ubuntu svn 環境的搭建
- ubuntu Memcache 的配置
- ubuntu 密鑰登錄服務器
- centos 搭建服務器環境
- nginx+tomcat 集群搭建
- 餐廳運營來看如何構建高性能服務器
- VMware-Centos-網絡配置
- Ubuntu-PHP-Apache-Mysql-PhpMyadmin的搭建
- UbuntuApache配置日志
- linux獲取當前執行腳本的目錄
- Ubuntu svn的快速配置(原創)
- Https配置
- Mysql 不支持遠程連接解決方案
- ubuntu+apache+rewrite
- php Mcrypt 擴展
- 重啟Apache出現警告信息Could not reliably determine the server's fully qualified domain name,
- Mysql無法遠程連接
- 定時任務設置
- Linux中Cache內存占用過高解決辦法
- Ubuntu14-04安裝redis和php5-redis擴展
- php
- thinkphp3.2 一站多城市配置
- PHP 安全編程建議(轉)
- phpexcel導入時間處理
- Mysql按時,天,月,年統計數據
- PHP-支付寶-APP支付
- 百度爬蟲-獲取全國數據
- PHPEXCEL導入導出excel文件
- php-微信app支付后端設計
- Phpqrcode生成二維碼
- 圖片+文字水印
- 數據庫優化
- java
- Mybatis 二級緩存
- 微信
- 微信公眾號多域名授權
- 微信掃碼支付
- web
- 網站性能優化方案實施
- ionic環境搭建
- 登錄設計方案
- 設置dev元素的寬高比例
- 設計模式
- app
- 版本更新
- 微擎數據庫操作擴展
- select
- find
- delete
- update
- insert
- where
- order
- page
- group
- having
- limit
- fields
- debug
- bind
- join
- alias
- query
- 聚合函數
- count
- sum
- max
- min
- avg
- 事務管理
- 自增自減
- 算法設計
- ACM:入口的選擇------深度優先搜索
- java:N的N次方
- 最少攔截系統:貪心思想
- ACM:蠶寶寶:搜索
- ACM:n!的位數 :斯特林公式
- 神奇的異或
- 中國剩余定理
- 矩陣翻硬幣
- 回溯法
- ACM程序設計網站集錦
- 博弈論
- 多維空間上的搜索算法
- 算法學習筆記之一(排序)
- 算法學習筆記之二(堆排序)
- 算法學習筆記之三(快速排序)
- ACM俱樂部密碼
- 原創開源
- 個人感悟