# centos7.2(1511版本)上安裝pyspider
censtos是服務器常用的操作系統,本例以centos7.2最小化版安裝為例安裝
## yum 更新
`yum update`
## 安裝wget命令
`yum install wget`
## 首頁安裝擴展源
`yum -y install epel-release`
國內yum源:
`http://mirrors.163.com/.help/CentOS7-Base-163.repo`
## 安裝開發編譯工具
`yum install gcc gcc-c++ `
## 安裝依賴庫 系統自帶版本為python2.7.5
`yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel`
## 升級pip
`pip install --upgrade pip`
## 安裝pyspider
1 在線方式
`pip install pyspider`
2 文件包下載到 本地安裝
建議先建立 /www /data 目錄 便于以后項目及數據庫文件都丟到對應目錄
從git上下載文件包pyspider-master到/www目錄下
`cd pyspider-master`
`python setup.py install`
安裝后提示版本為pyspider-0.3.7
## 設置防火墻
開放5000(pyspider默認打開5000端口,如果啟動指定了其它端口請對應修改)端口并重啟防火墻。如果防火墻是關閉狀態請跳過下面兩步
~~~
firewall-cmd --zone=public --add-port=5000/tcp --permanent
firewall-cmd --reload
~~~
## 訪問控制臺
安裝完成直接執行pyspider以默認配置運行pyspider,訪問http://localhost:5000訪問控制臺
## MYSQL 數據庫安裝
系統默認是 mariadb-server 替換mysql 所以命令如下:
'yum install mariadb mariadb-server'
安裝完依賴包后 默認自動安裝
安裝完成后 啟動mariadb
'systemctl start mariadb'
設為開機啟動
'systemctl enable mariadb'
mysql的默認安全檢查 設置mysql 的root密碼等相關
'mysql_secure_installation'
完成后 輸入如下命令,測試數據庫服務:
'mysql -uroot -p'
# phantomjs腳本安裝
官網網址:http://phantomjs.org/
軟件列表地址:https://bitbucket.org/ariya/phantomjs/downloads
phantomjs介紹:PhantomJS是一個基于WebKit的服務器端JavaScript API,它無需瀏覽器的支持即可實現對Web的支持 #-- 沒有瀏覽器的實現瀏覽器功能的js功能模塊
一:git方法 安裝如下:
ubentu 及Debin系統
1 安裝git軟件
'apt-get install git'
2 前置安裝
'apt-get install build-essential g++ flex bison gperf ruby perl \
libsqlite3-dev libfontconfig1-dev libicu-dev libfreetype6 libssl-dev \
libpng-dev libjpeg-dev python libx11-dev libxext-dev'
3 安裝phantomjs
'git clone git://github.com/ariya/phantomjs.git
cd phantomjs
git checkout 1.9
./build.sh'
二:軟件下載后解壓到服務器安裝
https://bitbucket.org/ariya/phantomjs/downloads
cnetos安裝方法
1 安裝git軟件
'yum install git'
2 前置安裝
'yum -y install gcc gcc-c++ make flex bison gperf ruby \
openssl-devel freetype-devel fontconfig-devel libicu-devel sqlite-devel \
libpng-devel libjpeg-devel'
3 安裝phantomjs2.1
'git clone git://github.com/ariya/phantomjs.git
cd phantomjs
git checkout 2.1.1
git submodule init
git submodule update
python build.py'
# 編譯時間超長 半小時到2~3小時不等,看虛擬機的配置了