## 第一步 分布式采集器部署 > 動態撥號vps 購買地址 `http://vps.upptp.com/bohaovps.asp` 聯系客服就說買網速快的秒切換ip的機器然后安裝CentOS7.x系統,因為一些自動撥號的腳本都是依據 CentOS7.x 和這家內置的一些ppoe撥號服務寫的所以其他家的撥號vps也沒測試,就推薦這一家就可以了. > 混播就是寬帶速率低可能就有幾m ,但是ip是全國的 > 單個地區就是 寬度速率高 但是ip僅限于那個城市或者省會 > 必須買能秒播的地區 如果不知道什么是秒播請咨詢客服要秒播地區速率快的有公網ip 的 > 注冊地址 `http://vps.upptp.com/user/14082.asp` > 我常用的是 `http://vps.upptp.com/bohaovps.asp?typeid=97` 江蘇鎮江B套餐 30M 6A 的1G內存機器最為測試使用,正式使用可以買內存高點的  > 買好以后在 `http://vps.upptp.com/idc/user/vpsadm.asp` 在動態vps管理里面找到自己的機器 點擊后臺管  > 然后在 `預裝操作系統` 里選擇 linux7.2 或者 centos 7.x 然后點擊 `馬上預裝操作系統`  > 然后等待數分鐘以后 `點擊云服務器信息` 來查看是否安裝成功 centos 系統  > 然后是進行 ssh 登錄,默認是會提供個 Windows的 3389 登錄端口 比如 `遠程連接：59.58.40.150:12345` 那么linux 的ssh 遠程 登錄 地址就是 `ssh root@59.58.40.150 -p12346` 然后輸入服務器密碼登錄即可,就是在默認的端口上 +1 的操作 > 這樣的方式登錄進去是 不能連接外網的需要在linux 系統里面執行 `cat /etc/redhat-release` 查看是否安裝成CentOS系統  ## 第二步 ### 2.1 VPS初始化--方法1(任選其一) > 安裝好后臺以后在 `集群管理->機器管理->添加機器` 填寫采集服務器信息,端口填寫ssh登錄的端口即可,其他字段按照字面意思填寫即可,填寫好以后點擊測試,測試通過以后點擊保存   > 然后在機器列表勾選需要初始化的采集服務器點擊 `初始化ADSL` 初始化成功以后會有提示信息   > 然后返回剛才的ssh 界面 輸入 `ls -l` 命令查看當前目錄下的文件是否有 `adsl.sh` 文件,如果存在的話就可以在命令行執行 `ifup ppp0` 命令  > 如果adsl信息沒寫錯則可以撥號成功,輸入命令 `ifconfig` 命令會顯示`ppp0`的撥號ip 然后 `ping www.baidu.com` 看看是否可以連接外網   ### 2.2 VPS初始化--方法二(任選其一) 由于采集VPS是在國內后臺在國外線路問題導致VPS初始化ADSL撥號失敗下面使用手動設定ADSL撥號上網先SSH 登錄vps 輸入命令 `pppoe-setup`    敲回車后臺提示以下信息 輸入 `ifup ppp0` 來啟動adsl 撥號  輸入`ifconfig` 查看是否撥號成功 出現外網ip  有部分機器撥號成功后 dns 設置錯誤 造成無法上網問題則需要 設置 默認dns 輸入命令編輯 dns 配置文件 `vi /etc/resolv.conf` 把下列 內容替換默認內容然后保存 至于不會vi 命令這個得百度自己學學了不學沒法在互聯網混了,或者使用ftp連接服務器 把路徑下的文件下載到本地修改好在上傳回去 ``` nameserver 114.114.114.114 nameserver 114.114.115.115 ```  然后用命令 `sudo chattr +i /etc/resolv.conf` 修改文件為只讀權限 防止機器重啟被恢復成默認的  此時在ping 就可以成功了  ## 3. 安裝采集器 ``` yum install -y unzip wget vim //安裝解壓命令和下載命令 也可以用 curl 下載 wget http://oss-hk.bookcms.com/bookcms/BookSpider_2019-12-29.zip //下載采集器 unzip BookSpider_*.zip //解壓采集器 ```   > 然后輸入命令 `cd BookSpider` 進入采集器文件夾然后輸入 `sh init.sh` 命令來初始化 腳本,以下是腳本內容 ```shell #!/bin/bash wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum clean all yum makecache yum -y update yum -y install git wget vim net-tools unzip crontabs psmisc lrzsz #修改權限 chmod 755 ip_switch.sh #復制服務文件 cp bookspider.service /usr/lib/systemd/system/bookspider.service #開機啟動 systemctl enable bookspider.service #啟動采集服務 #systemctl start bookspider.service #定時任務 echo '*/5 * * * * root /root/BookSpider/ip_switch.sh 2>&1 >> /root/BookSpider/ip_switch.log 2>&1 /dev/null' >> /etc/crontab echo '0 */10 * * * root reboot' >> /etc/crontab #開機啟動 systemctl enable crond.service #啟動服務 systemctl start crond.service echo '* soft nofile 655350' >> /etc/security/limits.conf echo '* hard nofile 655350' >> /etc/security/limits.conf # 必須安裝 谷歌瀏覽器 wget http://oss-hk.bookcms.com/google/google-chrome-stable_current_x86_64.rpm yum install -y ./google-chrome-stable_current_*.rpm yum install -y wqy-microhei-fonts wqy-zenhei-fonts ```  > 然后用命令 `vim conf/app.conf` 編輯采集器配置文件 ``` runmode = dev #服務器地址 server_url = "http://ip:1919" //后臺服務器地址 #api入庫key api_insert_key = "123456" //入庫的key 需要和 后臺配置文件一致 #當前vps 的登錄ip和端口號 execute_server = "ip:ssh登錄的端口號" #etcd etcd.endpoints = "ip:2379" //填寫后臺服務器地址 etcd.user = "" etcd.password = "" etcd.dial_timeout = 5 ``` > 然后 輸入 ``` systemctl start bookspider.service //啟動采集器 systemctl status bookspider.service //查看采集器狀態 journalctl -f | grep "BookSpider" //查看日志 ``` > 如何使用分布式采集,在后臺添加任務的時候 選擇非 `本地服務器` 即為調用分布式采集來采集數據