# rsyslog統一日志收集系統
[TOC]
## 一 rsyslog相關基礎
### A rsyslog 日志服務器的優勢:
Rsyslog的全稱是`rocket-fast system for log`,它提供了高性能,高安全功能和模塊化設計。rsyslog能夠接受從各種各樣的來源,將其結果輸出的到不同的目的地。 rsyslog可以提供超過每秒一百萬條消息給目標文件。
**特點:**
* 多線程
* 可以通過許多協議進行傳輸UDP,TCP,SSL,TLS,RELP;
* 直接將日志寫入到數據庫;
* 支持加密協議:ssl,tls,relp
* 強大的過濾器,實現過濾日志信息中任何部分的內容
* 自定義輸出格式;
### B rsyslog配置文件模塊
rsyslog有完善的input-filter-output模塊,但是由于現在有更強大的elk日志套件, rsyslog在我手中的用途只是用來統一收集某類日志(如sshd登錄日志)到指定服務器,后續的再將該日志導入elk系統 因此這里不再詳述rsyslog的這些模塊,有興趣的網上找相關文檔
### C rsyslog配置文件規則
rsyslog.conf中日志規則的典型格式如下:
~~~
facitlity.priority action
#日志類型.日志級別 ? 存儲位置/動作
#日志類型和日志級別都可以用*(星號)表示所有
~~~
1. `facility`: 日志類型
| 日志類型 | 類型說明 |
| --- | --- |
| auth | pam 認證日志 |
| authpriv | ssh,ftp 等登錄信息的驗證信息,認證授權認證 |
| cron | 定時任務相關日志 |
| kern | 內核日志 |
| lpr | 打印及日志 |
| mail | 郵件日志 |
| mark/syslog | rsyslog 服務內部的信息日志 |
| news | 新聞組日志 |
| user | 用戶程序產生的相關日志 |
| uucp | unix 主機之間相關的通訊日志 |
| local | 1~7 #自定義的日志設備 |
2. `priority`: 日志級別:
| 日志級別 | 級別說明 |
| --- | --- |
| debug | 調式信息的,日志信息最多 |
| info | 一般信息的日志,最常用 |
| notice | 最具有重要性的普通條件的信息 |
| warning | 警告級別 |
| error | 錯誤級別 |
| crit | 比較嚴重級別 |
| alert | 很嚴重警報級別 |
| emerg | 內核崩潰等嚴重信息 |
3. `action`:日志動作
~~~
1)記錄到普通文件或設備文件
*.* ? ? /var/log/file.log ? #絕對路徑
*.* ? ? /dev/pts/0 ? ? ? ? ?#設備文件
2)將日志通過管道送給其他命令處理
*.error |awk ....
3)將日志發送到特定的主機
*.emerg @192.168.10.1
4)”用戶”,表示將日志發送到特定的用戶
*.error ? root ? #發送給root用戶
*.error ? * ? ? ?#發送所有登錄到系統的用戶
~~~
4. 連接符號
~~~
. ? ? ? ? ? ? ? ? ?#表示大于等于xxx級別的信息;
.= ? ? ? ? ? ? ? ? #表示等于xxx級別的信息;
.! ? ? ? ? ? ? ? ? #表示在xxx之外的等級的信息;
~~~
5. 格式定義案例 定義在/etc/rsyslog.conf配置文件中
~~~
# 表示將mail相關的,info級別及以上級別都記錄到mail.log文件中
mail.info /var/log/mail.log
# 表示將auth相關的基本為info信息記錄到遠程主機
auth.=info @10.0.0.1 使用UDP協議發送到遠端主機,默認514端口
auth.=info @@10.0.0.1 使用TCP協議發送到遠端主機,默認10514端口
# 表示記錄與user和error相反的
user.!error
# 表示記錄所有日志信息的info級別及以上級別
*.info
# 所有日志及所有級別信息都記錄下來
*.*
# 丟棄日志[~]
cron.* ~
~~~
> PS:多個日志來源可以使用,號隔開,如cron.info;mail.info。
## 二 搭建rsyslog統一收集sshd登錄日志
### A 客戶端配置
~~~
yum install -y rsyslog
?
# 清除配置文件中注釋,最后一行添加服務端類型
cat >/etc/rsyslog.conf <<EOF
# 默認配置
$ModLoad imuxsock ?# provides support for local system logging
$ModLoad imjournal # provides access to the systemd journal
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
?
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none ? /var/log/messages
authpriv.* ? ? ? ? /var/log/secure
mail.* ? ? ? ? ? ? ?-/var/log/maillog
cron.* ? ? ? ? ? ? /var/log/cron
*.emerg ? ? ? ? ? ? :omusrmsg:*
uucp,news.crit ? ? /var/log/spooler
local7.*
#增加配置
authpriv.* ? ? ? ? @172.17.19.29:514
?
EOF
~~~
### B 搭建服務端
~~~
yum install -y rsyslog
?
# 清除配置文件中注釋,在中間加入接收端配置
cat >/etc/rsyslog.conf <<EOF
# 默認配置第一部分
$ModLoad imuxsock ?# provides support for local system logging
$ModLoad imjournal # provides access to the systemd journal
$WorkDirectory /var/lib/rsyslog
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
?
#--------------新增配置-開始--------------
#開啟udp接收日志
$ModLoad imudp
$UDPServerRun 514
$AllowedSender UDP, 172.17.0.0/16
#定義日志格式模板(方便后續logstash讀取)
$template myformat,"%TIMESTAMP::10:date-rfc3339% %TIMESTAMP:8:15% %hostname% %fromhost-ip% %syslogtag% %msg%\n"
#定義日志存放路徑及文件格式
$template sshRemote,"/data/fw_logs/ssh_%$YEAR%-%$MONTH%-%$DAY%.log"
#調用日志模板和文件格式,并過濾部分信息
:fromhost-ip, !isequal, "127.0.0.1" ?sshRemote;myformat
#定義生成的日志文件和文件夾(也是方便logstash讀取)
$FileCreateMode 0644
$DirCreateMode 0755
$Umask 0022
#--------------新增配置-結束--------------
?
#默認配置第二部分
$IncludeConfig /etc/rsyslog.d/*.conf
$OmitLocalLogging on
$IMJournalStateFile imjournal.state
*.info;mail.none;authpriv.none;cron.none ? /var/log/messages
authpriv.* ? ? ? ? /var/log/secure
mail.* ? ? ? ? ? ? ?-/var/log/maillog
cron.* ? ? ? ? ? ? /var/log/cron
*.emerg ? ? ? ? ? ? :omusrmsg:*
uucp,news.crit ? ? /var/log/spooler
local7.*
EOF
~~~
重啟服務并驗證
~~~
systemctl restart rsyslog
#重啟服務后,客戶機多次ssh登錄驗證服務端有沒有產生日志
#也可以用logger命令模擬產生日志
logger "rsyslog test from 172.17.19.31" -p authpriv.info
~~~
## 三 rsyslog日志模板:
[參考網址:](https://segmentfault.com/a/1190000003509909)
日志模板中各變量對于的數據樣式如下
```sh
msg: Hello, Logger,
rawmsg: <175>Mar 10 15:52:49 LogHeader[13845]: Hello, Logger,
HOSTNAME: vm-28-234-pro01-hp,
FROMHOST: vm-28-234-pro01-hp,
syslogtag: LogHeader[13845]:,
programname: LogHeader,
PRI: 175,
PRI-text: local5.debug,
IUT: 1,
syslogfacility: 21,
syslogfacility-text: local5,
syslogseverity: 7,
syslogseverity-text: debug,
timereported: Mar 10 15:52:49,
TIMESTAMP: Mar 10 15:52:49,
timegenerated: Mar 10 15:52:49,
PROTOCOL-VERSION: 0,
STRUCTURED-DATA: -,
APP-NAME: LogHeader,
PROCID: 13845,
MSGID: -
```
- shell編程
- 變量1-規范-環境變量-普通變量
- 變量2-位置-狀態-特殊變量
- 變量3-變量子串
- 變量4-變量賦值三種方法
- 變量5-數組相關
- 計算1-數值計算命令和案例
- 計算2-expr命令舉例
- 計算3-條件表達式和各種操作符
- 計算4-條件表達式和操作符案例
- 循環1-函數的概念與作用
- 循環2-if與case語法
- 循環3-while語法
- 循環4-for循環
- 其他1-判斷傳入的參數為0或整數的多種思路
- 其他2-while+read按行讀取文件
- 其他3-給輸出內容加顏色
- 其他4-shell腳本后臺運行知識
- 其他5-6種產生隨機數的方法
- 其他6-break,continue,exit,return區別
- if語法案例
- case語法案例
- 函數語法案例
- WEB服務軟件
- nginx相關
- 01-簡介與對比
- 02-日志說明
- 03-配置文件和虛擬主機
- 04-location模塊和訪問控制
- 05-status狀態模塊
- 06-rewrite重寫模塊
- 07-負載均衡和反向代理
- 08-反向代理監控虛擬IP地址
- nginx與https自簽發證書
- php-nginx-mysql聯動
- Nginx編譯安裝[1.12.2]
- 案例
- 不同客戶端顯示不同信息
- 上傳和訪問資源池分離
- 配置文件
- nginx轉發解決跨域問題
- 反向代理典型配置
- php相關
- C6編譯安裝php.5.5.32
- C7編譯php5
- C6/7yum安裝PHP指定版本
- tomcxat相關
- 01-jkd與tomcat部署
- 02-目錄-日志-配置文件介紹
- 03-tomcat配置文件詳解
- 04-tomcat多實例和集群
- 05-tomcat監控和調優
- 06-Tomcat安全管理規范
- show-busy-java-threads腳本
- LVS與keepalived
- keepalived
- keepalived介紹和部署
- keepalived腦裂控制
- keepalived與nginx聯動-監控
- keepalived與nginx聯動-雙主
- LVS負載均衡
- 01-LVS相關概念
- 02-LVS部署實踐-ipvsadm
- 03-LVS+keepalived部署實踐
- 04-LVS的一些問題和思路
- mysql數據庫
- 配置和腳本
- 5.6基礎my.cnf
- 5.7基礎my.cnf
- 多種安裝方式
- 詳細用法和命令
- 高可用和讀寫分離
- 優化和壓測
- docker與k8s
- docker容器技術
- 1-容器和docker基礎知識
- 2-docker軟件部署
- 3-docker基礎操作命令
- 4-數據的持久化和共享互連
- 5-docker鏡像構建
- 6-docker鏡像倉庫和標簽tag
- 7-docker容器的網絡通信
- 9-企業級私有倉庫harbor
- docker單機編排技術
- 1-docker-compose快速入門
- 2-compose命令和yaml模板
- 3-docker-compose命令
- 4-compose/stack/swarm集群
- 5-命令補全和資源限制
- k8s容器編排工具
- mvn的dockerfile打包插件
- openstack與KVM
- kvm虛擬化
- 1-KVM基礎與快速部署
- 2-KVM日常管理命令
- 3-磁盤格式-快照和克隆
- 4-橋接網絡-熱添加與熱遷移
- openstack云平臺
- 1-openstack基礎知識
- 2-搭建環境準備
- 3-keystone認證服務部署
- 4-glance鏡像服務部署
- 5-nova計算服務部署
- 6-neutron網絡服務部署
- 7-horizon儀表盤服務部署
- 8-啟動openstack實例
- 9-添加計算節點流程
- 10-遷移glance鏡像服務
- 11-cinder塊存儲服務部署
- 12-cinder服務支持NFS存儲
- 13-新增一個網絡類型
- 14-云主機冷遷移前提設置
- 15-VXALN網絡類型配置
- 未分類雜項
- 部署環境準備
- 監控
- https證書
- python3.6編譯安裝
- 編譯安裝curl[7.59.0]
- 修改Redhat7默認yum源為阿里云
- 升級glibc至2.17
- rabbitmq安裝和啟動
- rabbitmq多實例部署[命令方式]
- mysql5.6基礎my.cnf
- centos6[upstart]/7[systemd]創建守護進程
- Java啟動參數詳解
- 權限控制方案
- app發包倉庫
- 版本發布流程
- elk日志系統
- rsyslog日志統一收集系統
- ELK系統介紹及YUM源
- 快速安裝部署ELK
- Filebeat模塊講解
- logstash的in/output模塊
- logstash的filter模塊
- Elasticsearch相關操作
- ES6.X集群及head插件
- elk收集nginx日志(json格式)
- kibana說明-漢化-安全
- ES安裝IK分詞器
- zabbix監控
- zabbix自動注冊模板實現監控項自動注冊
- hadoop大數據集群
- hadoop部署
- https證書
- certbot網站
- jenkins與CI/CD
- 01-Jenkins部署和初始化
- 02-Jenkins三種插件安裝方式
- 03-Jenkins目錄說明和備份
- 04-git與gitlab項目準備
- 05-構建自由風格項目和相關知識
- 06-構建html靜態網頁項目
- 07-gitlab自動觸發項目構建
- 08-pipelinel流水線構建項目
- 09-用maven構建java項目
- iptables
- 01-知識概念
- 02-常規命令實戰
- 03-企業應用模板
- 04-企業應用模板[1鍵腳本]
- 05-企業案例-共享上網和端口映射
- SSH與VPN
- 常用VPN
- VPN概念和常用軟件
- VPN之PPTP部署[6.x][7.x]
- 使用docker部署softether vpn
- softEther-vpn靜態路由表推送
- SSH服務
- SSH介紹和部署
- SSH批量分發腳本
- 開啟sftp日志并限制sftp訪問目錄
- sftp賬號權限分離-開發平臺
- ssh配置文件最佳實踐
- git-github-gitlab
- git安裝部署
- git詳細用法
- github使用說明
- gitlab部署和使用
- 緩存數據庫
- zookeeper草稿
- mongodb數據庫系列
- mongodb基本使用
- mongodb常用命令
- MongoDB配置文件詳解
- mongodb用戶認證管理
- mongodb備份與恢復
- mongodb復制集群
- mongodb分片集群
- docker部署mongodb
- memcached
- memcached基本概念
- memcached部署[6.x][7.x]
- memcached參數和命令
- memcached狀態和監控
- 會話共享和集群-優化-持久化
- memcached客戶端-web端
- PHP測試代碼
- redis
- 1安裝和使用
- 2持久化-事務-鎖
- 3數據類型和發布訂閱
- 4主從復制和高可用
- 5redis集群
- 6工具-安全-pythonl連接
- redis配置文件詳解
- 磁盤管理和存儲
- Glusterfs分布式存儲
- GlusterFS 4.1 版本選擇和部署
- Glusterfs常用命令整理
- GlusterFS 4.1 深入使用
- NFS文件存儲
- NFS操作和部署
- NFS文件系統-掛載和優化
- sersync與inotify
- rsync同步服務
- rsyncd.conf
- rsync操作和部署文檔
- rsync常見錯誤處理
- inotify+sersync同步服務
- inotify安裝部署
- inotify最佳腳本
- sersync安裝部署
- 時間服務ntp和chrony
- 時間服務器部署
- 修改utc時間為cst時間
- 批量操作與自動化
- cobbler與kickstart
- KS+COBBLER文件
- cobbler部署[7.x]
- kickstart部署[7.x]
- kickstar-KS文件和語法解析
- kickstart-PXE配置文件解析
- 自動化之ansible
- ansible部署和實踐
- ansible劇本編寫規范
- 配置文件示例
- 內網DNS服務
- 壓力測試
- 壓測工具-qpefr測試帶寬和延時