> ##### [感謝江榕分享](https://www.tuicool.com/articles/6fyU7bU)
> ##### [感謝chenzanlong123](http://blog.csdn.net/chenzanlong123/article/details/11784143 "關于truststore和kenstore的區別") 關于truststore和kenstore的區別
### Search Guard基礎知識
SearchGuard?是Elasticsearch的開源安全套件,提供加密,身份驗證,授權,審計日志記錄和多租戶的整個ELK堆棧。開源版本核心功能:
- 節點之間的RPC流量通過 SSL/TLS 傳輸(強制性);
- 索引級別訪問控制(重點!);
- 權限配置基本與shield保持一致;
- 支持restful接口流量加密(可選);
#### 個人理解
- Search Guard會將ES包裹起來,其他程序連接ES時,實際是Search Guard在做驗證和權限控制。
- ES的Master/Node節點間的SSL/TLS通訊加密必須配置,但客戶端(Kibana、Logstash、ES-Head等)訪問ES的HTTPS可不配置
- 證書的生成需要使用 Search Guard SSL程序包,需要單獨下載,但該程序無需放在ES的服務器中執行,只使用生成后的證書
- keystore可以看成一個放key的庫,key就是公鑰,私鑰,數字簽名等組成的一個信息。truststore和keystore的性質是一樣的,都是存放key的一個倉庫,區別在于,truststore里存放的是只包含公鑰的數字證書,代表了可以信任的證書,而keystore是包含私鑰的
- Search Guard有Demo腳本,為了更好的理解原理,不要使用
##### Search Guard部署過程
- 第一階段:實現訪問ES需要用戶名密碼
- 第二節點:Kibana實現用戶名密碼登錄
##### 涉及插件
>[GitHub鏈接](https://github.com/floragunncom "github鏈接")
- search-guard-ssl(生成證書程序)
- search-guard(ES插件)
- search-guard-kibana-plugin(Kibana插件)
### 部署Search Guard SSL(任意機器)
僅生成證書,無需部署在生產節點,生成后部署到對應節點即可,該文件需備份!
不推薦使用樣例腳本
> [具體版本對照](https://github.com/floragunncom/search-guard-ssl/wiki "版本對照")
腳本依賴openssl 和 keytool
```shell
git clone https://github.com/floragunncom/search-guard-ssl.git
cd search-guard-ssl/example-pki-scripts
```
#### 證書生成重要概念
因為我們要使用到生產環境,所以我們需要自定義創建證書
- ##### gen_client_node_cert.sh(生成admin-keystore.jks)
生成客戶端和管理員證書,包含客戶端證書的密鑰庫。此證書被配置為管理員證書,名字可以使用sgadmin/admin/ding均可,但名稱要與ES中配置的前綴保持一致(下文中會提到),否則ES啟動時,會報Search Guard密碼錯誤
- ##### gen_node_cert.sh(生成 node-0-keystore.jks)
生成ES節點間通訊的證書,密鑰庫包含節點證書和中間證書。這些密鑰庫可以在所有Elasticsearch節點上使用。
- ##### gen_root_ca.sh(生成truststore.jks)
包含用于簽署所有其他證書的根CA的信任庫
##### 修改配置
```shell
example-pki-scripts/etc/root-ca.conf
example-pki-scripts/etc/signing-ca.conf
```
腳本會根據這兩個配置生成證書,需要修改如下內容,暫時還不太理解作用,我并沒有修改
```shell
[ ca_dn ]
0.domainComponent = "com"
1.domainComponent = "example"
organizationName = "Example Com Inc."
organizationalUnitName = "Example Com Inc. Root CA"
commonName = "Example Com Inc. Root CA"
```
#### 生成證書
##### 生成強密碼
```shell
根CA密碼:NhRxQ3dC3rJZuQFa
truststore密碼:siCPVLDYN2BwuYKo
keystore密碼:CNByuENniEtkHRfs
```
##### 生成truststore證書
```shell
#./gen_root_ca.sh capassword_use_a_strong_one truststorepassword
./gen_root_ca.sh NhRxQ3dC3rJZuQFa siCPVLDYN2BwuYKo
```
##### 生成ES節點通訊證書
> ##### 留下問題?是所有ES用一個,每個ES都用不同的證書
```shell
./gen_node_cert.sh nodenum keystorepassword capassword_use_a_strong_one
./gen_node_cert.sh 0 CNByuENniEtkHRfs NhRxQ3dC3rJZuQFa
```
##### 生成客戶端(管理員)證書
```shell
./gen_client_node_cert.sh clientname keystorepassword capassword_use_a_strong_one
./gen_client_node_cert.sh admin CNByuENniEtkHRfs NhRxQ3dC3rJZuQFa
```
##### 生成的文件
```shell
#ll /opt/search-guard-ssl/example-pki-scripts/*.jks
-rw-r--r-- 1 root root 4164 Nov 10 16:38 admin-keystore.jks
-rw-r--r-- 1 root root 4233 Nov 10 16:38 node-0-keystore.jks
-rw-r--r-- 1 root root 956 Nov 10 16:37 truststore.jks
```
#### 分發證書
node和truststore證書分發到所有ES的/etc/elasticsearch/目錄下
admin證書,放到管理機上,Search Guard會在Elasticsearch中建立searchguard的索引分片,內部存儲的就是用戶和權限的信息,這些信息只能通過sgadmin.sh腳本進行更新,Search Guard中的邏輯用戶,是不具備查看權限的。具體請看下文
##### 注意備份整個目錄,后期可能還會生成證書
### 所有ES節點安裝Search Guard
#### 在線安裝
>##### [版本對應關系](https://github.com/floragunncom/search-guard/wiki "版本對應關系")
```shell
cd /usr/share/elasticsearch/bin
./elasticsearch-plugin install com.floragunn:search-guard-5:5.6.4-16
```
search-guard-5:search-guard的版本
5.6.4-16:當前Elasticsearch對應的search-guard版本
#### 離線安裝(推薦)
> ##### [zip包下載地址](http://search.maven.org/#search%7Cgav%7C1%7Cg%3A%22com.floragunn%22%20AND%20a%3A%22search-guard-5%22 "下載地址")
```shell
./elasticsearch-plugin install -b file:///tmp/search-guard-5-5.6.4-16.zip
```
#### 增加ES配置(所有ES)
配置結尾增加
```shell
searchguard.ssl.transport.keystore_filepath: node-0-keystore.jks
searchguard.ssl.transport.keystore_password: CNByuENniEtkHRfs
searchguard.ssl.transport.truststore_filepath: truststore.jks
searchguard.ssl.transport.truststore_password: siCPVLDYN2BwuYKo
#enforce_hostname_verification為不強制驗證主機名
searchguard.ssl.transport.enforce_hostname_verification: false
#注意CN=admin,必須和admin-keystore.jks中的admin相同
searchguard.authcz.admin_dn:
- CN=admin,OU=client,O=client,L=Test, C=DE
```
重啟ES服務器,如未設置,將無法加入到集群,建議所有ES全部停止后統一配置,避免腦裂
### 生成searchguard索引分片
> ##### [sgadmin相關參數](http://floragunncom.github.io/search-guard-docs/sgadmin.html "1")
```shell
sh /usr/share/elasticsearch/plugins/search-guard-5/tools/sgadmin.sh -h 192.168.0.230 -p 9300 -tspass siCPVLDYN2BwuYKo -kspass CNByuENniEtkHRfs -cd /usr/share/elasticsearch/plugins/search-guard-5/sgconfig -ks /etc/elasticsearch/admin-keystore.jks -ts /etc/elasticsearch/truststore.jks -nhnv -cn es-cluster
```
- 默認要求ES集群狀態至少要為YELLOW,可以使用-arc,–accept-red-cluster跳過
- 早期版本的Search guard是允許使用node證書的,但是新版本已經禁止了,這里的ks需要指定為管理用戶的證書(admin-keystore.jks)
- es-cluster為集群名稱
- -nhnv 禁用主機名稱驗證,不要驗證主機名
```shell
###################################
Contacting elasticsearch cluster 'es-cluster' and wait for YELLOW clusterstate ...
Clustername: es-cluster
Clusterstate: YELLOW
Number of nodes: 1
Number of data nodes: 1
searchguard index already exists, so we do not need to create one.
Populate config from /usr/share/elasticsearch/plugins/search-guard-5/sgconfig/
Will update 'config' with /usr/share/elasticsearch/plugins/search-guard-5/sgconfig/sg_config.yml
SUCC: Configuration for 'config' created or updated
Will update 'roles' with /usr/share/elasticsearch/plugins/search-guard-5/sgconfig/sg_roles.yml
SUCC: Configuration for 'roles' created or updated
Will update 'rolesmapping' with /usr/share/elasticsearch/plugins/search-guard-5/sgconfig/sg_roles_mapping.yml
SUCC: Configuration for 'rolesmapping' created or updated
Will update 'internalusers' with /usr/share/elasticsearch/plugins/search-guard-5/sgconfig/sg_internal_users.yml
SUCC: Configuration for 'internalusers' created or updated
Will update 'actiongroups' with /usr/share/elasticsearch/plugins/search-guard-5/sgconfig/sg_action_groups.yml
SUCC: Configuration for 'actiongroups' created or updated
Done with success
```
SUCC代表更新成功
#### 截至目前,ES各個節點間通訊已經加密;Search Guard已經開始守護ES集群了。但由于Search Guard默認設置了一些用戶,都是弱口令用戶,下一步,我們要進行權限設置以及客戶端(Logstash、Kibana、Head)的訪問設置
- 獻給樂于奉獻的你
- 一、工作感悟
- 1.1 工作感悟
- 1.2 數據庫工作總結
- 二、運維專題(非技術)
- 2.1 公有云運維
- 2.1.1 阿里云采坑記.md
- 三、運維專題(技術類)
- 3.1 Linux(操作系統)
- 3.1.1 常見工作總結
- 3.1.2 常見服務使用和部署
- 3.1.3 操作系統優化
- 3.1.4 常用命令(Centos8)
- 3.2 Docker & K8s(容器技術)
- 3.2.1 Docker
- 1. Docker
- 1-1 容器基礎
- 1-2 部署和加速
- 1-3 常用命令
- 1-4 Dockerfile編寫
- 1-5 容器網絡
- 1-6 數據持久化
- 2. docker-compose
- 2-1 基礎
- 3.2.2 kubernetes
- 1. 導讀-請先看我
- 2. kubeadm部署集群
- 1-1 k8s-1.14-基于calico
- 1-2 k8s-1.17-基于flanne
- 3. 二進制部署集群
- 4. 日常工作及故障處理
- 4-1 常用命令
- 4-2 故障處理
- 3.2.3 依賴服務部署
- 1. Harbor(鏡像倉庫)
- 1-1 harbor-2.1.0(單節點)
- 3.3 CICD(持續集成/部署)
- 3.3.1 GitLab
- 1. 服務部署
- 1-1 Gitlab-CE-13.3.4(單節點)
- 2. Git基礎
- 3.3.2 Ansible
- 1. 服務部署
- 1-2 ansible-2.5(pip部署)
- 3. ansible-playbook
- 3-1 基于Roles的Playbook
- 3-3 循環語法
- 3.3.3 Jnekins
- 1. Jenkins部署
- 1-1 Jenkins-2.65部署
- 1-2 Jenkins-2.249部署
- 2. Jenkins項目初始化
- 3. Jenkins集成
- 3-1 Jenkins-2.65集成Sonar
- 3.4 LB/HA(負載均衡,反向代理)
- 3.4.1 LVS+Keepalive
- 1. LVS為MySQL讀提供負載均衡
- 3.4.2 Pacemaker(HA)
- 1. 常用命令(轉)
- 3.5 Runtime(代碼運行環境)
- 3.5.1 Tomcat(Web中間件)
- 1. Tomcat部署手冊
- 1-1 Tomcat-7.0.76部署
- 2. Tomcat常用腳本
- 3.6 NoSQL(非關系型數據庫)
- 3.6.1 redis(非關系數據庫)
- 1. Redis 基礎
- 2. Redis 4.0變化
- 3. Codis實現Redis的集群
- 4. Redis故障處理
- 5. redis安全第一步
- 6. Redis集群搭建
- 7. CacheCloud部署
- 3.6.1 Redis挑戰
- 3.6.2 MongoDB(文檔數據庫)
- 1. Mongodb基礎
- 1-1 Mongodb4.0新特性
- 1-2 支持多大數據量
- 2. Mongodb安裝
- 2-1 Mac OS安裝Mongodb
- 2-2 Yum安裝Mongodb
- 2-3 二進制安裝Mongodb
- 2-4 docker容器安裝Mongodb
- 2-5 Mongodb 配置文件詳解
- 2-6 Mongodb 生產安全清單
- 2-7 用戶身份認證和授權
- 3. Mongodb副本集
- 3-1 副本集搭建
- 3-2 用戶身份認證與授權
- 4. 日常維護工作
- 4-1 Mongodb磁盤回收
- 4-2 Mongodb備份恢復到任意時間點
- 4-3 Mongodb慢查詢分析
- 4-4 Mongodb版本升級
- 4-5 Mongodb副本集成員狀態
- 4-6 Mongodb備份恢復工具使用
- 4-7 Mongodb服務啟動和停止
- 4-8 修改副本集成員oplog大小
- 4-9 Mongodb 副本集Oplog
- 3.7 MQ(消息隊列)
- 3.7.1 Zookeeper(分布式協調系統)
- 1. ZooKeeper基礎
- 2. ZooKeeper集群搭建
- 2-1 ZK-3.4.10部署
- 3.2 RabbitMQ(消息隊列)
- 1. 服務部署
- 1-1 RabbitMQ-3.8部署
- 2. 常用命令
- 3.8 Monitor(數據收集,監控)
- 3.8.1 Zabbix(運維監控)
- 1. 服務部署
- 1-1 服務端部署
- 1-2 客戶端部署
- 2. 監控服務
- 2-1 監控Apache
- 2-2 監控IIS
- 2-3 監控Ningx
- 2-4 監控Tomcat(6/7/8)
- 2-5 監控WebSphere 7
- 2-6 監控MySQL
- 2-7 監控Oracle
- 2-8 監控SQL Servre
- 2-9 監控Weblogic
- 2-10 監控Windows
- 2-11 自定義監控項
- 3. 告警推送
- 3-1 郵件告警
- 3-2 短信告警
- 3-3 告警推到Syslog
- 4. 日常工作
- 4-1 數據庫優化(TokuDB)
- 4-2 數據庫優化(分區表)
- 4-3 前端定制(Grafana)
- 5. 與Grafana結合
- 3.8.2 ELKBstack(日志收集展示)
- 1. 服務部署
- 1-1 ELK 5.5部署及配置
- 1-1-1 ELKBstack介紹
- 1-1-2 Elasticsearch部署
- 1-1-3 Logstash部署
- 1-1-4 Kibana部署
- 1-1-5 X-pack部署
- 1-1-6 Filebeat部署
- 2. ELK高級配置
- 1. Elasticsearch實戰
- 2. Logstash實戰
- 3. Filebeat實戰
- 5. 引入隊列
- 3.9 Virtualization(虛擬化)
- 3.10 Basic(基礎服務)
- 3.10.1 Piwik-Matomo(用戶行為分析)
- 1. Piwik前期分析
- 2. Piwik介紹和部署
- 2-1 Piwik-3.x版本(早期)
- 3. Piwik 功能配置
- 4. Piwik 模擬數據和壓測
- 5. Piwik運轉原理
- 6. Piwik數據庫模式(一)
- 6-1 第一部分
- 6-2 第二部分
- 3.10.2 Cobbler(系統自動部署)
- 1. Cobbler 可以干什么?
- 2. Cobbler 基礎原理
- 3. Cobbler 安裝
- 3-1 Cobbler-2.8部署
- 4. Cobbler 基礎配置
- 5. Cobbler 配置文件
- 6. 一鍵優化腳本
- 3.10.3 Rsync(數據同步服務)
- 1. Rsync基礎
- 2. 案例:頁面部署(服務端拉取)
- 3.10.4 NFS(共享存儲)
- 1. NFS部署手冊
- 2. 客戶端NFS備份腳本
- 3.10.5 Grafana(可視化)
- 1. 安裝(8.2.x)
- 3.11 Tools(軟件工具)
- 3.11.1 基準測試
- 1. 基準測試方法論
- 2. 壓測工具 - Siege
- 3. 壓測工具 - http_load
- 3.12 DB(關系型數據庫)
- 3.12.1 MySQL(關系數據庫)
- 1. MySQL部署
- 1-1 MySQL-5.7部署
- 1-2 Percona-5.7 + TokuDB 部署
- 2. MySQL復制
- 2-1 MySQL異步復制
- 3. MySQL備份恢復
- 3-1 xtrabackup 備份恢復
- 4. MySQL 高可用
- 4-1 MHA(HA)
- 4-1-1 MHA 架構介紹和原理
- 4-1-2 MHA日常管理
- 4-1-3 MHA 自動Failover
- 4-1-4 MHA常用參數
- 4-1-5 MHA 報錯
- 4-1-6 MHA相關配置文件和腳本
- 4-2 MyCAT
- 4-2-1 MyCAT 介紹和部署
- 4-1-3 MyCAT讀寫分離案例解析
- 5. MySQL 常用腳本
- 5-1 MySQL常用統計語句
- 5-2 MySQL性能分析腳本
- 6. MySQL 日常及故障處理
- 6-1 MySQL死鎖排查
- 6-2 復制故障
- 6-3 MySQL 升級注意事項
- 6-3 MySQL授權
- 3.12.2 Oracle(關系數據庫)
- 1. Oracle部署
- 1-1 Oracle11g單實例部署
- 1-2 Oracle12c單實例部署
- 2. Oracle常用腳本
- 3. Oracle 知識點
- 六、Ansible開源項目
- 6.1 項目初始化手冊
- 6.1.1 Ansible錯誤處理
- 6.1.2 一種預先判斷是否操作的方法
- 6.2 System初始化
- 6.3 Nginx/Tnginx部署
- 6.4 Python部署
- 6.5 PHP部署
- 6.6 MySQL部署
- 6.7 Docker部署
- 6.8 Haproxy部署
- 6.9 Redis部署
- 1. 變量和tags信息
- 3. Redis主從部署
- 4. Redis集群部署
- 5. 清理數據
- 6.10 Software軟件部署
- 6.11 Zabbix部署
- 6.12 Elastic部署
- 6.13 Tomcat
- 6.14 Kafka部署
- 6.15 Zookeeper部署
- 6.16 Etcd集群部署
- 6.17 M3DB部署
- 6.18 Pormetheus部署
- 七、學習資源推薦
- 八、從瞎搞到放棄
- 8.1 CodeQL(語義代碼分析引擎)
- 8.1.1 背景及計劃
- 8.1.2 CodeQL概述
- 8.1.3 簡單部署和使用
- 8.1.4 后續
- 8.2 dbdeployer(輕松部署MySQL)
- 歸檔筆記
- 三、常用服務部署(遷移中)
- 3.4 Nginx & PHP(Web服務)
- 3.4.1 Nginx(Web)
- 1. Nginx基礎和部署
- 2. Nginx 我的一些思考
- 3. Nginx(Web)配置
- 4. Nginx(Proxy)配置
- 5. Nginx日常管理
- 3.4.3 PHP
- 1. PHP 7.1 部署
- 2. PHP5.6 部署
- 4. PHP原理
- 5. PHP 常用模塊
- 二、運維項目實戰(遷移中)
- 2.1 標準化 & 工具化項目
- 2.1.1 系統部署和優化
- 2.1.5 全網日志收集展示平臺項目
- 1. 項目需求
- 2. 整體方案規劃
- 3. 日志收集配置
- 4. 消息緩沖隊列
- 5. 日志處理轉發
- 6. 日志數據展示(待補充)
- 7. ELK安全配置(上)
- 8. ELK安全配置(下)
- 9. 項目總結
- 2.2 高性能Web項目
- 2.2.1 網站需求(完善中)