<blockquote class="success">注意事項</blockquote>
```
第一次執行全量同步,后續的執行增量同步。注意全量同步時,關閉logstash定時任務設置,否則可能導致虛擬內存不足程序崩潰和數據重復問題。
```
### 一、下載mysql驅動
mysql-connector-java下載地址:
[https://mvnrepository.com/artifact/mysql/mysql-connector-java](https://mvnrepository.com/artifact/mysql/mysql-connector-java)
選擇自己的版本:

選擇對應的jar包:

### 二、上傳mysql驅動
上傳到 /usr/local/logstash/logstash-7.6.2/logstash-core/lib/jars 目錄下

### 三、配置jdbc.conf
```
input {
jdbc {
# 驅動
jdbc_driver_library => "/usr/local/logstash/logstash-7.6.2/logstash-core/lib/jars/mysql-connector-java-8.0.26.jar"
#JDBC連接Mysql6需用com.mysql.cj.jdbc.Driver,同時需要指定時區serverTimezone
jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
jdbc_default_timezone => "Asia/Shanghai"
#jdbc_paging_enabled => "true"
#jdbc_page_size => "50000"
# mysql數據庫鏈接,test為數據庫名
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test"
jdbc_user => "root"
jdbc_password => "root"
# 數據庫重連嘗試次數
#connection_retry_attempts => "3"
# 執行的sql語句
#statement => "SELECT * FROM law_advices WHERE id > :sql_last_value"
statement_filepath => "/usr/local/logstash/logstash-7.6.2/config/law_advices.sql"
# 定時任務
schedule => "* * * * *"
# 需要記錄查詢結果某字段的值時,此字段為true
use_column_value => true
# 需要記錄的字段,用于增量同步
tracking_column => id
# 記錄上一次運行記錄
record_last_run => true
# 上一次運行記錄值的存放文件路徑
last_run_metadata_path => "/usr/local/logstash/logstash-7.6.2/config/sync_log.txt"
# 是否清除last_run_metadata_path的記錄,需要增量同步時此字段必須為false;
#clean_run => false
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
index => "law_advices"
document_id => "%{id}"
}
# 這里輸出調試,正式運行時可以注釋掉
stdout {
codec => json_lines
}
}
```
mysql-connector-java與mysql版本的對應

### 四、上傳SQL文件law_advices.sql和日志記錄文件sync_log.txt

#### 執行同步數據
```
cd /usr/local/logstash/logstash-7.6.2/bin/
./logstash -f /usr/local/logstash/logstash-7.6.2/config/jdbc.conf
nohup ./logstash -f /usr/local/logstash/logstash-7.6.2/config/law_advices_v1.conf >/dev/null &
```

### 五、推薦閱讀
1、# [logstash全量和增量同步數據到mysql](https://blog.csdn.net/lumengmeng_csdn/article/details/89482086)
- 前言
- Markdown教程
- ElasticSearch教程
- ElasticSearch7.6.2安裝
- Elasticsearch-head安裝
- Elasticsearch-IK中文分詞器
- ElasticSearch基礎入門
- 索引管理
- ElasticSearch深入搜索
- 結構化搜索
- 精確值查找
- 組合過濾器
- 范圍查詢
- 全文搜索
- 匹配查詢
- 組合查詢
- 跨度查詢
- Logstash教程
- Logstash的安裝
- Mysql數據同步到ES
- Kibana教程
- Kibana7.6.2安裝
- Cakephp4.x+ElasticSearch7.6.2
- Cakephp4.x的安裝和使用
- Elasticsearch-phpSDK的使用
- 安裝軟件及源碼下載
- 使用總結
- elasticsearch 7.2集群安裝部署
- 集群的安裝部署
- es集群master節點配置組合
- 分片數、副本數分配算法
- 關于集群部署的答疑解惑