### Buffer Pool
為了緩存磁盤中的頁,在`MySQL`服務器啟動的時候就向操作系統申請了一片連續的內存,他們給這片內存起了個名,叫做`Buffer Pool`(中文名是`緩沖池`)。
默認情況下`Buffer Pool`只有`128M`大小。當然如果你嫌棄這個`128M`太大或者太小,可以在啟動服務器的時候配置`innodb_buffer_pool_size`參數的值,它表示`Buffer Pool`的大小,就像這樣:
~~~
[server]
# 單位是字節
innodb_buffer_pool_size = 268435456
~~~
### Buffer Pool內部組成
`Buffer Pool`中默認的緩存頁大小和在磁盤上默認的頁大小是一樣的,都是`16KB`。
為了更好的管理這些在`Buffer Pool`中的緩存頁,每一個緩存頁都創建了一些所謂的`控制信息`,這些控制信息包括該頁所屬的表空間編號、頁號、緩存頁在`Buffer Pool`中的地址、鏈表節點信息、一些鎖信息以及`LSN`信息
每個緩存頁對應的控制信息占用的內存大小是相同的,我們就把每個頁對應的控制信息占用的一塊內存稱為一個`控制塊`吧,**控制塊和緩存頁是一一對應的**,它們都被存放到 Buffer Pool 中,其中控制塊被存放到 Buffer Pool 的前邊,緩存頁被存放到 Buffer Pool 后邊,所以整個`Buffer Pool`對應的內存空間看起來就是這樣的:

每個控制塊大約占用緩存頁大小的5%,在MySQL5.7.21這個版本中,每個控制塊占用的大小是808字節。而我們設置的innodb_buffer_pool_size并不包含這部分控制塊占用的內存空間大小,也就是說InnoDB在為Buffer Pool向操作系統申請連續的內存空間時,這片連續的內存空間一般會比innodb_buffer_pool_size的值大5%左右。
### free鏈表的管理(空閑鏈表)
啟動`MySQL`服務器的時候,需要對`Buffer Pool`初始化,就是先向操作系統申請`Buffer Pool`的內存空間,然后把它劃分成若干對控制塊和緩存頁。此時`Buffer Pool`是空的。隨著程序的運行,會不斷的有磁盤上的頁被緩存到`Buffer Pool`中。但是這時候沒法判斷`Buffer Pool`中那些緩存頁是使用的,那些是空閑的。這個時候緩存頁對應的`控制塊`就派上大用場了,我們可以把所有空閑的緩存頁對應的控制塊作為一個節點放到一個鏈表中,這個鏈表也可以被稱作`free鏈表`(或者說空閑鏈表)。
剛剛完成初始化的`Buffer Pool`中所有的緩存頁都是空閑的,所以每一個緩存頁對應的控制塊都會被加入到`free鏈表`中,

從圖中可以看出,我們為了管理好這個`free鏈表`,特意為這個鏈表定義了一個`基節點`,里邊兒包含著鏈表的頭節點地址,尾節點地址,以及當前鏈表中節點的數量等信息。這里需要注意的是,鏈表的基節點占用的內存空間并不包含在為`Buffer Pool`申請的一大片連續內存空間之內,而是單獨申請的一塊內存空間。
鏈表基節點占用的內存空間并不大,在MySQL5.7.21這個版本里,每個基節點只占用40字節大小。后邊我們即將介紹許多不同的鏈表,它們的基節點和free鏈表的基節點的內存分配方式是一樣一樣的,都是單獨申請的一塊40字節大小的內存空間,并不包含在為Buffer Pool申請的一大片連續內存空間之內。
有了這個`free鏈表`之后事兒就好辦了,每當需要從磁盤中加載一個頁到`Buffer Pool`中時,就從`free鏈表`中取一個空閑的緩存頁,并且把該緩存頁對應的`控制塊`的信息填上(就是該頁所在的表空間、頁號之類的信息),然后把該緩存頁對應的`free鏈表`節點從鏈表中移除,表示該緩存頁已經被使用了~
### 緩存頁的哈希處理
我們怎么知道該頁在不在`Buffer Pool`中呢?難不成需要依次遍歷`Buffer Pool`中各個緩存頁么?一個`Buffer Pool`中的緩存頁這么多都遍歷完豈不是要累死?
根據`表空間號 + 頁號`來定位一個頁的,也就相當于`表空間號 + 頁號`是一個`key`,`緩存頁`作為`value`創建一個哈希表,在需要訪問某個頁的數據時,先從哈希表中根據`表空間號 + 頁號`看看有沒有對應的緩存頁,如果有,直接使用該緩存頁就好,如果沒有,那就從`free鏈表`中選一個空閑的緩存頁,然后把磁盤中對應的頁加載到該緩存頁的位置。
### flush鏈表的管理
如果我們修改了`Buffer Pool`中某個緩存頁的數據,那它就和磁盤上的頁不一致了,這樣的緩存頁也被稱為`臟頁`(英文名:`dirty page`)。
由于頻繁的往磁盤中寫數據會嚴重的影響程序的性能,所以每次修改緩存頁后,我們并不著急立即把修改同步到磁盤上,而是在未來的某個時間點進行同步。
由于不立即同步到磁盤,mysql把凡是修改過的緩存頁對應的控制塊都會作為一個節點加入到一個鏈表中,因為這個鏈表節點對應的緩存頁都是需要被刷新到磁盤上的,所以也叫`flush鏈表`。鏈表的構造和`free鏈表`差不多,假設某個時間點`Buffer Pool`中的臟頁數量為`n`,那么對應的`flush鏈表`就長這樣:

- 學習地址
- MySQL
- 查詢優化
- SQL優化
- 關于or、in、not in、!=等走不走索引的說明
- 千萬級數據查詢優化
- MySQL 深度分頁問題
- 嵌套循環 Block Nested Loop 導致索引查詢慢
- MySQL增加日志統計表優化各種日志表的統計功能
- MySQL單機讀寫QPS(性能)優化
- sqlMode 置 select 的值可以比 group 里的多
- drop、delete、truncate的區別
- 尚硅谷MySQL數據庫高級學習筆記
- MySQL架構
- 事務部分
- MySQL知識點
- mysql索引
- Linux docker安裝 mysql 8.0.25
- docker 安裝mysql 5.7
- mysql Field ‘xxx’ doesn’t have a default value
- mysql多實例
- docker中的sql文件導入
- mysql進階知識
- mysql字符集
- 連接的原理
- redo日志
- InnoDB存儲引擎
- InnoDB的數據存儲結構
- B+樹索引
- 文件系統-表空間
- Buffer Pool
- 億級數據導入到es
- MySQL數據復制
- MySQL缺少主鍵的表數據
- mysql update 其中更新的字段根據另一個更新字段作為條件去更新
- MySQL指定字段值排序(將指定值排在前面)
- 設置MySQL連接數、時區
- Navicat15右鍵刪除數據刷新就又恢復了
- MySQL替換字段部分內容
- Java和MySQL統計本周本月本季和年
- 分頁時order by 排序數據重復,丟失
- mysql同一張表根據某個字段刪除重復數據
- mysqldump定時全量熱備
- 專題總結
- 事務
- MySQL事務
- spring事務
- spring事務本類調用
- spring事務傳播行為
- spring事務失效問題
- 鎖和Transactional注解一塊使用的問題
- 數據安全
- 敏感數據
- SQL注入
- 數據源
- XSS
- 接口設計
- 緩存設計
- 限流
- 自定義注解實現根據用戶做QPS限流
- 架構
- 高可用
- Java
- Unsatisfied dependency expressed through field ‘baseMapper‘
- mybatisplus多數據源
- 單個字母前綴的java變量
- spring
- spring循環依賴解決
- 事務@Transactional
- yml 文件配置信息綁定到java工具類的靜態變量上
- @Configuration @Component 區別
- springboot啟動yml文件報錯
- spring方法重試注解Retryable
- spring讀取yml集合數據
- spring自定義注解
- 獲取resource下的圖片資源
- 手機號和電話號的正則驗證
- 獲取字符串中的數字
- mybatis
- mybatis多參數添加數據并返回主鍵
- 統一異常處理
- 分組校驗
- Java讀取Python json.dumps 函數保存的redis數據
- springboot整合springCache
- 若依mybatis值為null的字段沒有返回
- 若依
- 接口白名單
- @JsonFormat時區問題
- RequestParam.value() was empty on parameter 0
- jdk8和hutool請求第三方的https報錯
- springMVC
- springMVC與vue使用post傳數組
- elementUI 時間組件報錯問題
- vue具名插槽slot
- springboot配置maven的profiles(配置微服務多環境切換打包)
- resources 配置文件讀取順序
- Windows的cmd部署jar注意事項
- Java基礎
- JUC(鎖-并發-線程池)
- CAS
- Java 鎖簡介
- synchronized和Logk有什么區別?用新的ock有什么好處
- synchronized鎖介紹
- CompletableFuture
- 多線程
- 線程池
- 集合類
- map見過的小問題
- 退出雙層循環
- StringBuilder和StringBuffer核心區別
- 日志打印
- 打印log日志
- log日志文件生成配置
- 日期時間
- 時間戳轉為時間
- 并發工具
- 連接池
- http調用
- 內網訪問天地圖
- 判等問題
- 數值計算
- null問題
- 異常處理
- 文件IO
- 序列化
- 內存溢出OOM
- Double轉String出現E的問題
- springboot接收前端表單提交多字段和上傳文件
- 子線程的錯誤, 全局異常處理捕獲不到
- vue同一個項目訪問多個不同ip地址接口
- Autowired注解導入為null
- shiro
- UnavailableSecurityManagerException錯誤
- Windows服務器80端口被占用
- java圖片增加水印
- springcloud
- Feign方法配置錯誤導致jar包啟動失敗
- feign調用超時
- Springcloud從Nacos的yml文件讀取出錯
- 定時任務quartz
- JavaPOI導出Excel
- 合并行和列
- 設置樣式
- 設置背景色
- docker
- Linux 安裝
- docker命令
- docker網絡
- docker數據卷
- dockerfile
- docker安裝ping命令
- docker-compose
- docker-compose文件內容介紹
- Linux關閉docker開機啟動
- jar打包為鏡像
- 遷移docker容器存儲位置
- Nginx
- Linux在線安裝Nginx
- nginx.conf 核心配置文件
- vue 和 nginx 刷新頁面會報404
- nginx 轉發給三個集群的tomcat
- ServerName匹配規則
- Nginx負載均衡策略
- location 匹配規則
- Nginx 搭建前端調用后臺接口的集群
- alias與root
- nginx 攔截 post 請求, 帶參數轉發到前端頁面
- 防盜鏈配置
- Nginx的緩存
- 通用Nginx配置
- nginx配置文件服務器
- 后臺jar包得不到正確ip,nginx代理時要處理
- 升級使用websocket協議
- 設置IP黑/白名單
- vue項目get請求Nginx返回html頁面post返回405錯誤
- Nginx限制所有接口流量
- Redis
- 緩存數據一致性
- 內存淘汰策略
- Redis數據類型
- gmt6
- Linux安裝GMT6
- GMT6配置中文
- GMT文件修改Windows版本到Linux版本
- 注意GMT不同字體導致符號不同的問題
- GMT繪制南海諸島小圖
- GMT生成中文圖例
- elasticsearch
- 安裝配置
- Linux安裝配置elasticsearch7.6.2
- Linux 安裝 kibana 7.6.2
- 安裝7.6.2中文分詞器
- docker 安裝elasticsearch7.6.2
- 安裝Logback7.6.2
- springboot使用
- 0. elasticsearch賬號密碼模式訪問
- 1. 配置連接
- 2. 索引
- 3. 批量保存更新
- Result window is too large 10000
- elasticsearch 分詞的字段做排序 fielddata, 設置fielddata=true 無效果
- elasticsearch 完全匹配查詢(精確查詢)
- 模糊搜索
- 日期區間查詢
- 6.x基礎知識
- 自定義詞庫
- elasticsearch集群
- 搜索推薦Suggester
- 查詢es保存的數組
- 億級mysql數據導入到es
- es 報錯 ORBIDDEN/12/index read-only
- es核心概念
- es的分布式架構原理
- 優化大數據量時的ES查詢性能
- canal
- 1. mysql的Binlog
- 2. Canal 的工作原理
- 3. canal同步es
- JVM
- 1 類的字節碼
- 2. 類的加載
- JVM知識點
- Maven
- 依賴沖突
- xxl-job
- docker 安裝配置 xxl-job
- idea
- springboot啟動報錯命令過長
- services統一啟動微服務各模塊
- 云服務器安裝寶塔面板
- 突然出現啟動或者運行特別慢
- 有導入依賴但是顯示紅色同時點擊進去也有依賴
- Linux
- sh文件執行報錯: command not found
- 使用vagrant安裝虛擬機
- Linux 開啟端口
- 開放端口
- 復制文件夾及其文件到另一個文件夾
- 兩個服務器之間映射端口
- TCP協議
- 分層模型
- TCP概述
- 支撐 TCP 協議的基石 —— 首部字段
- 數據包大小對網絡的影響 —— MTU 與 MSS 的奧秘
- 端口號
- 三次握手
- TCP 自連接
- 四次揮手
- TCP 頭部時間戳
- 分布式
- 分布式腦裂問題
- 分布式事務
- 基礎知識
- 實現分布式事務的方案
- 阿里分布式事務中間件seata
- 冪等性問題
- 其他工具
- webstorm git提交代碼后project目錄樹不顯示
- 消息隊列
- 如何保證消費的順序
- 數據結構
- 漫畫算法:小灰的算法之旅
- oracle