原文地址:https://developer.piwik.org/guides/persistence-and-the-mysql-backend
> 此文中的內容和《Piwik數據庫模式(二)》中相互參照
### 數據庫模式
Piwik堅持兩種主要的數據類型:
- 日志數據:Piwik在跟蹤器中收到的原始分析數據
- 歸檔數據:被緩存并用于構建報告的聚合分析數據(由日志數據構建)
派維克還堅持其他更簡單的數據形式,包括:
- 網站
- 用戶
- 目標
- 選項
#### 日志數據
有四種類型的日志數據:
- 訪問
- 動作類型
- 轉換
- 電子商務項目
所有日志數據都以類似的方式持久存儲:新數據不斷添加到集合中,而不是訪問,更新不存在。
訪問數據在活動時更新。所以直到訪問結束,Piwik可能會嘗試更新它。
計算分析數據時讀取日志數據,有時會刪除舊數據(通過數據清除功能)。
后端必須確保插入新的日志數據盡可能快,并且聚合日志數據不會太慢(盡管顯然更快更好)。
#### 訪問
訪問記錄存儲在log_visit表中。
每次訪問都包含以下信息:
```shell
idsite:被跟蹤的網站的ID
idvisitor:訪客ID(8字節二進制字符串)
visitor_localtime:訪問日期時間在訪客的時間
visitor_returning訪問是否是訪問者的第一次訪問
visitor_count_visits:訪問者對此的訪問次數
visitor_days_since_last:自此訪問者上次訪問以來的天數(如果有)
visitor_days_since_order:自此訪客上次訂單以來的天數(如果有)
visitor_days_since_first:訪客首次訪問以來的天數
visit_first_action_time:訪問的第一個動作的日期時間
visit_last_action_time:訪問的最后一個操作的日期時間
visit_exit_idaction_url:訪問的最后一個操作的URL操作類型的ID
visit_exit_idaction_name:訪問的最后一個操作的頁面標題操作類型的ID
visit_entry_idaction_url:訪問的第一個操作的URL操作類型的ID
visit_entry_idaction_name:此訪問的第一個操作的頁面標題操作類型的ID
visit_total_actions:在這次訪問期間執行的行動計數
visit_total_searches:在此訪問期間執行的站點搜索的計數
visit_total_events:在此訪問期間執行的自定義事件的計數
visit_total_time:訪問總時間
visit_goal_converted:這次訪問是否改變了目標?
visit_goal_buyer訪客是否在這次訪問期間點了點東西
referer_type:該訪問者的引薦來源的類型。可以是以下值之一:
Common :: REFERRER_TYPE_DIRECT_ENTRY = 1:如果設置為此值,其他referer_...字段沒有意義。
Common :: REFERRER_TYPE_SEARCH_ENGINE = 2:如果設置為此值,referer_url則是搜索引擎的URL,并且referer_keyword是使用的關鍵字(如果我們可以找到它)。
Common :: REFERRER_TYPE_WEBSITE = 3:如果設置為該值,referer_url則是網站的URL。
Common :: REFERRER_TYPE_CAMPAIGN = 6:如果設置為此值,referer_name則是廣告系列的名稱。
referer_name: 推薦人姓名; 其含義取決于具體的引用者類型
referer_url:引薦來源網址 其含義取決于具體的引用者類型
referer_keyword:如果搜索引擎是引薦來源,則使用關鍵字
config_id:所有訪問的配置選項的哈希值,包括操作系統,瀏覽器名稱,瀏覽器版本,瀏覽器語言,IP地址和所有瀏覽器插件信息
config_os:用于識別用于進行此次訪問的操作系統的短字符串。有關詳細信息,請參閱設備檢測器
config_browser_name:用于標識用于進行此次訪問的瀏覽器的短字符串。有關詳細信息,請參閱設備檢測器
config_browser_version:用于標識用于進行此次訪問的瀏覽器版本的字符串
config_resolution:一個字符串,用于標識訪問者用來進行訪問的屏幕分辨率(例如,'1024x768')
config_pdf:訪問者的瀏覽器是否可以查看PDF文件
config_flash訪問者的瀏覽器是否可以查看Flash文件
config_java:訪問者的瀏覽器是否可以運行Java
config_director:
config_quicktime:訪問者的瀏覽器是否使用quicktime來播放媒體文件
config_realplayer:訪問者的瀏覽器是否可以播放realplayer媒體文件
config_windowsmedia訪問者的瀏覽器是否使用Windows媒體播放器播放媒體文件
config_gears:
config_silverlight:訪問者的瀏覽器是否可以運行silverlight程序
config_cookie:訪問者的瀏覽器是否啟用了Cookie
location_ip:訪問的計算機的IP地址。可以匿名化
location_browser_lang描述訪問者瀏覽器中使用的語言的字符串
location_country描述訪問者在訪問該網站時所在國家的兩個字符的字符串。由UserCountry插件設置。
location_region:描述訪問者所在國家/地區的兩個字符串。由UserCountry插件設置。
location_city:訪問訪問者訪問該網站時,命名城市的字符串。由UserCountry插件設置。
location_latitude:訪問者訪問該網站時的緯度。由UserCountry插件設置。
location_longitude訪問者訪問該網站時的經度。由UserCountry插件設置。
custom_var_k1:訪問自定義變量名稱在第一個插槽中訪問自定義變量。
custom_var_v1:訪問自定義變量值在第一個插槽中訪問自定義變量。
custom_var_k2:訪問自定義變量名稱在第二個插槽中訪問自定義變量。
custom_var_v2:訪問自定義變量值在第二個插槽中訪問自定義變量。
custom_var_k3:訪問自定義變量名稱在第三個插槽中訪問自定義變量。
custom_var_v3:訪問自定義變量值在第三個插槽中訪問自定義變量。
custom_var_k4:訪問自定義變量名稱在第四個插槽中訪問自定義變量。
custom_var_v4:訪問自定義變量值在第四個插槽中訪問自定義變量。
custom_var_k5:訪問自定義變量名稱在第五個插槽中訪問自定義變量。
custom_var_v5:訪問自定義變量值在第五個插槽中訪問自定義變量。
```
一些插件(如提供者插件)會向訪問添加新信息。
##### 表詳細信息
index_idsite_config_datetime當嘗試識別返回的訪問者時,使用該索引。
在index_idsite_datetime聚合時訪問使用索引。由于日志聚合僅在個別日期發生,因此該指數可幫助Piwik快速查找網站和期間的訪問。沒有它,日志聚合將需要通過整個log_visit表進行表掃描。
#### 訪問操作
訪問還包含一個操作列表,一個訪問者在訪問期間進行的每個操作。那些存儲在log_link_visit_action表中。
訪問操作包含以下信息:
```shell
server_time:UTC時區跟蹤操作的日期時間
idaction_url:此操作的URL操作類型的ID
idaction_url_ref:訪問中上一個操作的URL操作類型的ID
idaction_name:此操作的頁面標題操作類型的ID
idaction_name_ref:訪問中上一個操作的頁面標題操作類型的ID
time_spent_ref_action:做上一次動作花費的時間
custom_var_k1:頁面自定義變量的第一個插槽的自定義變量名稱
custom_var_v1:頁面自定義變量的第一個插槽的自定義變量值
custom_var_k2:頁面自定義變量的第二個插槽的自定義變量名稱
custom_var_v2:頁面自定義變量的第二個插槽的自定義變量值
custom_var_k3:頁面自定義變量的第三個插槽的自定義變量名稱
custom_var_v3:頁面自定義變量的第三個插槽的自定義變量值
custom_var_k4:頁面自定義變量的第四個插槽的自定義變量名稱
custom_var_v4:頁面自定義變量的第四個插槽的自定義變量值
custom_var_k5:頁面自定義變量的插槽的自定義變量名稱
custom_var_v5:頁面自定義變量的插槽的自定義變量值
custom_float:一個未指定的浮動字段,通常用于保留服務器服務此操作所需的時間
```
##### 表詳細信息
在idsite與idvisitor列從訪問行為的相關訪問,以避免加入log_visit表在某些情況下被復制。
該index_idvisit指數允許Piwik快速查詢訪問行為以進行訪問。
該index_idsite_servertime聚合訪問的操作時使用索引。它允許快速訪問在特定時間段內為特定網站跟蹤的訪問操作,并允許我們避免在整個表中進行表掃描。
#### 動作類型
操作類型,如特定的URL或頁面標題,以及訪問。這種分析可以導致對例如哪些頁面比其他訪問者更相關的了解。
當Piwik遇到新的動作類型時,會持續存在一個新的動作類型實體。
操作類型將保留在log_action表中,并包含以下信息:
```shell
name:描述動作類型的字符串。可以是網址,網頁標題,廣告系列名稱或其他內容。意義由type字段決定。
hash:使用名稱計算的哈希值。
type:動作類型的類別。可以是以下值之一:
Piwik \ Tracker \ Action :: TYPE_PAGE_URL = 1:該操作是要跟蹤的網站上的頁面的URL。
Piwik \ Tracker \ Action :: TYPE_OUTLINK = 2:該操作是一個URL是正在跟蹤的網站上的一個鏈接。訪客點擊了它。
Piwik \ Tracker \ Action :: TYPE_DOWNLOAD = 3:該操作是從要跟蹤的網站下載的文件的URL。
Piwik \ Tracker \ Action :: TYPE_PAGE_TITLE = 4:操作是正在跟蹤的網站上的頁面的頁面標題。
Piwik \ Tracker \ Action :: TYPE_ECOMMERCE_ITEM_SKU = 5:該操作是網站上銷售的電子商務項目的SKU。
Piwik \ Tracker \ Action :: TYPE_ECOMMERCE_ITEM_NAME = 6:該操作是在該網站上銷售的電子商務項目的名稱。
Piwik \ Tracker \ Action :: TYPE_ECOMMERCE_ITEM_CATEGORY = 7:該操作是網站上使用的電子商務項目類別的名稱。
Piwik \ Tracker \ Action :: TYPE_SITE_SEARCH = 8:操作類型是站點搜索操作。
Piwik \ Tracker \ Action :: TYPE_EVENT_CATEGORY = 10:操作是事件類別(請參閱跟蹤事件用戶指南)
Piwik \ Tracker \ Action :: TYPE_EVENT_ACTION = 11:操作是事件類別
Piwik \ Tracker \ Action :: TYPE_EVENT_NAME = 12:該操作是一個事件名稱
Piwik \ Tracker \ Action :: TYPE_CONTENT_NAME = 13:操作是內容名稱(請參閱內容跟蹤用戶指南和開發人員指南)
Piwik \ Tracker \ Action :: TYPE_CONTENT_PIECE = 14:動作是內容片段
Piwik \ Tracker \ Action :: TYPE_CONTENT_TARGET = 15:動作是內容目標
Piwik \ Tracker \ Action :: TYPE_CONTENT_INTERACTION = 16:操作是內容交互
url_prefix:如果這個名字是一個URL,那么這個URL是前綴。前綴從實際URL中刪除,因此協議和www。在分析過程中會忽略URL的一部分。可以是以下值:
0: 'http://'
1: 'http://www.'
2: 'https://'
3: 'https://www.'
```
##### 表詳細信息
該index_type_hash指數追蹤發現現有的操作類型時使用。
#### 轉換
跟蹤與目標的轉化參數匹配的訪問操作時,將創建轉換并持久化。一個轉換是一個計數器,計數您的訪問者之一所需的行動。派維克將分析這些結果,并結合造成他們的行為,以幫助派維克用戶了解如何讓訪問者采取更多的期望行動。
轉換存儲在log_conversion表中,并包含以下信息:
```shell
idvisit:導致此轉換的訪問ID
idsite:該轉換的網站的ID
idvisitor:導致此轉換的訪問者的ID
server_time:UTC時區中的轉換的日期時間
idaction_url:導致此轉換的訪問操作的URL操作類型的ID
idlink_va:導致此轉換的具體訪問操作的ID
referer_visit_server_date:
url:導致該轉換被跟蹤的網址
idgoal:此轉換的目標ID
idorder:如果此轉換是用于電子商務訂單或已放棄的購物車,則這將是訂單的ID
items:如果此轉換是用于電子商務訂單或已放棄的購物車,則這將是訂單/購物車中的商品數量
revenue:如果此轉換是用于電子商務訂單或已放棄的購物車,則這是訂單產生的總收入
revenue_subtotal:如果此轉換是用于電子商務訂單或已放棄的購物車,則這是訂單/購物車中的商品的總成本
revenue_tax:如果此轉換是用于電子商務訂單或已放棄的購物車,則這是應用于訂單/購物車中的商品的總稅額
revenue_shipping:如果此轉換是用于電子商務訂單或已放棄的購物車,則這是總運費成本
revenue_discount:如果此轉換是用于電子商務訂單或已放棄的購物車,則這是訂單應用的總折扣
```
##### 表詳細信息
存儲在上表中未列出的所有額外信息都將從此轉換所用的訪問實體復制。這允許我們log_visit在某些情況下避免加入表。
的index_idsite_datetime聚合轉化率時使用索引。它可以快速訪問在特定時間段內為特定網站跟蹤的轉化,并允許我們避免在整個表格中進行表掃描。
#### 電子商務項目(又名轉換項目)
電子商務項目是以電子商務訂單出售或在廢棄購物車中放棄的商品。
電子商務項目存儲在log_conversion_item表格中,并包含以下信息:
```shell
server_time:
idorder:該電子商務項目的一部分的訂單ID
idaction_sku:包含項目的SKU的動作類型實體的ID
idaction_name:包含電子商務項目名稱的操作類型實體的ID
idaction_category:包含此電子商務項目類別的操作類型實體的ID
idaction_category2:包含此電子商務項目類別的操作類型實體的ID
idaction_category3:包含此電子商務項目類別的操作類型實體的ID
idaction_category4:包含此電子商務項目類別的操作類型實體的ID
idaction_category5:包含此電子商務項目類別的操作類型實體的ID
price:這個個人電子商務項目的價格
quantity:相關電子商務訂單中存在的該項目的金額
deleted:該項目是否從訂單中移除
```
##### 表詳細信息
的idsite,idvisitor,server_time和idvisit列從這個電子商務項目所屬的轉換實體復制。它們被復制,所以我們可以聚合電子商務項目而不必加入其他表。
該index_idsite_servertime索引用于匯總電子商務項目。它允許快速訪問特定網站跟蹤的項目,并在特定時間段內讓我們避免在整個表格中進行表格掃描。
#### 歸檔數據
存檔數據由指標和報告組成。度量是數值,并按原樣存儲。報表存儲在DataTable實例中,并作為壓縮的二進制字符串持久化。
歸檔數據與網站ID,期間和段以及數據的識別名稱相關聯。所有歸檔數據將通過此信息進行多次查詢。目前,該段被散列并附加到度量名稱的末尾。存檔數據也隨著當前的日期和時間而持續存在,因此可以知道某些數據的多少。
所有歸檔數據將包含以下信息:
```shell
idarchive:與使用相同網站ID,期間和細分存檔的所有檔案數據共享的ID。
name:報告或指標的名稱。如果使用段,則將該段的哈希附加到該名稱。
idsite:該歸檔數據所在網站的ID。
date1:此歸檔數據所用期間的第一個日期。
date2:此歸檔數據所用期間的最后日期。
period:此歸檔數據所用的期間類型。可以是以下值之一:
1:天。
2:為一周時間。
3:月份。
4:年期
5:范圍期間。
ts_archived:datetime存檔數據被緩存。
value:數值(用于度量)或二進制字符串(用于報表)。
```
##### 表詳細信息
存檔數據存儲在以月份分區的表中,并且自動創建丟失的表。2012年1月以來的匯總訪問報告將與2012年2月以來的總體訪問報告不同。
Piwik創建兩種類型的歸檔表,一種用于每種類型的歸檔數據。該archive_numeric表存儲度量數據和archive_blob表存儲報表數據。表格以年份和月份為后綴:例如archive_numeric2012年1月的表格將被命名archive_numeric_2012_01。
在archive_numeric表中:
所述index_idsite_dates_period查詢檔案數據時使用索引。它允許Piwik快速查詢任何站點和期間的歸檔數據,以及在特定日期時間歸檔的數據。
清除歸檔數據index_period_archived時使用該索引。它允許Piwik在特定時期內快速查找歸檔數據,該時間段已足夠清除。
在archive_blob表中:
index_period_archived索引的使用方式與archive_numeric表中的索引相同
archive_blob表沒有一個索引,可以快速查詢按網站,期間和歸檔日期的行。這是因為不應該這樣查詢。相反,archive_numeric應該查詢表并idarchive保存值。這些值可用于查詢archive_blob表中的數據。
#### 其他數據
##### 網站(又名網站)
網站實體包含有關跟蹤訪問的網站的信息。這些訪問和歸檔數據條目中不會有這么多,但會經常查詢。
每個報告請求(通過Reporting API或通過Piwik的UI)將查詢一個或多個站點實體。如果需要更新跟蹤器緩存,跟蹤器將僅查詢站點數據。對于大多數跟蹤請求,不會查詢站點數據(從而導致跟蹤器的更高性能)。
站點實體存儲在site表中,并包含以下信息:
```shell
idsite:網站的唯一ID。
name:網站的名稱。
main_url訪問者訪問網站的主要網址。
ts_created:網站實體持續的日期和時間。
ecommerce:1如果該網站是電子商務網站,0如果沒有。
sitesearch:1如果網站包含內部搜索功能,0如果沒有。
sitesearch_keyword_parameters:網站使用的查詢參數來保存內部網站搜索關鍵字。這是一個逗號分隔的列表。
sitesearch_category_parameters:站點使用的查詢參數來保存內部站點搜索類別。這是一個逗號分隔的列表。
timezone:網站的時區。
currency:網站使用的貨幣。僅當該網站是電子商務網站時才有效。
excluded_ips:以逗號分隔的IP地址或IP地址范圍列表。來自這些IP地址之一的訪問將不會被跟蹤到本網站。
excluded_parameters:用逗號分隔的查詢參數名稱列表。在訪問和操作被跟蹤之前,這些查詢參數將從頁面URL中刪除。
excluded_user_agents:用逗號分隔的字符串列表。使用包含其中一個字符串的用戶代理的訪問將不會被跟蹤到本網站。
group:
keep_url_fragment:1如果URL片段(除了之后的所有內容#)應該保存在跟蹤動作的URL中,0否則。
```
站點實體還包含可用于訪問網站的額外URL的列表。這些不存儲在站點實體本身中:它們存儲在site_url表中。
站點實體數據訪問主要通過Piwik \ Site類進行。通過該類無法查詢的任何內容都可以通過SitesManager核心插件進行查詢。
#### 目標
每個網站都有可選的目標列表。目標是網站訪問者應該采取的所需行動。
目標存儲在goal表中,并包含以下信息:
```shell
idsite:該目標所屬網站的ID。
idgoal:該目標的身份證明(僅針對本網站的目標)。
name:這個目標的名字。
match_attribute:描述當轉換目標時應該匹配哪個請求的字符串。可以是以下值之一:
manually:目標是通過手動轉換請求進行轉換。
url:目標是根據操作網址包含的內容進行轉換的。
title:根據動作頁面標題所包含的內容轉換目標。
file:根據下載文件的文件名包含的目標進行轉換。
external_website:根據outlink的URL包含的目標進行轉換。
pattern:檢查目標是否轉換時使用的模式。
pattern_type:當檢查目標是否被轉換時使用的模式匹配的類型。
contains:如果匹配屬性包含模式,則轉換目標。
exact:如果match屬性等于模式,則轉換目標。
regex:如果match屬性是與模式的正則表達式匹配,則轉換目標。
case_sensitive:1如果匹配應該區分大小寫,0否則。
allow_multiple:1如果允許每次訪問允許多次轉換,0否則。
revenue:轉換產生的收入金額(如果有的話)。
deleted:1如果這個目標被Piwik用戶刪除,0否則。
```
注意:電子商務和放棄的購物車目標是兩個特殊ID的特殊目標。電子商務網站自動實現這些目標。
##### 用戶
用戶實體描述超級用戶以外的每個Piwik用戶。他們堅持在users桌子里。
以下信息存儲在用戶實體中:
```shell
login:他的用戶登錄手柄。
password':用戶密碼的哈希。
alias:用戶的別名(如果有)。在UI中尋址用戶時,將顯示該值而不是登錄句柄。
email:用戶的電子郵件地址。
token_auth:用戶的令牌驗證。
date_registered:用戶數據持續的日期。
```
每個UI和Reporting API請求都讀取用戶數據。
有一些用戶相關信息不直接存儲在用戶實體中。他們描述如下:
##### 用戶權限
用戶可以被允許和不允許訪問網站。Piwik可以在access表中訪問每個網站的每個用戶的訪問級別。
要了解更多信息,請閱讀權限指南。
##### 用戶語言選擇
Piwik還將堅持每個用戶的選擇語言。用戶登錄與語言的名稱相關聯(用所選語言寫成而不是英語)。
該關聯和持久性邏輯由LanguagesManager插件實現。
##### 選項
選項是鍵值對,其中鍵是一個字符串,該值是另一個字符串(可能更大,也可能是二進制)。每個UI和Reporting API請求都會查詢它們。跟蹤器將緩存相關選項值,因此只有當緩存需要更新時才會查詢選項。
每個非追蹤請求都應加載一些選項。這些選項有一個特殊的自動加載屬性設置為1
- 獻給樂于奉獻的你
- 一、工作感悟
- 1.1 工作感悟
- 1.2 數據庫工作總結
- 二、運維專題(非技術)
- 2.1 公有云運維
- 2.1.1 阿里云采坑記.md
- 三、運維專題(技術類)
- 3.1 Linux(操作系統)
- 3.1.1 常見工作總結
- 3.1.2 常見服務使用和部署
- 3.1.3 操作系統優化
- 3.1.4 常用命令(Centos8)
- 3.2 Docker & K8s(容器技術)
- 3.2.1 Docker
- 1. Docker
- 1-1 容器基礎
- 1-2 部署和加速
- 1-3 常用命令
- 1-4 Dockerfile編寫
- 1-5 容器網絡
- 1-6 數據持久化
- 2. docker-compose
- 2-1 基礎
- 3.2.2 kubernetes
- 1. 導讀-請先看我
- 2. kubeadm部署集群
- 1-1 k8s-1.14-基于calico
- 1-2 k8s-1.17-基于flanne
- 3. 二進制部署集群
- 4. 日常工作及故障處理
- 4-1 常用命令
- 4-2 故障處理
- 3.2.3 依賴服務部署
- 1. Harbor(鏡像倉庫)
- 1-1 harbor-2.1.0(單節點)
- 3.3 CICD(持續集成/部署)
- 3.3.1 GitLab
- 1. 服務部署
- 1-1 Gitlab-CE-13.3.4(單節點)
- 2. Git基礎
- 3.3.2 Ansible
- 1. 服務部署
- 1-2 ansible-2.5(pip部署)
- 3. ansible-playbook
- 3-1 基于Roles的Playbook
- 3-3 循環語法
- 3.3.3 Jnekins
- 1. Jenkins部署
- 1-1 Jenkins-2.65部署
- 1-2 Jenkins-2.249部署
- 2. Jenkins項目初始化
- 3. Jenkins集成
- 3-1 Jenkins-2.65集成Sonar
- 3.4 LB/HA(負載均衡,反向代理)
- 3.4.1 LVS+Keepalive
- 1. LVS為MySQL讀提供負載均衡
- 3.4.2 Pacemaker(HA)
- 1. 常用命令(轉)
- 3.5 Runtime(代碼運行環境)
- 3.5.1 Tomcat(Web中間件)
- 1. Tomcat部署手冊
- 1-1 Tomcat-7.0.76部署
- 2. Tomcat常用腳本
- 3.6 NoSQL(非關系型數據庫)
- 3.6.1 redis(非關系數據庫)
- 1. Redis 基礎
- 2. Redis 4.0變化
- 3. Codis實現Redis的集群
- 4. Redis故障處理
- 5. redis安全第一步
- 6. Redis集群搭建
- 7. CacheCloud部署
- 3.6.1 Redis挑戰
- 3.6.2 MongoDB(文檔數據庫)
- 1. Mongodb基礎
- 1-1 Mongodb4.0新特性
- 1-2 支持多大數據量
- 2. Mongodb安裝
- 2-1 Mac OS安裝Mongodb
- 2-2 Yum安裝Mongodb
- 2-3 二進制安裝Mongodb
- 2-4 docker容器安裝Mongodb
- 2-5 Mongodb 配置文件詳解
- 2-6 Mongodb 生產安全清單
- 2-7 用戶身份認證和授權
- 3. Mongodb副本集
- 3-1 副本集搭建
- 3-2 用戶身份認證與授權
- 4. 日常維護工作
- 4-1 Mongodb磁盤回收
- 4-2 Mongodb備份恢復到任意時間點
- 4-3 Mongodb慢查詢分析
- 4-4 Mongodb版本升級
- 4-5 Mongodb副本集成員狀態
- 4-6 Mongodb備份恢復工具使用
- 4-7 Mongodb服務啟動和停止
- 4-8 修改副本集成員oplog大小
- 4-9 Mongodb 副本集Oplog
- 3.7 MQ(消息隊列)
- 3.7.1 Zookeeper(分布式協調系統)
- 1. ZooKeeper基礎
- 2. ZooKeeper集群搭建
- 2-1 ZK-3.4.10部署
- 3.2 RabbitMQ(消息隊列)
- 1. 服務部署
- 1-1 RabbitMQ-3.8部署
- 2. 常用命令
- 3.8 Monitor(數據收集,監控)
- 3.8.1 Zabbix(運維監控)
- 1. 服務部署
- 1-1 服務端部署
- 1-2 客戶端部署
- 2. 監控服務
- 2-1 監控Apache
- 2-2 監控IIS
- 2-3 監控Ningx
- 2-4 監控Tomcat(6/7/8)
- 2-5 監控WebSphere 7
- 2-6 監控MySQL
- 2-7 監控Oracle
- 2-8 監控SQL Servre
- 2-9 監控Weblogic
- 2-10 監控Windows
- 2-11 自定義監控項
- 3. 告警推送
- 3-1 郵件告警
- 3-2 短信告警
- 3-3 告警推到Syslog
- 4. 日常工作
- 4-1 數據庫優化(TokuDB)
- 4-2 數據庫優化(分區表)
- 4-3 前端定制(Grafana)
- 5. 與Grafana結合
- 3.8.2 ELKBstack(日志收集展示)
- 1. 服務部署
- 1-1 ELK 5.5部署及配置
- 1-1-1 ELKBstack介紹
- 1-1-2 Elasticsearch部署
- 1-1-3 Logstash部署
- 1-1-4 Kibana部署
- 1-1-5 X-pack部署
- 1-1-6 Filebeat部署
- 2. ELK高級配置
- 1. Elasticsearch實戰
- 2. Logstash實戰
- 3. Filebeat實戰
- 5. 引入隊列
- 3.9 Virtualization(虛擬化)
- 3.10 Basic(基礎服務)
- 3.10.1 Piwik-Matomo(用戶行為分析)
- 1. Piwik前期分析
- 2. Piwik介紹和部署
- 2-1 Piwik-3.x版本(早期)
- 3. Piwik 功能配置
- 4. Piwik 模擬數據和壓測
- 5. Piwik運轉原理
- 6. Piwik數據庫模式(一)
- 6-1 第一部分
- 6-2 第二部分
- 3.10.2 Cobbler(系統自動部署)
- 1. Cobbler 可以干什么?
- 2. Cobbler 基礎原理
- 3. Cobbler 安裝
- 3-1 Cobbler-2.8部署
- 4. Cobbler 基礎配置
- 5. Cobbler 配置文件
- 6. 一鍵優化腳本
- 3.10.3 Rsync(數據同步服務)
- 1. Rsync基礎
- 2. 案例:頁面部署(服務端拉取)
- 3.10.4 NFS(共享存儲)
- 1. NFS部署手冊
- 2. 客戶端NFS備份腳本
- 3.10.5 Grafana(可視化)
- 1. 安裝(8.2.x)
- 3.11 Tools(軟件工具)
- 3.11.1 基準測試
- 1. 基準測試方法論
- 2. 壓測工具 - Siege
- 3. 壓測工具 - http_load
- 3.12 DB(關系型數據庫)
- 3.12.1 MySQL(關系數據庫)
- 1. MySQL部署
- 1-1 MySQL-5.7部署
- 1-2 Percona-5.7 + TokuDB 部署
- 2. MySQL復制
- 2-1 MySQL異步復制
- 3. MySQL備份恢復
- 3-1 xtrabackup 備份恢復
- 4. MySQL 高可用
- 4-1 MHA(HA)
- 4-1-1 MHA 架構介紹和原理
- 4-1-2 MHA日常管理
- 4-1-3 MHA 自動Failover
- 4-1-4 MHA常用參數
- 4-1-5 MHA 報錯
- 4-1-6 MHA相關配置文件和腳本
- 4-2 MyCAT
- 4-2-1 MyCAT 介紹和部署
- 4-1-3 MyCAT讀寫分離案例解析
- 5. MySQL 常用腳本
- 5-1 MySQL常用統計語句
- 5-2 MySQL性能分析腳本
- 6. MySQL 日常及故障處理
- 6-1 MySQL死鎖排查
- 6-2 復制故障
- 6-3 MySQL 升級注意事項
- 6-3 MySQL授權
- 3.12.2 Oracle(關系數據庫)
- 1. Oracle部署
- 1-1 Oracle11g單實例部署
- 1-2 Oracle12c單實例部署
- 2. Oracle常用腳本
- 3. Oracle 知識點
- 六、Ansible開源項目
- 6.1 項目初始化手冊
- 6.1.1 Ansible錯誤處理
- 6.1.2 一種預先判斷是否操作的方法
- 6.2 System初始化
- 6.3 Nginx/Tnginx部署
- 6.4 Python部署
- 6.5 PHP部署
- 6.6 MySQL部署
- 6.7 Docker部署
- 6.8 Haproxy部署
- 6.9 Redis部署
- 1. 變量和tags信息
- 3. Redis主從部署
- 4. Redis集群部署
- 5. 清理數據
- 6.10 Software軟件部署
- 6.11 Zabbix部署
- 6.12 Elastic部署
- 6.13 Tomcat
- 6.14 Kafka部署
- 6.15 Zookeeper部署
- 6.16 Etcd集群部署
- 6.17 M3DB部署
- 6.18 Pormetheus部署
- 七、學習資源推薦
- 八、從瞎搞到放棄
- 8.1 CodeQL(語義代碼分析引擎)
- 8.1.1 背景及計劃
- 8.1.2 CodeQL概述
- 8.1.3 簡單部署和使用
- 8.1.4 后續
- 8.2 dbdeployer(輕松部署MySQL)
- 歸檔筆記
- 三、常用服務部署(遷移中)
- 3.4 Nginx & PHP(Web服務)
- 3.4.1 Nginx(Web)
- 1. Nginx基礎和部署
- 2. Nginx 我的一些思考
- 3. Nginx(Web)配置
- 4. Nginx(Proxy)配置
- 5. Nginx日常管理
- 3.4.3 PHP
- 1. PHP 7.1 部署
- 2. PHP5.6 部署
- 4. PHP原理
- 5. PHP 常用模塊
- 二、運維項目實戰(遷移中)
- 2.1 標準化 & 工具化項目
- 2.1.1 系統部署和優化
- 2.1.5 全網日志收集展示平臺項目
- 1. 項目需求
- 2. 整體方案規劃
- 3. 日志收集配置
- 4. 消息緩沖隊列
- 5. 日志處理轉發
- 6. 日志數據展示(待補充)
- 7. ELK安全配置(上)
- 8. ELK安全配置(下)
- 9. 項目總結
- 2.2 高性能Web項目
- 2.2.1 網站需求(完善中)