>[info] 大型分布式類型 **分布式大型網站，目前看主要有幾類：** * 大型門戶，比如網易，新浪等； * SNS網站，比如校內，開心網等； * 電商網站，比如阿里巴巴，京東商城，國美在線，汽車之家等。 * 直播網站，比如虎牙，斗魚等 大型門戶一般是新聞類信息，可以使用CDN，靜態化等方式優化。開心網等交互性比較多，可能會引入 更多的NoSQL，分布式緩存，使用高性能的通信框架等。電商網站具備以上兩類的特點，比如產品詳情 可以采用CDN，靜態化，交互性高的需要采用NoSQL等技術。 ***** **電商網站需求：** * 建立一個全品類的電子商務網站（B2C） * 希望能夠支持3~5年，業務的發展； * 預計3~5年用戶數達到1000萬； * 定期舉辦雙11、雙12、三八男人節等活動； * 擁有成熟的進銷存系統；需要與網站對接； **客戶需求：** * 用戶可以在線購買商品，可以在線支付，也可以貨到付款； * 用戶購買時可以在線與客服溝通； * 用戶收到商品后，可以給商品打分，評價； * 其他的功能參考京東或國美在線等網站。 客戶就是客戶，不會告訴你具體要什么，只會告訴你他想要什么，我們很多時候要引導，挖掘客戶的需 求。好在提供了明確的參考網站。因此，下一步要進行大量的分析，結合行業，以及參考網站，給客戶 提供方案。 >[info] 需求功能矩陣 需求管理傳統的做法，會使用例圖或模塊圖（需求列表）進行需求的描述。這樣做常常忽視掉一個很重 要的需求（非功能需求），因此推薦使用需求功能矩陣，進行需求描述。 **本電商網站的需求矩陣如下：**  >[info] 系統容量預估 **預估步驟：** * 注冊用戶數-->日均UV量-->每日的PV量-->每天的并發量； * 峰值預估：平常量的2~3倍； * 根據并發量（并發，事務數），存儲容量計算系統容量。 根據客戶需求：3~5年用戶數達到1000萬注冊用戶，可以做每秒并發數預估： * 每天的UV為200萬（二八原則）； * 每日每天點擊瀏覽30次； * PV量：200 * 30=6000萬； * 集中訪問量：24 * 0.2=4.8小時會有6000萬 * 0.8=4800萬（二八原則）； * 每分并發量：4.8*60=288分鐘，每分鐘訪問4800/288=16.7萬（約等于）； * 每秒并發量：16.7萬/60=2780（約等于）； * 假設：高峰期為平常值的三倍，則每秒的并發數可以達到8340次。 * 1毫秒=1.3次訪問； **服務器預估：（以PHP舉例）** 按一臺web服務器，支持每秒300個并發計算。平常需要10臺服務器（約等于）；[PHP默認配置是 150]，高峰期需要30臺服務器； ***** **容量預估：70/90原則** 系統CPU一般維持在70%左右的水平，高峰期達到90%的水平，是不浪費資源，并比較穩定的。內存， IO類似。 以上預估僅供參考，因為服務器配置，業務邏輯復雜度等都有影響。在此CPU，硬盤，網絡等不再進行 評估。 >[info] 網站架構分析 **根據以上預估，有幾個問題：** * 需要部署大量的服務器，高峰期計算，可能要部署30臺Web服務器。并且這三十臺服務器，只有秒殺，活動時才會用到，存在大量的浪費。 * 所有的應用部署在同一臺服務器，應用之間耦合嚴重。需要進行垂直切分和水平切分。 * 大量應用存在冗余代碼 * 服務器Session同步耗費大量內存和網絡帶寬 * 數據需要頻繁訪問數據庫，數據庫訪問壓力巨大。 ***** **大型網站一般需要做以下架構優化（優化是架構設計時，就要考慮的，一般從架構/代碼級別解決，調優 主要是簡單參數的調整；如果調優涉及大量代碼改造，就不是調優了，屬于重構）：** * 業務拆分 * 應用集群部署（分布式部署，集群部署和負載均衡） * 多級緩存 * 單點登錄（分布式Session） * 數據庫集群（讀寫分離，分庫分表） * 服務化 * 消息隊列 * 其他技術 >[info] 網站架構優化 ### **1. 業務拆分** * 根據業務屬性進行垂直切分，劃分為產品子系統，購物子系統，支付子系統，評論子系統，客服子 系統，接口子系統（對接如進銷存，短信等外部系統）。 * 根據業務子系統進行等級定義，可分為核心系統和非核心系統。核心系統：產品子系統，購物子系 統，支付子系統；非核心：評論子系統，客服子系統，接口子系統。 * 業務拆分作用：提升為子系統可由專門的團隊和部門負責，專業的人做專業的事，解決模塊之 間耦合以及擴 * 等級定義作用：用于流量突發時，對關鍵應用進行保護，實現優雅降級；保護關鍵應用不受到 影響。   如上圖每個應用單獨部署，核心系統和非核心系統組合部署。 ***** ### **2. 應用集群部署（分布式，集群，負載均衡)** * 分布式部署：將業務拆分后的應用單獨部署，應用直接通過RPC進行遠程通信； * 集群部署：電商網站的高可用要求，每個應用至少部署兩臺服務器進行集群部署； * 負載均衡：是高可用系統必須的，一般應用通過負載均衡實現高可用，分布式服務通過內置的負載 均衡實現高可用，關系型數據庫通過主備方式實現高可用。 **集群部署后架構圖：**  ### **3. 多級緩存** * 緩存按照存放的位置一般可分為兩類本地緩存和分布式緩存。本案例采用二級緩存的方式，進行緩存的 設計。一級緩存為本地緩存，二級緩存為分布式緩存。（還有頁面緩存，片段緩存等，那是更細粒度的 劃分） * 一級緩存，緩存數據字典，和常用熱點數據等基本不可變/有規則變化的信息，二級緩存緩存需要的所 有緩存。當一級緩存過期或不可用時，訪問二級緩存的數據。如果二級緩存也沒有，則訪問數據庫。 **緩存的比例，一般1:4，即可考慮使用緩存。（理論上是1:2即可）。**  **根據業務特性可使用以下緩存過期策略：** * 緩存自動過期； * 緩存觸發過期； ### **4. 單點登錄（分布式Session）** * 系統分割為多個子系統，獨立部署后，不可避免的會遇到會話管理的問題。一般可采用Session同步， Cookies，分布式Session方式。電商網站一般采用分布式Session實現。 * 再進一步可以根據分布式Session，建立完善的單點登錄或賬戶管理系統。  **流程說明：** 1. 用戶第一次登錄時，將會話信息（用戶Id和用戶信息），比如以用戶Id為Key，寫入分布式 Session； 2. 用戶再次登錄時，獲取分布式Session，是否有會話信息，如果沒有則調到登錄頁； 3. 一般采用Cache中間件實現，建議使用Redis，因此它有持久化功能，方便分布式Session宕機后， 可以從持久化存儲中加載會話信息； 4. 存入會話時，可以設置會話保持的時間，比如15分鐘，超過后自動超時。 結合Cache中間件，實現的分布式Session，可以很好的模擬Session會話。 ### **5. 數據庫集群（讀寫分離，分庫分表）** * 大型網站需要存儲海量的數據，為達到海量數據存儲，高可用，高性能一般采用冗余的方式進行系統設 計。一般有兩種方式讀寫分離和分庫分表。 * 讀寫分離：一般解決讀比例遠大于寫比例的場景，可采用一主一備，一主多備或多主多備方式。 **本案例在業務拆分的基礎上，結合分庫分表和讀寫分離。如下圖：**  * 業務拆分后：每個子系統需要單獨的庫； * 如果單獨的庫太大，可以根據業務特性，進行再次分庫，比如商品分類庫，產品庫 * 分庫后，如果表中有數據量很大的，則進行分表，一般可以按照Id，時間等進行分表；（高級的用 法是一致性Hash） * 在分庫、分表的基礎上，進行讀寫分離； 相關中間件可參考Cobar（阿里，目前已不在維護），TDDL（阿里），Atlas（奇虎360），MyCat。 ### **6. 服務化** 將多個子系統公用的功能/模塊，進行抽取，作為公用服務使用。比如本案例的會員子系統就可以抽取 為公用的服務。  ### **7. 消息隊列** 消息隊列可以解決子系統/模塊之間的耦合，實現異步，高可用，高性能的系統。是分布式系統的標準 配置。本案例中，消息隊列主要應用在購物，配送環節。 * 用戶下單后，寫入消息隊列，后直接返回客戶端； * 庫存子系統：讀取消息隊列信息，完成減庫存； * 配送子系統：讀取消息隊列信息，進行配送；  目前使用較多的MQ有ActiveMQ、RabbitMQ、ZeroMQ、MSMQ等，需要根據具體的業務場景進行選 擇。建議可以研究下RabbitMQ ### **8. 其他架構（技術）** 除了以上介紹的業務拆分，應用集群，多級緩存，單點登錄，數據庫集群，服務化，消息隊列外。還有 CDN，反向代理，分布式文件系統，大數據處理等系統。 >[info] 架構匯總  大型網站的架構是根據業務需求不斷完善的，根據不同的業務特征會做特定的設計和考慮。