# 一、實時數倉分層: 計算框架:Flink;存儲框架:消息隊列(可以實時讀取&可以實時寫入)  ## 1. ODS（操作數據層）:Kafka 使用場景:每過來一條數據,讀取到并加工處理 ## 2. DIM（維度數據）:HBase 使用場景:事實表會根據主鍵獲取一行維表數據(1.永久存儲、2.根據主鍵查詢) | 中間件 | 可行性 | | --- | --- | | HBase:海量數據永久存儲,根據主鍵快速查詢 | √ | | Redis:用戶表數據量大,內存數據庫 | × | | ClickHouse:并發不行,列存 | × | | ES:默認給所有字段創建索引 | × | | Hive(HDFS):效率低下 | × | | Mysql本身:壓力太大,實在要用就使用從庫 | √ | ## 3. DWD（明細數據層）:Kafka 使用場景:每過來一條數據,讀取到并分組累加處理 ## 4. DWS（數據匯總層）:ClickHouse 使用場景:每過來一條數據,讀取到并重新分組、累加處理 ## 5.ADS（應用數據層）:不落盤,實質上是接口模塊中查詢ClickHouse的SQL語句 使用場景:讀取最終結果數據展示