# 系統簡介 歸檔系統分為3個模塊。 * 業務歸檔：將業務系統歷史數據（基本不變動）的做歸檔處理，并提供高效穩定快速的查詢服務。 * 數據分發：將業務系統按數據標準產生到歸檔系統，并定時批量提供給第三方訂閱者。 * 表單歸檔：將云表單的json大數據按關系型數據存儲，對外提供表單查詢服務。 * 技術選型：vuejs + springboot + mybatisplus + redis + kafka + fastdfs + elasticsearch + (tidb) + oracle + zookeeper * 工作年限：4年經驗（2019年） ## 系統背景 當業務系統隨著使用年限的增加，業務數據會越來越大，部分業務sql也會越來越慢。而系統中只是想查看最近的活動的業務數據也會因此卡頓，于是將業務庫中的判定為歷史數據的做歸檔處理，從而減輕業務庫數據量，并且通過歸檔服務做歷史數據查詢。 # 項目收獲 ## 視野收獲 1. 針對業務痛點做抽象建模，設計解決方案并做技術選型和落地。（不再局限系統內，也不再局限平臺內） 2. 接觸到分布式存在中間件fastdfs，全文搜索引擎es，新一代hatp數據庫tidb等 3. 有了考慮分布式編程的角度，基于zookeeper的curator框架編程實現。 ## 技術提升 1. 自主設計簡單的定時任務方案，支持分布式部署，多機運行。 2. 自研能力提升，能從數據庫設計到功能設計，到前端實現，到后臺接口實現，到整合交互，到部署上線全流程處理。 3. 研究并積累使用分布式存儲fastdfs的經驗。 4. 研究并積累使用es的經驗。 5. 研究tidb解決的問題，為后續業務實現做技術調研。（跳過分庫分表，數據庫支持大數據）