> 不懂數據庫的全棧工程師不是好架構師 > —— Vonng ***** ## 數據架構 全體數據劃分為結構化數據和非結構化數據：  1. **結構化數據**是一種可預見、經常出現的數據格式。通常，結構化數據包括記錄、屬性、鍵和索引等，可以通過數據庫管理系統（database management system，DBMS）進行管理。結構化數據是定義良好的、可預測的，并且可通過復雜的基礎設施進行管理。結構化環境中的大多數數據單元都可以很快地進行定位。 2. **非結構化數據**是不可預見的，而且沒有可以被計算機識別的結構。訪問非結構化數據通常很不方便，想要查找給定的數據單元，就必須順序搜索（解析）長串的數據。 ***** ### 企業數據類型的劃分：  1. 結構化數據通常是交易的副產品。每當一次銷售完成時，每當銀行賬戶有取款操作時，每當有人在ATM機上辦理業務時，每當發送一份賬單時，都會產生一條交易記錄。交易記錄最終會形成一條條結構化的記錄。 3. 重復型非結構化數據則有所不同。非結構化的重復記錄通常是機器間交互所產生的記錄，例如對即將離開生產過程的產品進行模擬驗證，或者對消費者的能源用量進行計量等。就拿計量來說，在讀取計量讀數時，會產生大量在形式和內容上重復的記錄。 5. 非重復型非結構化信息與重復型非結構化記錄有著根本性的不同。對于非重復型非結構化記錄而言，它們無論在形式還是內容上都很少重復或者根本不重復。非重復型非結構化信息的例子有電子郵件、呼叫中心對話和市場調查等。當你查看一封電子郵件時，會有很大概率發現數據庫中的下一封郵件與前一封郵件是極為不同的。對呼叫中心信息、質保索賠、市場調查等數據來說也是如此。 6. **結構化業務數據**和**非重復非結構化數據**，這2種數據的價值通常是非常高的，要重點開發。 ----參考[數據架構：大數據、數據倉庫以及Data Vault](http://www.ituring.com.cn/book/tupubarticle/11854) ***** ## 指標體系 圖書參考： * [淘寶、天貓電商數據分析與挖掘實戰](https://book.douban.com/subject/27157294) * [電商數據分析與數據化運營](http://e.dangdang.com/products/1901070912.html) SQL參考： * [電子商務分析的數據結構](https://mp.weixin.qq.com/s/8F9LrckN_lSt6rH2WjG2OA) 后臺原型設計： * [電商活動之數據分析原型設計篇](http://www.woshipm.com/pd/1027372.html) ***** ## OLTP 和 OLAP  * OLTP: 業務的，單個數據行的，事務的，快速響應的。 * OLAP：分析的，批量數據列的，統計的，有一定延時的。 * 在業務系統中，我們通常使用的是OLTP數據存儲，例如MySQL，PostgreSQL等。上述關系數據庫系統擅長事務處理，能夠很好的支持頻繁數據插入和修改。一旦需要計算的數據量過大，例如數千萬甚至數十億條，或者需要進行非常復雜的計算，此時OLTP數據庫系統便力不從心了。這個時候，我們便需要OLAP系統來進行處理。 * **OLAP為精細化運營而生，實時洞現數據價值，持續推進企業數據化變革轉型。**    ## 基于阿里云大數據的解決方案 * 數據倉庫：[數加平臺](https://data.aliyun.com/solution/base?spm=5176.12825654.h2v3icoap.159.63bc2c4axKAzYU) 阿里云大數據平臺，簡稱數加，是阿里云為企業大數據實施提供的一套完整的一站式大數據解決方案，覆蓋了企業數倉、商業智能、機器學習、數據可視化等領域，助力企業在DT時代更敏捷、更智能、更具洞察力.  數據開發套件： （1）**大數據開發**：集成可視化開發環境，可實現數據開發、調度、部署、運維、及數倉設計、數據質量管理等功能， （2）**BI報表工具**，海量數據的實時在線分析、豐富的可視化效果，助您輕松完成數據分析、業務探查等，所見即所得。 （3）**機器學習工具**，集數據處理、特征工程、建模、離線預測為一體的機器學習平臺,優質算法匯集,可視化編輯。 * **OLAP**數據庫：[分析型數據庫MySQL版](https://www.aliyun.com/product/ads?spm=a2c0j.8206886.cwnn_jpze.62.6d966f0fNrsf65) * 數據清洗，ETL，數據整合 kettle [http://www.kettle.net.cn/](http://www.kettle.net.cn/) [DataWorks](https://data.aliyun.com/product/ide?spm=a2c4g.11174283.cwnn_jpze.150.7e0d6942EZAPXc)，可視化操作 * 調度系統 ：[http://airflow.apache.org/](http://airflow.apache.org/) * BI系統 :Excel ,tableau ,[Superset](https://www.oschina.net/p/caravel) * HTAP數據庫：[HybridDB for MySQL](https://yq.aliyun.com/articles/673466?spm=5176.136342.1265828.2.30d95d11VY3dWH) ，[TIDB](https://www.pingcap.com/)