作者 劉羽飛
[明略數據](http://www.infoq.com/cn/bigdata/?utm_source=infoq&utm_medium=header_graybar&utm_campaign=topic_clk)是一家聚集了國內頂尖大數據人才的技術型大數據整體解決方案供應商，其從創立之初就秉承著將技術研究落地轉化為科技生產力的基本理念，至今已經為銀聯、中央電視臺、中國聯通、國美在線、蘇寧云商等公司部署了大數據處理平臺，并帶來了大量的業務創新機會。那么，明略數據是怎樣做到這些的？明略數據在技術層面上又具有怎樣的過人之處呢？為此，我們請到了明略數據CTO馮是聰博士進行了采訪，以便更加深入的了解明略數據的技術特點。
**InfoQ：明略推出的大數據平臺BDP，對于這個平臺我理解的就是很多傳統企業比如說銀行、政府，這種大型的機構當中，會有很多的分支部門，而部門之間的數據可能會由于種種的歷史原因無法進行打通。這些數據，可能它的字段跟描述方式以及存儲的格式也是不一樣的。那么該如何把這些不同格式、不同表達方式的數據進行打通？是不是BDP這個產品可以實現這樣的功能呢？**
> **馮是聰：**從技術上講，對于一些企業、政府機構來說，一定會存在這樣的情況，它有不同的數據來源的，不同的數據格式。那么這些數據必然面臨著一個問題，就是如何把它們融合在一起，怎么實現數據之間的交互。
> 這一問題從技術的角度上來看確實具有一定挑戰，但明略恰恰就善于解決這種問題。明略BDP中有兩個核心模塊——Data ONE與SQL ONE。Data ONE采用的是All-In-One模式，無論數據來源是什么，無論是來源于關系型數據，還是來源于非關系型數據庫，是NoSQL，還是來源于NewSQL，或是文件系統，這都沒有關系。明略會以統一的方式將這些數據放到BDP平臺內，通過Data ONE把所有數據統一管理起來。
> 那么接下來怎么實現數據之間的交互呢？這就需要用到另一個核心模塊SQL ONE了。SQL ONE是一個標準的SQL查詢引擎。傳統的新客戶一般對于關系型數據庫都非常熟悉，對SQL語句也會非常熟悉。那么當我們提供了SQL ONE這種語言之后，如果客戶會操作傳統的關系型數據庫的話，就可以操作我們所有的文件系統、NoSQL,甚至是NewSQL。SQL ONE可以智能地識別這些數據被物理地存放在Data ONE的哪個子系統中，確定數據是放在關系型數據庫，還是放在非關系型數據庫，或是放在文件系統中。客戶只需要輸入一個SQL語句，系統就能自動完成所有的事情，這也是BDP的一個特點之一。
**InfoQ：從數據安全問題上來說，不同的行業，不同的企業，對數據安全的審計、審核的標準也不一樣，尤其像一些涉及到國計民生的政府機構，他們的數據對安全的要求是非常高的。明略的產品是部署在客戶的數據中心當中的，這樣從物理上就可以規避一部分安全隱患。那么除此之外，明略還有在安全方面還有哪些不一樣的地方？**
> **馮是聰：**從目前來講，在大數據安全這一領域中很多技術都是不太成熟的。從大數據的特點來看，首先數據規模比較龐大，數據內容也比較復雜，再加上各種數據來源，各種數據格式，還要要求統一在大數據平臺上進行管理，這些因素導致其對安全技術的要求變得非常高。
> 明略針對這些問題開發了自己的核心安全組件Acre，在Hadoop平臺上首次實現了行列級別的數據安全訪問管理。它的核心思想是，可以把任何人操作該數據的歷史、權限，包括他的授權認證，全部統一管理起來。
> 另外在隱私保護方面，明略實現了多種數據脫敏與加密算法，智能地實現了敏感數據的自動脫敏和保護。
**InfoQ：您剛才也提到，明略還會在數據價值挖掘上有一些自己的動作，這就可能涉及到機器學習、深度學習，這些現在比較流行的新技術。那么，能否介紹一下明略在這方面的一些研究實踐？**
> **馮是聰：**機器學習還有數據挖掘是大數據最核心的技術之一。明略的3大核心產品之一的DataInsight就是數據挖掘和機器學習的一個典型的平臺。數據挖掘和機器學習在明略實施的幾乎每一個項目中都得到了充分地應用，基本上每個項目都會進行一些預測、分類，這些都會用到機器學習里面去，另外像以前機器學習有進度學習、無進度學習、深度學習，這些也都會用到明略的項目里面去。
**InfoQ：展望2015年，您認為哪些類型的企業會成為大數據領域的明星企業，或者說哪些企業會有高速的增長空間？能根據您的研究，分享一下您的觀點嗎？**
> **馮是聰：**因為大數據現在已經慢慢被大部分企業或者是政府接受了，它會在很多的領域都得到廣泛的應用。從我個人看來，我覺得有兩個領域是值得關注的，第一個是金融領域。現在的個人貸、余額寶等金融產品越來越多，因此為了更有效的進行反欺詐，征信系統將會利用更加密切的、徹底的應用大數據技術。
> 第二個領域是安全領域。安全永遠都是一個話題，幾乎每一家企業、每一個政府機構都會關心安全問題。數據安全技術沒有得到突破的情況下，很多企業和政府是不會輕易的把自己的數據放在云端的。另外現在有的公安機關，甚至軍方機構，都開始將大數據安全技術用于追捕或是反恐，這都說明了安全領域將更多的應用大數據技術。
**InfoQ：明略的商業模式是很清晰。那么在未來，您更看好是像明略這樣的面向企業的On-Premise的商業模式，還是同時還看好別的一些大數據創業公司的商業模式？**
> **馮是聰：**對于我自己來講，我肯定是看好明略的商業模式的。一方面這種模式能夠更好的基于客戶的不同需求進行定制化開發，另一方面在安全上也更有保障。那些能夠跟客戶共同成長，能把客戶當成伙伴，能夠把客戶的問題當成自己的問題的那種公司，才能夠得到比較迅猛的發展。
> 大數據的核心在于從數據中挖掘價值。2015年是大數據應用元年，企業將更加關注大數據技術的落地和應用。因此我比較看好那些能夠根植于客戶業務，能夠幫助客戶解決業務痛點，真正能夠給客戶帶來價值的大數據公司。那些在不同細分領域，能夠提供整體解決方案的大數據公司的前景將更好。
**InfoQ：也就是不僅僅要做技術，而且還要熟悉、了解客戶的業務模式，從而能更好提供有針對性的大數據服務。**
> **馮是聰：**明略始終認為大數據僅僅靠技術是不行的，它必須要能解決業務問題。廠商的數據科學家通常需要三方面的知識，一方面是需要懂得計算機知識，第二方面他要懂得數據挖掘知識，第三方面他要懂得數學，這是綜合能力的體現。而只有當把客戶的業務本質了解比較透徹，才能給客戶帶來實際的價值。
**InfoQ：您能否談談有哪些技術會對大數據行業的未來產生巨大影響或者說帶來巨大推動力？**
> **馮是聰：**我認為有四類技術比較重要。第一類技術是大數據安全技術，無論是金融業的反欺詐，還是警方的反恐與安保，都需要有大數據安全技術的幫助。
> 第二類技術是機器學習領域，從各種報道來看，無論是在云識別，還是圖像識別，甚至視頻的處理，已經基于機器學習以及深度學習而得到廣泛的應用，我相信隨著深度學習的發展，將會帶來巨大的變革。
> 第三類技術是量子通訊，據我了解中國量子通訊的研究還是非常的具前沿的，基本上處于國際領先地位。像中國科大，他們現在在量子通訊上，能夠在超過一百公里上午距離上進行傳輸。所以我相信隨著量子通訊技術和量子計算機的發展，最后我們的通訊技術，還有計算機技術、語言都會發生翻天覆地的變化。
> 第四類是智能設備。我們身邊生活中的幾乎每一樣設備，每一樣東西實際上都可能會智能化。而一旦設備智能化了，這就需要想辦法將數據收回來，當這些數據達到一定規模的時候，就一定會需要大數據技術來進行處理這些數據。我相信隨著智能設備的發展，無論是中國還是外國，人們的生活方式以及工作方式都將得到改革。
### 受訪者介紹
**馮是聰**，北京大學計算機系博士畢業，北京明略軟件系統有限公司聯合創始人兼CTO。
