### **一、對大數據的粗線條理解**
>[info] ***大數據開啟了一次重大的時代轉型。就像望遠鏡讓我們能夠感受宇宙，顯微鏡讓我們能夠觀測微生物一樣，大數據正在改變我們的生活以及理解世界的方式，成為新發明和新服務的源泉，而更多改變正蓄勢待發……***
這段話摘自舍恩伯格的名著《大數據時代》的開篇引言。舍恩伯格用著名的Google H1N1甲型流感預測以及Farecast票價預測兩個例子講述了大數據對公共衛生和商業實實在在的變革。而更重要的，則是人們對數據價值開始逐漸重新認知，不再認為數據是靜止和陳舊的，而是可以反復挖掘的寶藏，這是一種思維的變革，看下面這段洞察：
>[info] ***如今，數據已經成為了一種商業資本，一項重要的經濟投入，可以創造新的經濟利益。事實上，一旦思維轉變過來，數據就能被巧妙的用來激發新產品和新型服務。數據的奧妙只為謙遜、愿意聆聽且掌握了聆聽手段的人所知。***
>
> ***這僅僅是一個開始，大數據時代對我們的生活，以及與世界交流的方式都提出了挑戰。最驚人的是，社會需要放棄它對因果關系的渴求，而僅需要關注相關關系。也就是說只需要知道是什么，而不需要知道為什么。這就推翻了自古以來的慣例，而我們做決定和理解現實的最基本方式也將受到挑戰。***
每時每刻，身邊的數據都在飛速的增長。**人類存儲信息量的增長速度比世界經濟增長的速度快4倍，而計算機數據處理速度則比世界經濟增長的速度快9倍。如今每隔大約三年，數據都能增長一倍**。量變產生質變，大數據也是一樣，這項技術必將改變我們的生活。
一般可以用“4V”原則來定義大數據的特征：
- **Volume**：體量巨大
- **Variaty**：種類繁多
- **Value**：價值密度雖然低，但最終商業價值高
- **Velocity**：數據處理和分析的速度快
“大數據”與“大規模數據”/“海量數據”的最大區別在于，**“大數據”這一概念蘊含著對數據的處理行為，這種行為背后是軟件、硬件、算法、方法論等一些列知識的集成與工程實施，絕非數據的簡單堆砌**。
***
### **二、數據的生產**
歷史發展到今天這個時代，數據的產生已經不再受時間和地點的限制。從開始使用數據庫作為數據管理的主要方式開始，人類社會的數據產生方式大致經歷如下幾個過程：
1. **企業運營數據**：比如超市的銷售記錄、銀行的交易記錄、通訊運營商的用戶和通信記錄、醫院的醫療記錄等等。這些系統大量應用數據庫，數據的產生伴隨著運營活動。這個階段是一種被動的生產方式。
2. **用戶原創數據**：這主要就是互聯網走進人們的生活時，尤其以UGC（User Generated Content）為代表的Web2.0時代，數據呈爆炸式的增長。博客、微博、微信、短視頻等等不斷更迭的新型社交方式，加之移動智能的推波助瀾，分享更加便捷，成本更低，這不斷刺激人們的分享欲望。這個階段是一種主動的生產方式。
3. **萬物感知數據**：這主要對應于物聯網時代。目前人們有能力制造出越來越微小的傳感器，有的攜帶了高性能處理芯片甚至具備了一定的人工智能處理能力，如各種穿戴設備和視頻監控攝像頭，就是典型的例子。這些傳感器和設備越來越廣泛的分布在社會的各個角落，源源不斷生產著新數據。這個階段是一種自動的生產方式。
數據的產生經過了被動、主動和自動三個階段，**其中自動產生的數據是未來最根本最重要的來源**。
領域 | 用戶量 | 響應 | 數據量 | 可靠性 | 精確度
--- | --- | --- | --- | --- | ---
科學 | 小 | 慢 | TB | 中 | 高++
金融 | 大 | 快++ | GB | 高++ | 高++
社交 | 大++ | 快 | PB | 高 | 高
通信 | 大++ | 快 | TB | 高 | 高
物聯網 | 大++ | 快 | TB | 高 | 高
Web | 大++ | 快 | PB | 高 | 高
多媒體 | 大++ | 快 | PB | 高 | 中
Google首席經濟學家 Hal Varian說過，**數據是廣泛可用的，所缺乏的是從中提取出知識的能力**。
***
### **三、大數據的核心以及帶來的轉變**
大數據的核心是**預測**，是把數學算法運用到海量的數據上來**預測事情發生的概率**。預測工作和個性化技術相關，包括**個性化排序和個性化推薦**。個性化技術是大數據時代最重要的技術。
大數據在我們進行數據分析時帶來了三個改變：
1. 第一個轉變是，在大數據時代，**我們不再依賴隨機采樣，而是有機會分析和某個現象相關的全量數據**。
2. 第二個轉變是，在大數據時代，**數據種類如此之多，以至于可以不再追求精確度**。數據分析，一方面是分析結論，另一方面，分析效率也非常關鍵。精確度的計算是以時間消耗為代價的，在大數據時代，快速獲取一個大概的輪廓和發展脈絡，比嚴格的精確度要重要的多。但應注意，這里也并不是說要放棄精確度，或者說精確度不重要，只是不應再沉迷于此。**適當忽略微觀層面的精確度能夠增強在宏觀層面的洞察力**。
3. 第三個轉變是，在大數據時代，**我們不在執著于尋找事件的因果關系**。尋找因果關系是人們長久以來的思維習慣，即使有時候搞明白因果也并沒有太大用處。而事物的相關性，有時候更具有世俗化的價值。**在一個可能性和相關性占主導地位的世界里，專業性變得不那么重要，專家經驗必須與數據表達信息進行博弈**。
在大數據時代，**危險往往不是隱私的泄漏，而是被預知的可能性**。這種可性能可能會導致人們難以獲得貸款和購買保險、被權力機構莫須有逮捕等。人們的權利需要新的規章制度來保障。
>[info] ***大數據給社會帶來益處是多方面的。因為大數據已經成為解決緊迫世界性問題，如全球變暖、消除疾病、提高執政能力和發展經濟的一個有力武器。但是大數據時代也向我們提出了挑戰，我們需要做好充足的準備迎接大數據技術給我們的機構和自身帶來的改變。***
***
#### **參考材料**
- 《大數據時代》，維克托·邁爾·舍恩伯格
- 《大數據技術基礎》，林子雨
