http://36kr.com/p/5068308.html?from=related [TOC] 回顧歷史，現在統治機器學習的深度神經網絡，曾被人棄如敝履  編者按：本文作者楊青山，自媒體人，愛好消費電子、新興科技，微信公眾號 "偽geek"；36氪經授權發布。 今天企業、碼農、風險資本、政府機構都伸長脖子望著人工智能。 這個人工智能機器學習領域已可開挖的黑金，千軍萬馬擠獨木橋的洪流，走向何處，他們真的知道嗎？ 如今媒體大V們隨手甩出的“深度學習”的概念，不明覺厲的深度神經網絡（DNN)、卷積神經網絡（CNN）、深度置信網絡（DBN)、卷積深度置信網絡（CBDN)，少有人知曉，它們都曾是無人問津的“屌絲”。 ### Yann Le Cun，一個需要被記住的名字 就像Leighton Stuart 因為被欽點、以及迎面而來的中國風名字“司徒雷登”，注定成為歷史教材中政治幼稚的注腳。一個拼寫有點漢味的法國人燕樂純（Yann Le Cun)，在人工智能領域，同樣也會寫進教材且成為“令人唏噓”的代表。因為他絕對忘不了2012年這個有著諸多轉折性事件的年份。 2012是神奇的，這一年，Hinton 教授和他的兩個研究生 Alex Krizhevsky、 Illya Sutskever 將以卷積神經網絡為基礎的深度學習框架運用到 ImageNet 大型圖像識別競賽上，獲得了空前的成功。 Hinton 教授就此在 AI 界封神。而將人工神經網絡演進到深度學習，并且是卷積神經網絡的第一個發明人和推廣者燕樂純，被遺忘在角落。 為什么說一次競賽的勝利就成為了深度學習乃至 AI 的歷史轉折點？ 因為 AI 能力的測試標桿，公認是在圖像識別和處理： 1981年諾貝爾醫學獎獲得者 David Hubel 和 Torsten Wiesel 發現人的視覺系統的信息處理是分級的：從視網膜（Retina）出發，經過低級的V1區提取邊緣特征，到V2區的基本形狀或目標的局部，再到高層的整個目標（如判定為一張人臉），以及到更高層的PFC（前額葉皮層）進行分類判斷等。高層的特征是低層特征的組合，從低層到高層的特征表達越來越抽象和概念化，也即越來越能表現語義或者意圖。 現在的深度神經網絡，就是受此啟發。 李飛飛點名推崇的重要人物 Jitendra Malik，這位伯克利教授， 把計算機視覺這個領域從圖像處理帶進了 AI。Jitendra 是最早一批看到了視覺本身在智能這個問題上的重要性——視覺是人類智能極其重要的部分。 但是 ImageNet 競賽，這個繼承了PASCAL VOC的人工智能圖像識別的標桿，從2010年開始舉辦以來，深度學習并不是主流，而是另外一種機器學習辦法——支持向量機（SVM）的天下。 ImageNet 就相當于機器學習的華山論劍，所以，什么武功最厲害? 2010年首次競賽第一名團隊，使用SVM方法構建的模型，識別分類的錯誤率為 28%。 2011年競賽的冠軍, 用類似SVM的Fisher Vector方法，構建模型的識別分類錯誤率為25.7% 而2012年競賽，Hinton教授的團隊，使用以卷積神經網絡為基礎的深度學習方案，他們訓練的模型面對15萬張測試圖像時，預測的頭五個類別的錯誤率只有 15.3%，而排名第二的日本團隊，使用的SVM方法構建的模型，相應的錯誤率則高達 26.2%. 如此驚人的成績，學術界轟動了。 更驚人的是，深度學習訓練的模型（2012年之后就成為主流），在2015年的競賽中部分類別圖像的識別率上甚至超過了人類（雖然只占到所有圖片分類中的千分一）。 然后就是我們眾所周知的故事：2016年，以走棋網絡和估值網絡兩個卷積神經網絡為基礎，結合了蒙特卡洛樹搜索和強化學習兩種方法開發的人工智能圍棋程序AlphaGo，4：1 擊敗了圍棋界的小李子——曾經的人類圍棋第一人李世石。震驚世界。在此之前，人們普遍認為，計算機最少還要20年才能擊敗人類頂尖高手，因為圍棋是一種無法用計算機窮舉擊敗人類的游戲，堪稱人類智慧最后的殿堂。 2017年，AlphaGo的升級版本Master更是在網絡快棋上大開殺戒，以60盤全勝的戰績挑落了所有排得上名號的人類圍棋高手。讓目前的圍棋第一人柯潔產生了絕望感。 一個機器學習的小門派最終成為了江湖泰斗。眾人只記住了Hinton教授，在 SVM 熱潮中堅持研究神經網絡，經歷了20多年的門庭冷落，帶領弟子練就了絕世武功。但是燕樂純，則被稱為神經網絡辟荒的眾大佬之一。實際上這哥們完全是跟Hinton教授一樣，是“黑暗中舉著火炬的人”。 ### 人工神經網絡的三次崛起和兩次低谷 回顧歷史，今天遍地開花的神經網絡，并不是最近才冒出來的新鮮玩意，而是名副其實的老古董。 深度學習所依附的神經網絡技術起源于上世紀50年代，那個時候還叫感知機（Perceptron）。在人工神經網絡領域中，感知機也被指為單層的人工神經網絡，盡管結構簡單，卻能夠學習并解決相當復雜的問題。 雖然最初被認為有著良好的發展潛能，但感知機最終被證明存在著嚴重的不可逾越的問題：它只能學習線性可分函數。連簡單的異或（XOR映射）等線性不可分問題，都無能為力。 1969年，Marvin Minsky出版的《Perceptrons》書，是一個歷史的轉折點，神經網絡第一次被打倒。Minsky的書最著名的觀點有幾個： （1）單層感知機沒用，我們需要用MLPs（多層感知機，多層神經網絡的另一種說法）來代表簡單的非線性函數，比如XOR （異或）映射； （2）世界上沒人有辦法將MLPs訓練得夠好。 簡而言之，要解決感知機（單層神經網絡）學習線性不可分函數的問題，就必須發展多層感知機，即中間包含一個隱層的兩層神經網絡。 但是當時，根本找不到運用在多層神經網絡上的有效算法。 學術權威開啟了神經網絡的反右運動，悲觀主義開始蔓延。從現在看，突破性的誤差反向傳播算法，即著名的BP算法，開啟訓練多層神經網絡的“鑰匙”，很早就有人發現了。 冰凍十年中，盡管Paul Werbos在1974年的博士畢業論文中深刻分析了將BP算法運用于神經網絡方面的可能性，成為美國第一位提出可以將其用于神經網絡的研究人員，但是他沒有發表將BP算法用于神經網絡這方面的研究。因為這個圈子大體已經失去解決那些問題的信念。 這時候我們的燕樂純燕大俠上場了。80年代博士在學期間，他提出了神經網絡的反向傳播算法原型（當時他在Hinton的實驗室做博士后研究，Hinton是燕樂純的導師）。 眾人只知道，1986年BP算法開始流行開來，是因為Rumelhart、Hinton、Williams合著的《Learning representations by back-propagating errors》，真正的，David Parker 和燕樂純是事先發現這一研究進路的兩人。 1989年，燕大俠加入貝爾實驗室，他開始將1974年提出的標準反向傳播算法應用于深度神經網絡，這一網絡被用于手寫郵政編碼識別，盡管因為種種問題失敗。但是這一時期，燕大俠發明了真正可用的卷積神經網絡。 到90年代中期，貝爾實驗室商業化了一批基于卷積神經網絡的系統，用于識別銀行支票（印刷版和手寫版均可識別）。直到90年代末，其中一個系統識別了全美國大概10%到20%的支票。 燕大俠和其他人發展的神經網絡，正開始被熱捧的時候，他一生較勁的對象Vapnik（貝爾實驗室的同事）出現了。因為兩層神經網絡盡管解決了10年前困擾神經網絡界的線性不可分問題，但是多層神經網絡在實際發展中碰上了新的難題： 1.盡管使用了BP算法，一次神經網絡的訓練仍然耗時太久，因為當時沒有如今可以用于大規模并行計算的GPU。比如，燕大俠最早做的手寫郵政編碼識別系統，神經網路的訓練時間達到了3天，無法投入實際使用。 2.訓練優化存在局部最優解問題，即過擬合，也許這是機器學習的核心難題。簡要來說，過度擬合指的是對訓練數據有著過于好的識別效果，這時導至模型非常復雜。這樣的結果會導致對訓練數據有非常好的識別較果，而對真實樣本的識別效果非常差。 3.隨著添加越來越多的隱含層，反向傳播傳遞給較低層的信息會越來越少。即著名的梯度消失問題。由于信息向前反饋，不同層次間的梯度開始消失，對網絡中權重的影響也會變小，因而隱藏層的節點數需要調參，這使得使用不太方便，訓練的模型質量并不理想。 90年代中期，由Vapnik等人發明的支持向量機（Support Vector Machines，SVM）誕生，它同樣解決了線性不可分問題，但是對比神經網絡有全方位優勢： 1高效，可以快速訓練；2無需調參，沒有梯度消失問題；3高效泛化，全局最優解，不存在過擬合問題。 幾乎全方位的碾壓。 SVM 迅速打敗多層神經網絡成為主流。后來一度發展到，只要你的論文中包含神經網絡相關的字眼，非常容易被會議和期刊拒收，研究界那時對神經網絡的不待見可想而知。 這個事情連如今的谷歌老大都記得。2017年年初，謝爾蓋在達沃斯的一個對談環節上還回憶說， “坦誠來說，我根本沒關注人工智能”，“90 年代學習計算機科學的人都知道，人工智能并不管用，人們嘗試過，他們試過各種神經網絡，沒有一個管用。” 神經網絡再次墮入黑暗。10年沉寂中，只有幾個學者仍然在堅持研究。比如一再提及的Hinton教授。 2006年，Hinton在《Science》和相關期刊上發表了論文，首次提出了“深度置信網絡”的概念。與傳統的訓練方式不同，深度信念網絡有一個“預訓練”（pre-training）的過程，它的作用是讓神經網絡權值找到一個接近最優解的值，之后再使用“微調”(fine-tuning)技術，即使用反向傳播算法或者其他算法作為調優的手段，來對整個網絡進行優化訓練。這兩個技術的運用大幅度提升了模型的性能，而且減少了訓練多層神經網絡的時間。他給多層神經網絡相關的學習方法賦予了一個新名詞——“深度學習”。 后面的故事我們都知道了，2012年Hinton的團隊用燕樂純賴以成名的卷積神經網絡，和自己在深度置信網絡的調優技術，碾壓了其他機器學習辦法。 至此，深度學習開始壟斷人工智能的新聞報道，像Hinton、燕樂存和他們的學生搖滾明星一般受到追捧，慣于見風使舵的學者們也來了個180度大轉變，現在是沒有和深度學習沾上邊的文章很難發表了。除了名，還有利，谷歌、Facebook、Twitter們不但把學術界人物挖了個遍，更是重金收購深度學習大佬們所創建的公司，坐了幾十年冷板凳的人忽然一夜之間身價暴漲財務自由。 令人唏噓的是，現在主導Facebook AI 實驗室的燕樂純，他不斷呼吁學術界對深度學習保持冷靜，批判深度學習的泡沫繁榮... ### 深度神經網絡“高效”和“搞笑”并存 嗯，深度學習變得如此有用，人工智能正在蓬勃發展，很多人甚至開始談論人類社會“技術奇點”的到來... 下棋、圖像識別、自動駕駛、金融分析師...看似無所不能、比進化了數百萬年人類更有“智慧”的人工神經網絡，卻有人發現，它有一些比較“搞笑”的方面： 比如 Jeff Clune、Anh Nguyen、Jason Yosinski 訓練了一個用于識別物體的系統，該系統99.6%確信左圖是一只海星，同樣99.6%確信右圖是只獵豹。 而另一個來自Google、Facebook、紐約大學和蒙特利爾大學研究人員組成的團隊，開發的一個神經網絡系統，認為左圖是一只狗，而右圖（僅在左圖的基礎上略微改變了像素）是一只鴕鳥。 比較詭異的是，這種事情不是發生了一次兩次，而是穩定地出現。 “一個為某一模型生成的樣本，通常也會被其他模型錯誤歸類，即使它們有著完全不同的架構。” “即使使用的是完全不同的數據集。” 左圖被神經網絡判定為熊貓。給它人為疊加上中圖所示微小的擾動（實際疊加權重只有0.7%），就獲得了右圖。在人類看來，左圖和右圖沒有區別；可是AI卻會以99.3%的置信度，一口咬定右圖是一只長臂猿。 這些“錯誤”，不知道是神經網絡的缺陷，還是人類肉眼凡胎不識“真相”，目前這些錯誤被取了一個名字——“對抗樣本”。 ### 結尾 梳理人工神經網絡的歷史，感知機—雙層神經網絡—多層神經網絡—深度學習，我們明顯看到這是怎樣一個曲折的軌跡。 過去神經網絡曾經被人棄之如敝履，未來就一定不會遭遇下一個低谷？我想，沒人敢打包票。 無論是目前過擬合、梯度消失的固疾，還是對抗樣本的問題，都說明以神經網絡為代表的機器學習目前還是非常“弱”的人工智能。 而且有一家與DeepMind齊名的人工智能公司 Vicrious ——吸引了Mark Zuckerberg、Elon Musk、Peter Thiel、Jeff Bezos 私人投資，專注于通用人工智能的另類，他們的創始人 Scott Phoenix 曾說： 深度神經網絡（DNN)需要大量的訓練數據，不能很好地適用于新的任務或環境。 （注：有變數，最近DeepMind最近新論文，他們宣稱發明彈性權重鞏固算法讓 AI 擁有“記憶”，目前只能勝任特定領域一項任務的神經網絡，開始能夠習得“多項技能”） 此外深度學習往往側重于學習輸入感知與輸出動作之間的映射（如用于做分類決策或者是圍棋、Atari游戲上的移動的決策），對大腦功能的模擬，太過單一。 我們認為智能的本質是能夠學習一個所處在世界的心理模型(mental model )，然后能否在這個模型上進行模擬（所謂想象力）。 深度學習是一個黑盒，我們設定了規則、輸入了數據、訓練出一個數據處理模型，但是并不了解數據處理在內部究竟如何進行。 那些在輸入層、隱層、目標層之間連接的人工神經元發生的所有事情，目前根本無法知曉，所以也無法預測輸出的結果：“我們看著Master走出了驚世駭俗的落子，看著它表演，它卻不能告訴我們為什么要走這里。” 深度學習用大量的數據樣本才能訓練“泛化能力”，相比李世石，后者才是真正的天才——他用遠遠少于AlphaGo的訓練樣本，達到了接近AlphaGo的水平。目前，人工神經網絡僅僅是模擬大腦皮層的一小部分運行方式，而且是跨過了“認識世界”、“認識智能的本質” 這個階段，直接到了“改變世界”。 基礎理論并不成熟的工程應用，其實有著極大的隱患。