[TOC] LeCun表示，深度學習的特點在于“整個程序都是可訓練的”，監督學習存在兩大問題  編者按：本文來自微信公眾號[“新智元”（ID：AI_era）](http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652000161&idx=1&sn=2b44f2590464b13a9cbccb7f2544d12f&chksm=f1213b50c656b246d24a9dac15fb49d292a703ce0c1fbbffc91cf69eb504914eb9082bc38f7f&scene=0#rd)，整理熊笑；36氪經授權發布。 > 近日，在臺灣大學，卷積神經網絡之父、FacebookAI 研究院院長 Yann LeCun 以「Deep Learning and the Path to AI」為題，對深度學習目前的發展現狀和面臨的最大挑戰、以及應對方法進行了綜述和分析。 6 月 29 日，臺灣大學。卷積神經網絡之父、FacebookAI 研究院院長 Yann LeCun 以「Deep Learning and the Path to AI」為題，對深度學習目前的發展現狀和面臨的最大挑戰、以及應對方法進行了綜述和分析。新智元結合臺灣大學在 Facebook 上公布的視頻、臺灣科技媒體 iThome 的報道，以及 Yann LeCun 今年早些時候在愛丁堡大學的演講資料，為您綜合介紹。 ### 深度學習的特點在于“整個程序都是可訓練的” 演講從模式識別（Pattern Recognition）的起源說起。1957年，Perceptron 誕生，成為第一個 LearningMachine。LeCun 說，目前的機器學習算法大多衍生自 Perceptron的概念。 從那時起，模式識別的標準模型就可以分為 3 步走：1.程序被輸入一張圖像，通過特征提取，將圖像特征轉換為多個向量；2\. 輸入這些向量到可訓練的分類器中；3.程序輸出識別結果。? 他表示，機器學習算法其實就是誤差校正（Error correction），通過調整權重，來進行特征提取。也就是說，如果輸入一張圖，算法識別后，結果值低于預期類別的值，工程師就將輸入的圖增加 Positive 的權重，減少 Negative 的權重，來校正誤差。 深度學習是當今最廣泛使用的模式識別方法。LeCun 認為深度學習的特點在于“整個程序都是可訓練的”。他解釋，構建深度學習的模型不是用手動調整特征提取的參數來訓練分類器，而是建立一群像小型瀑布般的可訓練的模組。? 當開發人員將原始的影像輸入系統后，會先經過初步的特征提取器，產生代表的數值，在這一個階段可能會先識別出一些基本的紋理，接下來這些紋理的組合會再被拿來識別更具體的特征，像是物件的形體或是類別，整個訓練的過程就是不斷地經過一層又一層這樣的模型，每一層都是可訓練的，所以我們稱這個算法為深度學習或是端到端訓練（End to End Running）。 LeCun 解釋，深度學習模型之所以工作良好，是因為現在的影像都是自然景象加上其他物體，也就是混合型的圖像，而每個物體又由不同的特征所組成，會有不同的輪廓和紋路，圖片的像素也是一個問題，因此，可以將影像分級成像素、邊緣、輪廓、元件和物件等，初級的特征提取會先偵測出影像中最基本的輪廓，比如明顯的紋路和色塊，進一步的特征提取則是將上一層的結果組合再一起，拼成一個形體，最后再拼成一個物體。 這種分層式的組合架構（Hierarchical Compositionality）其實不只適用于影像，LeCun說明，它對文字、語音、動作或是任何自然的信號都適用，這種方式參考了人腦的運作模式。大腦中的視覺中樞，也是用類似分層式的組合架構來運行，當人類看到影像后，由視網膜進入到視丘后方外側膝狀體，再到大腦中主要的視覺中樞，最后來到顳葉皮質，人類看圖像也是由大腦經過多層的結構，在100毫秒內就能識別圖片。 深度學習的問題在于如何訓練，在1980年代中期，誤差反向傳播算法（Back Propagation Algorithm）開始流行，但其實誤差反向傳播算法很早就被提出來，只是當時沒有受到重視。誤差反向傳播算法一開始先經過簡單線性分類，再將這些結果帶到非線性的線性整流函數（Rectified Linear Unit，ReLU），線性整流函數就是找到要調整參數的方向，來減少錯誤判斷，不過現在都已經有可用的套件或是框架，像是Torch、TensorFlow 或是 Theano等，還有一些套件是可用來計算輸出結果和預期結果之間的誤差。? Yann LeCun認為，現在要撰寫機器學習算法并不難，用 3 行 Python 就可以完成，不過這還停留在監督式學習階段，所謂的監督式學習就是輸入大量的訓練樣本，每一套訓練樣本都已經經過人工標注出原始圖片和對應的預期結果。以影像處理為例，訓練集由多個(X,Y)參數組成，X就是影像的像素，Y則是預設的識別結果類別，像是車子、桌子等，之后再用大量的測試集來測試程序，若判斷結果正確，不用調整，若判斷有誤則調整程序中的參數。 ### 監督式機器學習存在二大問題 因此，Yann LeCun表示，監督式的機器學習就是功能優化（Function Optimization），資料輸入和輸出的關系通過可調整的參數來優化，經由調整參數的方式，將結果的錯誤率降至最低，其中，調整參數的方式有很多種，很多人都會用梯度下降算法（Stochastic Gradient Descent），梯度下降算法可以找到最適合的回歸模型系數．即時地根據輸入的資料動態調整模型。 身為「卷積神經網絡之父」的 Yann LeCun 也介紹了卷積神經網絡（Convolutional Neural Network，CNN），卷積網絡就是將輸入的影像像素矩陣經過一層過濾器，挑選出特征，再透過池化層（PoolingLayer），針對輸入特征矩陣壓縮，讓特征矩陣變小，降低計算的復雜度。CNN影像和語音識別都有很好的成效，不僅如此，還能識別街上移動的路人、街景的物體，Facebook 也用 CNN 來識別 Facebook 用戶上傳的照片，他表示一天 Facebook 就有10億以上的照片，可以準確地識別物體的類別，像是人還是狗、貓等，還能識別照片的主題，像是婚禮或是生日派對等。 不過，Yann LeCun提出，監督式的機器學習有2大問題，第一是要如何建立復雜的算法來解決復雜的問題，第二則是手動調整參數的知識和經驗都是來自于不同任務，許多工程師想要處理的領域，像是影像識別、語音識別都需要建置不同模型，因此，監督式機器學習可以在訓練過的專案上有很好的表現，但是沒有訓練過的資料，程序就無法辨別，簡單來說，如果要程序識別椅子，不可能訓練所有椅子的特征資料。 事實上，Yann LeCun 表示現實中有種機器具備數百萬的調整鈕（Knob），這些調整鈕就像機器學習中的參數和 Perceptron 的權重一樣，可以用上百萬的訓練樣本來訓練模型，最后分類出上千種的類別，但是，每一個特征的識別都必須經過數十億次的操作，因此，可想而知，現今大家所使用的神經網絡是非常復雜的，如此龐大的運作不可能在一般的 CPU 上執行，“我們面對的是非常大規模的優化問題。”他說。 ### AI系統的架構 AI系統的架構大致上可以分為感知（Perception）、觸發器（Agent）和目標（Objective）3個模組，先由感知器偵測真實世界的數據，像是影像、語音等，這些數據經由觸發器，會依據狀態觸發目標，執行相對應的程序并產生結果，其中觸發器就是AI 的精髓，觸發器必須要負責規劃、預測等智能工作，而目標則是由本能和固定的兩個元件所組成，以視覺識別（VisualIdentity）系統為例，經由感知收集影像數據，透過觸發器觸發分析情緒的程序，再判斷影片中的人是開心還是不開心。 AI 架構中的觸發器（Agent）主要負責預測和規劃，運作過程又可分為模擬器（Simulator）、執行器（Actor）、回饋器（Critic），模擬器接收到狀態后，傳送給執行器，執行器就會啟動相對應的動作，并同時對模擬器提出要求，啟動相對應的動作之后送到回饋器，經由回饋器分析要採取的動作，決定后才送往目標（Objective）執行。 ### AI 最大局限是沒有人類的“常識” 市場上 AI 好像無所不能，但其實，Yann LeCun個人認為，AI 還是有些局限，像是機器必須會觀察狀態、了解很多背景知識、世界運行的定律，以及精確地判斷、規劃等，其中，Yann LeCun 認為 AI 最大的局限是無法擁有人類的「常識」。 由于目前比較好的AI應用都是采用監督式學習，能夠準確識別人工標示過的物體，也有些好的成果是用強化學習（Reinforcement Learning）的方式，但是強化學習需要大量地收集資料來訓練模型，Yann LeCun表示，對應到現實社會中的問題，監督式學習不足以成為“真的”AI。? 他指出，人類的學習是建立在與事物互動的過程，許多都是人類自行體會、領悟出對事物的理解，不需要每件事都要教導，舉例來說，若有個物體被前面的物體擋住，人類會知道后面的物體依然存在的事實，或是物體沒有另一個物體支撐就會掉落的事實。? “人腦就是推理引擎！”他說明，人類靠著觀察建立內部分析模型，當人類遇到一件新的事物，就能用這些既有的模型來推測，因為生活中人類接觸到大量的事物和知識，而建立了“常識”。這些常識可以帶領人類做出一些程序無法達到的能力，像是人類可以只看一半的臉就能想像另外一半臉，或是可以從過去的事件推測未來等。? 他舉例，若人類看到一張戰利品放不下行李箱的圖片，再看到一個句子說：”這些戰利品放不下行李箱，因為它太小了。“人類能夠很清楚地知道“它”指的是行李箱，人類也因為知道整個社會和世界運行的規則，當沒有太多的信息時，人類可以依照因果關系自動補足空白的信息。 無監督式學習是突破 AI 困境的關鍵，采用無監督學習的對抗訓練讓 AI 擁有真正自我學習的能力。 如何讓 AI 擁有人類的常識？Yann LeCun認為要用無監督式學習。他又稱之為預測學習，他將現今機器學習的方式分為強化式、監督式和無監督式學習，并以黑森林蛋糕來比喻。 強化學習是蛋糕上不可或缺的櫻桃，所需要資料量可能大約只有幾個Bits，監督式學習是蛋糕外部的糖衣，需要10到10,000個Bits的資料量，而無監督學習則是需要數百萬個Bits，無監督學習被他比喻為黑森林蛋糕，因為無監督學習的預測能力像擁有黑魔法一樣神奇，不過，他也強調黑森林蛋糕必須搭配櫻桃，櫻桃不是可選擇的配料，而是必要的，意味著無監督學習與強化學習相輔相成，缺一不可。? Yann LeCun認為，程序還是很難在不確定性的情況下，正確地預測，舉例來說，如果一只直立的筆，沒有支撐之后，程序可以判斷出筆會倒下，但是無法預測會倒向哪一個方向。 因此，他表示，對抗訓練（Adversarial Training）是可以讓 AI 程序擁有自學能力的方法，他解釋，對抗訓練就是讓兩個網絡相互博奕，由生成器（Generator）和判別器（Discriminator）組成，生成器隨機地從訓練集中挑選真實數據和干擾噪音，產生新的訓練樣本，判別器再用與真實數據比對的方式，判斷出數據的真實性，如此一來，生成器與判別器可以交互學習自動優化預測能力，創造最佳的預測模型。