#1.人工智能、機器學習與深度學習三者之間的關系  #2.人工智能的簡潔定義如下：努 力將通常由人類完成的智力任務自動化。 在相當長的時間內，許多專家相信，只要程序員精 心編寫足夠多的明確規則來處理知識，就可以實現與人類水平相當的人工智能。這一方法被稱 為符號主義人工智能（symbolic AI），但它難以給 出明確的規則來解決更加復雜、模糊的問題，比如圖像分類、語音識別和語言翻譯。于是出現 了一種新的方法來替代符號主義人工智能，這就是機器學習（machine learning）。 在經典的程序設計（即符號主義人工智能的范 式）中，人們輸入的是規則（即程序）和需要根據這些規則進行處理的數據，系統輸出的是答案 。利用機器學習，人們輸入的是數據和從這些數據中預期得到的答案，系統輸出的是 規則。這些規則隨后可應用于新的數據，并使計算機自主生成答案。  #3.機器學習的技術定義：在預先定義好的可能性空間中，利用反饋信號的指引來尋找 輸入數據的有用表示。 機器學習是將輸入（比如圖像）映射到目標（比如標簽“貓”），這一過 程是通過觀察許多輸入和目標的示例來完成的。 #4.深度學習的技術定義：學習數據表示的多級方法 深度神經網絡通過一系列簡單的數 據變換（層）來實現這種輸入到目標的映射，而這些數據變換都是通過觀察示例學習到的 神經網絡中每層對輸入數據所做的具體操作保存在該層的權重（weight）中，其本質是一 串數字。用術語來說，每層實現的變換由其權重來參數化（parameterize，見圖 1-7）。權重有時 也被稱為該層的參數（parameter）。在這種語境下，學習的意思是為神經網絡的所有層找到一組 權重值，使得該網絡能夠將每個示例輸入與其目標正確地一一對應。但重點來了：一個深度神 經網絡可能包含數千萬個參數。找到所有參數的正確取值可能是一項非常艱巨的任務，特別是 考慮到修改某個參數值將會影響其他所有參數的行為。  #損失函數 想要控制一件事物，首先需要能夠觀察它。想要控制神經網絡的輸出，就需要能夠衡量該 輸出與預期值之間的距離。這是神經網絡損失函數（loss function）的任務，該函數也叫目標 函數（objective function）。損失函數的輸入是網絡預測值與真實目標值（即你希望網絡輸出的 結果），然后計算一個距離值，衡量該網絡在這個示例上的效果好壞（見圖 1-8）。  #優化器 深度學習的基本技巧是利用這個距離值作為反饋信號來對權重值進行微調，以降低當前示 例對應的損失值（見圖 1-9）。這種調節由優化器（optimizer）來完成，它實現了所謂的反向 傳播（backpropagation）算法，這是深度學習的核心算法。下一章中會詳細地解釋反向傳播的工 作原理。  #訓練循環 一開始對神經網絡的權重隨機賦值，因此網絡只是實現了一系列隨機變換。其輸出結果自然也和理想值相去甚遠，相應地，損失值也很高。但隨著網絡處理的示例越來越多，權重值也 在向正確的方向逐步微調，損失值也逐漸降低。這就是訓練循環（training loop），將這種循環重 復足夠多的次數（通常對數千個示例進行數十次迭代），得到的權重值可以使損失函數最小。具 有最小損失的網絡，其輸出值與目標值盡可能地接近，這就是訓練好的網絡。 ***** **###深度學習已經取得的進展** * 接近人類水平的圖像分類 * * 接近人類水平的語音識別 * * 接近人類水平的手寫文字轉錄 * * 更好的機器翻譯 * * 更好的文本到語音轉換 * * 數字助理，比如谷歌即時（Google Now）和亞馬遜 Alexa * * 接近人類水平的自動駕駛 * * 更好的廣告定向投放，Google、百度、必應都在使用 * * 更好的網絡搜索結果 * * 能夠回答用自然語言提出的問題 * 在圍棋上戰勝人類