## 第1章概論 ### 1.1動機 在過去幾年中，計算機視覺的主要研究工作集中于卷積神經網絡，通常簡稱為ConvNets或CNN。卷積神經網絡在分類（詳見[88,139,64]）和回歸（詳見[159,97,36]）等不同任務中均具有不俗的表現。與實際的表現相比，雖然這些方法已具有若干年的歷史（詳見[49,91]），但對這些方法所具有卓越性能的原因在理論上的研究嚴重滯后于應用的發展。事實上，目前計算機視覺領域的許多突出貢獻都將卷積神經網絡視為黑盒進行調用，對其工作原理的理解模糊而不明確，從科學的角度來看這極難令人滿意。特別是兩個主要的互補問題：（1）對于學習方面（例如卷積核），卷積神經網絡究竟學到了什么？ （2）對于網絡架構設計方面（例如層數，內核數/層數，池化策略，非線性選擇），為什么某些選擇比其他更好？這些問題的答案不僅可以增進對卷積神經網絡的科學認識，還可以提高它們的實際適用性。 此外，目前卷積神經網絡的實現需要大量的數據用于訓練[84,88,91]，并且設計決策對性能有很大影響[23,77]。更深入的理論理解應該減少對數據驅動設計的依賴。雖然學者們已對成功實現的網絡運行進行了實證研究，但迄今為止，研究結果主要局限于旨在了解卷積神經網絡不同層面發生情況[154,133,104]的內部處理可視化。 ### 1.2目標 針對上述情況，本文檔將對使用多層卷積架構的最出名案例進行回顧。重要的是，將通過回顧基于其生物學發現和/或合理理論基礎的設計決策的不同方法，來討論典型卷積網絡的各組成部分。此外，通過可視化和實證研究理解卷積神經網絡的不同嘗試也將被介紹。最終目標是闡明卷積神經網絡架構中涉及的每一個處理層的作用，提煉我們目前對卷積神經網絡的理解，并突出關鍵的開放問題。 ### 1.3報告結構 本報告的結構如下：本章的動機是對我們如何理解卷積網絡介紹的需求。第2章將介紹各種多層網絡，并介紹計算機視覺應用中最成功的架構。第3章將更具體關注典型卷積網絡的每個組成模塊，并從生物學和理論角度討論不同組成模塊的設計。最后，第4章將介紹當前卷積神經網絡設計趨勢以及對卷積神經網絡理解的努力，并強調當前卷積神經網絡仍存在的一些重要而突出的缺點。