### 4.2打開問題 該報告記錄了各種新型ConvNet架構和構建塊的設計取得的重大進展。雖然這一進展在幾個計算機視覺應用中產生了新的先進技術，但了解這些ConvNets如何實現這些結果卻落后了。此外，對這些方法的性能限制（_，例如_。失效模式）幾乎沒有理解。因此，揭示這些ConvNets捕獲的信息變得尤為重要。目前，專注于理解ConvNets的方法在本章所討論的相關文獻中變得明顯。然而，雖然這里討論的幾種技術都采取了很好的措施，但它們都留下了尚未解決的懸而未決的關鍵問題。 實際上，針對解釋ConvNets的不同技術的評論顯示，最廣泛采用的方法依賴于可視化。然而，基于可視化技術的最大缺陷之一是它們將對復雜和高度非線性模型的理解減少到對各種潛在解釋開放的單個圖像。值得注意的是，這些可視化根據所采用的技術而變化（_，例如_。以數據集為中心，以網絡為中心，如圖4.2和4.3所示），并且通常還取決于所考慮的體系結構以及培訓策略[6]。他們的解釋也非常主觀。更重要的是，在最近的一項研究中顯示，用隨機噪聲替換特征圖的強響應并通過DeConvNet架構將其傳播回產生與投影回特征圖響應本身時所獲得的相似的可視化[105]。因此，本研究表明，以數據集為中心的可視化并不一定能揭示特定要素圖捕獲的內容，因為它們本身依賴于網絡學習的參數來生成可視化。因此，基于此討論，以下幾點成為基于可視化方法的潛在關鍵方法： * 首先，通過引入評估所生成圖像的質量和/或含義的度量，開發使可視化評估更客觀的方法是至關重要的。 * 此外，雖然看起來以網絡為中心的可視化方法更有前景，因為他們不依賴于網絡本身來生成可視化（_，例如_ .DeConvNet），似乎有必要將他們的評估過程標準化為一種可能的解決方案是使用基準來生成在相同條件下訓練的可視化和網絡。這種標準化可以反過來允許基于度量的評估而不是當前基于解釋的分析。 * 另一種方法是同時可視化多個單元，以便更好地捕獲研究中表示的分布式方面，即使在遵循受控方法的情況下也是如此。 考慮到消融研究，雖然它們允許隔離網絡的各個部分以識別負責更好性能的組件，但它們無法真正闡明網絡學習的內容，因為他們試圖解釋ConvNets“孤立的高度交織的組件。值得注意的是，在他們目前的應用中，消融研究只是用來收集績效的幾個百分點，而不是從理解的角度真正增加價值。這里，基于消融的方法可能有趣的方法包括： * 使用通用且系統組織的數據集，捕獲計算機視覺中常見的不同挑戰（_，例如_。視點和光照變化），并且需要具有更高復雜程度的類別（_，例如_紋理，零件和物體。實際上，最近引入了這種初始數據集[6]。對這樣的數據集使用消融研究，以及對所產生的混淆矩陣的分析，可以精確定位ConvNet架構的故障模式，從而提供更好的理解。 * 此外，有關多個協調消融如何影響性能的系統研究很有意思。這些研究應該將洞察力擴展到孤立單位的表現之外 最后，盡管可視化和消融研究方法存在理解ConvNets的缺陷，但它們仍然對ConvNet的缺點有所了解，例如學習過濾器的冗余（_，例如_。見圖3.8）和重要性某些非線性（_，例如_。[77,23]）。這些見解反過來用于ConvNet實現的更加可控的方法，這些方法不太依賴于數據，更重要的是不那么模糊（_，例如_。[15,113,75,78,60]）。這些受控方法正在成為未來研究的一個有前途的方向，因為它們可以更深入地理解這些系統相對于純粹基于學習的方法所采用的操作和表示。實際上，前一章回顧了許多這樣的見解。反過來，它們也有可能根據其精確的系統規格支持更嚴格的性能界限。這里有趣的方法包括： * 逐步修復網絡參數并分析對網絡行為的影響。例如，一次一層地修復卷積核參數（基于手頭任務的一些先驗知識），以分析每層采用的內核的適用性。這種漸進的方法有可能揭示學習的作用，也可以用作初始化，以最大限度地減少培訓時間。 * 類似地，可以通過分析輸入信號屬性（_，例如_）來研究網絡架構本身的設計（_，例如_。層數或每層濾波器數。）信號的頻率內容）。此方法可以幫助調整架構的復雜性以適應應用程序。 * 最后，對網絡實現的受控方法的使用可以伴隨對ConvNets的其他方面的作用的系統研究，其通常由于關注學習參數而受到較少關注。例子包括調查各種匯集策略以及當大多數學習參數被修復時剩余連接的作用。