### 4.2打開問題
該報告記錄了各種新型ConvNet架構和構建塊的設計取得的重大進展。雖然這一進展在幾個計算機視覺應用中產生了新的先進技術,但了解這些ConvNets如何實現這些結果卻落后了。此外,對這些方法的性能限制(_,例如_。失效模式)幾乎沒有理解。因此,揭示這些ConvNets捕獲的信息變得尤為重要。目前,專注于理解ConvNets的方法在本章所討論的相關文獻中變得明顯。然而,雖然這里討論的幾種技術都采取了很好的措施,但它們都留下了尚未解決的懸而未決的關鍵問題。
實際上,針對解釋ConvNets的不同技術的評論顯示,最廣泛采用的方法依賴于可視化。然而,基于可視化技術的最大缺陷之一是它們將對復雜和高度非線性模型的理解減少到對各種潛在解釋開放的單個圖像。值得注意的是,這些可視化根據所采用的技術而變化(_,例如_。以數據集為中心,以網絡為中心,如圖4.2和4.3所示),并且通常還取決于所考慮的體系結構以及培訓策略[6]。他們的解釋也非常主觀。更重要的是,在最近的一項研究中顯示,用隨機噪聲替換特征圖的強響應并通過DeConvNet架構將其傳播回產生與投影回特征圖響應本身時所獲得的相似的可視化[105]。因此,本研究表明,以數據集為中心的可視化并不一定能揭示特定要素圖捕獲的內容,因為它們本身依賴于網絡學習的參數來生成可視化。因此,基于此討論,以下幾點成為基于可視化方法的潛在關鍵方法:
* 首先,通過引入評估所生成圖像的質量和/或含義的度量,開發使可視化評估更客觀的方法是至關重要的。
* 此外,雖然看起來以網絡為中心的可視化方法更有前景,因為他們不依賴于網絡本身來生成可視化(_,例如_ .DeConvNet),似乎有必要將他們的評估過程標準化為一種可能的解決方案是使用基準來生成在相同條件下訓練的可視化和網絡。這種標準化可以反過來允許基于度量的評估而不是當前基于解釋的分析。
* 另一種方法是同時可視化多個單元,以便更好地捕獲研究中表示的分布式方面,即使在遵循受控方法的情況下也是如此。
考慮到消融研究,雖然它們允許隔離網絡的各個部分以識別負責更好性能的組件,但它們無法真正闡明網絡學習的內容,因為他們試圖解釋ConvNets“孤立的高度交織的組件。值得注意的是,在他們目前的應用中,消融研究只是用來收集績效的幾個百分點,而不是從理解的角度真正增加價值。這里,基于消融的方法可能有趣的方法包括:
* 使用通用且系統組織的數據集,捕獲計算機視覺中常見的不同挑戰(_,例如_。視點和光照變化),并且需要具有更高復雜程度的類別(_,例如_紋理,零件和物體。實際上,最近引入了這種初始數據集[6]。對這樣的數據集使用消融研究,以及對所產生的混淆矩陣的分析,可以精確定位ConvNet架構的故障模式,從而提供更好的理解。
* 此外,有關多個協調消融如何影響性能的系統研究很有意思。這些研究應該將洞察力擴展到孤立單位的表現之外
最后,盡管可視化和消融研究方法存在理解ConvNets的缺陷,但它們仍然對ConvNet的缺點有所了解,例如學習過濾器的冗余(_,例如_。見圖3.8)和重要性某些非線性(_,例如_。[77,23])。這些見解反過來用于ConvNet實現的更加可控的方法,這些方法不太依賴于數據,更重要的是不那么模糊(_,例如_。[15,113,75,78,60])。這些受控方法正在成為未來研究的一個有前途的方向,因為它們可以更深入地理解這些系統相對于純粹基于學習的方法所采用的操作和表示。實際上,前一章回顧了許多這樣的見解。反過來,它們也有可能根據其精確的系統規格支持更嚴格的性能界限。這里有趣的方法包括:
* 逐步修復網絡參數并分析對網絡行為的影響。例如,一次一層地修復卷積核參數(基于手頭任務的一些先驗知識),以分析每層采用的內核的適用性。這種漸進的方法有可能揭示學習的作用,也可以用作初始化,以最大限度地減少培訓時間。
* 類似地,可以通過分析輸入信號屬性(_,例如_)來研究網絡架構本身的設計(_,例如_。層數或每層濾波器數。)信號的頻率內容)。此方法可以幫助調整架構的復雜性以適應應用程序。
* 最后,對網絡實現的受控方法的使用可以伴隨對ConvNets的其他方面的作用的系統研究,其通常由于關注學習參數而受到較少關注。例子包括調查各種匯集策略以及當大多數學習參數被修復時剩余連接的作用。
- TensorFlow 1.x 深度學習秘籍
- 零、前言
- 一、TensorFlow 簡介
- 二、回歸
- 三、神經網絡:感知器
- 四、卷積神經網絡
- 五、高級卷積神經網絡
- 六、循環神經網絡
- 七、無監督學習
- 八、自編碼器
- 九、強化學習
- 十、移動計算
- 十一、生成模型和 CapsNet
- 十二、分布式 TensorFlow 和云深度學習
- 十三、AutoML 和學習如何學習(元學習)
- 十四、TensorFlow 處理單元
- 使用 TensorFlow 構建機器學習項目中文版
- 一、探索和轉換數據
- 二、聚類
- 三、線性回歸
- 四、邏輯回歸
- 五、簡單的前饋神經網絡
- 六、卷積神經網絡
- 七、循環神經網絡和 LSTM
- 八、深度神經網絡
- 九、大規模運行模型 -- GPU 和服務
- 十、庫安裝和其他提示
- TensorFlow 深度學習中文第二版
- 一、人工神經網絡
- 二、TensorFlow v1.6 的新功能是什么?
- 三、實現前饋神經網絡
- 四、CNN 實戰
- 五、使用 TensorFlow 實現自編碼器
- 六、RNN 和梯度消失或爆炸問題
- 七、TensorFlow GPU 配置
- 八、TFLearn
- 九、使用協同過濾的電影推薦
- 十、OpenAI Gym
- TensorFlow 深度學習實戰指南中文版
- 一、入門
- 二、深度神經網絡
- 三、卷積神經網絡
- 四、循環神經網絡介紹
- 五、總結
- 精通 TensorFlow 1.x
- 一、TensorFlow 101
- 二、TensorFlow 的高級庫
- 三、Keras 101
- 四、TensorFlow 中的經典機器學習
- 五、TensorFlow 和 Keras 中的神經網絡和 MLP
- 六、TensorFlow 和 Keras 中的 RNN
- 七、TensorFlow 和 Keras 中的用于時間序列數據的 RNN
- 八、TensorFlow 和 Keras 中的用于文本數據的 RNN
- 九、TensorFlow 和 Keras 中的 CNN
- 十、TensorFlow 和 Keras 中的自編碼器
- 十一、TF 服務:生產中的 TensorFlow 模型
- 十二、遷移學習和預訓練模型
- 十三、深度強化學習
- 十四、生成對抗網絡
- 十五、TensorFlow 集群的分布式模型
- 十六、移動和嵌入式平臺上的 TensorFlow 模型
- 十七、R 中的 TensorFlow 和 Keras
- 十八、調試 TensorFlow 模型
- 十九、張量處理單元
- TensorFlow 機器學習秘籍中文第二版
- 一、TensorFlow 入門
- 二、TensorFlow 的方式
- 三、線性回歸
- 四、支持向量機
- 五、最近鄰方法
- 六、神經網絡
- 七、自然語言處理
- 八、卷積神經網絡
- 九、循環神經網絡
- 十、將 TensorFlow 投入生產
- 十一、更多 TensorFlow
- 與 TensorFlow 的初次接觸
- 前言
- 1.?TensorFlow 基礎知識
- 2. TensorFlow 中的線性回歸
- 3. TensorFlow 中的聚類
- 4. TensorFlow 中的單層神經網絡
- 5. TensorFlow 中的多層神經網絡
- 6. 并行
- 后記
- TensorFlow 學習指南
- 一、基礎
- 二、線性模型
- 三、學習
- 四、分布式
- TensorFlow Rager 教程
- 一、如何使用 TensorFlow Eager 構建簡單的神經網絡
- 二、在 Eager 模式中使用指標
- 三、如何保存和恢復訓練模型
- 四、文本序列到 TFRecords
- 五、如何將原始圖片數據轉換為 TFRecords
- 六、如何使用 TensorFlow Eager 從 TFRecords 批量讀取數據
- 七、使用 TensorFlow Eager 構建用于情感識別的卷積神經網絡(CNN)
- 八、用于 TensorFlow Eager 序列分類的動態循壞神經網絡
- 九、用于 TensorFlow Eager 時間序列回歸的遞歸神經網絡
- TensorFlow 高效編程
- 圖嵌入綜述:問題,技術與應用
- 一、引言
- 三、圖嵌入的問題設定
- 四、圖嵌入技術
- 基于邊重構的優化問題
- 應用
- 基于深度學習的推薦系統:綜述和新視角
- 引言
- 基于深度學習的推薦:最先進的技術
- 基于卷積神經網絡的推薦
- 關于卷積神經網絡我們理解了什么
- 第1章概論
- 第2章多層網絡
- 2.1.4生成對抗網絡
- 2.2.1最近ConvNets演變中的關鍵架構
- 2.2.2走向ConvNet不變性
- 2.3時空卷積網絡
- 第3章了解ConvNets構建塊
- 3.2整改
- 3.3規范化
- 3.4匯集
- 第四章現狀
- 4.2打開問題
- 參考
- 機器學習超級復習筆記
- Python 遷移學習實用指南
- 零、前言
- 一、機器學習基礎
- 二、深度學習基礎
- 三、了解深度學習架構
- 四、遷移學習基礎
- 五、釋放遷移學習的力量
- 六、圖像識別與分類
- 七、文本文件分類
- 八、音頻事件識別與分類
- 九、DeepDream
- 十、自動圖像字幕生成器
- 十一、圖像著色
- 面向計算機視覺的深度學習
- 零、前言
- 一、入門
- 二、圖像分類
- 三、圖像檢索
- 四、對象檢測
- 五、語義分割
- 六、相似性學習
- 七、圖像字幕
- 八、生成模型
- 九、視頻分類
- 十、部署
- 深度學習快速參考
- 零、前言
- 一、深度學習的基礎
- 二、使用深度學習解決回歸問題
- 三、使用 TensorBoard 監控網絡訓練
- 四、使用深度學習解決二分類問題
- 五、使用 Keras 解決多分類問題
- 六、超參數優化
- 七、從頭開始訓練 CNN
- 八、將預訓練的 CNN 用于遷移學習
- 九、從頭開始訓練 RNN
- 十、使用詞嵌入從頭開始訓練 LSTM
- 十一、訓練 Seq2Seq 模型
- 十二、深度強化學習
- 十三、生成對抗網絡
- TensorFlow 2.0 快速入門指南
- 零、前言
- 第 1 部分:TensorFlow 2.00 Alpha 簡介
- 一、TensorFlow 2 簡介
- 二、Keras:TensorFlow 2 的高級 API
- 三、TensorFlow 2 和 ANN 技術
- 第 2 部分:TensorFlow 2.00 Alpha 中的監督和無監督學習
- 四、TensorFlow 2 和監督機器學習
- 五、TensorFlow 2 和無監督學習
- 第 3 部分:TensorFlow 2.00 Alpha 的神經網絡應用
- 六、使用 TensorFlow 2 識別圖像
- 七、TensorFlow 2 和神經風格遷移
- 八、TensorFlow 2 和循環神經網絡
- 九、TensorFlow 估計器和 TensorFlow HUB
- 十、從 tf1.12 轉換為 tf2
- TensorFlow 入門
- 零、前言
- 一、TensorFlow 基本概念
- 二、TensorFlow 數學運算
- 三、機器學習入門
- 四、神經網絡簡介
- 五、深度學習
- 六、TensorFlow GPU 編程和服務
- TensorFlow 卷積神經網絡實用指南
- 零、前言
- 一、TensorFlow 的設置和介紹
- 二、深度學習和卷積神經網絡
- 三、TensorFlow 中的圖像分類
- 四、目標檢測與分割
- 五、VGG,Inception,ResNet 和 MobileNets
- 六、自編碼器,變分自編碼器和生成對抗網絡
- 七、遷移學習
- 八、機器學習最佳實踐和故障排除
- 九、大規模訓練
- 十、參考文獻