# 5.4 池化層
回憶一下,在5.1節(二維卷積層)里介紹的圖像物體邊緣檢測應用中,我們構造卷積核從而精確地找到了像素變化的位置。設任意二維數組`X`的`i`行`j`列的元素為`X[i, j]`。如果我們構造的卷積核輸出`Y[i, j]=1`,那么說明輸入中`X[i, j]`和`X[i, j+1]`數值不一樣。這可能意味著物體邊緣通過這兩個元素之間。但實際圖像里,我們感興趣的物體不會總出現在固定位置:即使我們連續拍攝同一個物體也極有可能出現像素位置上的偏移。這會導致同一個邊緣對應的輸出可能出現在卷積輸出`Y`中的不同位置,進而對后面的模式識別造成不便。
在本節中我們介紹池化(pooling)層,它的提出是**為了緩解卷積層對位置的過度敏感性**。
## 5.4.1 二維最大池化層和平均池化層
同卷積層一樣,池化層每次對輸入數據的一個固定形狀窗口(又稱池化窗口)中的元素計算輸出。不同于卷積層里計算輸入和核的互相關性,池化層直接計算池化窗口內元素的最大值或者平均值。該運算也分別叫做最大池化或平均池化。在二維最大池化中,池化窗口從輸入數組的最左上方開始,按從左往右、從上往下的順序,依次在輸入數組上滑動。當池化窗口滑動到某一位置時,窗口中的輸入子數組的最大值即輸出數組中相應位置的元素。
:-: 
<div align=center>圖5.6 池化窗口形狀為 2 x 2 的最大池化</div>
圖5.6展示了池化窗口形狀為`$ 2\times 2 $`的最大池化,陰影部分為第一個輸出元素及其計算所使用的輸入元素。輸出數組的高和寬分別為2,其中的4個元素由取最大值運算`$ \text{max} $`得出:
```[tex]
\max(0,1,3,4)=4,\\
\max(1,2,4,5)=5,\\
\max(3,4,6,7)=7,\\
\max(4,5,7,8)=8.\\
```
二維平均池化的工作原理與二維最大池化類似,但將最大運算符替換成平均運算符。池化窗口形狀為`$ p \times q $`的池化層稱為`$ p \times q $`池化層,其中的池化運算叫作`$ p \times q $`池化。
讓我們再次回到本節開始提到的物體邊緣檢測的例子。現在我們將卷積層的輸出作為`$ 2\times 2 $`最大池化的輸入。設該卷積層輸入是`X`、池化層輸出為`Y`。無論是`X[i, j]`和`X[i, j+1]`值不同,還是`X[i, j+1]`和`X[i, j+2]`不同,池化層輸出均有`Y[i, j]=1`。也就是說,使用`$ 2\times 2 $`最大池化層時,只要卷積層識別的模式在高和寬上移動不超過一個元素,我們依然可以將它檢測出來。
下面把池化層的前向計算實現在`pool2d`函數里。它跟5.1節(二維卷積層)里`corr2d`函數非常類似,唯一的區別在計算輸出`Y`上。
``` python
import torch
from torch import nn
def pool2d(X, pool_size, mode='max'):
X = X.float()
p_h, p_w = pool_size
Y = torch.zeros(X.shape[0] - p_h + 1, X.shape[1] - p_w + 1)
for i in range(Y.shape[0]):
for j in range(Y.shape[1]):
if mode == 'max':
Y[i, j] = X[i: i + p_h, j: j + p_w].max()
elif mode == 'avg':
Y[i, j] = X[i: i + p_h, j: j + p_w].mean()
return Y
```
我們可以構造圖5.6中的輸入數組`X`來驗證二維最大池化層的輸出。
``` python
X = torch.tensor([[0, 1, 2], [3, 4, 5], [6, 7, 8]])
pool2d(X, (2, 2))
```
輸出:
```
tensor([[4., 5.],
[7., 8.]])
```
同時我們實驗一下平均池化層。
``` python
pool2d(X, (2, 2), 'avg')
```
輸出:
```
tensor([[2., 3.],
[5., 6.]])
```
## 5.4.2 填充和步幅
同卷積層一樣,池化層也可以在輸入的高和寬兩側的填充并調整窗口的移動步幅來改變輸出形狀。池化層填充和步幅與卷積層填充和步幅的工作機制一樣。我們將通過`nn`模塊里的二維最大池化層`MaxPool2d`來演示池化層填充和步幅的工作機制。我們先構造一個形狀為(1, 1, 4, 4)的輸入數據,前兩個維度分別是批量和通道。
``` python
X = torch.arange(16, dtype=torch.float).view((1, 1, 4, 4))
X
```
輸出:
```
tensor([[[[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.]]]])
```
默認情況下,`MaxPool2d`實例里步幅和池化窗口形狀相同。下面使用形狀為(3, 3)的池化窗口,默認獲得形狀為(3, 3)的步幅。
``` python
pool2d = nn.MaxPool2d(3)
pool2d(X)
```
輸出:
```
tensor([[[[10.]]]])
```
我們可以手動指定步幅和填充。
``` python
pool2d = nn.MaxPool2d(3, padding=1, stride=2)
pool2d(X)
```
輸出:
```
tensor([[[[ 5., 7.],
[13., 15.]]]])
```
當然,我們也可以指定非正方形的池化窗口,并分別指定高和寬上的填充和步幅。
``` python
pool2d = nn.MaxPool2d((2, 4), padding=(1, 2), stride=(2, 3))
pool2d(X)
```
輸出:
```
tensor([[[[ 1., 3.],
[ 9., 11.],
[13., 15.]]]])
```
## 5.4.3 多通道
在處理多通道輸入數據時,**池化層對每個輸入通道分別池化,而不是像卷積層那樣將各通道的輸入按通道相加**。這意味著池化層的輸出通道數與輸入通道數相等。下面將數組`X`和`X+1`在通道維上連結來構造通道數為2的輸入。
``` python
X = torch.cat((X, X + 1), dim=1)
X
```
輸出:
```
tensor([[[[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.]],
[[ 1., 2., 3., 4.],
[ 5., 6., 7., 8.],
[ 9., 10., 11., 12.],
[13., 14., 15., 16.]]]])
```
池化后,我們發現輸出通道數仍然是2。
``` python
pool2d = nn.MaxPool2d(3, padding=1, stride=2)
pool2d(X)
```
輸出:
```
tensor([[[[ 5., 7.],
[13., 15.]],
[[ 6., 8.],
[14., 16.]]]])
```
## 小結
* 最大池化和平均池化分別取池化窗口中輸入元素的最大值和平均值作為輸出。
* 池化層的一個主要作用是緩解卷積層對位置的過度敏感性。
* 可以指定池化層的填充和步幅。
* 池化層的輸出通道數跟輸入通道數相同。
-----------
> 注:除代碼外本節與原書此節基本相同,[原書傳送門](https://zh.d2l.ai/chapter_convolutional-neural-networks/pooling.html)
- Home
- Introduce
- 1.深度學習簡介
- 深度學習簡介
- 2.預備知識
- 2.1環境配置
- 2.2數據操作
- 2.3自動求梯度
- 3.深度學習基礎
- 3.1 線性回歸
- 3.2 線性回歸的從零開始實現
- 3.3 線性回歸的簡潔實現
- 3.4 softmax回歸
- 3.5 圖像分類數據集(Fashion-MINST)
- 3.6 softmax回歸的從零開始實現
- 3.7 softmax回歸的簡潔實現
- 3.8 多層感知機
- 3.9 多層感知機的從零開始實現
- 3.10 多層感知機的簡潔實現
- 3.11 模型選擇、反向傳播和計算圖
- 3.12 權重衰減
- 3.13 丟棄法
- 3.14 正向傳播、反向傳播和計算圖
- 3.15 數值穩定性和模型初始化
- 3.16 實戰kaggle比賽:房價預測
- 4 深度學習計算
- 4.1 模型構造
- 4.2 模型參數的訪問、初始化和共享
- 4.3 模型參數的延后初始化
- 4.4 自定義層
- 4.5 讀取和存儲
- 4.6 GPU計算
- 5 卷積神經網絡
- 5.1 二維卷積層
- 5.2 填充和步幅
- 5.3 多輸入通道和多輸出通道
- 5.4 池化層
- 5.5 卷積神經網絡(LeNet)
- 5.6 深度卷積神經網絡(AlexNet)
- 5.7 使用重復元素的網絡(VGG)
- 5.8 網絡中的網絡(NiN)
- 5.9 含并行連結的網絡(GoogLeNet)
- 5.10 批量歸一化
- 5.11 殘差網絡(ResNet)
- 5.12 稠密連接網絡(DenseNet)
- 6 循環神經網絡
- 6.1 語言模型
- 6.2 循環神經網絡
- 6.3 語言模型數據集(周杰倫專輯歌詞)
- 6.4 循環神經網絡的從零開始實現
- 6.5 循環神經網絡的簡單實現
- 6.6 通過時間反向傳播
- 6.7 門控循環單元(GRU)
- 6.8 長短期記憶(LSTM)
- 6.9 深度循環神經網絡
- 6.10 雙向循環神經網絡
- 7 優化算法
- 7.1 優化與深度學習
- 7.2 梯度下降和隨機梯度下降
- 7.3 小批量隨機梯度下降
- 7.4 動量法
- 7.5 AdaGrad算法
- 7.6 RMSProp算法
- 7.7 AdaDelta
- 7.8 Adam算法
- 8 計算性能
- 8.1 命令式和符號式混合編程
- 8.2 異步計算
- 8.3 自動并行計算
- 8.4 多GPU計算
- 9 計算機視覺
- 9.1 圖像增廣
- 9.2 微調
- 9.3 目標檢測和邊界框
- 9.4 錨框
- 10 自然語言處理
- 10.1 詞嵌入(word2vec)
- 10.2 近似訓練
- 10.3 word2vec實現
- 10.4 子詞嵌入(fastText)
- 10.5 全局向量的詞嵌入(Glove)
- 10.6 求近義詞和類比詞
- 10.7 文本情感分類:使用循環神經網絡
- 10.8 文本情感分類:使用卷積網絡
- 10.9 編碼器--解碼器(seq2seq)
- 10.10 束搜索
- 10.11 注意力機制
- 10.12 機器翻譯