使用 TensorFlow 的用于 MNIST 的 LeNet CNN · 精通 TensorFlow 1.x

# 使用 TensorFlow 的用于 MNIST 的 LeNet CNN 在 TensorFlow 中，應用以下步驟為 MNIST 數據構建基于 LeNet 的 CNN 模型： 1. 定義超參數，以及 x 和 y 的占位符（輸入圖像和輸出標簽）： ```py n_classes = 10 # 0-9 digits n_width = 28 n_height = 28 n_depth = 1 n_inputs = n_height * n_width * n_depth # total pixels learning_rate = 0.001 n_epochs = 10 batch_size = 100 n_batches = int(mnist.train.num_examples/batch_size) # input images shape: (n_samples,n_pixels) x = tf.placeholder(dtype=tf.float32, name="x", shape=[None, n_inputs]) # output labels y = tf.placeholder(dtype=tf.float32, name="y", shape=[None, n_classes]) ``` 將輸入 x 重塑為形狀（`n_samples`，`n_width`，`n_height`，`n_depth`）： ```py x_ = tf.reshape(x, shape=[-1, n_width, n_height, n_depth]) ``` 1. 使用形狀為 4 x 4 的 32 個內核定義第一個卷積層，從而生成 32 個特征圖。 * 首先，定義第一個卷積層的權重和偏差。我們使用正態分布填充參數： ```py layer1_w = tf.Variable(tf.random_normal(shape=[4,4,n_depth,32], stddev=0.1),name='l1_w') layer1_b = tf.Variable(tf.random_normal([32]),name='l1_b') ``` * 接下來，用 `tf.nn.conv2d`函數定義卷積層。函數參數`stride`定義了內核張量在每個維度中應該滑動的元素。維度順序由`data_format`確定，可以是`'NHWC'`或`'NCHW'`（默認為`'NHWC'`）。通常，`stride`中的第一個和最后一個元素設置為“1”。函數參數`padding`可以是`SAME`或`VALID`。 `SAME` `padding`表示輸入將用零填充，以便在卷積后輸出與輸入的形狀相同。使用`tf.nn.relu()`函數添加`relu`激活： ```py layer1_conv = tf.nn.relu(tf.nn.conv2d(x_,layer1_w, strides=[1,1,1,1], padding='SAME' ) + layer1_b ) ``` * 使用 `tf.nn.max_pool()` 函數定義第一個池化層。參數 `ksize` 表示使用 2×2×1 個區域的合并操作，參數 `stride` 表示將區域滑動 2×2×1 個像素。因此，區域彼此不重疊。由于我們使用 `max_pool` ，池化操作選擇 2 x 2 x 1 區域中的最大值： ```py layer1_pool = tf.nn.max_pool(layer1_conv,ksize=[1,2,2,1], strides=[1,2,2,1],padding='SAME') ``` 第一個卷積層產生 32 個大小為 28 x 28 x 1 的特征圖，然后池化成 32 x 14 x 14 x 1 的數據。 1. 定義第二個卷積層，它將此數據作為輸入并生成 64 個特征圖。 * 首先，定義第二個卷積層的權重和偏差。我們用正態分布填充參數： ```py layer2_w = tf.Variable(tf.random_normal(shape=[4,4,32,64], stddev=0.1),name='l2_w') layer2_b = tf.Variable(tf.random_normal([64]),name='l2_b') ``` * 接下來，用 `tf.nn.conv2d`函數定義卷積層： ```py layer2_conv = tf.nn.relu(tf.nn.conv2d(layer1_pool, layer2_w, strides=[1,1,1,1], padding='SAME' ) + layer2_b ) ``` * 用`tf.nn.max_pool`函數定義第二個池化層： ```py layer2_pool = tf.nn.max_pool(layer2_conv, ksize=[1,2,2,1], strides=[1,2,2,1], padding='SAME' ) ``` 第二卷積層的輸出形狀為 64 ×14×14×1，然后池化成 64×7×7×1 的形狀的輸出。 1. 在輸入 1024 個神經元的完全連接層之前重新整形此輸出，以產生大小為 1024 的扁平輸出： ```py layer3_w = tf.Variable(tf.random_normal(shape=[64*7*7*1,1024], stddev=0.1),name='l3_w') layer3_b = tf.Variable(tf.random_normal([1024]),name='l3_b') layer3_fc = tf.nn.relu(tf.matmul(tf.reshape(layer2_pool, [-1, 64*7*7*1]),layer3_w) + layer3_b) ``` 1. 完全連接層的輸出饋入具有 10 個輸出的線性輸出層。我們在這一層沒有使用 softmax，因為我們的損失函數自動將 softmax 應用于輸出： ```py layer4_w = tf.Variable(tf.random_normal(shape=[1024, n_classes], stddev=0.1),name='l) layer4_b = tf.Variable(tf.random_normal([n_classes]),name='l4_b') layer4_out = tf.matmul(layer3_fc,layer4_w)+layer4_b ``` 這創建了我們保存在變量`model`中的第一個 CNN 模型： ```py model = layer4_out ``` 鼓勵讀者探索具有不同超參數值的 TensorFlow 中可用的不同卷積和池操作符。為了定義損失，我們使用`tf.nn.softmax_cross_entropy_with_logits`函數，對于優化器，我們使用`AdamOptimizer`函數。您應該嘗試探索 TensorFlow 中可用的不同優化器函數。 ```py entropy = tf.nn.softmax_cross_entropy_with_logits(logits=model, labels=y) loss = tf.reduce_mean(entropy) optimizer = tf.train.AdamOptimizer(learning_rate).minimize(loss) ``` 最后，我們通過迭代`n_epochs`來訓練模型，并且在`n_batches`上的每個周期列中，每批`batch_size`的大小： ```py with tf.Session() as tfs: tf.global_variables_initializer().run() for epoch in range(n_epochs): total_loss = 0.0 for batch in range(n_batches): batch_x,batch_y = mnist.train.next_batch(batch_size) feed_dict={x:batch_x, y: batch_y} batch_loss,_ = tfs.run([loss, optimizer], feed_dict=feed_dict) total_loss += batch_loss average_loss = total_loss / n_batches print("Epoch: {0:04d} loss = {1:0.6f}".format(epoch,average_loss)) print("Model Trained.") predictions_check = tf.equal(tf.argmax(model,1),tf.argmax(y,1)) accuracy = tf.reduce_mean(tf.cast(predictions_check, tf.float32)) feed_dict = {x:mnist.test.images, y:mnist.test.labels} print("Accuracy:", accuracy.eval(feed_dict=feed_dict)) ``` 我們得到以下輸出： ```py Epoch: 0000 loss = 1.418295 Epoch: 0001 loss = 0.088259 Epoch: 0002 loss = 0.055410 Epoch: 0003 loss = 0.042798 Epoch: 0004 loss = 0.030471 Epoch: 0005 loss = 0.023837 Epoch: 0006 loss = 0.019800 Epoch: 0007 loss = 0.015900 Epoch: 0008 loss = 0.012918 Epoch: 0009 loss = 0.010322 Model Trained. Accuracy: 0.9884 ``` 現在，與我們在前幾章中看到的方法相比，這是一個非常好的準確性。從圖像數據中學習 CNN 模型是不是很神奇？