# 在 Python 迷你課程中應用深度學習 > 原文： [https://machinelearningmastery.com/applied-deep-learning-in-python-mini-course/](https://machinelearningmastery.com/applied-deep-learning-in-python-mini-course/) 深度學習是一個迷人的研究領域，這些技術在一系列具有挑戰性的機器學習問題中取得了世界一流的成果。 深入學習可能很難開始。 您應該使用哪個庫以及您應該關注哪些技術？ 在這篇文章中，您將學習一個由 14個 部分組成的 Python 深度學習速成課程，其中包含易于使用且功能強大的 Keras 庫。 這個迷你課程適用于已經熟悉 SciPy 生態學機器學習的Python機器學習從業者。 讓我們現在開始吧。 *（**提示**：你可以收藏或者可以打印這個頁面，以便于以后重新參考。）* * **更新 March / 2018** ：添加了備用鏈接以下載數據集，因為原始圖像已被刪除。  圖片由 [darkday](https://www.flickr.com/photos/drainrat/15783392494/) 提供，并保留所屬權利 ## 這個迷你課程是為誰而準備的 在我們開始之前，讓我們確保您處于合適的位置，以下列表提供了有關本課程設計對象的一般指導原則。 如果你沒有完全匹配以下特點，請不要驚慌，你可能只需要在某一個領域更新您的知識，以便于開始學習這個課程。 * **開發人員且知道如何編寫一些代碼**。這意味著使用 Python 完成任務并了解如何在工作站上設置 SciPy 生態系統（先決條件）對您來說并不是什么大問題。它并不意味著你是一個向導編碼器，但它確實意味著你不怕安裝軟件包和編寫腳本。 * **知道一點機器學習的開發人員**。這意味著您了解機器學習的基礎知識，如交叉驗證，一些算法和偏差-方差權衡。這并不意味著你是一個機器學習大佬，只是你知道一些專業術語或者知道在哪里查找它們。 這個迷你課程并不是深度學習的教科書。 它將使您從熟悉 Python 的機器學習的開發人員到能夠獲得學習成果并將深度學習的強大功能應用到您自己的項目的開發人員。 ## 迷你課程概述（期待什么） 這個迷你課程分為 14 個部分。 開發者每節課平均需要花費的時間大約是30分鐘，課程中的一些知識也許可以很快的學完，而另一些知識則需要花費更多的時間以便于學習的更加深入。 您可以根據自己的需要或快或慢的完成每個部分，強烈推薦您可以在兩周的時間內每天花費一些的時間完成一節課的內容。 您將在接下來的 14 節課中討論的主題如下所示： * **第 01 課**：Theano 簡介 * **第 02 課**：TensorFlow 簡介 * **第 03 課**：Keras 簡介 * **第 04 課**：多層感知器中的速成課程 * **第 05 課**：在 Keras 開發您的第一個神經網絡 * **第 06 課**：使用帶 Scikit-Learn 的 Keras 模型 * **第 07 課**：繪制模型訓練歷史 * **第 08 課**：使用檢查點在訓練期間保存最佳模型 * **第 09 課**：通過降壓正則化減少過度擬合 * **第 10 課**：通過學習率計劃提升績效 * **第 11 課**：卷積神經網絡中的速成課程 * **第 12 課**：手寫數字識別 * **第 13 課**：小照片中的物體識別 * **第 14 課**：通過數據增強改進泛化 這將是一件很有趣的事情。 你將做一些相關工作，包括一些閱讀，一些研究和一些編程，你想學習深度學習嗎？ *（**提示**：這些課程的所有答案都可以在這個博客中使用搜索功能找到。）* 如有任何問題，請在下面的評論中發布，并在評論中分享您的結果。 堅持下去，不要放棄！ ## 第 01 課：Theano 簡介 Theano 是一個用于快速數值計算的 Python 庫，有助于深度學習模型的開發。 它的核心 Theano 是 Python 中數學表達式的編譯器，能夠將您的結構轉換為使用 NumPy 和高效的本機庫的代碼，以便在 CPU 或 GPU 上盡可能快地運行。 Theano 表達式的實際語法是符號性的，這對于習慣于普通軟件開發的初學者來說可能是不適應的，具體而言，表達式實在抽象意義上定義，編譯后用于實際計算。 在本課程中，您的目標是安裝 Theano 并編寫一個小例子來演示 Theano 程序的符號性質。 例如，您可以使用 pip 安裝 Theano，如下所示： ```py sudo pip install Theano ``` 下面列出了一個可以用作起點的 Theano 程序的小例子： ```py import theano from theano import tensor # 定義兩個符號性浮點數 a = tensor.dscalar() b = tensor.dscalar() # 創建一個簡單的表達式 c = a + b # 將表達式轉換為可調用的對象 # 計算輸入值并將其賦值給輸出變量c f = theano.function([a,b], c) result = f(1.5, 2.5) print(result) ``` 您可以在 [Theano 主頁](http://deeplearning.net/software/theano/)上了解有關 Theano 的更多信息。 ## 課程 02：TensorFlow 簡介 TensorFlow 是一個用于 Google 創建和發布的快速數值計算的 Python 庫，與 Theano 一樣，TensorFlow 旨在用于開發深度學習模型。 在谷歌的支持下，可能會在在谷歌 DeepMind 研究小組的某些生產系統中使用它，它是一個我們不能忽視的平臺。 與 Theano 不同，TensorFlow 確實更注重生產，能夠在 CPU，GPU 甚至非常大的集群上運行。 在本課程中，您的目標是安裝 TensorFlow，熟悉 TensorFlow 程序中使用的符號表達式的語法。 如下所示，您可以使用 pip 安裝 TensorFlow： ```py sudo pip install TensorFlow ``` 下面列出了一個可以用作起點的 TensorFlow 程序的小例子： ```py import tensorflow as tf # 聲明兩個符號性浮點變量 a = tf.placeholder(tf.float32) b = tf.placeholder(tf.float32) # 創建一個簡單的符號性表達式 add = tf.add(a, b) # bind 1.5 to ' a ' , 2.5 to ' b ' , and evaluate ' c ' sess = tf.Session() binding = {a: 1.5, b: 2.5} c = sess.run(add, feed_dict=binding) print(c) ``` 您可以在 [TensorFlow 主頁](https://www.tensorflow.org/)上了解有關 TensorFlow 的更多信息。 ## 第 03 課：Keras 簡介 Theano 和 TensorFlow 的難點在于它可能需要大量代碼來創建非常簡單的神經網絡模型。 這些庫主要是作為研究和開發的平臺而設計，而不是應用深度學習的實際問題。 Keras 庫通過為 Theano 和 TensorFlow 提供封裝來解決這些問題，它提供了簡潔的 API，允許您在幾行代碼中定義和評估深度學習模型。 由于易于使用，并且因為它利用了 Theano 和 TensorFlow 的強大功能，Keras 很快成為應用深度學習的首選庫。 Keras 的重點是模型的概念，模型的生命周期可歸納如下： 1. 定義您的模型，創建順序模型并添加已配置的層； 2. 編譯您的模型，指定損失函數和優化器，并在模型上調用`compile()`函數 函數。 3. 擬合您的模型，通過調用模型上的`fir()`函數，在數據樣本上訓練模型。 4. 作出預測，通過調用模型上的`evaluate()`或`predict()`等函數，使用該模型生成對新數據的預測。 您的本課目標是安裝 Keras。 例如，您可以使用 pip 安裝 Keras： ```py sudo pip install keras ``` 現在開始熟悉一下 Keras 庫，為即將到來的課程做好準備，我們將實現我們的第一個模型。 您可以在 [Keras 主頁](http://keras.io/)上了解有關 Keras 庫的更多信息。 ## 課程 04：多層感知器中的速成課程 人工神經網絡是一個迷人的研究領域，盡管它們剛開始時可能會令人生畏。 人工神經網絡領域通常被稱為神經網絡或多層感知器之后可能是最有用的神經網絡類型。 神經網絡的構建塊是人工神經元，這些是簡單的計算單元，其具有加權輸入信號并能使用激活函數產生輸出信號。 神經元被排列成神經元網絡。一行神經元稱為層，一個網絡可以有多個層，網絡中神經元的體系結構通常稱為網絡拓撲。 神經網絡配置完成后，需要在數據集上訓練神經網絡，神經網絡經典且仍然最流行的的訓練算法稱為隨機 梯度下降算法。  簡單神經元的模型 您的本課目標是熟悉神經網絡術語，深入研究神經元，權重，激活函數，學習率等等。 ## 第 05 課：在 Keras 開發您的第一個神經網絡 Keras 允許您在極少數代碼行中開發和評估深度學習模型。 在本課程中，您的目標是使用 Keras 庫開發您的第一個神經網絡。 您可以使用來自 UCI 機器學習庫的標準二進制（兩類）分類數據集，如 [Pima Indians 糖尿病](https://archive.ics.uci.edu/ml/datasets/Pima+Indians+Diabetes)或[電離層數據集](https://archive.ics.uci.edu/ml/datasets/Ionosphere)。 編寫代碼以實現以下目標： 1. 使用 NumPy 或 Pandas 加載數據集； 2. 定義您的神經網絡模型并進行編譯； 3. 擬合您的神經網絡模型； 4. 評估模型在不可見的數據上的性能。 為了給您的學習帶來較大幫助，下面是一個完整的工作示例，您可以將其作為您的學習起點。 您可以[將 Pima Indians 數據集](https://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data)下載到您當前的工作目錄中，文件名為 _pima-indians-diabetes.csv_ （更新：[從這里下載](https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv)） 。 ```py # 利用keras創建第一個神經網絡 from keras.models import Sequential from keras.layers import Dense import numpy # 設置隨機種子 seed = 7 numpy.random.seed(seed) #加載數據集 dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",") # 將數據及分割為輸入變量和輸出變量 X = dataset[:,0:8] Y = dataset[:,8] # 創建模型 model = Sequential() model.add(Dense(12, input_dim=8, kernel_initializer='uniform', activation='relu')) model.add(Dense(8, kernel_initializer='uniform', activation='relu')) model.add(Dense(1, kernel_initializer='uniform', activation='sigmoid')) 編譯模型 model.compile(loss='binary_crossentropy' , optimizer='adam', metrics=['accuracy']) # 擬合網絡 model.fit(X, Y, nb_epoch=150, batch_size=10) # 評估網絡 scores = model.evaluate(X, Y) print("%s: %.2f%%" % (model.metrics_names[1], scores[1]*100)) ``` 現在，根據此示例，您可以在利用不同數據集開發不同的模型或者繼續調整此模型。 您可以在[Keras API更多信息](http://keras.io/models/sequential/)上了解有關用于簡單模型開發的更多的知識。 ## 第 06 課：使用 Scikit-Learn 的 Keras 模型 scikit-learn 庫是一個基于 SciPy 構建的 Python 通用機器學習框架。 Scikit-learn 擅長僅在幾行代碼之內評估模型性能和完成優化模型超參數等任務。 Keras 提供了一個封裝類，允許您使用 scikit-learn 的深度學習模型，例如，Keras 中的 KerasClassifier 類的實例可以封裝您的深度學習模型，并在 scikit-learn 中用作估計器。 使用 KerasClassifier 類時，必須指定該類可用于定義和編譯模型的函數的名稱。您還可以將其他參數傳遞給 KerasClassifier 類的構造函數，之后將傳遞給 `model.fit()` 調用，例如迭代次數和批量大小等。 在本課程中，您的目標是開發深度學習模型并使用 k 折交叉驗證對其進行評估。 例如，您可以定義 KerasClassifier 的實例和自定義函數來創建模型，如下所示： ```py # KerasClassifier類中創建模型的函數 def create_model(): # 創建模型 model = Sequential() ... # 編譯模型 model.compile(...) return model # 使用scikit-learn創建分類器 model = KerasClassifier(build_fn=create_model, nb_epoch=150, batch_size=10) # 在scikit-learn中使用10折交叉驗證評估模型性能 kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=seed) results = cross_val_score(model, X, Y, cv=kfold) ``` 您可以在 Sciki-Learn API 網頁的 [Wrappers 上了解有關使用 Keras 深度學習模型和 scikit-learn 的更多信息。](http://keras.io/scikit-learn-api/) ## 第 07 課：繪制模型訓練歷史 您可以通過觀察模型整個訓練期間的性能了解更多關于神經網絡模型和深度學習更多的信息。 Keras 提供了在訓練深度學習模型時注冊回調的功能。 訓練所有深度學習模型時注冊的默認回調之一是歷史回調，它記錄每個迭代次數的訓練指標，包括損失和精確度（對于分類問題）以及驗證數據集的損失和精確度（如果已設置）。 歷史對象通過調用`fit()`函數返回，度量標準保存在返回對象的歷史成員的字典中。 您本課程的目標是研究歷史對象，并繪制模型在訓練期間的性能圖像。 例如，您可以輸出歷史對象收集的指標列表，如下所示： ```py # 歷史對象中的所有數據 history = model.fit(...) print(history.history.keys()) ``` 您可以在 Keras 中了解有關 [History 對象和回調 API 的更多信息。](http://keras.io/callbacks/#history) ## 第 08 課：使用檢查點在訓練期間保存最佳模型 應用程序檢查點是一種適用于長時間運行過程的容錯技術。 Keras 庫通過回調 API 提供檢查點功能， ModelCheckpoint回調類允許您定義模型權重參數檢查點的位置，文件命名規范和創建模型檢查點的條件。 如果訓練運行過早停止，則檢查點可用于跟蹤模型權重，也可以跟蹤訓練期間觀察到的最佳模型。 在本課程中，您的目標是使用 Keras 中的 ModelCheckpoint 回調來跟蹤訓練期間觀察到的最佳模型。 您可以定義 ModelCheckpoint，每次觀察到改進時，都會將網絡權重保存到同一文件中。例如： ```py from keras.callbacks import ModelCheckpoint ... checkpoint = ModelCheckpoint('weights.best.hdf5', monitor='val_acc', save_best_only=True, mode='max') callbacks_list = [checkpoint] #擬合網絡 model.fit(..., callbacks=callbacks_list) ``` 了解有關在 Keras 中使用 [ModelCheckpoint 回調的更多信息。](http://keras.io/callbacks/#modelcheckpoint) ## 第 09 課：通過隨機失活正則化減少過擬合 過度學習訓練數據集是神經網絡面臨的一個大問題！ 隨機失活（Dropout） 是一種簡單但非常有效的減少丟失的技術，并且已證明在大型深度學習模型中很有用。 隨機失活是一種在訓練過程中隨機選擇被忽略的神經元的技術，而這些神經元是隨機選擇的。這意味著它們對下游神經元激活的貢獻在正向通道時暫時消除，并且任何權重參數的更新都不會應用于后向通過的的神經元。 您可以使用 Dropout 層類將隨機失活層添加到深度學習模型中。 在本課程中，您的目標是嘗試在神經網絡的不同節點添加隨機dropout，并設置不同的dropout的概率值。 例如，您可以創建一個概率為 20％的隨機失活層，并將其添加到您的模型中，如下所示： ```py from keras.layers import Dropout ... model.add(Dropout(0.2)) ``` 你可以在 Keras 中了解更多關于的[dropout.](http://keras.io/layers/core/#dropout)的更多信息。 ## 第 10 課： 通過學習率計劃提升模型性能 通過使用學習率計劃，您通常可以提高模型的性能。 通常稱為自適應學習率或退火學習率，隨機梯度下降的學習率在訓練模型時會發生變化的技術。 Keras 具有基于時間的學習率計劃，該表內置于 SGD 類中的隨機梯度下降算法的實現中。 構建類時，您可以指定衰減數量，即您的學習率（也是被指定的）每次迭代時減少的數量，當使用學習率衰減數量時，你應該指定您的初始學習率值并考慮增加一個大的動量值，如0.8或者0.9. 您在本課程中的目標是嘗試 Keras 內置的基于時間的學習率計劃。 例如，您可以指定從 0.1 開始的學習率計劃，每次迭代下降 0.0001，如下所示： ```py from keras.optimizers import SGD ... sgd = SGD(lr=0.1, momentum=0.9, decay=0.0001, nesterov=False) model.compile(..., optimizer=sgd) ``` 您可以在此處了解更多關于 Keras 的 [SGD 課程](http://keras.io/optimizers/#sgd)。 ## 第 11 課：卷積神經網絡中的速成課程 卷積神經網絡是一種強大的人工神經網絡技術。 他們通過使用小方塊格式的輸入數據學習其內部特征表示來期望并保持圖像中像素之間的空間關系。 在整個圖像中學習和使用特征，允許圖像中的物體在場景中移動或平移，并且仍然可以被網絡檢測到，這就是為什么這種類型的網絡對于照片不同方向中的物體識別，數字識別，人臉識別別等非常有用的原因。 卷積神經網絡中的三種類型： 1. **卷積層**: 由過濾器和特征圖組成。 2. **池化層**: 從特征圖中下采樣激活。 3. **完全連接層**: 連接于模型的末端，可用于進行預測。 在本課中，您需要熟悉描述卷積神經網絡時使用的術語。 這可能需要您自己進行一些研究，但是不要過分擔心它們如何工作，只需學習這種網絡中使用的各種層的術語和配置。 ## 第 12 課：手寫數字識別 手寫數字識別是一類復雜的計算機視覺分類問題。 MNIST 數據集是用于評估手寫數字識別問題的算法的標準問題。它包含可用于訓練模型的 60,000 個數字圖像，以及可用于評估其性能的 10,000 個圖像，如下圖所示：  使用卷積神經網絡可以在 MNIST 問題上實現現有技術的結果，Keras 使得加載 MNIST 數據集變得更加容易。 在本課程中，您的目標是為 MNIST 問題開發一個非常簡單的卷積神經網絡，該模型由一個卷積層，一個池化層和一個用來預測的完全連接層組成。 您可以在 Keras 中加載 MNIST 數據集，如下所示： ```py from keras.datasets import mnist ... (X_train, y_train), (X_test, y_test) = mnist.load_data() ``` 將文件下載到您的計算機可能需要一些時間。 >一個小提示：您 Keras [Conv2D](http://keras.io/layers/convolutional/) 作為您的第一個隱藏層，數據的格式為`通道 x 寬 x 高`的圖像數據，其中 MNIST 數據集具有 1 個通道，因為圖像是寬度和高度都是28像素的灰度級圖像，您可以很容易的在代碼中重新改變數據的格式，如下代碼所示: ```py X_train = X_train.reshape(X_train.shape[0], 1, 28, 28) X_test = X_test.reshape(X_test.shape[0], 1, 28, 28) ``` 您還需要對輸出類值進行單熱編碼，Keras 還提供了一個方便的輔助函數來實現： ```py from keras.utils import np_utils ... y_train = np_utils.to_categorical(y_train) y_test = np_utils.to_categorical(y_test) ``` 作為最后的提示，這里是一個模型定義示例，您可以將其作為您的學習起點起點： ```py model = Sequential() model.add(Conv2D(32, (3, 3), padding='valid', input_shape=(1, 28, 28), activation='relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Flatten()) model.add(Dense(128, activation='relu')) model.add(Dense(num_classes, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) ``` ## 第 13 課：小照片中的物體識別 物體識別是您的模型必須能夠識別出每個小照片中具體物體的問題 深度學習模型使用深度卷積神經網絡在該問題中取得最先進的研究結果。 用于評估此類問題模型的最為流行的標準數據集稱為 CIFAR-10,它包含 60,000 張小照片，每張照片都是 10 個物體中的一個，如貓，船或飛機等，如下所示：  與 MNIST 數據集一樣，Keras 提供了一個方便的函數，您可以使用它來加載數據集，并在您第一次嘗試加載數據集時將其下載到您的計算機，數據集為 163 MB，因此下載可能需要幾分鐘。 您在本課程中的目標是為 CIFAR-10 數據集開發一個深度卷積神經網絡。考慮嘗試隨機失活和較長的訓練時間，我建議您使用重復模式的卷積層和池化層。。 例如，您可以在 Keras 中加載 CIFAR-10 數據集并與卷積神經網絡一起使用，如下所示： ```py from keras.datasets import cifar10 from keras.utils import np_utils # 加載數據 (X_train, y_train), (X_test, y_test) = cifar10.load_data() # 正則化輸出 X_train = X_train.astype('float32') X_test = X_test.astype('float32') X_train = X_train / 255.0 X_test = X_test / 255.0 # 單熱編碼輸出 y_train = np_utils.to_categorical(y_train) y_test = np_utils.to_categorical(y_test) ``` ## 第 14 課：通過數據擴充改進泛化 使用神經網絡和深度學習模型時，需要對數據進行預處理。 更復雜的對象識別任務也會導致越來越多的數據擴充，這是您使用隨機翻轉和移位修改數據集中的圖像的位置的結果，這實質上會使您的訓練數據集更大，并且有助于您的模型生成位置和方向信息。 Keras 提供了一個圖像增強 API，可以及時在數據集中創建圖像的修改版本， [ImageDataGenerator](http://keras.io/preprocessing/image/) 類可用于定義要執行的圖像增強操作，這些操作可擬合數據集，然后在訓練模型時用于代替數據集。 本課程的目標是使用您在上一課（如 MNIST 或 CIFAR-10）中熟悉的數據集來試驗 Keras 圖像增強 API。 例如，下面的示例在 MNIST 數據集中創建最多 90 度圖像的隨機旋轉。 ```py # 隨機旋轉 from keras.datasets import mnist from keras.preprocessing.image import ImageDataGenerator from matplotlib import pyplot # 加載數據 (X_train, y_train), (X_test, y_test) = mnist.load_data() # 重新改變圖像的數據格式 X_train = X_train.reshape(X_train.shape[0], 1, 28, 28) X_test = X_test.reshape(X_test.shape[0], 1, 28, 28) # 將整型數據轉換為浮點型數據 X_train = X_train.astype('float32') X_test = X_test.astype('float32') # 定義數據預處理 datagen = ImageDataGenerator(rotation_range=90) # 從數據中擬合參數 datagen.fit(X_train) # configure batch size and retrieve one batch of images for X_batch, y_batch in datagen.flow(X_train, y_train, batch_size=9): # 創建一個3×3的網格圖像 for i in range(0, 9): pyplot.subplot(330 + 1 + i) pyplot.imshow(X_batch[i].reshape(28, 28), cmap=pyplot.get_cmap('gray')) # 顯示突襲iang pyplot.show() break ``` 您可以了解有關 [Keras 圖像增強 API](http://keras.io/preprocessing/image/) 的更多信息。 ## 深度學習迷你課程評論 恭喜你，你做到了。做得好！ 花點時間回顧一下你走了多遠： * 您在 python 中了解了深度學習庫，包括可用于深度學習的強大的數值庫 Theano 和 TensorFlow 以及易于使用的 Keras 庫。 * 您使用 Keras 構建了第一個神經網絡，并學習了如何使用 scikit-learn 的深度學習模型以及如何檢索和繪制模型的訓練歷史記錄。 * 您了解了更多高級技術，例如隨機失活正則化和基于時間的學習率計劃，以及如何在 Keras 中使用這些技術。 * 最后，您了解并開發了用于復雜計算機視覺任務的卷積神經網絡，并了解了圖像數據的增強的相關知識。 不要輕視這一點，你在很短的時間內走了很長的路，這只是您在 Python 中深入學習的旅程的開始。請繼續練習和發展你的技能。 你喜歡這個迷你課程嗎？你有任何問題或疑點可以發表評論！