再訓練或微調模型 · 精通 TensorFlow 1.x

# 再訓練或微調模型在像 ImageNet 這樣的大型和多樣化數據集上訓練的模型能夠檢測和捕獲一些通用特征，如曲線，邊緣和形狀。其中一些特征很容易適用于其他類型的數據集。因此，在遷移學習中，我們采用這樣的通用模型，并使用以下一些技術來微調或再訓練它們到我們的數據集： * **廢除并替換最后一層：** m 通常的做法是刪除最后一層并添加與我們的數據集匹配的新分類層。例如，ImageNet 模型使用 1,000 個類別進行訓練，但我們的 COCO 動物數據集只有 8 個類別，因此我們刪除了 softmax 層，該層使用 softmax 層生成 1,000 個類別的概率，該層生成 8 個類別的概率。通常，當新數據集幾乎與訓練模型的數據集類似時使用此技術，因此僅需要再訓練最后一層。 * **凍結前幾層**：另一種常見做法是凍結前幾層，以便僅使用新數據集更新最后未凍結層的權重。我們將看到一個例子，我們凍結前 15 層，同時只再訓練最后 10 層。通常，當新數據集與訓練模型的數據集非常不相似時使用此技術，因此不僅需要訓練最后的層。 * **調整超參數**：您還可以在再訓練之前調整超參數，例如更改學習率或嘗試不同的損失函數或不同的優化器。 TensorFlow 和 Keras 均提供預訓練模型。我們將在文件夾`tensorflow/models/research/slim/nets`中通過 TensorFlow Slim 演示我們的示例，TensorFlow Slim 在編寫時有幾個預訓練的模型。我們將使用 TensorFlow Slim 來實例化預訓練的模型，然后從下載的檢查點文件加載權重。然后，加載的模型將用于使用新數據集進行預測。然后我們將再訓練模型以微調預測。我們還將通過`keras.applications`模塊中提供的 Keras 預訓練模型演示遷移學習。雖然 TensorFlow 有大約 20 多個預訓練模型，但`keras.appplications`只有以下 7 種預訓練模型： * [Xception](https://keras.io/applications/#xception) - [https://keras.io/applications/#xception](https://keras.io/applications/#xception) * [VGG16](https://keras.io/applications/#vgg16) - [https://keras.io/applications/#vgg16](https://keras.io/applications/#vgg16) * [VGG19](https://keras.io/applications/#vgg19) - [https://keras.io/applications/#vgg19](https://keras.io/applications/#vgg19) * [ResNet50](https://keras.io/applications/#resnet50) - [https://keras.io/applications/#resnet50](https://keras.io/applications/#resnet50) * [InceptionV3](https://keras.io/applications/#inceptionv3) - [https://keras.io/applications/#inceptionv3](https://keras.io/applications/#inceptionv3) * [InceptionResNetV2](https://keras.io/applications/#inceptionresnetv2) - [https://keras.io/applications/#inceptionresnetv2](https://keras.io/applications/#inceptionresnetv2) * [MobileNet](https://keras.io/applications/#mobilenet) - [https://keras.io/applications/#mobilenet](https://keras.io/applications/#mobilenet)