如何在 Linux 服務器上運行深度學習實驗 · Machine Learning Mastery 博客文章翻譯

# 如何在 Linux 服務器上運行深度學習實驗 > 原文： [https://machinelearningmastery.com/run-deep-learning-experiments-linux-server/](https://machinelearningmastery.com/run-deep-learning-experiments-linux-server/) 編寫代碼后，必須在具有大量 RAM，CPU 和 GPU 資源的大型計算機上運行深度學習實驗，通常是云中的 Linux 服務器。最近，我被問到這個問題： > “你如何進行深度學習實驗？” 這是一個我喜歡回答的好問題。在這篇文章中，您將發現我用于在 Linux 上運行深度學習實驗的方法，命令和腳本。閱讀這篇文章后，你會知道： * 如何設計建模實驗以將模型保存到文件。 * 如何運行單個 Python 實驗腳本。 * 如何從 shell 腳本順序運行多個 Python 實驗。讓我們開始吧。 ![How to Run Deep Learning Experiments on a Linux Server](https://img.kancloud.cn/26/ee/26ee1ff8f66a3de35dc2c8c51d04c00c_640x339.png) 如何在 Linux 服務器上運行深度學習實驗 [Patrik Nygren](https://www.flickr.com/photos/lattefarsan/10538489333/) 的照片，保留一些權利。 ## 1\. Linux 服務器我在工作站上編寫了所有建模代碼，并在遠程 Linux 服務器上運行所有代碼。目前，我的偏好是在 EC2 上使用[亞馬遜深度學習 AMI](https://aws.amazon.com/marketplace/pp/B01M0AXXQB) 。有關為自己的實驗設置此服務器的幫助，請參閱帖子： * [如何使用亞馬遜網絡服務上的 Keras 開發和評估大型深度學習模型](https://machinelearningmastery.com/develop-evaluate-large-deep-learning-models-keras-amazon-web-services/) ## 2.建模代碼我編寫代碼，以便每個 python 文件有一個實驗。大多數情況下，我正在處理大型數據，如圖像字幕，文本摘要和機器翻譯。每個實驗都適合模型，并將整個模型或權重保存到 [HDF5 文件](http://www.h5py.org/)，以便以后重復使用。有關將模型保存到文件的更多信息，請參閱以下帖子： * [保存并加載您的 Keras 深度學習模型](https://machinelearningmastery.com/save-load-keras-deep-learning-models/) * [如何在 Keras 檢查深度學習模型](https://machinelearningmastery.com/check-point-deep-learning-models-keras/) 我嘗試準備一套實驗（通常是 10 個或更多）以便在一個批次中運行。我還嘗試將數據準備步驟分離為首先運行的腳本，并創建可隨時加載和使用的訓練數據集的 pickle 版本。 ## 3.運行實驗每個實驗可能會在訓練期間輸出一些診斷信息，因此，每個腳本的輸出都會重定向到特定于實驗的日志文件。如果事情失敗，我也會重定向標準錯誤。在運行時，Python 解釋器可能不會經常刷新輸出，尤其是在系統負載不足的情況下。我們可以使用 Python 解釋器上的 _-u_ 標志強制將輸出刷新到日志中。運行單個腳本（ _myscript.py_ ）如下所示： ```py python -u myscript.py >myscript.py.log 2>&1 ``` 我可以創建一個“_ 模型”_ 和一個“_ 結果”_ 目錄，并更新要保存到這些目錄的模型文件和日志文件，以保持代碼目錄清晰。 ## 4.運行批量實驗每個 Python 腳本都按順序運行。創建一個 shell 腳本，按順序列出多個實驗。例如： ```py #!/bin/sh # run experiments python -u myscript1.py >myscript1.py.log 2>&1 python -u myscript2.py >myscript2.py.log 2>&1 python -u myscript3.py >myscript3.py.log 2>&1 python -u myscript4.py >myscript4.py.log 2>&1 python -u myscript5.py >myscript5.py.log 2>&1 ``` 該文件將保存為“ _run.sh”_，與代碼文件放在同一目錄中并在服務器上運行。例如，如果所有代碼和 run.sh 腳本都位于“ _ec2-user_ ”主目錄的“ _experiments_ ”目錄中，則腳本將按如下方式運行： ```py nohup /home/ec2-user/experiments/run.sh > /home/ec2-user/experiments/run.sh.log </dev/null 2>&1 & ``` 該腳本作為后臺進程運行，無法輕易中斷。我還捕獲了這個腳本的結果，以防萬一。您可以在本文中了解有關在 Linux 上運行腳本的更多信息： * [10 個亞馬遜網絡服務深度學習命令行方案](https://machinelearningmastery.com/command-line-recipes-deep-learning-amazon-web-services/) 就是這樣。 ## 進一步閱讀如果您希望深入了解，本節將提供有關該主題的更多資源。 * [源代碼深度學習 AMI（CUDA 8，亞馬遜 Linux）](https://aws.amazon.com/marketplace/pp/B01M0AXXQB) * [保存并加載您的 Keras 深度學習模型](https://machinelearningmastery.com/save-load-keras-deep-learning-models/) * [如何在 Keras 檢查深度學習模型](https://machinelearningmastery.com/check-point-deep-learning-models-keras/) * [10 個亞馬遜網絡服務深度學習命令行方案](https://machinelearningmastery.com/command-line-recipes-deep-learning-amazon-web-services/) * [如何使用亞馬遜網絡服務上的 Keras 開發和評估大型深度學習模型](https://machinelearningmastery.com/develop-evaluate-large-deep-learning-models-keras-amazon-web-services/) ## 摘要在這篇文章中，您發現了我用于在 Linux 上運行深度學習實驗的方法，命令和腳本。具體來說，你學到了： * 如何設計建模實驗以將模型保存到文件。 * 如何運行單個 Python 實驗腳本。 * 如何從 shell 腳本順序運行多個 Python 實驗。你有任何問題嗎？在下面的評論中提出您的問題，我會盡力回答。