# 分布式執行策略 為了在多個設備或節點上分發單個模型的訓練，有以下策略： * **模型并行：**將模型劃分為多個子圖，并將單獨的圖放在不同的節點或設備上。子圖執行計算并根據需要交換變量。 * **數據并行：**將數據分組并在多個節點或設備上運行相同的模型，并在主節點上組合參數。因此，工作節點在批量數據上訓練模型并將參數更新發送到主節點，也稱為參數服務器。  上圖顯示了數據并行方法，其中模型副本分批讀取數據分區并將參數更新發送到參數服務器，參數服務器將更新的參數發送回模型副本以進行下一次批量計算的更新。 在 TensorFlow 中，有兩種方法可以在數據并行策略下在多??個節點/設備上實現模型的復制： * **圖中復制**：在這種方法中，有一個客戶端任務擁有模型參數，并將模型計算分配給多個工作任務。 * **圖之間復制**：在這種方法中，每個客戶端任務都連接到自己的工作者以分配模型計算，但所有工作器都更新相同的共享模型。在此模型中，TensorFlow 會自動將一個工作器指定為主要工作器，以便模型參數僅由主要工作器初始化一次。 在這兩種方法中，參數服務器上的參數可以通過兩種不同的方式更新： * **同步更新**：在同步更新中，參數服務器等待在更新梯度之前從所有工作器接收更新。參數服務器聚合更新，例如通過計算所有聚合的平均值并將其應用于參數。更新后，參數將同時發送給所有工作器。這種方法的缺點是一個慢工作者可能會減慢每個人的更新速度。 * **異步更新**：在異步更新中，工作器在準備好時將更新發送到參數服務器，然后參數服務器在接收更新時應用更新并將其發回。這種方法的缺點是，當工作器計算參數并發回更新時，參數可能已被其他工作器多次更新。這個問題可以通過幾種方法來減輕，例如降低批量大小或降低學習率。令人驚訝的是，異步方法甚至可以工作，但實際上，它們確實有效！