**1. ShuffleManager** Spark Shuffle 分為 Write 和 Read 兩個過程。 在 Spark 中負責 shuffle 過程的執行、計算、處理的組件主要是 ShuffleManager，其時一個 trait，負責管理本地以及遠程的 block 數據的 shuffle 操作。 ```scala // ShuffleManager有如下方法 private[spark] trait ShuffleManager { /** * 注冊 ShuffleDependency（寬依賴），同時獲取一個ShuffleHandle 并將其傳遞給任務 */ def registerShuffle[K, V, C]( shuffleId: Int, numMaps: Int, dependency: ShuffleDependency[K, V, C]): ShuffleHandle /** 返回 ShuffleWriter 用于 Shuffle Write 過程。對一個分區返回一個 ShuffleWriter， * 并由 executors 上的 ShuffleMapTask 任務調用 */ def getWriter[K, V](handle: ShuffleHandle, mapId: Int, context: TaskContext): ShuffleWriter[K, V] /** * 返回 ShuffleReader 用于 Shuffle Read 過程 */ def getReader[K, C]( handle: ShuffleHandle, startPartition: Int, endPartition: Int, context: TaskContext): ShuffleReader[K, C] /** * Remove a shuffle's metadata from the ShuffleManager. * @return true if the metadata removed successfully, otherwise false. */ def unregisterShuffle(shuffleId: Int): Boolean /** * Return a resolver capable of retrieving shuffle block data based on block coordinates. */ def shuffleBlockResolver: ShuffleBlockResolver /** Shut down this ShuffleManager. */ def stop(): Unit } ``` <br/> **2. SortShuffleManager** ```scala private[spark] class SortShuffleManager(conf: SparkConf) extends ShuffleManager with Logging { ``` 每個 Task 在 Shuffle Write 操作時，雖然也會產生較大的磁盤文件，但最后會將所有的臨時文件合并 (merge) 成一個磁盤文件，因此每個 Task 就只有一個磁盤文件。在下一個 Stage 的 Shuffle Read Task 拉取自己數據的時候，只要根據索引拉取每個磁盤文件中的部分數據即可。