**1. 血統** RDD基于Lineage（血統、遺傳）保存了RDD的依賴關系，并<mark>基于Lineage實現了容錯機制</mark>。 <br/> **2. 窄依賴和寬依賴** RDD的依賴關系只有兩種：<mark>窄依賴</mark> 與 <mark>寬依賴</mark>。<br/><br/> :-:  寬依賴與窄依賴 * 寬依賴對比窄依賴 * 寬依賴對應shuffle操作，需要在運行時將同一個父RDD的分區傳入到不同的子RDD分區中，不同的分區可能位于不同的節點，就可能涉及多個節點間數據傳輸。 * 當RDD分區丟失時，Spark會對數據進行重新計算，對于窄依賴只需重新計算一次子RDD的父RDD分區。 * 相比于寬依賴，窄依賴對優化更有利，所以盡可能地避免寬依賴的操作。 **3. 常用算子的依賴關系** ```scala map（窄） flatMap（窄） filter（窄） union（窄） distinct（寬） // 凡是帶Key的算子都是寬依賴 reduceByKey（寬） groupByKey（寬） sortByKey（寬） join（寬|窄） // 只能根據情況分析是寬依賴，還是窄依賴 ``` <br/> **4. 依賴的層次結構** ```scala -- 頂級依賴 abstract class Dependency[T] // 窄依賴 abstract class NarrowDependency[T](_rdd: RDD[T]) extends Dependency[T] // 一對一依賴，如 map、filter 操作 class OneToOneDependency[T](rdd: RDD[T]) extends NarrowDependency[T](rdd) // 范圍依賴，如 union 操作 class RangeDependency[T] extends NarrowDependency[T](rdd) private[spark] class PruneDependency[T] extends NarrowDependency[T](rdd) // 寬依賴 class ShuffleDependency extends Dependency[Product2[K, V]] ```