<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ??碼云GVP開源項目 12k star Uniapp+ElementUI 功能強大 支持多語言、二開方便! 廣告
                **1. 血統** RDD基于Lineage(血統、遺傳)保存了RDD的依賴關系,并<mark>基于Lineage實現了容錯機制</mark>。 <br/> **2. 窄依賴和寬依賴** RDD的依賴關系只有兩種:<mark>窄依賴</mark> 與 <mark>寬依賴</mark>。<br/><br/> :-: ![](https://img.kancloud.cn/3d/5d/3d5df13ea74b2d2ce79ed0eee6d0a6df_942x313.png) 寬依賴與窄依賴 * 寬依賴對比窄依賴 * 寬依賴對應shuffle操作,需要在運行時將同一個父RDD的分區傳入到不同的子RDD分區中,不同的分區可能位于不同的節點,就可能涉及多個節點間數據傳輸。 * 當RDD分區丟失時,Spark會對數據進行重新計算,對于窄依賴只需重新計算一次子RDD的父RDD分區。 * 相比于寬依賴,窄依賴對優化更有利,所以盡可能地避免寬依賴的操作。 **3. 常用算子的依賴關系** ```scala map(窄) flatMap(窄) filter(窄) union(窄) distinct(寬) // 凡是帶Key的算子都是寬依賴 reduceByKey(寬) groupByKey(寬) sortByKey(寬) join(寬|窄) // 只能根據情況分析是寬依賴,還是窄依賴 ``` <br/> **4. 依賴的層次結構** ```scala -- 頂級依賴 abstract class Dependency[T] // 窄依賴 abstract class NarrowDependency[T](_rdd: RDD[T]) extends Dependency[T] // 一對一依賴,如 map、filter 操作 class OneToOneDependency[T](rdd: RDD[T]) extends NarrowDependency[T](rdd) // 范圍依賴,如 union 操作 class RangeDependency[T] extends NarrowDependency[T](rdd) private[spark] class PruneDependency[T] extends NarrowDependency[T](rdd) // 寬依賴 class ShuffleDependency extends Dependency[Product2[K, V]] ```
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看