<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ThinkChat2.0新版上線,更智能更精彩,支持會話、畫圖、視頻、閱讀、搜索等,送10W Token,即刻開啟你的AI之旅 廣告
                1. 序列化 (1)Java序列化,Spark默認方式。 (2)Kryo序列化,比Java序列化快約10倍,但不支持所有可序列化類型。 ```scala val conf:SparkConf = new SparkConf() .setMaster("local[4]") .setAppName(this.getClass.getName) // 注冊需要Kryo序列化的類 conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") conf.registerKryoClasses(Array(classOf[MyClass1], classOf[MyClass2])) ``` 如果沒有注冊需要序列化的class,Kyro依然可以照常工作,但會存儲每個對象的全類名(full class name),這樣往往比默認的 Java serialization 更浪費空間。 2. 使用對象數組(Array)、原始類型代替Java、Scala集合類(如HashMap)。 3. 避免嵌套結構,如盡量避免List(List(List(Map)))類似的嵌套。 4. 盡量使用數字作為Key,而非字符串。。 5. 以較大的RDD使用持久化級別為MEMORY_ONLY_SER。 6. 加載CSV、JSON時,僅加載所需字段。 7. 僅在需要時持久化中間結果(RDD/DS/DF)。 8. 避免不必要的中間結果(RDD/DS/DF)的生成,避免必要的shuffle產生。 9. DF的執行速度比DS快約3倍。 10. 自定義RDD分區與`spark.default.parallelism`,該參數用于設置每個stage的默認task數量。 11. 將大變量廣播出去,而不是直接使用。 12. 嘗試處理本地數據并最小化跨工作節點的數據傳輸。 13. 表連接(join操作)。 (1)包含所有表的謂詞(predicate) 。 ```sql select * from t1 join t2 on t1.name = t2.full_name where t1.name = 'mike' and t2.full_name = 'mike' ``` (2)最大的表放在第一位。 (3)廣播最小的表。 (4)最小化表join的數量。
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看