<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ThinkChat2.0新版上線,更智能更精彩,支持會話、畫圖、視頻、閱讀、搜索等,送10W Token,即刻開啟你的AI之旅 廣告
                **1. SparkSession的作用** SparkSession 是 SparkSQL 的編程入口,是在 2.0 中引入的新API。<mark>旨在為 Spark編程提供統一的編程入口</mark>,意味著 SparkSession 整合了 SparkConf、SparkContext、SQLContext、HiveContext 以及 StreamingContext,其中 SQLContext、HiveContext是為了保持兼容被保留,StreamingContext 在未來可能會被加入。 <br/> 當創建了 SparkSession 對象后,可以間接拿到 sparkContext 與sqlContext 對象。所以在 2.0 版本后推薦使用 SparkSession 作為編程入口。 <br/> 在 Spark2.0 之前的版本中,spark shell 會自動創建一個 SparkContext 對象 sc,Spark2.0+ 中 spark shell 則會額外創建一個 SparkSession 對象 spark。如下所示。 ```shell [root@hadoop101 bin]# ./spark-shell --master local[*] Spark context available as 'sc' (master = local[*], app id = local-1620678616355). Spark session available as 'spark'. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.4.4 /_/ ``` <br/> **2. 手動創建 SparkSession** ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder.master("local[2]") .appName("appName") .getOrCreate() // 因為SparkSession封裝了許多隱式轉換,需要導入才能完成正常使用 import spark.implicts._ //假設 SparkSession 的實例為 spark ``` 注意:SparkSession 封裝許多隱式轉換,如 RDD->DataSet。所以需要導入隱式轉換到當前作用域有些功能才能生效。SparkSession 將許多隱式轉換封裝在 implicits(單例對象)中。
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看