<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ThinkChat2.0新版上線,更智能更精彩,支持會話、畫圖、視頻、閱讀、搜索等,送10W Token,即刻開啟你的AI之旅 廣告
                從源數據導入到數據倉庫或者貼源層有兩種方式: * 從源數據拉取數據(pull) * 請求源數據推送到數據倉庫(push)。 一般來講,后一種方式需要增加業務系統的功能才能進行推送,這個在現實情況中不大行的通,一方面影響業務系統的性能,另一方面增加開發者的工作量,理論上講,數據倉庫不應該要求對源系統做任何的改造,因此一般都采用拉取數據的方式。 <br/> 確定了數據的抽取方式,還需要確定數據的抽取類型,抽取類型有兩種:全量抽取和增量抽取。 <br/> **全量抽取:** (1)即數據按批次導入,并且每次導入都會覆蓋上一次導入的數據。 (2)Sqoop提供了`hive-overwrite`參數來完成全量抽取。 (3)如果數據量小并且容易處理,一般采用全量抽取即可。 <br/> **增量抽取:** (1)即每次都是將數據按一定的規則追加到已有數據的后面。 (2)Sqoop提供了兩種增量導入方式`append`和`lastmodified`,Sqoop的增量導入一個就如下三個參數: ``` --check-column <column> 增量導入參考的列 --incremental <import-type> 導入類型, 'append' or 'lastmodified' --last-value <value> check-column的最大值,就是數據要追加的規則 比如是日期,則規則就是將數據導入到最后修改時間的數據的后面 ``` (3)如果數據量很大,就只能抽取變化的源數據,即最后一次抽取以來發生了變化的數據。這種數據抽取模式稱為變化數據捕獲,簡稱 **CDC**(change data caputer)。
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看