<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ThinkChat2.0新版上線,更智能更精彩,支持會話、畫圖、視頻、閱讀、搜索等,送10W Token,即刻開啟你的AI之旅 廣告
                # Lineage 注意 Lineage 支持是非常實驗性的,可能會發生變化。 Airflow可以幫助跟蹤數據的來源,發生的事情以及數據隨時間的變化。 這有助于實現審計跟蹤和數據治理,還可以調試數據流。 氣流通過任務的入口和出口跟蹤數據。 讓我們從一個例子開始,看看它是如何工作的。 ``` from airflow.operators.bash_operator import BashOperator from airflow.operators.dummy_operator import DummyOperator from airflow.lineage.datasets import File from airflow.models import DAG from datetime import timedelta FILE_CATEGORIES = [ "CAT1" , "CAT2" , "CAT3" ] args = { 'owner' : 'airflow' , 'start_date' : airflow . utils . dates . days_ago ( 2 ) } dag = DAG ( dag_id = 'example_lineage' , default_args = args , schedule_interval = '0 0 * * *' , dagrun_timeout = timedelta ( minutes = 60 )) f_final = File ( "/tmp/final" ) run_this_last = DummyOperator ( task_id = 'run_this_last' , dag = dag , inlets = { "auto" : True }, outlets = { "datasets" : [ f_final ,]}) f_in = File ( "/tmp/whole_directory/" ) outlets = [] for file in FILE_CATEGORIES : f_out = File ( "/tmp/ {} /{{{{ execution_date }}}}" . format ( file )) outlets . append ( f_out ) run_this = BashOperator ( task_id = 'run_me_first' , bash_command = 'echo 1' , dag = dag , inlets = { "datasets" : [ f_in ,]}, outlets = { "datasets" : outlets } ) run_this . set_downstream ( run_this_last ) ``` 任務采用參數&lt;cite&gt;入口&lt;/cite&gt;和&lt;cite&gt;出口&lt;/cite&gt; 。 入口可以由數據集列表&lt;cite&gt;{“數據集”:[dataset1,dataset2]}&lt;/cite&gt;手動定義,也可以配置為從上游任務中查找出口&lt;cite&gt;{“task_ids”:[“task_id1”,“task_id2”]}&lt;/cite&gt;或者可以配置為從直接上游任務&lt;cite&gt;{“auto”:True}&lt;/cite&gt;或它們的組合中獲取出口。 出口被定義為數據集列表&lt;cite&gt;{“數據集”:[dataset1,dataset2]}&lt;/cite&gt; 。 在執行任務時,數據集的任何字段都使用上下文進行模板化。 注意 如果操作員支持,操作員可以自動添加入口和出口。 在示例DAG任務中, &lt;cite&gt;run_me_first&lt;/cite&gt;是一個BashOperator,它接收從列表生成的3個入口: &lt;cite&gt;CAT1&lt;/cite&gt; , &lt;cite&gt;CAT2&lt;/cite&gt; , &lt;cite&gt;CAT3&lt;/cite&gt; 。 請注意, &lt;cite&gt;execution_date&lt;/cite&gt;是一個模板化字段,將在任務運行時呈現。 注意 在幕后,Airflow將沿襲元數據作為任務的&lt;cite&gt;pre_execute&lt;/cite&gt;方法的一部分進行準備。 當任務完成執行&lt;cite&gt;時,&lt;/cite&gt;將調用&lt;cite&gt;post_execute&lt;/cite&gt;并將lineage元數據推送到XCOM中。 因此,如果您要創建自己的覆蓋此方法的運算符,請確保分別使用&lt;cite&gt;prepare_lineage&lt;/cite&gt;和&lt;cite&gt;apply_lineage&lt;/cite&gt;修飾您的方法。 ## Apache Atlas Airflow可以將其沿襲元數據發送到Apache Atlas。 您需要啟用&lt;cite&gt;atlas&lt;/cite&gt;后端并正確配置它,例如在&lt;cite&gt;airflow.cfg中&lt;/cite&gt; : ``` [ lineage ] backend = airflow . lineage . backend . atlas [ atlas ] username = my_username password = my_password host = host port = 21000 ``` 請確保安裝了&lt;cite&gt;atlasclient&lt;/cite&gt;軟件包。
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看