# DataX ## DataX 簡介 DataX 是阿里巴巴集團內被廣泛使用的離線數據同步工具/平臺，實現包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 和 OceanBase 等各種異構數據源之間高效的數據同步功能。 DataX 本身作為數據同步框架，將不同數據源的同步抽象為從源頭數據源讀取數據的 Reader 插件，以及向目標端寫入數據的 Writer 插件，理論上 DataX 框架可以支持任意數據源類型的數據同步工作。同時 DataX 插件體系作為一套生態系統，每接入一套新數據源該新加入的數據源即可實現和現有的數據源互通。 DataX 已經在 github 開源，開源地址是：[github.com/Alibaba/datax](http://github.com/Alibaba/datax)，開源的產品不支持 OceanBase 和 DB2 ，OceanBase 產品團隊提供針對 OceanBase 和 DB2 的讀寫插件。 ## DataX 的使用示例 DataX 安裝后，默認目錄在 /home/admin/datax3 。目錄下有個文件夾 job ，默認存放數據遷移任務的配置文件，當然也可以自定義目錄。 每個任務的參數文件是一個 json 格式，主要由一個 reader 和一個 writer 組成。job 文件夾下有個默認的示例任務配置文件 job.json： ~~~ [admin /home/admin/datax3/job] $cat job.json { "job": { "setting": { "speed": { "byte":10485760 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [ { "reader": { "name": "streamreader", "parameter": { "column" : [ { "value": "DataX", "type": "string" }, { "value": 19890604, "type": "long" }, { "value": "1989-06-04 00:00:00", "type": "date" }, { "value": true, "type": "bool" }, { "value": "test", "type": "bytes" } ], "sliceRecordCount": 100000 } }, "writer": { "name": "streamwriter", "parameter": { "print": false, "encoding": "UTF-8" } } } ] } } ~~~ 這個任務的配置文件的 reader 和 writer 類型是一個 stream。這個任務會檢測 DataX 是否正確安裝，運行之前確保安裝 JDK 運行環境。 ~~~ [admin@h07g12092.sqa.eu95 /home/admin/datax3/job] $cd ../ [admin@h07g12092.sqa.eu95 /home/admin/datax3] $bin/datax.py job/job.json ~~~