[TOC] # 簡介 sqoop是apache旗下一款“Hadoop和關系數據庫服務器之間傳送數據”的工具。 導入數據：MySQL，Oracle導入數據到Hadoop的HDFS、HIVE、HBASE等數據存儲系統； 導出數據：從Hadoop的文件系統中導出數據到關系數據庫  RDBS(mysql) -> hadoop(hdfs,hive,hbase) 數據導入過程import hadoop(hdfs,hive) -> RDBS 數據導出過程 export(沒有hbase) # 工作機制 **將導入或導出命令翻譯成mapreduce程序來實現** 在翻譯出的mapreduce中主要是對inputformat和outputformat進行定制 # 安裝 安裝sqoop的前提是已經具備java和hadoop的環境 下載`http://ftp.wayne.edu/apache/sqoop/1.4.7/` 版本有可能會變 修改配置文件(按照自己的路徑配置) ~~~ $ cd $SQOOP_HOME/conf # -a表示把一些文件屬性權限復制過來 $ cp -a sqoop-env-template.sh sqoop-env.sh ~~~ 打開sqoop-env.sh并編輯下面幾行 ~~~ export HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.6.1/ export HADOOP_MAPRED_HOME=/home/hadoop/apps/hadoop-2.6.1/ export HIVE_HOME=/home/hadoop/apps/hive-1.2.1 export ZOOCFGDIR=/home/hadoop/zookeeper-3.4.5/conf export ZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.5 #export HBASE_HOME= ~~~ 加入mysql的jdbc驅動包,如果用的是oracle就用oracle的驅動包. 有些框架的classpath是加載自己的lib目錄下,有些不是 ~~~ cp ~/app/hive/lib/mysql-connector-java-5.1.28.jar $SQOOP_HOME/lib/ ~~~ 驗證啟動 ~~~ $ cd $SQOOP_HOME/bin $ sqoop-version ~~~ 預期的輸出： ~~~ 15/12/17 14:52:32 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6 Sqoop 1.4.6 git commit id 5b34accaca7de251fc91161733f906af2eddbe83 Compiled by abe on Fri Aug 1 11:19:26 PDT 2015 ~~~ 到這里，整個Sqoop安裝工作完成。