[TOC] # 常用命令列舉 | 命令 | 類 | 說明 | |---|---|---| | import | ImportTool | 將數據導入到集群 | | export | ExportTool | 將集群數據導出 | | codegen | CodeGenTool | 獲取數據庫中某張表數據生成java并打包Jar | | create-hive-table | CreateHiveTableTool | 創建hive表 | | eval | EvalSqlTool | 查看sql執行結果 | | import-all-tables | ImportAllTablesTool | 導入某個數據庫下所有表到hdfs中 | | job | JobTool | 用來生成一個sqoop的任務,生成后,該任務并不執行,除非使用命令執行該任務 | | list-databases | ListDatabasesTool | 列出所有數據庫名 | | list-tables | ListTablesTool | 列出某個數據庫下所有表 | | merge | MergeTool | 將HDFS中不同目錄 下面的數據合在一起,并存放在指定的目錄中 | | metastore | MetastoreTool | 記錄sqoop job的元數據信息,如果不啟動metastore實例,則默認的元數據存儲目錄為:~/.sqoop,如果要更改存儲目錄,可以在配置文件sqoop-site.xml中進行更改 | | help | HelpTool | 打印sqoop幫助信息 | | version | VersionTool | 打印sqoop版本信息 | # 命令參數詳解 ## 公用參數:數據庫連接 | 參數 | 說明 | |---|---| | --connect | 連接關系型數據庫的URL | | --connection-manager | 指定要使用的連接管理類 | | --driver | JDBC的driver class | | --help | 打印幫助信息 | | --password | 連接數據庫的密碼 | | --username | 連接數據庫的用戶名 | | --verbose | 在控制臺打印出詳細信息 | ## 公用參數:import | 參數 | 說明 | |---|---| | --enclosed-by `<char>` | 給字段值前后加上指定的字符 | | --escaped-by `<char>` | 對字段中的雙引號加轉義符 | | --fields-terminated-by `<char>` | 設定每個字段是以什么符號作為結束,默認是逗號 | | --lines-terminated-by `<char>` | 設定每行記錄之間的分割符,默認是\n | | --mysql-delimiters | mysql默認的分隔符設置,字段之間以逗號分割,行之間以\n分割,默認轉義符是\,字段值以單引號包裹 | | --optionally-enclosed-by `<char>` | 給帶有雙引號或單引號的字段值前后加上指定字符 | ## 公用參數:export | 參數 | 說明 | |---|---| | --input-enclosed-by `<char>` | 對字段值前后加上指定字符 | | --input-escaped-by `<char>` | 對含有轉移符的字段做轉義處理 | | --input-fields-terminated-by `<char>` | 字段之間的分割符 | | --input-lines-terminated-by `<char>` | 行之間的分割符 | | --input-optionally-enclosed-by `<char>` | 給帶有雙引號或單引號的字段前后加上指定字符 | ## 公用參數:hive | 參數 | 說明 | |---|---| | --hive-delims-replacement `<arg>` | 用自定義的字符串替換掉數據中的\r\n和\013 \010等字符 | | --hive-drop-import-delims | 在導入數據到hive時,去掉數據中的\r\n \013\010這樣的字符 | | --map-column-hive `<map>` | 生成hive表時,可以更改生成字段的數據類型 | | --hive-partition-key | 創建分區,后面直接跟分區名,分區字段的默認類型為string | | --hive-partition-value `<v>` | 導入數據時,指定某個分區的值 | | --hive-home `<dir>` | hive的安裝目錄,可以通過該參數覆蓋之前默認配置的目錄 | | --hive-import | 將數據從關系數據庫中導入到hive表中 | | --hive-overwrite | 覆蓋掉在hive表中已經存在的數據 | | --create-hive-table | 默認是false,如果目標表已經存在,那么創建任務失敗 | | --hive-table | 后面接要創建的hive表,默認使用mysql表名 | | --table | 指定關系數據庫的表名 | ## 命令&參數:import | 參數 | 說明 | |---|---| | --append | 將數據追加到HDFS中已經存在的DataSet中,如果使用該參數,sqoop會把數據先導入到臨時文件目錄,再合并 | | --as-avrodatafile | 將數據導入到一個Avro數據文件中 | | --as-sequencefile | 將數據導入到一個sequence文件中 | | --as-textfile | 將數據導入到一個普通文本中 | | --boundary-query `<statement>` | 邊界查詢,導入的數據為該參數的值(一條sql語句)所執行的結果區間內的數據 | | --columns `<col1,col2,col3>` | 指定要導入的字段 | | --direct | 直接導入模式,使用的是關系數據庫自帶的導入導出工具,以便加快導入導出過程 | | --direct-split-size | 在使用上面direct直接導入的基礎上,對導入的流按字節分塊,即達到該閾值就產生一個新的文件 | | --inline-lob-limit | 設定大對象數據類型的最大值 | | --m或-num-mappers | 啟動N個map來并行導入數據,默認4個 | | --query或-e `<statement>` | 將查詢結果的數據導入,使用時必須伴隨參數`--target-dir`,`--hive-table`,如果查詢中有where條件,則條件后必須加上`$CONDITIONS`關鍵字 | | --split-by `<column-name>` | 按照某一列來切分表的工作單元,不能與`--autoreset-to-one-mapper`連用 | | --table `<table-name>` | 關系數據庫的表名 | | --target-dir `<dir>` | 指定HDFS路徑 | | --warehouse-dir `<dir>` | 與--target-dir參數不能同時使用,導入數據到HDFS時指定的目錄 | | --where | 從關系數據庫導入數據時的查詢條件 | | --z或--compress | 允許壓縮 | | --compression-codec | 指定hadoop壓縮編碼類,默認為gzip | | --nul-string `<null-string>` | string類型的列.如果null,替換為指定字符串 | | --null-non-string `<null-string>` | 非string類型的列如果null,替換為指定字符串 | | --check-column `<col>` | 作為增量導入判斷的列名 | | --incremental `<mode>` | mode:append或lastmodified | | --last-value `<value>` | 指定某一個值,用于標記增量導入的位置 | ## 命令&參數: export | 參數 | 說明 | |---|---| | --direct | 利用數據庫自帶的導入導出工具,以便于提高效率 | | --export-dir `<dir>` | 存放數據的HDFS的源目錄 | | -m或--num-mappers `<n>` | 啟動N個map來并行導入數據,默認4個 | | --table `<table-name>` | 指定導出到那個RDBMS中的表 | | --update-key `<col-name>` | 對某一列的字段進行更新操作 | | --update-mode `<mode>` | updateonly allowinsert(默認) | | --input-null-string `<null-string>` | 參考import該類似參數說明 | | --input-null-non-string `<null-string>` | 參考import該類似參數說明 | | --staging-table `<staging-table-name>` | 創建一張臨時表,用于存放所有事務的結果,然后將所有事務結果一次性導入到目標表中,防止錯誤 | | --clear-staging-table | 如果`--staging-table`參數非空,則可以在導出操作執行前,清空臨時事務結果表 | ## 命令&參數:codegen 將關系型數據庫中的表映射為一個java類,在該類中有各列對應的各個字段 ~~~ sqoop codegen \ --connect jdbc:mysql://master:3306/company \ --username root \ --password root \ --table staff \ --bindir /home/root/Desktop/staff \ --class-name staff \ --fields-terminated-by "\t" ~~~ | 參數 | 說明 | |---|---| | --bindir `<dir>` | 指定生成的java文件,編譯成的class文件及將生成文件打包為jar的文件輸出路徑 | | --class-name `<name>` | 設定生成的java文件指定的名稱 | | --outdir `<dir>` | 生成java文件存放的路徑 | | --package-name `<name>` | 包名,如com.z,就會生成com和z兩級目錄 | | --input-null-non-string | 在生成的java文件中,可以將null字符串或者不存在的字符串設置為想要設定的值(例如空字符串) | | | | | | | ## 命令&參數:list-databases ~~~ sqoop list-databases \ --connect jdbc:mysql://master:3306/ \ --username root \ --password root ~~~ 參數:與公用參數一樣 ## 命令&參數:list-tables ~~~ sqoop list-tables \ --connect jdbc:mysql://master:3306/company \ --username root \ --password root ~~~ 參數:與公用參數一樣 ## 命令&參數:merge 將hdfs中不同目錄下面的數據合并在一起并放入指定目錄中 ~~~ ~~~