Kudu 入門指南 · Kudu 1.4.0 中文文檔

# Kudu 入門指南原文鏈接 : [http://kudu.apache.org/docs/quickstart.html](http://kudu.apache.org/docs/quickstart.html) 譯文鏈接 : [http://cwiki.apachecn.org/pages/viewpage.action?pageId=10813610](http://cwiki.apachecn.org/pages/viewpage.action?pageId=10813610) 貢獻者 : [小瑤](/display/~chenyao) [ApacheCN](/display/~apachecn) [Apache中文網](/display/~apachechina) ## Apache Kudu 快速開始按照這些說明設置和運行 **Kudu VM** ，并在幾分鐘之內從 **Kudu** ，**Kudu_Impala** 和 **CDH** 開始。 ## 獲得 Kudu 快速開始 VM ### 先決條件 1. 安裝 **[Oracle Virtualbox](https://www.virtualbox.org/)** 。**VM** 已經通過測試，可以在 **Ubuntu 14.04** 上使用 **VirtualBox 4.3** 版本，并在 **OSX 10.9** 上使用 **VirtualBox 5** 的版本。**VirtualBox** 也包含在大多數軟件包管理器中：**apt-get** ，**brew** 等。 2. 安裝完成后，使用 **which VBoxManage** 命令確保 **VBoxManage** 在您的 **PATH** 中。 ### 安裝要下載并啟動 **VM** ，請在終端窗口中執行以下命令。 ``` $ curl -s https://raw.githubusercontent.com/cloudera/kudu-examples/master/demo-vm-setup/bootstrap.sh | bash ``` 此命令下載一個 **shell** 腳本，這個腳本克隆了 **kudu-example Git** 倉庫，然后將大約 **1.2 GB** 大小的 **VM** 映像下載到當前的工作目錄中。您可以在此腳本下載下來之后檢查這個腳本通過刪除上面腳本的 **| bash** 部分。安裝完成之后，您可以通過 **SSH** 連接到 **guest** 虛擬機來驗證一切是否正常： ``` $ ssh demo@quickstart.cloudera ``` 上面的 **username** 和 **password** 都是演示。此外，演示用戶具有無密碼的 **sudo** 權限，以便您可以安裝其他軟件和管理 **guest OS** 。您還可以訪問 **kudu-examples** 作為**?/home/demo/kudu-examples/** 中的共享文件夾，或者在 **host** 上的 **VirtualBox** 共享文件夾位置。這是使腳本或數據對 guest 可見的一種快捷方式。你可以通過執行以下命令快速驗證 **Kudu** 和 **Impala** 是否正在運行： ``` $ ps aux | grep kudu $ ps aux | grep impalad ``` 如果連接到 **VM** 或其中一個進程沒有運行時出現問題，請務必參閱 “[疑難解答](/pages/viewpage.action?pageId=10813626)” 部分。 ## 加載數據要使用 **Kudu** 和 Impala 進行一些典型的操作，我們將使用?**[San Francisco MTA GPS dataset](https://data.sfgov.org/Transportation/Raw-AVL-GPS-data/5fk7-ivit/data)?**。該數據集包含從 **SF MTA**車隊的總線上安裝的傳感器周期性傳輸的原始位置數據。 1. 下載示例數據并將其加載到 **HDFS** 中首先我們將下載示例數據集，準備并將其上傳到 **HDFS** 集群中。 **SF MTA** 的站點通常有點慢，所以我們從數據集中鏡像了一個 **CSV** 文件樣本，網址為??**[http://kudu-sample-data.s3.amazonaws.com/sfmtaAVLRawData01012013.csv.gz](http://kudu-sample-data.s3.amazonaws.com/sfmtaAVLRawData01012013.csv.gz)** 原始數據集使用 **DOS** 類型的行結尾，因此我們將在上傳過程中使用 **tr** 將其轉換為 **UNIX** 風格。 ``` $ wget http://kudu-sample-data.s3.amazonaws.com/sfmtaAVLRawData01012013.csv.gz $ hdfs dfs -mkdir /sfmta $ zcat sfmtaAVLRawData01012013.csv.gz | tr -d '\r' | hadoop fs -put - /sfmta/data.csv ``` 2. 創建一個新的外部 **Impala** 表以訪問純文本數據。要在虛擬機中連接到 **Impala** ，請執行以下命令： ``` ssh demo@quickstart.cloudera -t impala-shell ``` 現在，您可以執行以下命令： ``` CREATE EXTERNAL TABLE sfmta_raw ( revision int, report_time string, vehicle_tag int, longitude float, latitude float, speed float, heading float ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/sfmta/' TBLPROPERTIES ('skip.header.line.count'='1'); ``` 3. 驗證數據是否實際加載運行以下命令： ``` SELECT count(*) FROM sfmta_raw; +----------+ | count(*) | +----------+ | 859086 | +----------+ ``` 4. 接下來，我們將創建一個 **Kudu** 表并加載數據。請注意，我們將字符串 **report_time** 字段轉換為 **unix** 風格的時間戳，以便更有效的存儲。 ``` CREATE TABLE sfmta PRIMARY KEY (report_time, vehicle_tag) PARTITION BY HASH(report_time) PARTITIONS 8 STORED AS KUDU AS SELECT UNIX_TIMESTAMP(report_time, 'MM/dd/yyyy HH:mm:ss') AS report_time, vehicle_tag, longitude, latitude, speed, heading FROM sfmta_raw; +------------------------+ | summary | +------------------------+ | Inserted 859086 row(s) | +------------------------+ Fetched 1 row(s) in 5.75s ``` 創建的表使用復合主鍵。有關 **Impala** 的擴展 **SQL** 語法的更詳細的介紹，請參閱 [**Kudu Impala** 集成](/pages/viewpage.action?pageId=10813620)。 ## 讀取和修改數據現在數據存儲在 **Kudu** 中，您可以對其執行查詢。以下查詢查找包含最高記錄車速的數據點。 ``` SELECT * FROM sfmta ORDER BY speed DESC LIMIT 1; +-------------+-------------+--------------------+-------------------+-------------------+---------+ | report_time | vehicle_tag | longitude | latitude | speed | heading | +-------------+-------------+--------------------+-------------------+-------------------+---------+ | 1357022342 | 5411 | -122.3968811035156 | 37.76665878295898 | 68.33300018310547 | 82 | +-------------+-------------+--------------------+-------------------+-------------------+---------+ ``` 通過快速的 **Google** 搜索，我們可以看到這輛公共汽車在 **68MPH** 的 **16** 街上東行。乍一看，這似乎不太可能是真實的。也許我們做一些研究，發現這輛公共汽車的傳感器設備被打破了，我們決定刪除數據。使用 **Kudu** 和標準 **SQL** 這是非常容易糾正的： ``` DELETE FROM sfmta WHERE vehicle_tag = '5411'; -- Modified 1169 row(s), 0 row error(s) in 0.25s ``` ## 下一步以上示例顯示了如何使用 **Impala** 和 **Kudu** 加載，查詢和變更靜態數據集。然而， **Kudu** 的真正實力是以流媒體方式吸收和突變數據的能力。作為學習 **Kudu** 編程 **API** 的練習，請嘗試實現一個使用 **SFMTA XML** 數據 **Feed** 的程序，將該相同的數據集實時攝取到 **Kudu** 表中。 ### 故障排除 #### 通過 SSH 訪問 VM 的問題 * 確保主機已安裝 **SSH** 客戶端。 * 確保 **VM** 正在運行，通過運行以下命令并檢查名為 **kudu-demo** 的虛擬機： ``` $ VBoxManage list runningvms ``` * 驗證 **VM** 的 **IP** 地址是否包含在主機的 **/etc/hosts** 文件中。您應該看到一行包含一個 **IP** 地址，后跟主機名 **quickstart.cloudera** 。要檢查正在運行的 **VM** 的 **IP** 地址，請使用下面的 **VBoxManage** 命令。 ``` $ VBoxManage guestproperty get kudu-demo /VirtualBox/GuestInfo/Net/0/V4/IP Value: 192.168.56.100 ``` * 如果您以前使用過 **Cloudera QuickStart VM** ，則?**.ssh/known_hosts** 文件可能包含對先前 **VM** 的 **SSH** 憑據的引用。從此文件刪除對 **quickstart.cloudera** 的任何引用。 #### 在 VirtualBox 中運行時缺少 SSE4.2 支持 * 運行 **Kudu** 目前需要一個支持 **SSE4.2** ( **Nehalem** 或者更高版本的 **Intel** ) 的 **CPU** 。要通過 **SSE4.2** 支持進入 **guest** 虛擬機，請參閱 [**VirtualBox** 文檔](https://www.virtualbox.org/manual/ch09.html#sse412passthrough)。 ## 下一步 * [安裝 **Kudu**](/pages/viewpage.action?pageId=10813613) * [配置 **Kudu**](/pages/viewpage.action?pageId=10813616)