數據轉換就是將數據進行重構以及標準化, 消除數據的不一致, 轉換最主要的作用就是數據清洗。 <br/> 一般數據清洗包含一下內容 1. 預處理: 對于大的數據文件的加載, 尤其是新文件, 需要先進行判斷, 不能貿然加載； 2. 標準化處理: 將不一致的數據進行統一； 3. 去重處理: Hive中的去重函數`distinct`[在Hive中, 效率較低, 不推薦\], `group by`, `row_number`； 4. 錯誤值處理: 產生原因一般就是業務系統不夠完善, 導致一些不合法的值進入到了數據庫, 例如日期格式不正確, 數值越界, 全角半角等等, 處理方式需要和老大/領導溝通一下, 對數據是舍棄,或者修改； 5. 缺失值處理: 首先判斷一下重要程度, 然后判斷數據量大不大, 如果數據很重要, 但是缺失很多, 對接三方庫；