:-: **RDD、Dataset 及 DataFrame 對比** |類型 |優點 |缺點 | | --- | --- | --- | |RDD |1. 內置很多函數操作，group，map，filter 等，方便處理結構化或非結構化數據；<br/><br/>2. 面向對象編程，直接存儲的 java 對象，類型轉化也安全；|1. 由于它基本和 hadoop 一樣萬能的，因此沒有針對特殊場景的優化，比如對于結構化數據處理相對于 sql 來比非常麻煩；<br/><br/>2. 默認采用的是 java 序列號方式，序列化結果比較大，而且數據存儲在 java 堆內存中，導致 gc 比較頻繁；| |DataFrame | 1. 結構化數據處理非常方便，支持 Avro, CSV, elastic search, Cassandra 等 kv 數據，也支持HIVE tables, MySQL 等傳統數據表；<br/><br/>2. 有針對性的優化，由于數據結構元信息 spark已經保存，序列化時不需要帶上元信息，大大的減少了序列化大小，而且數據保存在堆外內存中，減少了 gc 次數；<br/><br/>3. hive 兼容，支持 hql，udf 等|1. 編譯時不能類型轉化安全檢查，運行時才能確定是否有問題；<br/><br/>2. 對于對象支持不友好，rdd 內部數據直接以 java 對象存儲，DataFrame 內存存儲的是 row對象而不能是自定義對象；| |Dataset | 1. Dataset 整合了 RDD 和 DataFrame 的優點，支持結構化和非結構化數據；<br/><br/>2. 和 RDD 一樣，支持自定義對象存儲；<br/><br/>3. 和 DataFrame 一樣，支持結構化數據的 sql查詢；<br/><br/>4. 采用堆外內存存儲，gc 友好；| 很多情況下，Dataset 的性能實際上是會比 DataFrame 要來得差的，因為 Dataset 會涉及到額外的數據格式轉換成本；|