## RDD 容錯機制 Checkpoint **持久化的局限**： - 持久化 / 緩存可以把數據放在內存中，雖然是快速的，但是也是最不可靠的；也可以把數據放在磁盤上，也不是完全可靠的！例如磁盤會損壞等。 **問題解決**： - `Checkpoint` 的產生就是為了更加可靠的數據持久化，在`Checkpoint`的時候一般把數據放在在 `HDFS` 上，這就天然的借助了 `HDFS` 天生的高容錯、高可靠來實現數據最大程度上的安全，實現了 `RDD` 的容錯和高可用。 **用法如下**： ``` SparkContext.setCheckpointDir("目錄") //HDFS的目錄 RDD.checkpoint ``` **總結：** - 開發中如何保證數據的安全性性及讀取效率：可以對頻繁使用且重要的數據，先做緩存 / 持久化，再做 checkpint 操作。 **持久化和 Checkpoint 的區別：** - 位置：Persist 和 Cache 只能保存在本地的磁盤和內存中 (或者堆外內存–實驗中) Checkpoint 可以保存數據到 HDFS 這類可靠的存儲上。 - 生命周期：Cache 和 Persist 的 RDD 會在程序結束后會被清除或者手動調用 unpersist 方法 Checkpoint 的 RDD 在程序結束后依然存在，不會被刪除。