Ceph · kubernetes完整攻略

# Ceph的簡要介紹本文參考翻譯自[這篇文章](https://www.stratoscale.com/blog/storage/introduction-to-ceph/)的部分內容。 Ceph是一個開源的分布式對象，塊和文件存儲。該項目誕生于2003年，是塞奇·韋伊的博士論文的結果，然后在2006年在LGPL 2.1許可證發布。Ceph已經與Linux內核KVM集成，并且默認包含在許多GNU / Linux發行版中。 ## 介紹當前的工作負載和基礎設施需要不同的數據訪問方法（對象，塊，文件），Ceph支持所有這些方法。它旨在具有可擴展性，并且沒有單點故障。它是一款開源軟件，可以在生產環境，通用硬件上運行。 RADOS （可靠的自動分布式對象存儲）是Ceph的核心組件。RADOS對象和當今流行的對象之間存在著重要的區別，例如Amazon S3，OpenStack Swift或Ceph的RADOS對象網關提供的對象。從2005年到2010年，對象存儲設備（OSD）成為一個流行的概念。這些OSD提供了強大的一致性，提供不同的接口，并且每個對象通常駐留在單個設備上。在RADOS中有幾種操作對象的方法： * 在用C，C ++，Java，PHP和Python編寫的應用程序中使用客戶端庫（librados） * 使用命令行工具'rados' * 使用與S3（Amazon）和Swift（OpenStack）兼容的現有API RADOS是一個由Ceph節點組成的集群。有兩種類型的節點： * Ceph存儲設備節點 * Ceph監控節點每個Ceph存儲設備節點運行一個或多個Ceph OSD守護進程，每個磁盤設備一個。OSD是一個Linux進程（守護進程），可處理與其分配的磁盤（HDD或SSD）相關的所有操作。所述OSD守護程序訪問本地文件系統來存儲數據和元數據，而不是直接與磁盤通信。Ceph常用的文件系統是XFS，btrfs和ext4。每個OSD還需要一個日志，用于對RADOS對象進行原子更新。日志可能駐留在單獨的磁盤上（通常是SSD以提高性能），但同一個磁盤可以被同一節點上的多個OSD使用。該Ceph的監控節點上運行的單個Ceph的監控守護。Ceph Monitor守護程序維護集群映射的主副本。雖然Ceph集群可以與單個監控節點一起工作，但需要更多設備來確保高可用性。建議使用三個或更多Ceph Monitor節點，因為它們使用法定數量來維護集群映射。需要大多數Monitor來確認仲裁數，因此建議使用奇數個Monitor。例如，3個或4個Monitor都可以防止單個故障，而5個Monitor可以防止兩個故障。 Ceph OSD守護進程和Ceph客戶端可以感知群集，因此每個Ceph OSD守護進程都可以直接與其他Ceph OSD守護進程和Ceph監視器進行通信。此外，Ceph客戶端可直接與Ceph OSD守護進程通信以讀取和寫入數據。 Ceph對象網關守護進程（radosgw）提供了兩個API： * API與Amazon S3 RESTful AP的子集兼容 * API與OpenStack Swift API的子集兼容如果RADOS和radosgw為客戶提供對象存儲服務，那么Ceph如何被用作塊和文件存儲？ Ceph中的分布式塊存儲（Ceph RDB）實現為對象存儲頂部的薄層。Ceph RADOS塊設備（RBD）存儲分布在群集中多個Ceph OSD上的數據。RBD利用RADOS功能，如快照，復制和一致性。RBD使用Linux內核模塊或librbd庫與RADOS通信。此外，KVM管理程序可以利用librbd允許虛擬機訪問Ceph卷。 Ceph文件系統（CephFS）是一個符合POSIX的文件系統，使用Ceph集群來存儲其數據。所述Ceph的文件系統要求Ceph的集群中的至少一個Ceph的元數據服務器（MDS）。MDS處理所有文件操作，例如文件和目錄列表，屬性，所有權等。MDS利用RADOS對象來存儲文件系統數據和屬性。它可以水平擴展，因此您可以將更多的Ceph元數據服務器添加到您的群集中，以支持更多的文件系統操作客戶端。 ## Kubernetes和Ceph Kubernetes支持Ceph的塊存儲（Ceph RBD）和文件存儲（CephFS）作為Kubernetes的持久存儲后端。Kubernetes自帶Ceph RBD的internal provisioner，可以配置動態提供，如果要使用CephFS作為動態存儲提供，需要安裝外置的provisioner。與Ceph相關的Kubernetes StorageClass的[官方文檔介紹](https://kubernetes.io/docs/concepts/storage/storage-classes/) | Volume Plugin | Internal Provisioner| Config Example | | :--- | :---: | :---: | | AWSElasticBlockStore | ✓ | AWS | | AzureFile | ✓ | Azure File | | AzureDisk | ✓ | Azure Disk | | CephFS | - | - | | Cinder | ✓ | OpenStack Cinder | | FC | - | - | | FlexVolume | - | - | | Flocker | ✓ | - | | GCEPersistentDisk | ✓ | GCE | | Glusterfs | ✓ | Glusterfs | | iSCSI | - | - | | PhotonPersistentDisk | ✓ | - | | Quobyte | ✓ | Quobyte | | NFS | - | - | | RBD | ✓ | Ceph RBD | | VsphereVolume | ✓ | vSphere | | PortworxVolume | ✓ | Portworx Volume | | ScaleIO | ✓ | ScaleIO | | StorageOS | ✓ | StorageOS | | Local | - | Local | 后續文檔將介紹Kubernetes如何與Ceph RDB 和 CephFS集成。