云原生存儲高可用容器編排【免費下載鏈接】longhornCloud-Native distributed storage built on and for Kubernetes項目地址https://gitcode.com/gh_mirrors/lo/longhorn點擊查看免費下載導讀本文以 Longhorn 倉庫中的設計文檔 enhancements/20200904-csi-snapshot-support.md 為骨架系統(tǒng)講解如何通過 Kubernetes 標準的 CSI Snapshot 機制VolumeSnapshot/VolumeSnapshotContent/VolumeSnapshotClass資源對 Longhorn 卷進行程序化的備份創(chuàng)建、備份刪除與卷恢復。讀完本文你將掌握如何為 Longhorn 部署 CSI Snapshotter 前置組件、如何配置VolumeSnapshotClass、如何創(chuàng)建/刪除備份、如何從 CSI 快照恢復新卷以及如何將備份存儲中已存在的 Longhorn 備份預置為可恢復的 CSI 快照。背景與動機在引入 CSI Snapshot 支持之前Longhorn 用戶只能通過 UI、CLI 或直接調(diào)用 Longhorn API 與備份系統(tǒng)交互缺乏標準化的程序化訪問途徑。該設計文檔提出在 Longhorn CSI 驅(qū)動中增加對 CSI Snapshot 機制的支持使既有 Kubernetes 生態(tài)工具可以直接創(chuàng)建VolumeSnapshotAPI 資源并由 CSI 插件響應這些資源從而完成備份的創(chuàng)建、刪除與基于備份的卷恢復。相關需求來自 Longhorn issue #304、#610、#1127設計參照了 Kubernetes 社區(qū)的 CSI Snapshot 設計提案。其核心目標非常聚焦為 Longhorn CSI 驅(qū)動添加 CSI Snapshot 支持Goals不涉及VolumeBackupCRD 重構、不改動 Longhorn 備份核心代碼Non-goals。CSI Snapshot 工作機制概覽CSI Snapshot 體系由三層 Kubernetes 資源構成三者協(xié)作完成快照即備份的映射資源作用由誰創(chuàng)建VolumeSnapshot用戶請求創(chuàng)建快照的入口聲明數(shù)據(jù)源PVC 或既有VolumeSnapshotContent用戶VolumeSnapshotContent已供應快照的實例承載 CSI 返回的snapshotHandle外部 snapshotter自動或用戶預置既有備份VolumeSnapshotClass聲明使用的 CSI driver 與刪除策略用戶/管理員工作流上用戶創(chuàng)建VolumeSnapshot后集群中的 snapshot controller 會調(diào)用 external-snapshotter后者通過 CSI gRPC 接口調(diào)用 Longhorn CSI 插件插件側完成 Longhorn 快照 備份后返回一個snapshotHandlesnapshotter 將其寫入自動生成的VolumeSnapshotContent。前置條件與集群要求原設計文檔明確指出CSI Snapshot 支持依賴 Kubernetes 集群側具備 snapshot 能力而 CRD 與 snapshot controller 的安裝責任屬于 Kubernetes 發(fā)行版而非 Longhorn 本身。部署前需要確認Kubernetes 版本原設計文檔要求集群版本至少為 1.17當前倉庫的 Longhorn 部署清單已演進為更現(xiàn)代的組件版本見下文鏡像說明生產(chǎn)環(huán)境請以所用 Longhorn 版本的官方文檔要求為準。CRD 安裝集群中必須存在snapshot.storage.k8s.io相關 CRDVolumeSnapshot、VolumeSnapshotContent、VolumeSnapshotClass該設計文檔特別提醒 rancher rke 默認未部署這些 CRD需手動安裝 external-snapshotter 的client/config/crd清單。Snapshot Controller集群中必須運行 snapshot controllerexternal-snapshotter 的deploy/kubernetes/snapshot-controller清單rancher rke 同樣默認未部署。CSI 組件鏡像在 airgap離線等需要手動固定 CSI 鏡像的環(huán)境中需要手動提供以下鏡像原設計文檔版本longhornio/csi-provisioner:v1.6.0longhornio/csi-snapshotter:v2.1.1原文檔同時說明csi-provisioner 從 1.4 升級到 1.6但仍以 Kubernetes 1.13 為最低支持版本。當前倉庫中的 CSI 鏡像版本對照當前倉庫的 deploy/longhorn.yamlLonghorn 部署清單中的 CSI 相關鏡像已經(jīng)隨項目演進升級csi-attacher:v4.12.0csi-provisioner:v6.3.0csi-node-driver-registrar:v2.17.0csi-resizer:v2.2.1csi-snapshotter:v8.6.0livenessprobe:v2.19.0這些鏡像統(tǒng)一以CSI_*_IMAGE環(huán)境變量注入 Longhorn CSI Driver 的 Deployment便于離線環(huán)境替換為私有倉庫地址。Helm 部署方式下可通過 chart/values.yaml 的image.csi.*配置項定制鏡像倉庫與 tag對應模板見 chart/templates/deployment-driver.yaml。另外當前部署清單中還預留了 CSI VolumeGroupSnapshot 開關CSI_VOLUME_GROUP_SNAPSHOT_ENABLED注釋中明確提示啟用它需要先安裝groupsnapshot.storage.k8s.ioCRD否則 CSI Snapshotter 會停止服務常規(guī)卷快照普通用戶無需開啟。配置 VolumeSnapshotClass由于無法假設用戶集群的發(fā)行版默認包含 snapshotter 支持用戶必須自行創(chuàng)建VolumeSnapshotClass才能使用 CSI Snapshot。原設計文檔給出的示例為snapshot.storage.k8s.io/v1beta1版本當前倉庫的示例文件 examples/snapshot/snapshotclass.yaml 已使用穩(wěn)定的v1API 版本kind: VolumeSnapshotClass apiVersion: snapshot.storage.k8s.io/v1 metadata: name: longhorn driver: driver.longhorn.io deletionPolicy: Delete #parameters: # csi.storage.k8s.io/snapshotter-secret-name: mysecret # csi.storage.k8s.io/snapshotter-secret-namespace: mysecretnamespace要點說明driver必須固定為 Longhorn 的 CSI 驅(qū)動標識driver.longhorn.io這是 external-snapshotter 與 Longhorn CSI 插件對接的依據(jù)。deletionPolicy決定刪除VolumeSnapshot時底層備份的處置方式詳見下文備份刪除一節(jié)。注釋掉的parameters字段用于配置 snapshotter 訪問憑證 secret使用帶認證的備份存儲時可參考啟用。用戶操作場景詳解以下四種場景全部來自原設計文檔的 User Experience In Detail 部分并已對照倉庫 examples/snapshot 目錄下的示例清單做了版本同步v1beta1→v1。場景一通過 VolumeSnapshot 創(chuàng)建備份用戶創(chuàng)建 KubernetesVolumeSnapshot對象即可觸發(fā)對指定 PVC 的備份。例如對名為test-vol的卷請求備份apiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshot metadata: name: test-snapshot-pvc spec: volumeSnapshotClassName: longhorn source: persistentVolumeClaimName: test-vol對應倉庫示例examples/snapshot/snapshot_pvc.yaml。底層流程創(chuàng)建VolumeSnapshot資源后snapshot controller 與 external-snapshotter 會調(diào)用 Longhorn CSI 插件的CreateSnapshot接口。插件先創(chuàng)建 Longhorn 快照再通過 Longhorn 備份機制將快照備份到用戶定義的備份存儲S3、NFS、Azure Blob 等。備份未完成期間CSI 快照會被標記為 not ready to use用戶應等待VolumeSnapshot進入 Ready 狀態(tài)后再使用。場景二通過 VolumeSnapshot 恢復新卷用戶創(chuàng)建引用VolumeSnapshot作為dataSource的 PVC即可從既有備份恢復出全新卷。例如基于test-snapshot-pvc恢復名為test-restore-snapshot-pvc的卷apiVersion: v1 kind: PersistentVolumeClaim metadata: name: test-restore-snapshot-pvc namespace: default spec: storageClassName: longhorn dataSource: name: test-snapshot-pvc kind: VolumeSnapshot apiGroup: snapshot.storage.k8s.io accessModes: - ReadWriteOnce resources: requests: storage: 2Gi對應倉庫示例examples/snapshot/restore_pvc_snapshot.yaml。注意storageClassName必須為 Longhorn StorageClass且 PVC 容量與備份來源卷容量保持一致示例為 2Gi。場景三恢復備份存儲中已存在的 Longhorn 備份預置對于不是通過 CSI 層創(chuàng)建的既有 Longhorn 備份用戶需要手工創(chuàng)建一對VolumeSnapshotContentVolumeSnapshot對象將備份預置為 CSI 快照。核心是讓VolumeSnapshotContent.spec.source.snapshotHandle指向備份存儲中的既有備份格式為bs://backupVolume/backupNameapiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshotContent metadata: name: test-existing-backup spec: volumeSnapshotClassName: longhorn driver: driver.longhorn.io deletionPolicy: Delete source: # NOTE: change this to point to an existing backup on the backupstore snapshotHandle: bs://test-vol/backup-625159fb469e492e volumeSnapshotRef: name: test-snapshot-existing-backup namespace: defaultapiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshot metadata: name: test-snapshot-existing-backup spec: volumeSnapshotClassName: longhorn source: volumeSnapshotContentName: test-existing-backupapiVersion: v1 kind: PersistentVolumeClaim metadata: name: test-restore-existing-backup namespace: default spec: storageClassName: longhorn dataSource: name: test-snapshot-existing-backup kind: VolumeSnapshot apiGroup: snapshot.storage.k8s.io accessModes: - ReadWriteOnce resources: requests: storage: 2Gi三個清單分別對應倉庫示例 examples/snapshot/existing_backup.yaml、examples/snapshot/snapshot_existing.yaml 和 examples/snapshot/restore_existing_backup.yaml。snapshotHandle中的bs://test-vol/backup-625159fb469e492e為占位示例實際使用時需替換為備份存儲中真實存在的備份標識。場景四通過刪除 VolumeSnapshot 刪除備份刪除操作遵循VolumeSnapshotClass的deletionPolicyDelete默認刪除VolumeSnapshot對象后snapshotter 會調(diào)用 CSIDeleteSnapshot接口底層 Longhorn 備份會連同VolumeSnapshotContent一起被刪除。Retain底層 Longhorn 備份與VolumeSnapshotContent均保留僅移除 Kubernetes 側的引用關系。命令行操作為kubectl delete volumesnapshots test-snapshot-pvc若希望保留 Longhorn 備份請創(chuàng)建deletionPolicy: Retain的VolumeSnapshotClass并在VolumeSnapshot中引用它。實現(xiàn)設計CSI 調(diào)用背后的 Longhorn 映射機制原設計文檔對本增強的實現(xiàn)方案做了清晰拆解理解這些機制有助于排查快照不可用備份找不到等問題。CreateSnapshot從 CSI 請求名到備份的持久映射請求名的由來CSI snapshotter 依據(jù)配置的前綴 VolumeSnapshot.uuid生成 CSI snapshot request name并據(jù)此生成VolumeSnapshotContent.name snapcontent-uuid。必須復用同名對同一個VolumeSnapshot對象csi-snapshotter 會以相同的CSI snapshot 請求名反復調(diào)用 Longhorn CSI 插件備份大卷耗時很長。因此 Longhorn 必須使用該請求名來命名 Longhorn 快照否則每次調(diào)用都會生成新快照——這顯然不是期望行為。原設計文檔也提出了另一條備選路徑引入VolumeBackupCRD 來持久關聯(lián) csiSnapshot ? longhornSnapshot ? longhornBackup但該 CRD 重構被列為 Non-goal未在本增強中實現(xiàn)。snapshotID 編碼為讓后續(xù)DeleteSnapshot或CreateVolume調(diào)用能回查到對應備份插件將backupVolume與backupName編碼進CreateSnapshot返回的 snapshotID 中格式為type://backupVolume/backupName其中默認type為bs直接引用 Longhorn 備份。該 snapshotID 會被 Kubernetes 寫入自動創(chuàng)建的VolumeSnapshotContent.spec.snapshotHandle。設計上保留type前綴是為了將來可以改為引用自定義 Kubernetes 資源用于備份元數(shù)據(jù)的持久化?；謴蛷陀眉扔新窂交?CSI 快照創(chuàng)建卷時解碼 snapshotID 即可在備份存儲中查到備份獲得backupURL并填入 Longhorn Volume 資源的fromBackup字段。由于 Longhorn 早已支持通過 StorageClass 參數(shù)fromBackup恢復備份這里復用同一機制無需維護多套卷恢復代碼路徑。DeleteSnapshot解碼即刪除備份刪除的實現(xiàn)非常簡潔解碼 snapshotID然后通過 Longhorn API 觸發(fā)底層備份刪除調(diào)用。端到端驗證測試方案原設計文檔給出了四組可復現(xiàn)的驗證流程每組都圍繞數(shù)據(jù)寫入 → 快照操作 → 備份核對 → 數(shù)據(jù)校驗閉環(huán)展開創(chuàng)建測試Creation test創(chuàng)建卷向卷寫入數(shù)據(jù)創(chuàng)建VolumeSnapshot對象等待VolumeSnapshot變?yōu)?ready to use檢查備份存儲中是否存在對應備份。刪除測試Deletion test創(chuàng)建卷并寫入數(shù)據(jù)創(chuàng)建VolumeSnapshot等待 ready to use確認備份存儲中存在備份刪除VolumeSnapshot對象等待備份從備份存儲中移除?；謴?CSI 快照測試Restore csi snapshot test創(chuàng)建卷并寫入數(shù)據(jù)創(chuàng)建VolumeSnapshot等待 ready to use確認備份存在創(chuàng)建dataSource指向該VolumeSnapshot的 PVC等待卷恢復完成校驗恢復后的卷數(shù)據(jù)與寫入前的數(shù)據(jù)一致?；謴图扔?Longhorn 備份測試Restore existing longhorn backup test創(chuàng)建卷并寫入數(shù)據(jù)創(chuàng)建 Longhorn 備份并確認其存在于備份存儲創(chuàng)建指向該備份的VolumeSnapshotContent創(chuàng)建指向該VolumeSnapshotContent的VolumeSnapshot創(chuàng)建dataSource指向該VolumeSnapshot的 PVC等待卷恢復并校驗數(shù)據(jù)一致性。所需的全部 YAML 清單見上文用戶操作場景詳解及 examples/snapshot 目錄。與后續(xù)增強的銜接CSI Snapshot 支持落地后Longhorn 圍繞快照/備份的 CSI 生態(tài)仍在持續(xù)演進倉庫中可看到兩條直接相關的后續(xù)設計enhancements/20220110-extend-csi-snapshot-to-support-longhorn-snapshot.md將 CSI Snapshot 擴展支持到 Longhorn 本地快照enhancements/20230417-extend-csi-snapshot-to-support-backingimage.md將 CSI Snapshot 擴展支持到 Backing Image。這說明本文所述的type://backupVolume/backupName可擴展 snapshotID 設計確實為后續(xù)資源類型如自定義 CR 引用預留了空間。讀者可按需閱讀上述文檔了解后續(xù)能力邊界。常見問題與注意事項快照一直 not ready to use備份未完成時快照不會進入 Ready 狀態(tài)大卷備份耗時較長請耐心等待并檢查備份存儲可達性。集群缺少 CRD/controllerVolumeSnapshot相關 CRD 與 snapshot controller 屬于集群發(fā)行版職責Longhorn 安裝不會代為部署。若kubectl get volumesnapshots報資源不存在請先補齊 external-snapshotter 的 CRD 與 controller。離線環(huán)境鏡像固定airgap 環(huán)境務必手動提供 CSI 鏡像原文檔為csi-provisioner:v1.6.0與csi-snapshotter:v2.1.1當前版本請參考 deploy/longhorn.yaml 中的CSI_*_IMAGE變量。預置備份的 snapshotHandlebs://backupVolume/backupName必須指向備份存儲中真實存在的備份否則恢復 PVC 會失敗。刪除策略默認deletionPolicy: Delete會連帶刪除底層備份需保留備份時改用Retain的VolumeSnapshotClass。總結通過本增強Longhorn 將標準的 Kubernetes CSI Snapshot 機制與自身快照/備份體系打通用戶可以用統(tǒng)一的VolumeSnapshot資源完成備份創(chuàng)建、刪除與卷恢復也能將備份存儲中已有的 Longhorn 備份預置為 CSI 快照進行恢復而無需改變底層備份核心代碼。其關鍵實現(xiàn)——用 CSI snapshotter 生成的請求名持久映射快照與備份、以bs://backupVolume/backupName編碼 snapshotID、復用fromBackup恢復路徑——保證了多次重試冪等與恢復路徑的唯一性。部署時請務必確認集群具備 snapshot CRD 與 controller并按需創(chuàng)建VolumeSnapshotClass參考 examples/snapshot/snapshotclass.yaml。贊分享云原生存儲高可用容器編排【免費下載鏈接】longhornCloud-Native distributed storage built on and for Kubernetes項目地址https://gitcode.com/gh_mirrors/lo/longhorn點擊查看免費下載相關推薦Longhorn 擴展 CSI Snapshot 管理 BackingImage基于 VolumeSnapshot 的鏡像創(chuàng)建、刪除與恢復實戰(zhàn)指南Longhorn 擴展 CSI Snapshot 管理 BackingImage基于 VolumeSnapshot 的鏡像創(chuàng)建、刪除與恢復實戰(zhàn)指南 導讀 本指云原生存儲高可用容器編排Velero CSI 快照支持基于 Kubernetes CSI VolumeSnapshot API 的持久卷備份與恢復Velero CSI 快照支持基于 Kubernetes CSI VolumeSnapshot API 的持久卷備份與恢復 Velero當前倉庫為 vmwa云原生災備存儲后端Velero CSI 快照支持借助 Kubernetes CSI Snapshot API 實現(xiàn) CSI 卷的備份與恢復Velero CSI 快照支持借助 Kubernetes CSI Snapshot API 實現(xiàn) CSI 卷的備份與恢復 導讀 本文基于 Velero 官方文云原生災備存儲后端上一篇三步完成Windows與Office永久激活KMS_VL_ALL_AIO技術指南下一篇PaddleNLP 小樣本多標簽文本分類實戰(zhàn)基于 ERNIE 3.0 的提示學習Prompt Learning全流程指南創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考