Longhorn

Longhorn 概述

Longhorn 是一款轻量级的云原生分布式块存储系统，它将集群内各个节点的本地物理磁盘聚合为统一的存储池，通过微服务架构和多副本跨节点冗余机制，为业务容器提供开箱即用、高可用且极易维护的持久化数据卷。

核心功能：

聚合底层： 把零散的本地盘（比如 /data/longhorn）统一纳管。
微服务化： 每个卷都有自己独立的控制器进程（Engine），一挂只挂一个卷，爆炸半径极小。
高可用： 自动在不同节点间做数据副本（默认 3 副本），节点宕机数据不丢。

Longhorn 部署

通过 Helm 部署 Longhorn，将存储放在三个 worker 节点上。

前期准备

Longhorn 强依赖宿主机操作系统的几个核心组件来实现底层的块设备映射和网络共享。因此必须在 3 个 Worker 节点上安装这些依赖，否则后续 Pod 会一直卡在 ContainerCreating 状态挂载不上存储。

对于 Ubuntu/Debian 系统：

sudo apt-get update
sudo apt-get install -y open-iscsi nfs-common util-linux

# 确保 iscsid 服务启动并开机自启
sudo systemctl enable --now iscsid

# 检查 iscsid 服务状态
sudo systemctl status iscsid

对于 CentOS/RHEL/AlmaLinux 系统：

NFS Provisioner

NFS Provisioner 概述

要在Kubernetes中使用NFS作为外部存储解决方案，需要使用nfs-subdir-external-provisioner。

nfs-subdir-external-provisioner是一个Kubernetes外部存储供应商，它允许在Kubernetes集群中自动创建NFS PV（Persistent Volume）和PVC（Persistent Volume Claim）。它通过在NFS服务器上创建子目录并将其用作PV来实现存储的动态供应和回收。

使用nfs-subdir-external-provisioner，您可以通过创建一个存储类（StorageClass）来定义NFS存储的配置和参数，然后在PVC中引用该存储类。当创建PVC时，nfs-subdir-external-provisioner将自动在NFS服务器上创建一个子目录，并将其用作PV供PVC使用。

自动创建的 PV 以 ${namespace}-${pvcName}-${pvName} 这样的命名格式创建在 NFS 服务器上的共享数据目录中
而当这个 PV 被回收后会以 archieved-${namespace}-${pvcName}-${pvName} 这样的命名格式存在 NFS 服务器上。

项目地址：https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner

NFS Provisioner 部署

准备 NFS

部署 NFS 服务，并确保可以被 K8s 集群所访问

# 准备 NFS
root@k8s-data:~# vim /etc/exports
/k8s-data 172.16.0.0/18(rw,no_root_squash)

root@k8s-data:~# exportfs -r
...

root@k8s-data:~# exportfs -v
/k8s-data     	172.16.0.0/18(rw,wdelay,no_root_squash,no_subtree_check,sec=sys,rw,secure,no_root_squash,no_all_squash)


# 验证远程nfs可用性
root@k8s-worker6:~# showmount -e 172.16.0.138
Export list for 172.16.0.138:
/k8s-data 172.16.0.0/18

通过 Helm 部署 NFS Provisioner

https://artifacthub.io/packages/helm/nfs-subdir-external-provisioner/nfs-subdir-external-provisioner