使用海量文件静态存储卷，即使用预先在海量文件服务控制台已创建文件系统，通过手动创建PV指定已有文件系统，创建PVC时使用已有PV的方式，实现容器内挂载海量文件。

该模式下需要用户自建文件系统及PV资源，一定程度上增加操作和管理复杂性，一般推荐使用动态创建存储的方式。 

前提条件

• 已创建容器集群

• 已在插件市场安装存储插件cstor-csi，插件版本>=3.6.0，且插件正常运行。（建议使用>=4.0的CSI版本）

• 已在海量文件服务控制台创建文件系统

• 已建文件系统VPC需要包括容器集群所属VPC，如没有，在文件系统列表页，针对指定实例点击“添加VPC”

使用限制

参见海量文件使用限制

通过控制台使用海量文件静态存储卷

1、创建持久卷（PV）

• 登录“云容器引擎”管理控制台；

• 在集群列表页点击进入指定集群；

• 进入主菜单“存储”——“持久卷”，单击左上角“创建持久卷”；

  
   

  在创建对话框，配置持久卷PV的相关参数。配置项说明如下：

  配置项	说明
  名称	PV的名称，以pvc-开头。
  持久卷类型	当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。
  存储驱动	采用默认CSI驱动。
  访问模式	单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。
  海量文件名称	选择已创建的文件系统。
  已有存储类	选择存储类，该功能一般在静态的方式下不怎么使用。 除非用户有一个持久卷申明并且携带了存储类，那么这里才需要添加存储类，使其与持久卷申明匹配。
  模式	使用已有海量文件：基于已经存在的海量文件，使用海量文件本身作为一个持久卷。 使用海量文件子目录：基于某个已经存在的海量文件，使用它的子目录作为一个持久卷。
  挂载选项	挂载参数，用户可根据自己的情况实际定制相关参数。 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里
  标签	用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。

  说明

  静态导入场景下，回收策略均为默认Retain，cstor-csi不会删除数据。

• 参数配置完成后，点击“确定”。创建成功后，可以在持久卷列表查看，此时PV状态为“可用”。

2、创建持久卷声明（PVC）

• 进入主菜单“存储”——“持久卷声明”，单击左上角“创建持久卷声明”。

• 在创建对话框，配置持久卷声明PVC的相关参数。配置项说明如下：

• 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。

• 进入持久卷声明列表页，等待PVC状态为“已绑定”。

3、创建工作负载

1. 登录“云容器引擎”管理控制台；

2. 在集群列表页点击进入指定集群；

3. 进入主菜单“工作负载”——“有状态”，单击左上角“创建SatefulSet”；

4. 在创建对话框，数据存储栏中，选择添加存储卷，卷类型选择“已有存储卷申明（PVC）”，操作栏选择“选择已有存储申明”；根据自己需要设置挂载路径、子路径和权限，

   • 参数说明：

     挂载路径：存储挂载到容器后，容器内部显示的路径地址。不建议使用类似于/usr或者/tmp类似的已有的容器目录路径，可能会造成目录相互遮蔽。

     子路径：需要挂载的存储源地址的子目录

     权限：读写/只读

   • 示例：将PVC“oceanfs”对应存储的subpath指向的子目录（subpath为空表示使用根目录），挂载到容器里的/test路径上。

     

5. 所有的信息都配置完成后，单击“提交”，创建成功后，您就可以正常使用数据卷。

通过kubectl命令行使用海量文件静态存储卷

1、创建持久卷（PV）

• 使用kubectl连接集群，创建示例yaml文件pv-example.yaml：

 apiVersion: v1
kind: PersistentVolume
metadata:
  name: pvc-oceanfs-test-01   # pv的名字，以“pvc-”开头，然后记下后缀名，也就是oceanfs-test-01。
spec:
  accessModes:
  - ReadWriteMany
  capacity:
    storage: 100Gi		# 填写存储大小，与实际存储大小保持一致。单位有Mi、Gi、Ti、Pi
  csi:
    driver: oceanfs.csi.cstor.com
    fsType: ext4
    volumeAttributes:
      driverType: oceanfs.csi.cstor.com
      oceanfsUUID: fecae1fd-59eb-5ca4-9f4a-a67dbcb72363	 # 填写从存储控制台上取得的海量文件ID
      protocol: nfs
      sharePath: 100.123.136.193:/mnt/sfs_mass/a3823cf8210eaa43bc1a9b212a704756_93pooctp5e2kl5ic # 填写从存储控制台上取得的挂载地址
      type: massive
    volumeHandle: 0208-0d-oceanfs-test-01	#格式为0208-{PV-NAME-SUFFIX-LENTH}-{PV-NAME-SUFFIX}，具体参照《参数说明》
  mountOptions:
  - vers=3
  - proto=tcp
  - async
  - nolock
  - noatime
  - noresvport
  - nodiratime
  - wsize=1048576
  - rsize=1048576
  - timeo=300
  persistentVolumeReclaimPolicy: Retain
  volumeMode: Filesystem

参数说明：

volumeHandle：格式为0208-{PV-NAME-SUFFIX-LENTH}-{PV-NAME-SUFFIX}

PV-NAME-SUFFIX表示PV名字后缀。

PV-NAME-SUFFIX-LENTH为16进制，表示PV名字后缀的长度。

例如PV-NAME-SUFFIX是"oceanfs-test-01"，则PV-NAME-SUFFIX-LENTH为0d

• 执行以下命令，创建PV

kubectl apply -f pv-example.yaml

• 查看创建的PV：

          登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“存储”——“持久卷”，在持久卷列表查看。

2、创建持久卷声明（PVC）

• 使用kubectl连接集群，创建示例yaml文件pvc-example.yaml：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: {YOUR-PVC-NAME}
  namespace: default
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 100Gi
  volumeMode: Filesystem
  volumeName: {YOUR-PV-NAME}   #替换PV名称

• 执行以下命令，创建PVC

kubectl apply -f pvc-example.yaml

• 查看创建的PVC：

          登录“云容器引擎”管理控制台；

          在集群列表页点击进入指定集群；

          进入主菜单“存储”——“持久卷声明”，在列表查看。

3、创建工作负载

• 使用kubectl连接集群，创建示例yaml文件sts-example.yaml：

apiVersion: "apps/v1"
kind: "StatefulSet"
metadata:
  name: "oceanfss-test"
  namespace: "default"
spec:
  podManagementPolicy: "OrderedReady"
  replicas: 1
  revisionHistoryLimit: 10
  serviceName: ""
  template:
    spec:
      containers:
      - image: "nginx:1.25-alpine"
        imagePullPolicy: "IfNotPresent"
        name: "container1"
        resources:
          limits:
            cpu: "100m"
            memory: "256Mi"
          requests:
            cpu: "100m"
            memory: "256Mi"
        terminationMessagePath: "/dev/termination-log"
        terminationMessagePolicy: "File"
        volumeMounts:
        - mountPath: "/ccetmp"
          name: "volume1"
      dnsPolicy: "ClusterFirst"
      restartPolicy: "Always"
      schedulerName: "default-scheduler"
      securityContext: {}
      terminationGracePeriodSeconds: 30
      volumes:
      - name: "volume1"
        persistentVolumeClaim:
          claimName: {YOUR-PVC-NAME}                #替换为步骤2中的PVC名称
  updateStrategy:
    rollingUpdate:
      partition: 0
    type: "RollingUpdate"

• 执行以下命令，创建StatefulSet

kubectl apply -f sts-example.yaml

• 查看创建的有状态负载：

          登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“工作负载”——“有状态”，在列表查看。

验证数据持久化

• 登录“云容器引擎”管理控制台；

• 在集群列表页点击进入指定集群；

• 进入主菜单“工作负载”——“有状态”，进入负载详情；

• 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令：

         1、向/ccetmp 目录下写一个文件，执行

echo "Hello World" > /ccetmp/test.log

         2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下:

test.log

• 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常；

• 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行

cat /ccsetmp/test.log

• 预期结果如下：

Hello World

• 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在， 说明数据可持久化保存。