4. 如何配置基于名称的虚拟主机？ 在 Kubernetes 的 Ingress 中，你可以通过配置基于名称的虚拟主机（Namebased Virtual Host）来根据请求的主机名将流量路由到不同的服务。下面是具体的操作步骤： 创建每个服务的 Deployment 和 Service——对于每个你想通过虚拟主机路由到的应用，你需要创建一个 Deployment 和一个 Service。在你的 Service 配置中，确保你已经开启了正确的端口。 创建 Ingress Resource——创建一个 Ingress Resource，并在其中定义你的路由规则。对于基于名称的虚拟主机，你需要在 spec.rules 中为每个主机名定义一个规则。例如： yaml apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: namebasedingress spec: rules: host: app1.ctyun.com http: paths: pathType: Prefix path: "/" backend: service: name: app1service port: number: 8080 host: app2.ctyun.com http: paths: pathType: Prefix path: "/" backend: service: name: app2service port: number: 8080 在此示例中，所有发往 app1.ctyun.com 的流量将被路由到 app1service，而所有发往 app2.ctyun.com 的流量将被路由到 app2service。 应用 Ingress Resource——使用 kubectl apply 命令应用你的 Ingress Resource： bash kubectl apply f namebasedingress.yaml 配置 DNS 记录——你需要在你的 DNS 服务提供商处为每个主机名创建一个 DNS 记录，将其解析到你的 Ingress 控制器的 IP 地址。 验证配置——你可以通过向每个主机名发送 HTTP 请求来验证你的配置是否正确。如果你的配置正确，你应该能看到来自正确应用的响应。

本节介绍Ingress概述。 Ingress简介 Ingress是Kubernetes标准的七层流量入口资源，用于统一管理集群外部到集群内部Service的HTTP/HTTPS访问流量，是容器云平台面向业务应用最核心的南北向流量网关组件。 在不使用Ingress的场景下，业务通常依赖NodePort、LoadBalancer等四层暴露方式，每一个对外服务都需要独立端口、独立负载均衡实例，资源成本高、路由管控弱、证书管理零散。Ingress 提供统一接入点：多个业务域名、路径复用同一组入口网关，基于域名、URI 路径做精细化流量分发，解决多应用对外暴露的成本、治理、证书、路由统一管控问题，是容器应用上云、微服务对外发布的标准方案。 核心概念 1. Ingress（资源对象） ：Kubernetes API资源，以YAML声明路由规则，定义host（域名）、path（路径）、后端Service、TLS证书引用等，是用户面向业务配置的对象。 2. Ingress Controller（控制器） ：Ingress规范的实现，包含控制面 + 数据面。控制面监听 Ingress 资源变更；数据面（Nginx等）承接流量、执行转发。天翼云云容器引擎支持的Ingress Controller有ELB、APIG、Nginx 网关三种类型。 3. Backend（后端） ：路由最终指向集群内Service，再由Service转发至后端Pod；控制器会自动感知Endpoint变化，实现后端实例健康感知与自动管理。 4. TLS Secret ：存放HTTPS证书与私钥，Ingress 关联Secret实现证书引用和卸载，由网关统一完成 SSL/TLS 解密。 注意 Ingress资源本身只是声明式路由规则，不直接处理流量；真正执行代理、转发逻辑的是 Ingress Controller，控制器持续监听API Server，感知Ingress、Service、Endpoint、Secret等资源变更，自动刷新代理配置，实现规则动态生效。

本节介绍网络的用户指南:ELB Ingress Controller。 ELB Ingress Controller基于天翼云弹性负载均衡ELB实现，用于将Kubernetes集群中的Service服务通过七层弹性负载均衡暴露给外部访问，用户可以通过不同域名、不同路径访问到对应的服务。 用户通过控制台或API创建elb类型的Ingress资源（注解kubernetes.io/ingress.class，值为elb），在Ingress资源中指定要使用的ELB实例、访问域名、访问路径、SSL证书及后端服务等。用户也可指定ELB规格，由ELB Ingress Controller新建ELB，新建的ELB为按需计费模式。 ELB Ingress Controller监听到Ingress资源变化时，会根据Ingress定义的转发规则，对指定的ELB配置对应的HTTP/HTTPS转发策略及其后端主机组。如果Service服务的外部流量策略为Local，则Controller只会将Service后端Pod所在节点作为该转发策略的后端主机组。 通过ELB实例访问服务时，流量根据ELB中配置的转发策略转发到对应的后端Service，然后再经由Service网络转发到对应的后端Pod。 注意 ELB Ingress Controller目前仅支持为NodePort/LoadBalancer类型的Service暴露到ELB，因ClusterIP类型的Service只限于集群内访问，暂不支持通过ELB直接暴露服务。

ELB Ingress Controller ELB Ingress Controller 基于天翼云弹性负载均衡 ELB 实现，用于将 Kubernetes 集群中的 Service 服务通过七层弹性负载均衡暴露给外部访问，用户可以通过不同域名、不同路径访问到对应的服务。 用户通过控制台或 Kubernetes API 创建ELB类型的Ingress资源（注解 kubernetes.io/ingress.class，值为elb），在Ingress资源中指定要使用的 ELB 实例、访问域名、访问路径、SSL 证书及后端服务等。用户也可指定 ELB 规格，由 ELB Ingress Controller 新建 ELB，新建的 ELB 为按需计费模式。 ELB Ingress Controller 监听到 Ingress 资源变化时，会根据 Ingress 定义的转发规则，对指定的 ELB 配置对应的 HTTP/HTTPS 转发策略及其后端主机组。如果 Service 服务的外部流量策略为 Local，则 Controller 只会将 Service 后端 Pod 所在节点作为该转发策略的后端主机组。 当通过 ELB 实例访问服务时，流量根据 ELB 中配置的转发策略转发到对应的后端 Service，然后再经由 Service 网络转发到对应的后端 Pod。 注意 ELB Ingress Controller目前只支持为NodePort/LoadBalancer类型的Service暴露到ELB，因ClusterIP类型的Service只限于集群内访问，暂不支持通过ELB直接暴露服务。

终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。 云主机终端节点为：ecpcglobal.ctapi.ctyun.cn。 资源池ID（regionId）请联系运维或通过资源池列表查询接口获取。

模块 网络共享盘 NAS共享盘 共享范围 相同资源池下天翼AI云电脑内访问及普通网络即可访问 相同资源池下天翼AI云电脑内访问，需要构建VPC网络 使用方式 挂载盘、网页端 挂载盘

本节主要介绍如何使用API调整HBlock性能参数。 根据硬件环境和业务场景，可以使用此操作进行性能调优。 请求语法 plaintext PUT /rest/v1/system/tuning HTTP/1.1 Date: date ContentType: application/json; charsetutf8 ContentLength: length Host: ip:port Authorization: authorization { "perfScen": perfScen, "haSens": haSens } 请求参数 参数 类型 描述 是否必须 perfScen String 设置性能调优针对的场景。 取值： ICv1：智算场景。 VMv1：虚拟化场景。 default：系统默认的类型。 否 haSens String 设置性能调优的场景敏感型。 取值： High：高敏感型场景。 Middle：中等敏感型场景。 Low：低敏感型场景。 默认值为Middle。 否 请求示例 HBlock性能调优。 plaintext PUT /rest/v1/system/tuning HTTP/1.1 Date: Thu, 19 Dec 2024 08:39:13 GMT ContentType: application/json; charsetutf8 Authorization: HBlock userName:signature ContentLength: 50 Host: 192.168.0.192:1443 { "perfScen": "ICv1", "haSens": "Low" } 响应示例 plaintext HTTP/1.1 204 No Content Date: Thu, 19 Dec 2024 08:39:13 GMT Connection: keepalive xhblockrequestid: e2216c93aade40e3b7dec96f6b0ef15a Server: HBlock

名称 类型 描述 ips Array of ip iSCSI目标门户的IP属性集合，详见“ 表6 响应参数targetPortalIP.ip说明 ”。 status String iSCSI目标门户的状态： Enabled：启用状态。 Disabled：禁用状态。

本节主要介绍调整HBlock性能参数命令。 ./stor tuning set [ perfscen PERFSCEN ] [ hasens HASENS ] 根据硬件环境和业务场景，可以使用此命令进行性能调优。 参数 参数 描述 perfscen PERFSCEN 设置性能调优针对的场景。 取值： ICv1：智算场景。 VMv1：虚拟化场景。 default：系统默认的类型。 hasens HASENS 设置性能调优的场景敏感型。 取值： High：高敏感型场景。 Middle：中等敏感型场景。 Low：低敏感型场景。 默认值为Middle。 示例 HBlock性能调优。 plaintext [root@hblockserver CTYUNHBlockPlus3.8.0x64] ./stor tuning set perfscen ICv1 hasens High Start adjusting parameters for optimization. You can use 'stor tuning ls' to check whether it is completed.

项目 描述 The specific QoS policy for storage pool poolName 存储池的QoS策略。 The default QoS policy for LUNs in the pool 存储池内卷的默认QoS策略。 QoS Policy Name QoS策略名称。 Reclaim Policy QoS策略的回收策略： Delete：解除QoS策略关联的所有对象或者删除QoS策略关联的所有对象，系统会触发删除QoS策略。 Retain：解除QoS策略关联的所有对象或者删除QoS策略关联的所有对象，QoS策略仍保留。 IOPS (Total/Read/Write) 每秒能够进行读写操作/读操作/写操作次数的最大值。 Bandwidth (Total/Read/Write) 总带宽/读带宽/写带宽上限。 Burst IOPS (Total/Read/Write) 使用Burst功能时，每秒能够进行读写操作/读操作/写操作次数的最大值。 Burst Bandwidth (Total/Read/Write) 使用Burst功能时，总带宽/读带宽/写带宽上限。 Burst Duration (second) 使用Burst功能时，按照Burst上限的能力进行操作所能持续的时间，单位是秒。上限项目依次为：读写操作次数、读操作次数、写操作次数、总带宽、读带宽、写带宽。 Create Time QoS策略创建的时间。 Description QoS策略的描述信息。

QoS信息 参数 描述 qosname QOSNAME 指定QoS策略名称。 注意 创建存储池时，如果指定QoS策略名称不存在，那么同时创建QoS策略，新创建的QoS策略的回收策略默认为Delete。 取值：字符串形式，长度范围1~64，只能由字母、数字和短横线()组成，区分大小写，且仅支持以字母或数字开头。 注意 如果没有指定QOSNAME ，但是设置了IOPS/Bps中的任何一个参数，则根据IOPS/Bps自动创建一个QoS策略，系统为策略名赋值：poolpoolnameqostimestamp。 如果指定了QOSNAME 以及IOPS/Bps中的任何一个参数，则QOSNAME不能与已存在的QoS策略重名。 如果指定了QOSNAME ，没有设置IOPS/Bps中的任何一个参数，则QOSNAME需要为已存在的QoS策略名称。 iops IOPS 每秒能够进行读写操作次数的最大值。 取值：整数形式，取值为[1, 999999999]，默认值为1。1表示不限制。 readiops READIOPS 每秒能够进行读操作次数的最大值。 取值：整数形式，取值为[1, 999999999]，默认值为1。1表示不限制。 writeiops WRITEIOPS 每秒能够进行写操作次数的最大值。 取值：整数形式，取值为[1, 999999999]，默认值为1。1表示不限制。 bps BPS 每秒可传输数据量的最大值。 取值：整数形式，数字后面可以输入单位简写B/b、K/k、M/m、G/g、T/t，分别代表B/s、KiB/s、MiB/s、GiB/s、TiB/s。默认单位是B/s，默认值为1，表示不限制。 如果单位是B/s，取值为[1, 4096000000000]。 如果单位是KiB/s，取值为[1, 4000000000]。 如果单位是MiB/s，取值为[1, 3906250]。 如果单位是GiB/s，取值为[1, 3814]。 如果单位是TiB/s，取值为[1, 3]。 readbps READBPS 读带宽上限。 取值：整数形式，数字后面可以输入单位简写B/b、K/k、M/m、G/g、T/t，分别代表B/s、KiB/s、MiB/s、GiB/s、TiB/s。默认单位是B/s，默认值为1，表示不限制。 如果单位是B/s，取值为[1, 4096000000000]。 如果单位是KiB/s，取值为[1, 4000000000]。 如果单位是MiB/s，取值为[1, 3906250]。 如果单位是GiB/s，取值为[1, 3814]。 如果单位是TiB/s，取值为[1, 3]。 writebps WRITEBPS 写带宽上限。 取值：整数形式，数字后面可以输入单位简写B/b、K/k、M/m、G/g、T/t，分别代表B/s、KiB/s、MiB/s、GiB/s、TiB/s。默认单位是B/s，默认值为1，表示不限制。 如果单位是B/s，取值为[1, 4096000000000]。 如果单位是KiB/s，取值为[1, 4000000000]。 如果单位是MiB/s，取值为[1, 3906250]。 如果单位是GiB/s，取值为[1, 3814]。 如果单位是TiB/s，取值为[1, 3]。 iopsburst IOPSBURST 使用Burst功能时，每秒能够进行读写操作次数的最大值。 取值：整数形式。只有当iops IOPS 大于等于1时，此项设置为1或(IOPS, 999999999]内的正整数方可生效。默认值为1，表示不限制。 readiopsburst READIOPSBURST 使用Burst功能时，每秒能够进行读操作次数的最大值。 取值：整数形式。只有当readiops READIOPS 大于等于1时，此项设置为1或(READIOPS, 999999999]内的正整数方可生效。默认值为1，表示不限制。 writeiopsburst WRITEIOPSBURST 使用Burst功能时，每秒能够进行写操作次数的最大值。 取值：整数形式。只有当writeiops WRITEIOPS 大于等于1时，此项设置为1或(WRITEIOPS,999999999]内的正整数方可生效。默认值为1，表示不限制。 bpsburst BPSBURST 使用Burst功能时，每秒可传输的数据量最大值。 取值：整数形式，数字后面可以输入单位简写B/b、K/k、M/m、G/g、T/t，分别代表B/s、KiB/s、MiB/s、GiB/s、TiB/s。默认单位是B/s，默认值为1，表示不限制。只有当bps BPS大于等于1时，在单位相同的情况下，此项设置为下列取值范围方可生效： 如果单位是B/s，取值为1或(BPS, 4096000000000]内的正整数。 如果单位是KiB/s，取值为1或(BPS, 4000000000]内的正整数。 如果单位是MiB/s，取值为1或(BPS, 3906250]内的正整数。 如果单位是GiB/s，取值为1或(BPS, 3814]内的正整数。 如果单位是TiB/s，取值为1或(BPS, 3]内的正整数。 readbpsburst READBPSBURST 使用Burst功能时，读带宽上限。 取值：整数形式，数字后面可以输入单位简写B/b、K/k、M/m、G/g、T/t，分别代表B/s、KiB/s、MiB/s、GiB/s、TiB/s。默认单位是B/s，默认值为1，表示不限制。只有当readbps READBPS大于等于1时，在单位相同的情况下，此项设置为下列取值范围方可生效： 如果单位是B/s，取值为1或(READBPS, 4096000000000]内的正整数。 如果单位是KiB/s，取值为1或(READBPS, 4000000000]内的正整数。 如果单位是MiB/s，取值为1或(READBPS, 3906250]内的正整数。 如果单位是GiB/s，取值为1或(READBPS, 3814]内的正整数。 如果单位是TiB/s，取值为1或(READBPS, 3]内的正整数。 writebpsburst WRITEBPSBURST 使用Burst功能时，写带宽上限。 取值：整数形式，数字后面可以输入单位简写B/b、K/k、M/m、G/g、T/t，分别代表B/s、KiB/s、MiB/s、GiB/s、TiB/s。默认单位是B/s，默认值为1，表示不限制。只有当writebps WRITEBPS大于等于1时，在单位相同的情况下，此项设置为下列取值范围方可生效： 如果单位是B/s，取值为1或(WRITEBPS, 4096000000000]内的正整数。 如果单位是KiB/s，取值为1或(WRITEBPS, 4000000000]内的正整数。 如果单位是MiB/s，取值为1或(WRITEBPS, 3906250]内的正整数。 如果单位是GiB/s，取值为1或(WRITEBPS, 3814]内的正整数。 如果单位是TiB/s，取值为1或(WRITEBPS, 3]内的正整数。 iopsburstsecs IOPSBURSTSECS 使用Burst功能时，按照Burst上限的能力进行读写操作所能持续的时间。 注意 只有在IOPS Burst功能启用时，此配置才生效。 取值：整数形式，取值为[1, 999999999]，默认值为1，单位是秒。 readiopsburstsecs READIOPSBURSTSECS 使用Burst功能时，按照Burst上限的能力进行读操作所能持续的时间。 注意 只有在Read IOPS Burst功能启用时，此配置才生效。 取值：整数形式，取值为[1, 999999999]，默认值为1，单位是秒。 writeiopsburstsecs WRITEIOPSBURSTSECS 使用Burst功能时，按照Burst上限的能力进行写操作所能持续的时间。 注意 只有在Write IOPS Burst功能启用时，此配置才生效。 取值：整数形式，取值为[1, 999999999]，默认值为1，单位是秒。 bpsburstsecs BPSBURSTSECS 使用Burst功能时，按照Burst上限的流量能力所能持续的时间。 注意 只有在BPS Burst功能启用时，此配置才生效。 取值：整数形式，取值为[1, 999999999]，默认值为1，单位是秒。 readbpsburstsecs READBPSBURSTSECS 使用Burst功能时，按照Burst上限的读流量能力所能持续的时间。 注意 只有在Read BPS Burst功能启用时，此配置才生效。 取值：整数形式，取值为[1, 999999999]，默认值为1，单位是秒。 writebpsburstsecs WRITEBPSBURSTSECS 使用Burst功能时，按照Burst上限的写流量能力所能持续的时间。 注意 只有在Write BPS Burst功能启用时，此配置才生效。 取值：整数形式，取值为[1, 999999999]，默认值为1，单位是秒。

介绍HBlock部署环境的配置操作。 按照环境要求，准备3台或3台以上的服务器。 注意 确保ping命令和ps命令可用。Debian/Ubuntu可以使用下列命令安装ping命令和ps命令。 plaintext aptget update 获取最新安装包 aptget install iputilsping 安装ping命令 aptget install procps 安装ps命令 每台服务器按照下列操作步骤完成配置，以下操作以CentOS 7.x版本为例： 说明 如果已经安装操作系统，请忽略步骤1。如果磁盘已挂载，请忽略步骤2，可以使用挂载路径作为HBlock的数据目录，或者使用命令mkdir DIRECTORY在挂载路径下创建一个目录，将此目录作为HBlock数据目录。 1. 安装操作系统CentOS 7.x版本（可选） 2. 格式化硬盘并挂载 请参考下列示例将服务器上的硬盘进行格式化，方便后续部署使用。 plaintext lsblk 查看硬盘 mkfs.ext4 /dev/vdX 将硬盘格式化为 ext4，如果已经格式化磁盘，请忽略此步骤。 mkdir DIRECTORY 创建挂载路径，DIRECTORY为路径名 mount /dev/vdX DIRECTORY 挂载硬盘，挂载后，可以使用该路径作为HBlock数据目录 说明 mount命令为临时挂载命令，服务器重启后，需要再次挂载。对于HBlock使用到的目录，建议设置开机自动挂载，或使用已设置自动挂载的目录或子目录。 注意 如果安装HBlock的用户为非root用户，需要对HBlock使用到的目录有读写权限，可以使用下列命令。 plaintext chown HBlock用户:HBlock用户所属组 DIRECTORY 3. 关闭SELinux和swap分区（建议） 4. 防火墙设定 确保集群服务器之间可以相互访问，集群服务器之间相互添加白名单，另外请开启iSCSI端口，以便客户端连接到服务器的target。如果是在云主机上安装，安全组中也需要添加白名单。 若您的服务器未开启防火墙，可以忽略此步骤。 如果防火墙是firewalld，示例如下： 1. 开启iSCSI端口，如iSCSI端口为3260时： plaintext firewallcmd permanent addport3260/tcp 2. 集群各服务器的IP添加白名单： 添加IPv4地址 plaintext firewallcmd permanent addrichrule"rule familyipv4 source addressyourIP accept"

1 、创建存储类（ StorageClass ） 注意 1. 以下配置仅支持CSI版本4.0及其以上，您可以先在插件市场对CSI插件升级，再按照以下配置编写yaml。 2. 以下参数为建议配置，您可在存储产品的支持范围内，根据自身实际情况进行调整。 3. 部分参数由于不常用，示例中以 开头，未放开该参数，如有需求，请您根据实际需求使用。 4. 部分 开头的中文内容为内容解释，并非参数。 使用kubectl连接集群，创建示例yaml文件scexample.yaml： plaintext apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: cstorcsinasperformancesc provisioner: nas.csi.cstor.com parameters: type: performance kms的uuid，当配置了这个uuid后，意味着会使用加密功能。不配置或者配置为空，则均不使用加密。默认不使用加密功能。 kmsUUID: 111d979e5f304dd6a167c8c8cdd8aa7c 包年包月的类型，当为year表示以年为单位，为month表示以月为单位，只能填写year或者month 如果没有这个字段，则默认为按需计费 cycleType: year 包年包月的周期数，例如当cycleType为year，那么cycleCount为2则表示2年，只能填写正整数 当配置了cycleType，那么cycleCount才会生效 cycleCount: "2" 选择拓扑区域，如果是天翼云iaas的存储产品，就是对应选择可用区，value填写存储openapi里的可用区的azName 当storageClass配置了volumeBindingMode: WaitForFirstConsumer或者配置了allowedTopologies时，

本节介绍了:DNS FAQ的用户指南。 如何进入CoreDNS Pod执行命令？ 问题现象 使用 kubectl n kubesystem exec it {coredns pod} bash及类似命令发现无法进入到CoreDNS Pod中执行或者查看相关信息。 问题原因 CoreDNS所使用的容器镜像是基于Scratch构建，不具备Shell执行环境，所以无法使用bash命令进入。 解决方案 可以使用nsenter的方式访问CoreDNS Pod所处的容器网络环境。 kubernetes中的服务的域名不能通过coredns正确解析 问题现象 kubernetes中的服务建立成功后，无法通过域名访问。 问题原因 kubernetes中的服务的域名的格式不对。 解决方案 使用完整的域名格式进行解析，servicename.nsname.svc.cluster.local。

启用IPv6公网访问 1. 网络控制台找到创建管控实例时所选择的ELB 2. 创建共享带宽 3. 添加弹性ip，选择IPv6双栈网卡，选择管控实例所在vpc、子网，勾选管控实例所使用的ELB 4. 此时即可通过elb的IPv6地址和6443端口访问集群 创建接入集群，获取接入命令 1、在分布式容器云平台控制台左侧导航栏中选择【分布式容器云】>【接入集群】，进入接入集群列表页。 2、点击【创建接入集群】，在弹窗中填写待接入集群的相关信息。 3、点击【确定】提交创建请求。 4、提交后，即可在列表中查看该接入集群，集群状态为"等待接入中"，还需要在待接入的集群中执行接入命令。

重置节点操作步骤 1. 登录云容器引擎控制台。 2. 单击集群名称进入集群，在左侧点击“ 节点管理 ”，下拉点击“ 节点 ”，选择相关的节点，操作“ 更多 ”处点击“ 重置节点 ”。 3. 点击“ 重置节点 ”，勾选“ 我已阅读并知晓上述信息 ”，点击“ 确定 ”。 验证重置节点 检查节点状态 重置完成后，使用以下命令检查节点状态： kubectl get nodes 确保节点状态为Ready。 检查Pod调度 使用以下命令检查Pod是否已成功调度到其他节点： kubectl get pods o wide 确保所有Pod均处于运行状态。

Entries added by HostAliases. 127.0.. foo.local bar.local 10.1.. foo.remote bar.remote DNS解析请求流程 若未配置存根域，没有匹配集群域名后缀的任何请求，将转发到节点的上游域名服务器。 若已配置存根域和上游DNS服务器，DNS查询将基于下面的流程进行路由： 查询coredns中的DNS缓存层； 在缓存层，检查请求后缀，根据下面情况转发到对应DNS： 带有集群后缀的域名，例如.cluster.local，请求被发送到Coredns； 带有存根域后缀的域名，例如.test.local，请求被转发到配置的自定义DNS解析器； 其它域名解析请求则被转发到上游DNS。 如下图所示：

避免IPVS缺陷导致的DNS概率性解析超时问题 当集群使用IPVS作为kubeproxy负载均衡模式时，您可能会在CoreDNS缩容或重启时遇到DNS概率性解析超时的问题。 您可以通过以下任意方式降低IPVS缺陷的影响： 使用节点DNS缓存NodeLocal DNSCache。 修改kubeproxy中IPVS UDP会话保持的超时时间。 使用节点DNS缓存NodeLocal DNSCache 在云容器引擎集群中部署NodeLocal DNSCache可以提升服务发现的稳定性和性能，NodeLocal DNSCache通过在集群节点上作为DaemonSet运行DNS缓存代理来提高集群DNS性能。 使用合适的CoreDNS版本 CoreDNS对Kubernetes版本实现了较好的向后兼容，建议您保持CoreDNS版本为较新的稳定版本。云容器引擎插件市场中提供了CoreDNS的安装、升级、配置能力，您可以关注插件市场中插件状态，若CoreDNS组件显示可升级，请尽快选择业务低峰期进行升级。 CoreDNS v1.7.0以下的版本存在风险隐患，包括且不仅限于以下： CoreDNS与APIServer连通性异常（例如APIServer重启、APIServer迁移、网络抖动）时，CoreDNS会因错误日志写入失败导致容器重启。 启动CoreDNS时会占用额外内存，默认采用的Memory Limit在较大规模集群下可能触发OOM（OutOfMemory）问题，严重时可能导致CoreDNS Pod反复重启无法自动恢复。 CoreDNS存在若干可能影响Headless Service域名、集群外部域名解析的问题。

参数 说明 策略类型 Infra：基础设施层资源相关的策略类型。 CISK8s：基于CIS等K8s合规规范定制的策略类型。 PSP：替代Pod Security Policy（PSP）能力的策略类型。 K8sgeneral：基于最佳安全实践对K8s资源配置进行安全加固约束的通用策略类型。 实施动作 拦截：违反策略规则约束的指定资源部署会被拦截。 告警：违反策略规则约束的指定资源仍旧可以部署，只会产生对应违规审计的告警日志。 策略名称 根据选择的策略类型，在策略名称下拉列表中选择需要部署的策略模板名称。 参数配置 如果参数配置输入框中默认为空，说明规则不需要进行参数配置。 如果输入框中包含需要配置的参数模板，则请参考策略参数说明按照指定格式配置参数。

认证鉴权 获取天翼云AK/SK: 1. 点击天翼云门户首页右上角的“登录”，输入登录的用户名和密码。 2. 点击右上角的“我的”， 点击个人中心。 3. 在左侧下拉列表中单击“安全设置”。 4. 在安全设置页面的“用户AccessKey”列，点击“新建”按钮，获取访问密钥（AK/SK）。新建成功后，“新建”按钮变为“查看”，您可以点击并查看并复制AK/SK。 认证鉴权介绍： AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。 AK/SK认证就是使用AK/SK对请求进行签名，在请求时将签名信息添加到消息头，从而通过身份认证。 参数 描述 AK（Access Key ID） 访问密钥ID。与私有访问密钥关联的唯一标识符；访问密钥ID和私有访问密钥一起使用，对请求进行加密签名 SK（Secret Access Key） 私有访问密钥。与访问密钥ID结合使用，对请求进行加密签名，可标识发送方，并防止请求被修改 使用AK/SK认证时，您可以基于签名算法使用AK/SK对请求进行签名，也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 说明： 签名SDK只提供签名功能，与服务提供的SDK不同，使用时请注意。

配置项 说明 名称 PVC的名称 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和本地存储，这里选择并行文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 可以根据需求自定义容量，最小容量为512GB 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载

3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "hpfstest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 serviceName: "" template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: {YOURPVCNAME} 替换为步骤2中的PVC名称 updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载：登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“工作负载”——“有状态”，在列表查看。 验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在， 说明数据可持久化保存。

本节介绍了自定义节点池kubelet配置的用户指南。 当kubelet参数默认配置无法满足业务需求，您希望以节点池的维度对集群节点池内的节点进行个性化调整时，您可以在节点池功能中使用kubelet配置功能，实现以节点池维度自定义节点的kubelet参数配置，调整节点行为。 注意 使用限制：节点池CustomPool不支持kubelet配置操作。 支持通过控制台自定义的kubelet参数 字段 描述 默认值 建议取值范围 registryPullQPS registryPullQPS 是每秒钟可以执行的镜像仓库拉取操作限值。 此值必须不能为负数。将其设置为 0 表示没有限值。 5 [1,50] registryBurst registryBurst 是突发性镜像拉取的上限值，允许镜像拉取临时上升到所指定数量， 不过仍然不超过 registryPullQPS 所设置的约束。 此值必须是非负值。 只有 registryPullQPS 参数值大于 0 时才会使用此设置。 10 [1, 100]，且取值必须大于等于registryPullQPS的值 podPidsLimit podPidsLimit 是每个 Pod 中可使用的 PID 个数上限。 1 无 eventRecordQPS eventRecordQPS 设置每秒钟可创建的事件个数上限。如果此值为 0， 则表示没有限制。此值不能设置为负数。 50 [1, 50] eventBurst eventBurst 是突发性事件创建的上限值，允许事件创建临时上升到所指定数量， 不过仍然不超过 eventRecordQPS所设置的约束。 此值必须是非负值， 且只有 eventRecordQPS > 0 时才会使用此设置。 100 [1, 100]，且取值必须大于等于eventRecordQPS的值 kubeAPIQPS kubeAPIQPS 设置与 Kubernetes API 服务器通信时要使用的 QPS（每秒查询数）。 50 [1,50] kubeAPIBurst kubeAPIBurst 设置与 Kubernetes API 服务器通信时突发的流量级别。 此字段取值不可以是负数。 100 [1, 100]，且取值必须大于等于kubeAPIQPS的值 cpuManagerPolicy cpuManagerPolicy是要使用的 CPU 管理器策略。可选值包括：none 和 static。 none 可选值： none static cpuCFSQuota cpuCFSQuota 允许为设置了 CPU 限制的容器实施 CPU CFS 配额约束。 true 可选值： true false maxPods maxPods 是此节点上可运行的 Pod 个数上限。此值必须为非负整数。 110 不涉及

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/tmp 目录下写一个文件，执行echo "Hello World" > /tmp/test.log 2、查看/tmp目录下文件，执行ls /tmp，预期结果如下: plaintext lost+found test.log 退出pod的“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /tmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，数据仍然存在，说明数据可持久化保存。

本节介绍了用户指南: 用LocalPV动态存储卷。 使用LocalPV动态存储卷时，无需预先手动创建PV，只需在创建PVC时指定本地存储类（StorageClass），存储插件cstorcsi即会自动以子目录形式创建对应的PV资源。 此模式为推荐方案，您可专注于工作负载的存储需求，无需提前手动创建和配置存储资源，从而降低底层基础设施的复杂度。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，且插件正常运行。（建议使用>4.0的CSI版本） 使用限制 cstorcsi插件安装版本要求3.4.0及以上； 本地存储卷取决于底层节点的可用性，如果节点变得不健康，那么存储卷也将变得不可被 Pod 访问，影响Pod运行； 如果需要指定节点使用本地存储卷，可以通过以下两种方式： 1、创建持久卷声明PVC时，通过设置节点亲和来指定本地存储使用节点； 2、StorageClass创建时指定绑定策略WaitForFirstConsumer模式，创建工作负载指定节点亲和或者NodeSelector，通过pod调度决定存储使用节点。 通过控制台使用LocalPV动态存储卷 1、创建存储类（StorageClass） 登录“云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 前支持云盘、弹性文件、对象存储、并行文件、海量文件和本地存储，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 开关默认打开，也建议打开。 如果开关关闭，则使用该存储类的pvc无法扩容。 参数 本地存储类型：参数键为type；该场景下选择localpv。 挂载目录：参数键为baseStor。当配置目录不存在时，插件会在节点上自动创建目录。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。比如设置挂载参数为：discard：表示在挂载文件系统时指定 discard 参数，文件系统中删除文件后会自动触发 discard 操作，通知块设备释放掉未使用的 Block 。 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 登录“天翼云对象存储”管理控制台，根据PV名称查看bucket，进入bucket——文件管理，可以看到在容器内创建的文件： 下载文件并查看内容，预期结果与容器内写入数据一致。 以上步骤说明，pod删除重建后，重新挂载对象存储卷，数据仍然存在；从对象存储下载数据并与写入数据一致， 说明对象存储中的数据可持久化保存。

3、创建工作负载 1. 登录“云容器引擎”管理控制台； 2. 在集群列表页点击进入指定集群； 3. 进入主菜单“工作负载”——“有状态”，单击左上角“创建StatefulSet”； 4. 在创建对话框，数据存储栏中，选择添加存储卷，卷类型选择“已有存储卷声明（PVC）”，操作栏选择“选择已有存储声明”；根据自己需要设置挂载路径、子路径和权限， 参数说明： 挂载路径：存储挂载到容器后，容器内部显示的路径地址。不建议使用类似于/usr或者/tmp类似的已有的容器目录路径，可能会造成目录相互遮蔽。 子路径：需要挂载的存储源地址的子目录 权限：读写/只读 示例：将PVC“disk”对应存储的subpath指向的子目录（subpath为空表示使用根目录），挂载到容器里的/test路径上。 5. 所有的信息都配置完成后，单击“提交”，创建成功后，您就可以正常使用数据卷。 通过kubectl命令行使用云盘动态存储卷 注意 1. 以下配置仅支持CSI版本4.0及其以上，您可以先在插件市场对CSI插件升级，再按照以下配置编写yaml。 2. 以下参数为建议配置，您可在存储产品的支持范围内，根据自身实际情况进行调整。 3. 部分参数由于不常用，示例中以 开头，未放开该参数，如有需求，请您根据实际需求使用。 4. 部分

2 、创建持久卷声明（ PVC ） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: cstorpvczos spec: accessModes: ReadWriteOnce resources: requests: storage: 10Gi storageClassName: cstorcsizosstandardsc 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷声明”，在列表查看。 3 、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "zostest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" subPath: "ccsetest" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: "cstorpvczos" updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，在列表查看。

Pod使用NodeLocal DNSCache Pod需调整resolv.conf的nameservers配置，以将原本请求CoreDNS改为请求DNS缓存代理，有如下几种方式可以配置： 借助DNSConfig动态注入控制器在Pod创建时配置DNSConfig自动注入，推荐使用此方式； 创建Pod时手动指定DNSConfig； 修改kubelet参数，并重启节点kubelet。 注意 第三种存在业务中断风险，不推荐使用此方式。 配置DNSConfig自动注入 DNSConfig动态注入控制器可用于自动注入DNSConfig至新建的Pod中，无需手工配置Pod YAML进行注入。该控制器默认会监听包含nodelocaldnsinjectionenabled标签的命名空间中新建Pod的请求，可以通过以下命令给命名空间打上该标签： plaintext kubectl label namespace default nodelocaldnsinjectionenabled 开启自动注入后，后续新创建的Pod会被增加以下字段，为了最大程度上保证业务DNS请求高可用，nameservers中会额外加入kubedns的ClusterIP地址作为备份的DNS服务器： plaintext dnsConfig: nameservers: 169.254.20.10 172.21.0.10 options: name: ndots value: "3" name: attempts value: "2" name: timeout value: "1" searches: default.svc.cluster.local svc.cluster.local cluster.local dnsPolicy: None Pod在同时满足以下条件时，才会自动注入DNS缓存。如果Pod未注入DNS缓存服务地址，请检查Pod是否满足以下条件： 新建Pod不位于kubesystem和kubepublic命名空间； 新建Pod所在命名空间的Labels标签包含nodelocaldnsinjectionenabled； 新建Pod所在命名空间的Labels不包含ECI Pod相关标签，例如virtualnodeaffinityinjection、eci等，或打上禁用DNS注入nodelocaldnsinjectiondisabled标签； 新建Pod的网络为hostNetwork且DNSPolicy为ClusterFirstWithHostNet，或Pod为非hostNetwork且DNSPolicy为ClusterFirst。

验证权限 查询default命名空间下的pod资源。 kubectl get pod n default kubeconfigtest.config 被拒绝访问其他命名空间的pod资源。 kubectl get pod n testrq kubeconfigtest.config 不可以删除default命名空间下的pod资源。 kubectl delete pod n default testpod kubeconfigtest.config 基于ClusterRole实现集群权限精细化管理的配置步骤 请参考：集群命名空间RBAC授权

注解 含义 kubernetes.io/ingressbandwidth: 10M Pod入站带宽限制 kubernetes.io/egressbandwidth: 10M Pod出站带宽限制

预置角色 集群内RBAC权限 管理员 对集群所有命名空间下 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的读写权限 运维人员 对集群所有命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的只读权限 开发人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限 受限人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 只读权限 自定义 权限由您所选择的 ClusterRole 决定，请在确定所选 ClusterRole 对各类资源的操作权限后再进行授权，以免子账号获得不符合预期的权限