迁移后验证 迁移完成后，请使用Rediscli连接源Redis和目标Redis，确认数据的完整性。 1. 连接源Redis和目标Redis，连接Redis的方式请参考使用rediscli连接Redis实例。 2. 输入info keyspace，查看keys参数和expires参数的值。 3. 对比源Redis和目标Redis的keys参数分别减去expires参数的差值。如果差值一致，则表示数据完整，迁移正常。 如果是全量迁移，迁移过程中源Redis更新的数据不会迁移到目标实例。

本节主要介绍迁移方案说明。 迁移工具 Redis迁移工具对比 工具/命令/服务 特点 说明 DCS控制台界面一键式迁移 操作简单，同时支持在线迁移和离线迁移（备份文件导入）两种方式，其中在线迁移支持增量数据迁移。 离线迁移，适用于源Redis和目标Redis网络不连通、源Redis不支持SYNC/PSYNC命令的场景。需要将数据备份文件导入到OBS，DCS从OBS桶中读取数据，将数据迁移到DCS的Redis中。 在线迁移，涉及到SYNC/PSYNC命令，适用于源Redis放通了SYNC/PSYNC命令的场景。支持将源Redis中的数据全量迁移或增量迁移到目标Redis中。 Rediscli Redis自带命令行工具，支持导出RDB文件，也支持将持久化的AOF文件整库导入。 AOF文件为所有数据更改命令的全量集合，数据文件稍大。 Rump 支持在线迁移，支持在同一个实例的不同数据库之间，以及不同实例的数据库之间迁移。 不支持增量迁移。建议停业务后迁移，避免出现Key丢失。详情参考使用Rump在线迁移。 RedisShake 在线迁移和离线迁移均支持的一款开源工具。 适用于Cluster集群的数据迁移。 自行开发迁移脚本 灵活，根据实际情况适配。

迁移源 信息项 说明 源Redis （列出所有待迁移的实例） 源Redis实例的IP地址 源Redis （列出所有待迁移的实例） Redis访问密码（如有） 源Redis （列出所有待迁移的实例） 总数据量大小 info memory命令查询得到，参考usedmemoryhuman的值。 用于评估迁移方案、DCS缓存实例规格、ECS可用磁盘空间等是否满足，以及预估迁移耗时（业务中断时间）。 源Redis （列出所有待迁移的实例） 不为空的数据库编号 info keyspace命令查询得到。 用于确认迁移是否涉及多数据库，非AOF文件方式迁移，部分开源工具可能须逐库处理导出和导入。 DCS缓存实例中，单机和主备实例支持0255共256个数据库，集群默认只提供一个数据库。 源Redis （列出所有待迁移的实例） 各数据库的key数量 用于迁移后进行数据完整性验证。 源Redis （列出所有待迁移的实例） 数据类型 CDM迁移服务当前支持Hash和String两种数据格式，如果源数据含有list、set之类数据，请采用第三方迁移工具。 ECS（弹性云主机） 如果待迁移实例较多，可准备多台ECS并行迁移 弹性IP地址 选择与DCS缓存实例网络互通的弹性云主机进行数据导入，确保导入过程网络稳定。 带宽建议选取高配，提升数据传输效率。 ECS（弹性云主机） 如果待迁移实例较多，可准备多台ECS并行迁移 系统登录用户/密码 ECS（弹性云主机） 如果待迁移实例较多，可准备多台ECS并行迁移 CPU/内存 部分迁移工具支持多线程并行导入，使用高规格ECS，能提升导入速度。 ECS（弹性云主机） 如果待迁移实例较多，可准备多台ECS并行迁移 可用磁盘空间 ECS需要预留足够的可用磁盘空间，存储压缩文件以及解压后的缓存数据文件。 注：为提高数据传输效率，对于较大的数据文件，建议压缩后再传输到弹性云主机。 DCS缓存实例 （根据源Redis实例数与数据量情况选择合适的规格与实例数） 实例连接地址 DCS缓存实例 （根据源Redis实例数与数据量情况选择合适的规格与实例数） 实例连接端口 DCS缓存实例 （根据源Redis实例数与数据量情况选择合适的规格与实例数） 实例访问密码 DCS缓存实例 （根据源Redis实例数与数据量情况选择合适的规格与实例数） 实例类型 DCS缓存实例 （根据源Redis实例数与数据量情况选择合适的规格与实例数） 实例规格/可用内存 网络配置 VPC 提前规划VPC，确保应用服务、DCS缓存实例等处于相同VPC中。 网络配置 子网 网络配置 安全组或白名单 由于Redis 3.0和Redis 4.0/5.0/6.0实例部署模式不一样，控制访问方式也不一样，需要制定相应的安全组或白名单规则，确保网络连通。 ... ... 其他配置信息 。

本节主要介绍数据迁移指南概述 由于用户对Redis的使用环境和场景各有差异，具体的迁移方案需要用户根据实际需求完善与细化。迁移耗时也与数据量大小、源Redis部署出处、网络带宽等相关，具体耗时需要在演练过程中记录与评估。 在迁移时需要分析业务系统使用到的缓存相关命令（附：DCS命令兼容性说明参考），在演练阶段对命令逐一验证。如有需要，可联系技术支持人员。 注意 数据迁移是一项重要且严肃的工作，准确性与时效性要求非常高，且与具体业务和操作环境相关。 本文提供的案例仅供参考，实际迁移应考虑具体的业务场景和需求，请勿直接套用。 本文提供的迁移操作，部分命令中包含了实例密码，这会导致密码记录到操作系统中，请注意保护密码不被泄露，并及时清除历史操作记录。

调整Redis实例带宽 实例默认为手动调整带宽的方式，可根据需要设置目标带宽值。 手动调整Redis实例带宽 1. 登录分布式缓存服务管理控制台。 2. 在管理控制台左上角单击，选择实例所在的区域。 3. 单击左侧菜单栏的“缓存管理”。 4. 在“缓存管理”页面，单击Redis缓存实例的名称。 5. 在缓存实例的“基本信息”栏中单击带宽后的“调整带宽”。 图调整带宽 6. 在“调整带宽”页面，设置带宽参数。 图手动设置新带宽值 集群实例多个分片需要调整带宽时，可以对多个分片单独设置不同的目标带宽，也可以同时勾选多个分片后，单击页面左上角的“批量调整带宽”，统一设置带宽值。 目标带宽值只支持设置为8的整数倍。如果设置的带宽值不是8的整数倍，订单提交后会自动按照向下取整的方式调整带宽。例如输入的带宽值为801，则按照800 Mbit/s的目标带宽调整带宽。 变更页面显示的变更后费用为该实例额外购买的带宽计费金额，不包含原实例费用。 调整带宽的计费方式仅支持按需计费（按小时结算费用）。 您可以根据需要多次调整带宽，单个计费周期（1小时）中如果有多次带宽变更，该计费周期以最大带宽费用收费。例如将一个Redis实例（默认带宽值为256 Mbit/s）的宽带变更为2048 Mbit/s后，在一个计费周期内再次将带宽值变更为512 Mbit/s，实例在该计费周期将按照2048 Mbit/s的带宽值扣费。 7. 手动调整目标带宽后，确认新的带宽值及带宽费用后，在“带宽调整确认”处勾选确认，再单击“提交订单”。 调整带宽任务的状态为“成功”后，新的带宽值立即生效。

AR眼镜连接指引 AR眼镜在不同设备连接方法会不一致，需按照设备类型查看对应操作指引。 说明 连接设备需支持DP输出的手机和平板。 支持识别AR眼镜的显示设备祥见 设备适配清单。 AR眼镜连接安卓客户端 安卓端支持自动识别连接，以华为设备为例设备连接使用流程如下： 1.VR眼镜设备连接； 每次插入眼镜或眼镜切换2D/3D模式重启后，会提示是否投屏，点击“同意”授权； 每次插入眼镜会提示一次“是否允许访问USB设备”，点击“确定”进行授权（用于控制眼镜切换2D/3D模式和查询当前模式）。 2.开启3D模式，可使用以下两种方式开启 自动识别开启3D模式 1. 系统自动识别设备，点击“确定”开启3D模式。也可以主动开启3D模式，开启方式见“3D模式入口”； 2. 开启后眼镜会进行重启，需要重新授权投屏权限； 3. 同意后成功开启3D模式。 手动开启3D模式 1. 通过按眼镜上的模拟切换按键使眼镜进入3D模式（不同设备开启方法见各产品说明）； 2. 开启后进入云电脑，主动开启3D状态。 说明 未适配眼镜目前不支持自动开启，用户可尝试独立开启。 3.开启成功，操控设备。连接设备后手机变成触控模式，可对屏幕进行操作。

画质问题可能由以下原因导致： 1. 原始内容质量。如果原始视频本身分辨率较低，转换后也不够清晰，建议选择高清片源。 2.网络带宽不足：网络不稳定时系统会自动降低画质以保证流畅，建议检查网络。 3. 环境光线。周围环境太亮会影响3D效果，建议调暗室内灯光，或在较暗环境下使用。 4. 设备镜片：检查AR/VR眼镜镜片是否干净，有污渍会影响观看效果。 为什么进入3D模式后，不能调整画面分辨率了？ 这是正常现象。3D模式下，系统为了保证最佳的3D效果和流畅度，会自动选择最优的分辨率方案，因此不支持手动调整。如果您觉得画质不够清晰，可以： 1. 退出3D模式，在云电脑普通模式下调整分辨率后再重新进入3D模式。 2. 检查网络状况，确保带宽充足。 3. 选择更高清的原始视频内容。 怎么让3D模式使用更流畅？ 以下是网络优化建议： 1. 使用5GWiFi：如果路由器支持，连接5GHz频段的WiFi，速度更快、干扰更少。 2. 避开高峰期：晚上810点是网络使用高峰期，尽量避开这个时段使用。 3. 独占网络：使用时让其他设备暂时断开网络，避免带宽被占用。 4. 靠近路由器：WiFi信号强度会影响体验，尽量靠近路由器使用。 5. 使用有线网络：如果条件允许，使用网线连接会更稳定。

本节介绍3D模式在使用要求说明。 电脑版本要求 客户端版本：需要升级到4.0及以上版本 说明 如客户端上看不到3D功能入口或订购入口，说明当前资源池的服务端尚未完成升级。服务端升级会按资源池逐步推进，请耐心等待，敬请期待。 网络带宽要求 建议带宽≥20Mbps 客户端系统要求 设备类型 系统要求 其他要求 安卓设备 Android 5.0+ 1. 支持用于VR手机盒子； 2、AR眼镜需要支持视频输出的手机或平板（TypeC接口支持视频输出功能） 3、投影仪需要支持SBS 3D视频播放（左右分屏3D模式） iOS设备 iOS13+ 1、支持用于VR手机盒子； 2、AR眼镜需要支持视频输出的手机或平板（TypeC接口支持视频输出功能） Windows设备 Windows10+ AR眼镜需要支持视频输出的个人PC（TypeC或DP接口） Mac设备 MacOS12+ AR眼镜需要支持视频输出的Mac设备（TypeC或DP接口） 说明 1. Linux系统暂不支持；瘦终端暂不支持。 2. 什么是DP视频输出？设备需要支持通过TypeC或DP接口输出视频信号到AR眼镜。

厂商 型号 NOLO NOLON1 NOLO NOLON3 VR眼镜手机专用 千幻魔镜 千幻魔镜G18EB 十二代 VR眼镜 千幻魔镜 千幻魔镜G04BS 十一代 VR眼镜 千幻魔镜 千幻魔镜G19VR眼镜

事件名称 级别 创建用户委托 normal 删除用户委托 warning 授权企业项目 normal 创建集群 normal 节点扩容 normal 节点缩容 warning 节点升规格 normal 节点重置 warning 节点磁盘扩容 normal 节点磁盘缩容 warning 集群退订 warning 集群销毁 warning 集群复机 normal 更新集群描述 normal 升级集群 normal 暂停升级集群 normal 取消升级集群 warning 恢复升级集群 normal 删除集群 warning 获取kubeconfig warning 获取临时kubeconfig warning 吊销用户证书 warning 集群API Server绑定/解绑eip warning 集群节点绑定eip normal 集群节点解绑eip warning 创建节点池 normal 更新节点池 normal 删除节点池 warning 批量删除节点池 warning 发布插件实例 normal 升级插件实例 normal 重新发布插件实例 normal 回滚插件实例 warning 删除插件实例 warning 创建工作负载 normal 工作负载扩缩容 normal 全量替换工作负载 warning 克隆工作负载 normal 删除工作负载 warning 快速重新部署工作负载 warning 滚动重新部署工作负载 warning 停止工作负载 warning 启动工作负载 normal 回滚工作负载到上一版本 warning 回滚工作负载到指定版本 warning 重启工作负载指定Pod warning 设置工作负载自动伸缩 normal 关闭工作负载自动伸缩 normal 批量删除工作负载 warning 批量启动工作负载 warning 批量停止工作负载 warning 批量快速重新部署工作负载 warning 批量滚动部署工作负载 warning 批量水平伸缩工作负载 warning 创建ConfigMap normal 删除ConfigMap warning 批量删除ConfigMap warning 新增ConfigMap Item normal 删除ConfigMap Item warning 更新ConfigMap Item normal 创建Secret normal 删除Secret warning 批量删除Secret warning 新增Secret Item normal 删除Secret Item warning 更新Secret Item normal 创建TLS凭证 normal 更新TLS凭证 normal 创建Ingress normal 删除Ingress warning 批量删除Ingress warning 全量替换Ingress warning 创建Service normal 删除Service warning 批量删除Service warning 全量替换Service warning 创建namespace normal 删除namespace warning 设置 namespace 资源配额 normal 更新 namespace 资源配额 normal 取消设置 namespace 资源配额 warning 创建PVC normal PVC扩容 normal 删除PVC warning 批量删除PVC warning 新增存储池 normal 更新存储池 normal 删除存储池 warning 删除Role warning 批量删除Role warning 删除ClusterRole warning 批量删除ClusterRole warning 子账号RBAC授权 warning 创建策略实例 normal 更新策略实例 normal 删除策略实例 warning 创建/配置巡检任务 normal 执行巡检检查 normal 删除巡检任务 warning 删除巡检报告 warning 创建ETCD备份任务 normal 删除ETCD备份任务 warning 更新ETCD备份任务 normal 触发ETCD备份 normal ETCD备份还原 normal 下载ETCD备份文件 normal 创建备份任务 normal 下载集群备份文件 normal 上传集群备份文件 normal 删除集群备份任务 warning 集群备份还原 warning 删除集群还原任务 warning 创建集群定时备份任务 normal 更新集群定时备份任务 normal 删除集群定时备份任务 warning 立即执行集群定时备份任务 normal 下发命名空间级别Resource normal 下发集群级别Resource normal 更新命名空间级别Resource normal 更新集群级别Resource normal 删除命名空间级别Resource warning 删除集群级别Resource warning 上传模板 normal 删除模板 warning 删除模板版本 warning 批量删除模板版本 warning 修改模板 normal 发布模板实例 normal 删除模板实例 warning 更新模板实例 normal 升级模板实例 normal 回滚模板实例 warning

监控CoreDNS状态 云容器引擎监控组件默认配置了CoreDNS相关的指标监控和告警规则。具体安装操作请参见集群监控。 合理调整集群CoreDNS部署状态 CoreDNS应部署于您的Kubernetes集群中，默认情况下与您的业务容器运行在同样的集群节点上，注意事项如下： 合理调整CoreDNS副本数 合理分配CoreDNS副本运行的位置 手动扩容副本数 基于CPU负载指标自动扩容副本数（HPA） 合理调整CoreDNS副本数 建议您在任何情况下设置CoreDNS副本数应至少为2，且副本数维持在一个合适的水位以承载整个集群的解析。 CoreDNS所能提供的域名解析QPS与CPU消耗成正相关，开启缓存的情况下，单个CPU可以支撑10000+ QPS的域名解析请求。不同类型的业务对域名请求的QPS需求存在较大差异，您可以观察每个CoreDNS副本的峰值CPU使用量，如果其在业务峰值期间占用CPU大于一核，建议您对CoreDNS进行副本扩容。无法确定峰值CPU使用量时，可以保守采用副本数和集群节点数1：8的比值来部署，即每扩容8个集群节点，增加一个CoreDNS副本，但副本数不应大于10。针对100节点以上的集群，推荐使用节点DNS缓存NodeLocal DNSCache。 当集群节点数目长时间较为固定时，可以手动扩容副本数。 如果集群节点数持续增长，可以设置自动扩容副本数。

本文介绍如果不配置集群管理权限,是否可以使用kubectl命令。 如果不配置集群管理权限，是否可以使用kubectl命令呢？ 使用kubectl命令无需经过IAM认证，因此理论上不配置集群管理（IAM）权限是可以使用kubectl命令的。但前提是需要获取具有命名空间权限的kubectl配置文件（kubeconfig），以下场景认证文件传递过程中均存在安全泄露风险，应在实际使用中注意。 场景一：如果某IAM子用户先配置了集群管理权限和命名空间权限，然后在界面下载kubeconfig认证文件。后面再删除集群管理权限（保留命名空间权限），依然可以使用kubectl来操作Kubernetes集群。因此如需彻底删除用户权限，必须同时吊销该子用户的kubeconfig文件。 场景二：如果某IAM用户拥有一定范围的集群管理权限和命名空间权限，然后在界面下载kubeconfig认证文件。此时云容器引擎根据用户信息的权限判断用户对应kubeconfig文件，相当于kubeconfig中就拥有这个用户的认证信息，若其他人获取了这个kubeconfig，则可以通过这个kubeconfig文件访问集群。

image: {imagerepo}/icce/kubeflowexamplespytorchdistmnist:gpucuda12.1 imagePullPolicy: IfNotPresent command: "python3" "/opt/mnist/src/mnist.py" "epochs10" "backendnccl" env: name: PROTOCOLBUFFERSPYTHONIMPLEMENTATION value: python resources: limits: nvidia.com/gpu: 1 Worker: replicas: 1 restartPolicy: OnFailure template: spec: containers: name: pytorch image: {imagerepo}/icce/kubeflowexamplespytorchdistmnist:multi imagePullPolicy: IfNotPresent command: "python3" "/opt/mnist/src/mnist.py" "epochs10" "backendnccl" env: name: PROTOCOLBUFFERSPYTHONIMPLEMENTATION value: python resources: limits: nvidia.com/gpu: 1 NPU模板 xml apiVersion: "kubeflow.org/v1" kind: PyTorchJob metadata: name: pytorchsamplenpu01 namespace: default spec: pytorchReplicaSpecs: Master: replicas: 1 restartPolicy: OnFailure template: spec: containers: name: pytorch image: {imagerepo}/icce/kubeflowexamplespytorchdistmnist:multi imagePullPolicy: IfNotPresent command: "bash" "c" args: ["source /usr/local/Ascend/ascendtoolkit/setenv.sh && python3 /opt/mnist/src/mnist.py epochs10 backendhccl"] env: name: PROTOCOLBUFFERSPYTHONIMPLEMENTATION value: python resources: limits: huawei.com/Ascend910: 1 requests: huawei.com/Ascend910: 1 Worker: replicas: 1 restartPolicy: OnFailure template: spec: containers: name: pytorch image: {imagerepo}/icce/kubeflowexamplespytorchdistmnist:multi imagePullPolicy: IfNotPresent command: "bash" "c" args: ["source /usr/local/Ascend/ascendtoolkit/setenv.sh && python3 /opt/mnist/src/mnist.py epochs10 backendhccl"] env: name: PROTOCOLBUFFERSPYTHONIMPLEMENTATION value: python resources: limits: huawei.com/Ascend910: 1 requests: huawei.com/Ascend910: 1 查看运行状态：点击左侧【工作负载】>【容器组】，找到任务名为前缀的容器，点击名称，查看日志/监控等信息是否符合预期。

2、创建持久卷声明（PVC） 进入主菜单“存储”——“持久卷声明”，单击左上角“创建持久卷声明”； 在创建对话框，配置持久卷声明PVC的相关参数。配置项说明如下： 配置项 说明 名称 PVC的名称。 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和本地存储，这里选择并行文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在静态创建的场景下，除非持久卷指定了存储类，否则不需要指定存储类。 是否指定存储卷 在静态创建的场景下，需要指定上一步的存储卷。 持久卷名称 选择上一步创建的PV名称。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。 进入持久卷声明列表页，等待PVC状态为“已绑定” 。 3、创建工作负载 1. 登录“云容器引擎”管理控制台； 2. 在集群列表页点击进入指定集群； 3. 进入主菜单“工作负载”——“有状态”，单击左上角“创建SatefulSet”； 4. 在创建对话框，数据存储栏中，选择添加存储卷，卷类型选择“已有存储卷申明（PVC）”，操作栏选择“选择已有存储申明”；根据自己需要设置挂载路径、子路径和权限， 参数说明： 挂载路径：存储挂载到容器后，容器内部显示的路径地址。不建议使用类似于/usr或者/tmp类似的已有的容器目录路径，可能会造成目录相互遮蔽。 子路径：需要挂载的存储源地址的子目录。 权限：读写/只读 示例：将PVC“hpfs”对应存储的subpath指向的子目录（subpath为空表示使用根目录），挂载到容器里的/test路径上。 5. 所有的信息都配置完成后，单击 “提交” 。创建成功后，您就可以正常使用数据卷。

2、创建持久卷声明（PVC） 进入主菜单“存储”——“持久卷声明”，单击左上角“创建持久卷声明”； 在创建对话框，配置持久卷声明PVC的相关参数。配置项说明如下： 配置项 说明 名称 PVC的名称 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和本地存储，这里选择并行文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 可以根据需求自定义容量，最小容量为512GB 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。 进入持久卷声明列表页，等待PVC状态为“已绑定” 。此时，进入主菜单“存储”——“持久卷“，可以看到对应的PV创建 。 如果PVC一直未绑定，可以查看进入对应PVC详情页查看事件，或者查看cstorcsi日志进行定位。 3、创建工作负载 1. 登录“云容器引擎”管理控制台； 2. 在集群列表页点击进入指定集群； 3. 进入主菜单“工作负载”——“有状态”，单击左上角“创建StatefulSet”； 4. 在创建对话框，数据存储栏中，选择添加存储卷，卷类型选择“已有存储卷申明（PVC）”，操作栏选择“选择已有存储申明”；根据自己需要设置挂载路径、子路径和权限， 参数说明： 挂载路径：存储挂载到容器后，容器内部显示的路径地址。不建议使用类似于/usr或者/tmp类似的已有的容器目录路径，可能会造成目录相互遮蔽。 子路径：需要挂载的存储源地址的子目录 权限：读写/只读； 示例：将PVC“hpfs”对应存储的subpath指向的子目录（subpath为空表示使用根目录），挂载到容器里的/test路径上 5. 所有的信息都配置完成后，单击“提交”，创建成功后，您就可以正常使用数据卷。

本节介绍了节点重置的用户指南。 节点重置是指将Kubernetes集群中的节点恢复到初始状态。这通常用于节点出现故障时的修复操作。在云容器引擎控制台节点功能中，您可以通过控制台来重置节点。 注意事项 重置节点将对节点操作系统进行重置安装，节点上已运行的工作负载业务将会中断，请在业务低峰期操作。 节点重置后系统盘挂载kubelet、containerd的数据盘将会被清空，重置前请事先备份重要数据。 用户节点如果有自行挂载了数据盘，重置完后会清除挂载信息，请事先备份重要数据，重置完成后请重新执行挂载行为，数据不会丢失。 节点上的工作负载实例的IP会发生变化，但是不影响容器网络通信。 操作过程中，后台会把当前节点设置为不可调度状态。 节点重置会清除用户单独添加的 K8S 标签和污点（通过节点池编辑功能添加的标签、污点不会丢失），可能导致与节点有绑定关系的资源（本地存储，指定调度节点的负载等）无法正常使用。请谨慎操作，避免对运行中的业务造成影响。 重置节点会导致与节点关联的localpv类型的PVC/PV数据丢失，无法恢复，且PVC/PV无法再正常使用。重置节点时使用了本地持久存储卷的Pod会从重置的节点上驱逐，并重新创建Pod，Pod会一直处于pending状态，因为Pod使用的PVC带有节点标签，由于冲突无法调度成功。节点重置完成后，Pod可能调度到重置好的节点上，此时Pod会一直处于creating状态，因为PVC对应的底层逻辑卷已经不存在了。 重置节点使用的相关配置是节点所在节点池的最新配置。

配置项 说明 名称 PVC的名称。 存储声明类型 这里选择通用。 分配模式 这里选择“已有存储卷”。 持久卷名称 选择上一步创建的PV名称。

集群外部域名解析异常 问题现象 业务Pod可以正常解析集群内部域名，但无法解析某些集群外部域名。 问题原因 上游服务器域名解析返回异常。 解决方案 修改CoreDNS配置文件corefile，开启log模块以打印查询请求日志，检查CoreDNS DNS查询请求日志。 常见请求日志 CoreDNS接收到请求并回复客户端后会打印一行日志，示例如下： plaintext 其中包含状态码RCODE NOERROR，代表解析结果正常返回。 [INFO] 172.20.2.25:44525 36259 "A IN nginx.default.svc.cluster.local. udp 56 false 512" NOERROR qr,aa,rd 110 0.000116946s 常见返回码RCODE 返回码RCODE 含义 原因 NXDOMAIN 域名不存在 容器内请求域名时，会被拼接上search后缀，若拼接的结果域名不存在，则会出现该请求码。如果确认日志中请求的域名内容存在，则说明存在异常。 SERVFAIL 上游服务器异常 常见于无法连接上游DNS服务器等情况。 REFUSED 拒绝应答 常见于CoreDNS配置或集群节点/etc/resolv.conf文件指向的上游DNS服务器无法处理该域名的情况，请排查CoreDNS配置文件。 当CoreDNS DNS查询请求日志中显示集群外部域名返回为NXDOMAIN、SERVFAIL、REFUSED时，说明CoreDNS的上游DNS服务器返回异常。请提交工单排查。 StatefulSets Pod域名无法解析 问题现象 Headless服务无法通过Pod域名解析。 问题原因 StatefulSets Pod YAML中ServiceName必须和其暴露SVC的名字一致，否则无法访问Pod域名（例如pod.headlesssvc.ns.svc.cluster.local），只能访问到服务域名（例如headlesssvc.ns.svc.cluster.local）。

步骤 操作 1 确定要使用LVM数据卷的节点以及磁盘设备。推荐对指定节点新增数据盘，专用于存储池。 2 创建本地存储池。 3 创建本地存储类StorageClass。 4 创建本地存储类型PVC。 5 基于已创建PVC，创建工作负载。

本节介绍网络的用户指南: CoreDNS介绍。 CoreDNS是Kubernetes集群中负责DNS解析的组件，能够支持解析集群内部自定义服务域名和集群外部域名。CoreDNS具备丰富的插件集，在集群层面支持自建DNS、自定义hosts、CNAME、rewrite等需求。与Kubernetes一样，CoreDNS项目由 CNCF托管。 云容器引擎订购的集群使用CoreDNS负责集群的服务发现，可根据不同使用场景配置CoreDNS及使用CoreDNS提升集群DNS QPS性能。 默认配置 在命名空间kubesystem下，有一个名为coreDNS的配置项。CoreDNS会基于该配置项启用和配置插件。不同CoreDNS版本的配置项有略微差异，修改配置前请仔细阅读CoreDNS官方文档。 以下是一个1.6.2版本CoreDNS默认采用的配置文件： Corefile: .:53 { errors log health { lameduck 15s } ready kubernetes {{.ClusterDomain}} inaddr.arpa ip6.arpa { pods verified fallthrough inaddr.arpa ip6.arpa } prometheus :9153 forward . /etc/resolv.conf { preferudp } cache 30 loop reload loadbalance } 配置文件中ClusterDomain代指集群创建过程中填写的集群本地域名，默认值为cluster.local。配置项说明如下： 参数 描述 errors 错误信息到标准输出。 health CoreDNS自身健康状态报告，默认监听端口8080，一般用来做健康检查，可以通过 获取健康状态。 ready CoreDNS插件状态报告，默认监听端口8181，一般用来做可读性检查，可以通过 获取可读状态。当所有插件都运行后，ready状态为200。 kubernetes CoreDNS Kubernetes插件，提供集群内服务解析能力。 prometheus CoreDNS自身metrics数据接口，可以通过 获取prometheus格式的监控数据。 forward（或proxy） 将域名查询请求转到预定义的DNS服务器。默认配置中，当域名不在Kubernetes域时，将请求转发到预定义的解析器（/etc/resolv.conf）中。默认使用宿主机的/etc/resolv.conf配置。 cache DNS缓存。 loop 环路检测，如果检测到环路，则停止CoreDNS。 reload 允许自动重新加载已更改的Corefile。编辑ConfigMap配置后，请等待两分钟以使更改生效。 loadbalance 循环DNS负载均衡器，可以在答案中随机A、AAAA、MX记录的顺序。

本节介绍了启动实例失败时的重试机制是怎样的? 启动实例失败时的重试机制是怎样的？ 云容器引擎是基于原生Kubernetes的云容器引擎服务，完全兼容Kubernetes社区原生版本，与社区最新版本保持紧密同步，完全兼容Kubernetes API和Kubectl。 在Kubernetes中，Pod的spec中包含一个restartPolicy字段，其取值包括：Always、OnFailure和Never，默认值为：Always。Always：当容器失效时，由kubelet自动重启该容器。 OnFailure：当容器终止运行且退出不为0时，由kubelet自动重启该容器。 Never：不论容器运行状态如何，kubelet都不会重启该容器。 restartPolicy适用于Pod中的所有容器。 restartPolicy仅针对同一节点上kubelet的容器重启动作。当Pod中的容器退出时，kubelet 会按指数回退方式计算重启的延迟（10s、20s、40s...），其最长延迟为5分钟。 一旦某容器执行了10分钟并且没有出现问题，kubelet对该容器的重启回退计时器执行重置操作。 每种控制器对Pod的重启策略要求如下： Replication Controller（RC）和DaemonSet：必须设置为Always，需要保证该容器的持续运行。 Job：OnFailure或Never，确保容器执行完成后不再重启。

本节介绍了云容器引擎的最佳实践: 通过配置kubeconfig文件实现集群权限精细化管理。 集群权限精细化管理的背景 云容器引擎默认给用户的kubeconfig文件对集群操作的权限相当于root级别，这样的权限级别对于某用户来说过大，很不便于对集群的精细化管理。为了达到对集群精细化管理的目标，我们可以通过kubeconfig设置特定的用户，然后给用户赋予集群的部分操作权限（如：增、查、改）。 注意事项 下面配置步骤操作前，请先确保您的机器上有kubectl工具，若没有请到社区下载与集群版本对应的或者最新的kubectl。 基于Role实现集群权限精细化管理的配置步骤 说明 下述示例创建一个用户，并且该用户只能查看default下的Pod，不能查看其他namespace下的Pod且不能删除default下的任何Pod。 1. 配置ServiceAccount，名称为testsa，命名空间为default kubectl create sa testsa n default 3. 创建Role，并配置针对不同资源相对应的操作权限 vi addRole.yaml apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: testrole namespace: default rules: apiGroups: "" resources: pods verbs: get list watch apiGroups: apps resources: pods verbs: get list watch kubectl create f addRole.yaml 4. 配置RoleBinding，将sa绑定到Role上，让sa获取相应权限 vi addRoleBinding.yaml apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: myrolebinding namespace: default roleRef: apiGroup: rbac.authorization.k8s.io kind: Role name: testrole subjects: kind: ServiceAccount name: testsa namespace: default kubectl create f addRoleBinding.yaml 5. 配置集群访问信息 4.1 通过sa的名称testsa获取sa对应的密钥，第一列testsatokennttvl即为密钥名 kubectl get secret n default grep testsa 4.2 将密钥中的ca.crt解码后导出 kubectl get secret testsatokend6b4q n default oyaml grep ca.crt: awk '{print $2}' base64 d > ca.crt 4.3 设置集群访问方式，其中dev 为需要访问的集群名称，10.50.208.30为集群ApiServer地址，test.config为配置文件的存放路径 （1）如果通过内部ApiServer地址，执行命令如下： kubectl config setcluster dev server certificateauthorityca.crt embedcertstrue kubeconfigtest.config （2）如果通过公网ApiServer地址，执行命令如下： kubectl config setcluster dev server kubeconfigtest.config insecureskiptlsverifytrue 集群ApiServer地址为内网ApiServer地址，绑定弹性IP后也可为公网ApiServer地址。如下图： 5. 配置集群认证信息 5.1 获取集群的token信息 token$(kubectl describe secret testsatokend6b4q n default awk '/token:/{print $2}') 5.2 设置使用集群的用户uiadmin kubectl config setcredentials uiadmin token$token kubeconfigtest.config 7. 配置集群认证访问的上下文信息，uiadmin@test为上下文的名称 kubectl config setcontext uiadmin@test clusterdev useruiadmin kubeconfigtest.config 8. 设置上下文 kubectl config usecontext uiadmin@test kubeconfigtest.config

kubectl get no ccseagentvmAggbkVfL ojsonpath'{.spec.podCIDR}' 172.16.13.0/24 网段规划建议 集群网络网段分为节点网络、容器网络和服务网络，在规划这三种网络的网段时需考虑如下要点： 1. 为避免地址冲突，三个网络的网段不能重叠，容器网段和服务网段不能与VPC网段重叠； 2. 结合集群规模选择合适的网段，节点所属子网的空闲IP数直接限制了集群可添加节点数，容器网段大小直接限制了可创建的Pod总数，服务网段大小直接限制了可创建的Service总数； 3. 单个节点可创建Pod总数还与其它配置相关，如Pod request总量等。 网络访问示例 创建一个使用Calico容器网络插件的集群，然后创建一个Deployment： apiVersion: apps/v1 kind: Deployment metadata: name: nginxdemo namespace: default spec: replicas: 2 selector: matchLabels: app: nginxdemo template: metadata: labels: app: nginxdemo spec: containers: image: registryvpccrshuadong1.ctyun.cn/library/nginxphoton:v1.8.6 name: demo 查看对应的Pod： [root@CCSEAGENTvmAggbkVfL paasdp] kubectl get po l appnginxdemo owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginxdemo58656854f47nvmn 1/1 Running 0 48s 172.16.13.22 ccseagentvmAggbkVfL nginxdemo58656854f4j88mx 1/1 Running 0 48s 172.16.19.17 ccseagentvmBubacp2 在集群内部节点或Pod内，都能直接访问Pod。如下所示，节点直接访问Pod: 如下所示，Pod直接访问Pod: 因为Calico容器网络不支持集群外部网络与容器IP直通，所以在同个VPC下集群外云主机直接访问Pod的IP，会发现访问不通。

本节介绍了云容器引擎的Ingress类常见问题。 从外面通过nginxingresscontroller访问Pod时，Pod运行的应用怎么获取真实客户端的IP地址？ 需要配置nginxingresscontroller，把客户端真实的源IP保存在转发报文的Header中，key可以自定义（比如XRemoteAddr或其它key），不过需要和应用约定好使用哪个Key。 从Pod访问外部应用，外部应用拿到的是什么IP？ 拿到的是Pod所在K8S主机的IP。 修改ELB Ingress引用的TLS证书后，需要更新对应负载均衡器的证书 在“网络控制台>弹性负载均衡”找到ELB Ingress对应负载均衡器的HTTPS监听器，然后找到监听器对应的证书，点击证书在证书管理界面中修改证书，将TLS证书内容和私钥上传即可完成更新。

本节介绍了使用云容器引擎与自建K8S的对比,有利于用户选择云容器引擎产品。 功能 云容器引擎 自建Kubernetes 集群管理 通过控制台一键创建集群，支持创建跨AZ高可用的集群 提供容器优化的OS镜像，提供稳定测试和安全加固的Kubernetes和Docker版本 支持多集群管理，支持跨AZ高可用集群，支持集群联邦管理 用户手动部署集群并自行开发 用户自行探索和开发 应用管理 支持灰度发布，支持蓝绿发布 支持应用监控、应用弹性伸缩 内置模板市场，支持Helm应用一键部署；支持服务目录，简化云服务集成 用户自行探索和开发 网络管理 提供针对天翼云优化的高性能VPC/ENI网络插件，性能优于普通网络方案 支持容器访问策略和容器带宽限制 需要挑选社区网络插件进行适配 用户自行探索和开发 存储管理 支持天翼云盘挂载，提供标准的CSI、FlexVolume驱动 支持存储卷自动创建、迁移 用户自行探索和开发 运维管理 支持Kubernetes新版本一键升级，支持集群组件生命周期管理 支持集群手动和自动弹性伸缩 提供高性能日志采集Agent，自动实现日志服务集成 用户手动运维控制面 服务保障 天翼云专业容器团队作为技术支持，为集群提供及时的稳定性和安全响应 需要组建专门团队 安全管理 支持镜像扫描/镜像签名 支持容器运行时安全检测 用户自行构建安全能力

问题现象 解决方案 安装模板报错：IngressClass.networking.k8s.io "nginxingressxxx" is invalid: spec.controller: Invalid value: "nginxingressxxx": must be a domainprefixed path (such as "acme.io/foo")。 YAML配置中填写的controller.ingressClassResource.controllerValue不对，值需要以域名为前缀，如k8s.io/ingressnginxdemo。 创建Ingress路由后，Ingress同时被模板部署的Nginx Ingress Controller和集群插件Nginx Ingress Controller识别并生效。 检查安装模板后生成的IngressClass资源，确认spec.controller的值是否为k8s.io/ingressnginx，如果是，需重装模板实例，为controller.ingressClassResource.controllerValue指定不同于“k8s.io/ingressnginx”的值。

使⽤配置项 ⽅式1： 通过挂载数据卷使⽤配置项。 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要使⽤配置项的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择工作负载， 在列表中选择需要创建的⼯作负载，本文以无状态为例。 4、点击新建，进入新建Deployment页面。 5、根据实际需要设置工作负载的基本信息（名称、镜像等），并在 数据卷中，点击添加数据卷，选择configMap类型，填写卷名称，并选择添加已有配置项选择已有的配置项。 6、在实例内容器的挂载点中，选择挂载数据卷，并添加挂载的容器路径及权限。 7、点击提交，完成创建。 方式2：环境变量中使⽤配置项。 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要使用配置项的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择工作负载， 在列表中选择需要创建的工作负载，本文以无状态为例。 4、点击新建，进入新建Deployment页面。 5、根据实际需要设置工作负载的基本信息（名称、镜像等），并在环境变量中，点击新增变量，类型选择configMapKeyRef，并选择已有的配置项，填写环境变量名。 6、点击提交，完成创建。

使用配置凭证 把上述config文件配置到home的下面目录： [docker@10 ~]$ mkdir p $HOME/.kube [docker@10 ~]$ mv config $HOME/.kube 使用kubectl命令切换集群上下文： [docker@10 ~]$ kubectl config usecontext clusteracontext Switched to context "clusteracontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at KubeDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'. [docker@10 ~]$ kubectl config usecontext clusterbcontext Switched to context "clusterbcontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at CoreDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'.

名称 说明 命名空间 选填，可输入多个命名空间，多个用‘,’分隔，按照源命名空间进行筛选，符合条件的资源会执行数据清洗操作 资源类型 选填，可输入多个资源类型，即资源的kind字段，多个用‘,’分隔，符合条件的资源会执行数据清洗操作 标签选择器 选填，输入k8s的标签选择器语句，可根据该选择条件进行资源筛选,符合条件的资源会执行数据清洗操作 操作 必填，可输入多个操作内容，可以新增、删除或者替换资源中的annotation和label

云容器引擎 CCE 提供高度可扩展的、高性能的Kubernetes集群、一站式容器服务;兼容主流国产化服务器和操作系统,取得全栈国产化适配认证证书。其整合了镜像、监控、日志、负载均衡、灰度/蓝绿、多种弹性策略、高效调度、集群插件、模板市场等基础能力,帮助企业快速构建和运行可弹性扩展的应用,实现业务的快速交付与持续创新。

本节介绍了云容器引擎的最佳实践: 自定义存储资源对象。 自定义云存储StorageClass 默认存储类 存储插件cstorcsi安装完成后，会默认根据当前资源池已上线云存储产品情况创建默认存储类，用户可以使用默认存储类创建持久卷声明。 默认创建的存储类名称、对应驱动及应用场景等参见cstorcsi插件中“插件使用”介绍。 自定义存储类 当默认存储类不满足业务需求，比如用户是从自建Kubernetes或其他Kubernetes服务迁移到到天翼云云容器引擎时，期望使用与云业务同名StorageClass或者用户期望自定义存储类的参数时，用户可以选择自定义云存储类型StorageClass。 通过自定义存储类，用户可以实现定制StorageClass名称、云存储类型、绑定策略、挂载选项等。具体各云存储产品描述如下： 云硬盘：通过控制台或通过kubectl命令行自定义存储类参见使用云盘动态存储卷； 弹性文件：通过控制台或通过kubectl命令行自定义存储类参见使用SFS动态存储卷； 对象存储：通过控制台或通过kubectl命令行自定义存储类参见使用ZOS动态存储卷。 自定义通用StorageClass 云容器引擎除支持通过cstorcsi插件使用云存储产品之外，也支持用户定制安装CSI，并自定义创建存储类。

配置项 说明 名称 PVC的名称 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择弹性文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 可以根据需求自定义容量。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载