高危操作及解决方案
更新时间 2024-01-05 16:04:27
最近更新时间: 2024-01-05 16:04:27
本节主要介绍高危操作及解决方案。
业务部署或运行过程中,用户可能会触发不同层面的高危操作,导致不同程度上的业务故障。为了能够更好地帮助用户预估及避免操作风险,本章节将从集群/节点、网络与负载均衡、日志、云硬盘多个维度出发,为用户展示哪些高危操作会导致怎样的后果,以及为用户提供相应的误操作解决方案。
集群/节点
分类 高危操作 导致后果 误操作后解决方案 master节点 修改集群内节点安全组 可能导致master节点无法使用
说明
命名规则:集群名称-cce-control-随机数参考购买混合集群,对安全组进行修复,放通安全组。 节点到期或被销毁 该master节点不可用 不可恢复。 重装操作系统 master组件被删除 不可恢复。 自行升级master或者etcd组件版本 可能导致集群无法使用 回退到原始版本。 删除或格式化节点/etc/kubernetes等核心目录数据 该master节点不可用 不可恢复。 更改节点IP 该master节点不可用 改回原IP。 自行修改核心组件(etcd、kube-apiserver、docker等)参数 可能导致master节点不可用 按照推荐配置参数恢复,详情请参见集群管理->配置管理。 自行更换master或etcd证书 可能导致集群不可用 不可恢复。 worker节点 修改集群内节点安全组 可能导致节点无法使用
说明
命名规则:集群名称-cce-node-随机数参照购买混合集群,对安全组进行修复,放通安全组。 节点被删除 该节点不可用 不可恢复。 重装操作系统 节点组件被删除,节点不可用 重置节点,具体请参见重置节点。 升级节点内核 可能导致节点无法使用或网络异常
说明
CCE集群依赖系统内核版本,如非必要,请不要使用yum update更新或重装节点的操作系统内核(使用原镜像或其它镜像重装均属高危操作)- 更改节点IP 节点不可用 改回原IP。 自行修改核心组件(kubelet、kube-proxy等)参数 可能导致节点不可用、修改安全相关配置导致组件不安全等 按照推荐配置参数恢复。 修改操作系统配置 可能导致节点不可用 尝试还原配置项或重置节点,具体请参见重置节点。 删除/opt、/var/paas目录,删除数据盘 节点不可用 重置节点,具体请参见重置节点。 修改节点内目录权限、容器目录权限等 权限异常 不建议修改,请自行恢复。 对节点进行磁盘格式化或分区 节点不可用 重置节点,具体请参见重置节点。 在节点上安装自己的其他软件 导致安装在节点上的Kubernetes组件异常,节点状态变成不可用,无法部署工作负载到此节点 卸载已安装软件,尝试恢复或重置节点,具体请参见重置节点
网络与负载均衡
高危操作 导致后果 误操作后解决方案 修改内核参数net.ipv4.ip_forward=0 网络不通 修改内核参数为 net.ipv4.ip_forward=1 修改内核参数net.ipv4.tcp_tw_recycle=1 导致nat异常 修改内核参数 net.ipv4.tcp_tw_recycle=0 节点安全组配置未放通容器CIDR的53端口udp 集群内DNS无法正常工作 参照购买混合集群,对安全组进行修复,放通安全组。 通过ELB的控制台在CCE管理的ELB创建自定义的监听器 所做修改被CCE侧重置或Ingress故障 通过service的yaml来自动创建监听器。 通过ELB的控制台在CCE管理的ELB绑定自定义的后端 禁止手动绑定后端。 通过ELB的控制台修改CCE管理的ELB的证书 通过ingress的yaml来自动管理证书。 通过ELB的控制台修改CCE管理的ELB监听器名称 禁止修改CCE管理的ELB监听器名称。 通过ELB的控制台修改CCE管理的ELB实例、监听器、转发策略的描述 禁止修改CCE管理的ELB实例、监听器、转发策略的描述。
日志
高危操作 | 导致后果 | 误操作后解决方案 |
---|---|---|
删除宿主机/tmp/ccs-log-collector/pos目录 | 日志重复采集 | 无 |
删除宿主机/tmp/ccs-log-collector/buffer目录 | 日志丢失 | 无 |
云硬盘
高危操作 | 导致后果 | 误操作后解决方案 | 备注 |
---|---|---|---|
控制台手动解挂云硬盘 | Pod写入报io error | 删掉node上mount目录,重新调度Pod | Pod里面的文件记录了文件的采集位置 |
节点上umount磁盘挂载路径 | Pod写入本地磁盘 | 重新mount对应目录到Pod中 | Buffer里面是待消费的日志缓存文件 |
节点上直接操作云硬盘 | Pod写入本地磁盘 | 无 | 无 |