背景介绍
注册配置中心(RCC)多采用集群部署,单个节点承担部分服务注册、配置分发及服务发现任务,其可用性直接关联集群服务能力。节点宕机、网络中断等因素易导致RCC节点不可用,核心节点故障可能引发服务请求失败、配置推送延迟等问题,影响分布式应用运行。本演练可验证RCC集群节点故障容错与自动切换能力,以及业务适配恢复能力,优化应急流程,提升分布式系统稳定性。
基本原理
通通过调用RCC停止节点OpenAPI,模拟RCC节点故障。
故障注入
1、纳管实例资源
导航至 故障演练 > 目标应用 > 应用资源 页面。
在资源类型页签中选择注册配置中心,然后单击添加资源。
在弹出的对话框中,勾选目标注册配置中心实例,单击确定。
2、编排演练任务
导航至 故障演练 > 目标应用 > 演练管理页面,单击新建演练。
在基本信息页面,按提示填写演练名称和描述,然后单击下一步。
在演练对象配置页面:
配置动作组:为动作组命名,资源类型选择注册配置中心。
添加实例:单击添加实例,勾选上一步中添加的注册配置中心实例。
添加故障动作:单击立即添加,在列表中选择停止节点动作。
在弹出的参数配置框中,配置所需参数,然后单击确定。
持续时间:故障动作持续时间。
节点:选择目标故障节点
3、配置全局策略
在全局配置页面,按需添加保护策略和监控指标。
配置完成后,单击完成按钮,创建演练任务。
4、发起故障注入
发起演练:在演练管理列表找到对应演练任务,单击操作列的执行演练,在新页面中点击发起新演练。
进入实验:系统将自动跳转到本次演练的运行详情页,或在演练执行记录列表点击对应执行实例的详情进入。
注入故障:在动作组中,找到停止节点动作卡片,单击执行。
查看日志:单击动作卡片本身,在右侧弹出的侧边栏中查看执行详情。
效果验证
在故障注入期间,您可以通过以下方式验证演练效果:
1、观测实例指标:
登录注册配置中心控制台,观测实例节点状态。
2、业务应用验证:
查看依赖RCC的分布式应用日志,确认是否存在服务注册/发现失败、配置获取超时等临时错误,判断错误出现及消失时间是否与节点故障、集群自愈时间匹配,验证错误是否在集群自愈后自动消除。
验证应用的容错机制是否生效(如请求重试、多节点冗余调用),避免因单个RCC节点故障导致业务中断。