在MRS包周期集群的日常运维中,随着业务量下降,集群中部分Core节点的计算和存储资源可能长期处于闲置状态,继续保留这些节点将导致资源浪费和运维成本增加。直接删除节点可能导致HDFS数据丢失或服务异常,存在数据安全风险。MRS提供退订包周期集群指定节点功能,通过先退服或隔离节点上的数据和服务实例,再执行退订操作,确保数据安全迁移后安全删除节点,实现集群缩容,在保证数据完整性和集群稳定性的前提下,安全退出不需要的节点以降低运维成本。
本章节仅适用于缩容包周期集群节点,如果需要缩容按需计费集群的节点,请参见缩容MRS集群。
说明
该功能为受限使用功能,请提交工单申请开通,并联系管理员获取操作指导文档及技术支持。
基本概念
包周期集群:按包年包月方式购买的MRS集群,节点计费周期固定,退订节点时需先关闭自动续费,退订后按退款规则退还剩余费用。
Core节点:MRS集群中承担数据存储和计算任务的节点,部署了DataNode、NodeManager等核心服务实例。退订Core节点前须确保其上的数据已安全迁移至其他节点。
退服:将节点上运行的服务实例(如HDFS DataNode)安全停止并将其上的数据迁移到集群中其他节点的过程。退服完成后,节点上的数据副本已在其他节点上重建,可安全删除节点而不会造成数据丢失。
隔离:将节点从集群中逻辑隔离,使其不再参与集群的服务调度和数据处理。隔离是比退服更强的操作,隔离后的节点不再承载任何业务流量。
注意
退订节点前必须先执行退服或隔离操作,其原理是将待退订节点上的HDFS数据块副本迁移到集群中其他节点上,确保数据副本数满足HDFS的配置要求后再删除节点。若跳过此步骤直接退订节点,节点上的数据副本将随节点删除而丢失,可能导致HDFS副本数低于安全阈值,造成数据不可恢复的丢失。同时,节点上运行的Yarn NodeManager、HBase RegionServer等服务实例也需要安全停止,避免任务异常中断
约束与限制
目前一次操作最多可以退订5个Core节点,退订后的Core节点数不能小于2。
当集群中分析Core节点个数小于等于HDFS副本数时,为了保证数据的可靠性MRS不支持退订节点。HDFS副本数可通过HDFS参数配置中的“dfs.replication”参数查询。
MRS不支持退订部署了ZooKeeper、Kudu、Kafka及ClickHouse服务(MRS 3.1.2及之后版本支持退服成功后退订ClickHouse服务节点)的节点。