形态变更概述

ES集群支持形态变更，包括集群扩容、集群规格变更、集群缩容等。当创建的集群规格不能满足业务需求时，可以通过形态变更，提高集群的使用效率，降低运维成本。

1. 扩容：

   1. 当集群数据节点（ess）的写入与查询压力大、响应时间过长时，可以通过扩容数据节点的“节点存储容量”保证数据的持久性。如果因数据量过大或操作不当导致数据节点状态异常时，可以扩容“节点数量”保证集群的可用性。

   2. 冷数据节点（ess-cold）主要用于分担ess数据节点的压力，当发现冷数据有丢失的风险时，可以扩容冷数据节点的“节点存储容量”保证冷数据的持久性，同时也支持扩容节点个数保证集群的可用性。

2. 变更规格

   1. 当新增索引或分片分配的处理时间过长，或管理集群各个节点的协调、调度不足时，可以变更 Master节点 （ess-master）的“节点规格”保证集群的正常使用。

   2. 当数据节点任务分发量、结果汇聚量过大时，需要变更 Client节点 （ess-client）的“节点规格”。

   3. 当数据的写入与查询突然变得缓慢时，可以变更 数据节点 （ess）的“节点规格”提高数据节点的查询与写入效率。

   4. 当存在冷数据查询缓慢时，可以变更冷数据节点（ess-cold）的“节点规格”提高对数据查询的效率。

3. 缩容集群节点数量

当集群有充足的能力处理当前数据时，为节省资源可以随机减小集群占用的资源。

4. 缩容指定节点

   当集群有充足的能力处理当前数据时，为节省资源可以指定一个或多个节点进行缩容。

5. 替换指定节点

   当集群中的节点发生故障，可以通过删除故障节点，重建一个一样的新节点，实现指定节点替换。

6. 添加Master/Client节点

   当集群数据面业务增长，需要动态调整集群形态时，可以增加Master/Client节点。

7. 更改安全模式

   集群创建完成后，可以通过更改安全模式进行集群模式变更。CSS服务支持如下几种安全模式更改：

   1. 非安全模式切换为安全模式：“非安全模式”切换为“安全模式+HTTP协议”或“安全模式+HTTPS协议”

   2. 安全模式切换为非安全模式：“安全模式+HTTP协议”或“安全模式+HTTPS协议”切换为“非安全模式”

   3. 切换安全模式下的协议：“安全模式+HTTP协议”切换为“安全模式+HTTPS协议”、“安全模式+HTTPS协议”切换为“安全模式+HTTP协议”

8. 切换可用区

   切换可用区包含两大场景：可用区高可用改造和可用区平移切换。

   1. 可用区高可用改造：适用于单AZ改造成两AZ、单AZ改造成三AZ或两AZ改造成三AZ的场景，目的是为了提升集群的高可用性。

   2. 可用区平移切换：适用于从一个AZ完全迁移到另一个AZ的场景，目的是为了解决当前可用区资源不足的问题。

扩容

当集群数据面业务变化，需要动态调整集群节点的数量和容量时，可以执行“扩容”任务。扩容集群时，业务不会中断。

前提条件

• 集群处于“可用”状态，且无正在进行的任务。

• 有足够的配额支持集群扩容。

约束限制

• 扩容操作不支持修改“节点规格”。修改“节点规格”请执行变更规格操作。

• 扩容什么节点类型的“节点数量”和“节点存储容量”，扩容完成后只生效该节点类型的“节点数量”和“节点存储容量”，其他节点类型的“节点数量”和“节点存储容量”保持不变。

• 当集群包含的节点类型不同时，扩容的节点数量区间会有区别，具体情况请参考表1。

表1 不同节点类型的节点数量说明

操作步骤

1. 登录云搜索服务管理控制台。

2. 在左侧菜单栏，选择对应的集群类型，进入集群管理页面。

3. 选择目标集群，单击操作列的“更多>形态变更”进入更改集群规格页面。

4. 在更改集群规格页面，设置扩容参数。

• “变更类型”：“扩容”。

• “变更的资源”：资源的变化量。

• “变更的角色”：此处修改的是默认数据节点类型的节点数量和节点存储容量。

  1. “节点数量”支持修改的取值范围请参考表1。

  2. “节点存储”的容量取值范围由“节点规格”决定。只支持配置为20的倍数。

5. 单击“下一步”。

6. 确认变更信息后，单击“提交申请”。

7. 单击“返回集群列表”跳转到集群管理页面。集群的“任务状态”列显示为“扩容”，表示集群正在扩容。当集群状态变为“可用”，则表示扩容成功。

变更规格

当集群数据面业务变化，需要动态调整集群节点的规格时，可以执行“变更规格”任务。

前提条件

• 集群处于“可用”状态，且无正在进行的任务。

• 有足够的配额支持集群变更规格。

• 变更规格时，为了不中断业务，请确认业务数据都有副本。

• 在Kibana中执行命令 GET _cat/indices?v ，如果回显的“rep”值大于“0”，则表示有副本；如果“rep”值等于“0”，则表示没有副本，请先为集群手动创建快照再变更规格。

• 如果数据量比较大的情况下，更改节点规格耗时会比较长，因此，建议在业务低峰期更改节点规格，利于更快完成规格更改。

约束限制

• 变更规格不支持修改“节点数量”和“节点存储容量”。增加“节点数量”和“节点存储容量”请执行扩容操作。减少“节点数量”请执行缩容集群节点数量操作。

• 如果将大规格更改为小规格，集群的处理性能将会降低，将会影响业务能力，请谨慎操作。

• 当集群包含多种节点类型时，一次只支持变更一种类型的节点规格，且变更完成后只生效所选类型的节点规格。

• 变更规格过程中，Kibana不可用。

• 变更规格过程中，会依次对节点进行关机，完成更改后依次开机。是一个滚动的变更过程。

操作步骤

1. 登录云搜索服务管理控制台。

2. 在左侧菜单栏，选择对应的集群类型，进入集群管理页面。

3. 选择目标集群，单击操作列的“更多>形态变更”进入更改集群规格页面。

4. 在更改集群规格页面，设置变更规格的参数。

 “变更类型”：“变更规格”。

•  “变更的资源”：显示资源的变化量。

•  “变更的角色”：此处修改的是默认数据节点类型的节点规格，在对应节点规格下拉框中选择所需的规格，然后勾选需要变更的节点。

• 如果集群启用了Master节点、Client节点或冷数据节点，还可以更改Master节点、Client节点与冷数据节点的“节点规格”。

5. 单击“下一步”。

6. 确认变更信息后，单击“提交申请”。

7. 在弹出的窗口确认是否勾选“进行索引副本校验”和“检测集群状态”，单击“确认”启动集群规格变更。

索引副本校验：

索引副本校验用于保证索引正常提供服务。如果跳过校验，变更规格操作将不会要求每一个索引都有副本，变更过程中可能会影响业务。

• 没有Master节点的集群更改节点规格时，如果选择进行索引副本校验，则要求所有索引至少有1个副本，且“节点数量”总和不小于3。

• 有Master节点的集群更改节点规格时，如果选择进行索引副本校验，则要求所有索引至少有1个副本。

检测集群状态：

默认检测集群状态，变更规格为滚动变更，变更过程中，为了保证变更成功率以及数据安全，会确保每个节点进程拉起来后继续后续节点操作。当集群负载过高业务故障，无法正常下发变更请求，依赖更多的资源才能恢复的紧急情况下可忽略检测集群状态，忽略后，变更过程中因为忽略集群状态检测可能会导致集群故障并中断业务，请谨慎跳过。

8. 单击“返回集群列表”跳转到集群管理页面。集群的“任务状态”列中显示为“规格修改”，表示集群正在更改规格。当集群状态变为“可用”，则表示规格变更成功。

缩容集群节点数量

当集群有充足的能力处理当前数据时，为节省资源可以执行“缩容”任务，减小集群占用的资源。建议在业务低峰期进行缩容操作。

前提条件

集群处于“可用”状态，且无正在进行的任务。

约束限制

• 缩容操作仅支持修改“节点数量”，不支持修改“节点规格”和“节点存储容量”。修改“节点规格”请执行变更规格操作。修改“节点存储容量”请执行扩容操作。

• 缩容什么节点类型的“节点数量”，缩容完成后只生效新该节点类型的“节点数量”，其他节点类型的“节点数量”保持不变。

• 要确保缩容之后的磁盘使用量小于80%，且集群每个节点类型中每个AZ的节点数至少为1。

• 缩容过程会涉及数据迁移，将要下线的节点数据迁移到其他节点上，数据迁移的超时阈值为5小时。当超过5小时数据还未迁移完成，那么缩容会失败。建议在集群数据量较大的情况下，分多次进行缩容。

• 如果集群没有启用Master节点，缩容后剩余的数据节点个数（包含冷数据节点和其他类型节点）须大于之前的一半，并大于索引的最大副本个数。

• 关于有Master节点的集群，每次缩容的Master节点个数要小于当前Master节点总数的一半，缩容后的Master节点个数必须是奇数且不小于3。

• 两个节点的集群暂不支持缩容，可使用单节点重新创建集群。

• 当集群包含的节点类型不同时，缩容的节点数量区间会有区别，具体情况请参考表2。

表2 不同节点类型的节点数量说明

操作步骤

1. 登录云搜索服务管理控制台。

2. 在左侧菜单栏，选择对应的集群类型，进入集群管理页面。

3. 选择目标集群，单击操作列的“更多>形态变更”进入更改集群规格页面。

4. 在更改集群规格页面，设置缩容参数。

• “变更类型”：“缩容”。

• “变更的资源”：显示资源的变化量。

• “变更的角色”：设置缩容后的节点数量，支持修改的取值范围请参考表2。

1. 单击“下一步”。

2. 确认变更信息后，单击“提交申请”。

单击“返回集群列表”跳转到集群管理页面。集群的“任务状态”列中显示为“缩容中”，表示集群正在缩容。当集群状态变为“可用”，则表示缩容成功。

缩容指定节点

当集群有充足的能力处理当前数据时，为节省资源可以执行“指定节点缩容”任务，指定一个或多个节点进行缩容。建议在业务低峰期进行缩容操作。

前提条件

集群处于“可用”状态，且无正在进行的任务。

约束限制

• 要确保缩容之后的磁盘使用量小于80%，且集群每个节点类型中每个AZ的节点数至少为1。

• 关于跨AZ的集群，在不同AZ中同类型节点个数的差值要小于等于1。

• 关于没有Master节点的集群，每次缩容的数据节点和冷数据节点个数之和要小于缩容前数据节点和冷数据节点个数之和的一半，缩容后的数据节点和冷数据节点个数之和要大于索引的最大副本个数。

• 关于有Master节点的集群，每次缩容的Master节点个数要小于当前Master节点总数的一半，缩容后的Master节点个数必须是奇数且不小于3。

操作步骤

1. 登录云搜索服务管理控制台。

2. 在左侧菜单栏，选择对应的集群类型，进入集群管理页面。

3. 选择目标集群，单击操作列的“更多>形态变更”进入更改集群规格页面。

4. 选择“缩容指定节点”页签。

5. 在缩容指定节点页面，设置如下参数：

• 在数据节点表格中勾选待缩容的节点。

6. 单击“下一步”。

7. 确认变更信息后，单击“提交申请”，在数据迁移弹窗中确认是否进行数据迁移（建议勾选“进行数据迁移”避免数据丢失），单击“确认”提交申请。

数据迁移过程中，系统会把待替换节点中的所有数据分片移动到剩余节点，待数据迁移完成后再进行节点替换操作。当待替换节点上的数据在剩余节点存在副本时，可跳过数据迁移，缩短集群变更时间，减少数据迁移带来的负载压力。

8. 单击“返回集群列表”跳转到集群管理页面。集群的“任务状态”列中显示为“缩容中”，表示集群正在缩容。当集群状态变为“可用”，则表示缩容成功。

替换指定节点

当集群中的节点发生故障时，可以执行“指定节点替换”任务。通过删除故障节点，重建一个一样的新节点，实现节点替换。替换指定节点过程中会将替换节点的数据提前转移，不会造成数据丢失。

前提条件

集群处于“可用”状态，且无正在进行的任务。

约束限制

• 一次只能选择一个节点进行替换。

• 节点替换过程会按照原节点的ID、IP地址、规格、AZ等信息重建节点。

• 节点替换过程中不会保留手动操作。例如被替换的节点手动加过回程路由，那么节点替换完成后，需要重新添加回程路由。

• 如果替换的是数据节点（ess或ess-cold），需要确认集群/节点是否满足以下条件：

  1. 替换数据节点或冷数据节点的过程中，会先将被替换节点的数据迁移到其他数据节点，因此集群中每个索引的副本数和主分片数之和的最大值要小于集群的数据节点个数之和（含ess和ess-cold）。替换过程耗时跟数据迁移到其他节点的耗时强相关。

  2. 版本号在7.6.2以前的集群，不能有close的索引，否则不支持替换数据节点或冷数据节点。

  3. 被替换的数据节点或冷数据节点所在的AZ需要有两个及以上的数据节点（含ess和ess-cold）。

  4. 如果替换的数据节点或冷数据节点所在集群不存在Master节点（ess-master），则集群中可用的数据节点（含ess和ess-cold）个数要大于等于3。

  5. 如果替换的是Master节点（ess-master）或Client节点（ess-client），则不受以上四条约束。

  6. 如果替换的是故障节点，不管什么类型都不受以上四条约束。因为故障节点不包含在“_cat/nodes”中。

操作步骤

1. 登录云搜索服务管理控制台。

2. 在左侧菜单栏，选择对应的集群类型，进入集群管理页面。

3. 选择目标集群，单击操作列的“更多>形态变更”进入更改集群规格页面。

4. 选择“替换指定节点”页签。

5. 在替换指定节点页面，设置如下参数：在数据节点表格中勾选待替换的节点。

6. 单击“提交申请”。在数据迁移弹窗中确认是否进行数据迁移（建议勾选“进行数据迁移”避免数据丢失），单击“确认”提交申请。

   数据迁移过程中，系统会把待替换节点中的所有数据分片移动到剩余节点，待数据迁移完成后再进行节点替换操作。当待替换节点上的数据在剩余节点存在副本时，可跳过数据迁移，缩短集群变更时间，减少数据迁移带来的负载压力。

7. 单击“返回集群列表”跳转到集群管理页面。集群的“任务状态”列中显示为“节点替换中”，表示集群正在替换节点。当集群状态变为“可用”，则表示节点替换成功。

添加Master/Client节点

当集群数据面业务增长，需要动态调整集群形态，增加Master/Client节点时，可以执行“添加Master/Client节点”任务。添加Master/Client节点时，业务不会中断。

前提条件

集群处于“可用”状态，且无正在进行的任务。

约束限制

• 如果集群已经具有Master节点和Client节点，则“形态变更”页面将不存在“添加Master/Client节点”页签。如此时需要添加Master节点和Client节点，可以执行 扩容任务。

• 添加Master节点或Client节点时，不同节点类型的可配置节点数量不同，具体情况请参考表3。

表3 不同节点类型的节点数量说明

操作步骤

1. 登录云搜索服务管理控制台。

2. 在左侧菜单栏，选择对应的集群类型，进入集群管理页面。

3. 选择目标集群，单击操作列的“更多>形态变更”进入更改集群规格页面。

4. 选择“添加Master/Client节点”页签。

5. 在添加Master/Client节点页面，勾选需要添加的节点，并配置“节点规格”、“节点数量”和“节点存储”。

   1. 一次任务只能添加一种节点类型；如需添加2种，需要执行2次“添加Master/Client节点”任务。

   2. 如果集群本身已经有Master节点或Client节点时，则只能添加另一种类型的节点。

6. 单击“下一步”。

7. 确认变更信息后，单击“提交申请”。返回集群列表页面，集群的“任务状态”列中显示为“扩容中”。

   1. 如果添加Master节点，当“集群状态”变为“可用”时表示节点添加成功。

2. 如果添加Client节点，当“集群状态”变为“可用”时表示节点添加成功。可选择是否重启数据节点和冷数据节点，下线数据节点上的Cerebro和Kibana的进程。

更改安全模式

集群创建完成后，可以通过更改安全模式进行集群模式变更。CSS服务支持如下几种安全模式更改：

• 非安全模式切换为安全模式：“非安全模式”切换为“安全模式+HTTP协议”或“安全模式+HTTPS协议”

• 安全模式切换为非安全模式：“安全模式+HTTP协议”或“安全模式+HTTPS协议”切换为“非安全模式”

• 切换安全模式下的协议：“安全模式+HTTP协议”切换为“安全模式+HTTPS协议”、“安全模式+HTTPS协议”切换为“安全模式+HTTP协议”

背景信息

ES服务支持创建多种安全模式的集群，不同安全模式的差异请参见表4。

表4 集群安全模式对比

前提条件

• 建议更改集群安全模式前，先完成数据备份。

• 集群必须处于“可用”状态，且无正在进行的任务。

约束限制

• 2022年11月之后创建的集群（且集群版本不小于6.5.4）才支持切换安全模式。

• 在更改集群安全模式的过程中，集群会自动重启。重启会导致业务中断，并且重启后调用集群的认证方式也会发生改变，客户端需要做相应调整。

• 对于已打开过Kibana会话框的集群，在更改集群安全模式后，Kibana会提示Session错误，此时需要清理缓存再打开Kibana才能正常访问。

非安全模式切换为安全模式

介绍集群从“非安全模式”切换为“安全模式+HTTP协议”或“安全模式+HTTPS协议”的操作。当集群从非安全模式变更为安全模式后，访问集群将需要进行安全认证。

1. 登录云搜索服务管理控制台。

2. 在左侧菜单栏，选择“集群管理>Elasticsearch”，进入Elasticsearch集群管理页面。

3. 选择目标集群，单击操作列的“更多>形态变更”进入更改集群规格页面。

4. 选择“更改安全模式”页签。

5. 在更改安全模式页面，打开“安全模式”的开关，输入并确认集群的管理员密码。

图 1 非安全模式切换为安全模式

6. 选择集群是否启用“HTTPS访问”。

• 打开开关：实现“非安全模式”切换为“安全模式+HTTPS协议”。集群通讯使用HTTPS协议，通讯数据将进行加密，且可以启用集群的公网访问功能。

• 关闭开关：实现“非安全模式”切换为“安全模式+HTTP协议”。集群通讯使用HTTP协议，无法启用集群的公网访问功能。

7. 单击“提交申请”，确认后将返回集群列表页面。

集群的“任务状态”列中显示为“安全模式更改中”，当“集群状态”变为“可用”表示变更成功。

安全模式切换为非安全模式

介绍集群从“安全模式+HTTP协议”或“安全模式+HTTPS协议”切换为“非安全模式”的操作。当集群从安全模式变更为非安全模式后，访问集群将不再需要进行安全认证。

1. 登录云搜索服务管理控制台。

2. 左侧导航栏选择“集群管理”，进入集群列表页面，选择需要更改安全模式的集群，单击操作列的“更多>形态变更”进入更改集群规格页面。

3. 选择“更改安全模式”页签。

4. 在更改安全模式页面，关闭“安全模式”的开关。

图2 安全模式切换为非安全模式

5. 单击“提交申请”，确认后将返回集群列表页面。

   集群的“任务状态”列中显示为“安全模式更改中”，当“集群状态”变为“可用”表示变更成功。

切换安全模式下的协议

介绍安全模式的集群切换访问协议的操作，包括“安全模式+HTTP协议”切换为“安全模式+HTTPS协议”、“安全模式+HTTPS协议”切换为“安全模式+HTTP协议”。

1. 登录云搜索服务管理控制台。

2. 左侧导航栏选择“集群管理”，进入集群列表页面，选择需要更改安全模式的集群，单击操作列的“更多>形态变更”进入更改集群规格页面。

3. 选择“更改安全模式”页签。

4. 在更改安全模式页面，修改“HTTPS访问”的开关切换安全模式下的集群访问协议。

图3 切换协议

• 打开开关：实现“安全模式+HTTP协议”切换为“安全模式+HTTPS协议”。

切换为HTTPS协议后，集群通讯将进行加密，且可以启用集群的公网访问功能。

• 关闭开关：实现“安全模式+HTTPS协议”切换为“安全模式+HTTP协议”。关闭开关会弹出告警提示，单击“确定”后关闭开关。

切换为HTTP协议后，集群通讯将不再加密，且无法启用集群的公网访问功能。

5. 单击“提交申请”，确认后将返回集群列表页面。

集群的“任务状态”列中显示为“安全模式更改中”，当“集群状态”变为“可用”表示变更成功。

切换可用区

CSS服务支持跨可用区的能力，在集群使用过程中遇到可用区资源不足或需要提升集群的高可用性时，可以通过切换可用区进行升配。本文介绍如何切换可用区。

场景描述

切换可用区包含两大场景：可用区高可用改造和可用区平移切换。

• 可用区高可用改造：适用于单AZ改造成两AZ、单AZ改造成三AZ或两AZ改造成三AZ的场景，目的是为了提升集群的高可用性。

• 可用区平移切换：适用于从一个AZ完全迁移到另一个AZ的场景，目的是为了解决当前可用区资源不足的问题。

前提条件

• 确保存在资源充足的可用区。

• 集群处于“可用”状态，且无正在进行的任务。

• 确认集群不存在非标操作。当集群进行过修改回程路由、系统参数、Kibana配置等这些非标操作时，这些操作无法被记录到系统中，因此在切换过程中将无法继承，切换后可能会影响业务。

约束限制

• 为了保证业务的连续性，集群中数据节点和冷数据节点的个数之和要不小于3。

• 切换过程中会逐一下线节点再新建节点，需要保证单节点下线后，其余节点的磁盘容量能够接纳该节点的所有数据。

• 集群中索引的最大主备分片数能够被分配到剩余数据节点和冷数据节点中，防止切换过程中出现节点下线后副本无法分配的情况。即“索引的主备分片数的最大值+1 ≤ 切换前的数据节点数和冷数据节点之和”。

• 切换前建议做好数据备份，防止升级故障数据丢失。

• 当集群处于切换可用区过程中，部分节点的AZ属性可能已经更改，此时节点的可用区可能会显示出中间状态，等待任务结束后，集群的可用区显示将恢复正常状态。

• 可用区高可用改造是基于原可用区进行扩展，切换时必须保留原可用区。如果是单AZ改造成两AZ或单AZ改造成三AZ的场景，必须所有节点一起改造；如果是两AZ改造成三AZ的场景，则既支持同时操作集群中所有类型的节点，也支持单独操作集群中某一类型的节点（例如，在已有两AZ的集群中，可以只对Master节点进行切换可用区，将Master节点形变为三AZ，而其他节点依旧是两AZ）。高可用改造会尽可能挪动最小的节点重建集群，改造完成后，因未挪动节点的yml配置更新，需要重启集群才能生效。

• 可用区平移切换一次只能迁移一个可用区，切换时选择的可用区只能有一个不同。平移切换支持同时操作集群中所有类型的节点，或者单独操作集群中某一类型的节点（例如，在已有两AZ的集群中，可以只对Master节点进行平移切换，将Master节点从当前AZ迁移到另一个AZ，而其他节点依旧在当前AZ）。除了单AZ平移切换场景，其他的多AZ平移切换场景均需要重启集群生效。

操作步骤

1. 登录云搜索服务管理控制台。

2. 在左侧菜单栏，选择对应的集群类型，进入集群管理页面。

3. 选择目标集群，单击操作列的“更多>形态变更”进入更改集群规格页面。

4. 选择“切换可用区”页签。

5. 在切换可用区页面，配置切换参数。

表5 切换可用区的参数说明

6. 配置完成后，单击“提交申请”。确认是否进行全量索引快照备份检测，单击“确定”启动切换任务。

7. 在“任务记录”列表，显示当前切换任务。当“任务状态”为“运行中”时，可以展开任务列表，单击“查看进度”查看详细的切换进度。

当“任务状态”为“失败”时，可以重试任务或者直接终止任务。

• 重试切换任务：在任务列表的操作列，单击“重试”，重新切换可用区。

• 终止切换任务：在任务列表的操作列，单击“终止”，结束切换可用区。

当任务终止后，如果原节点还未切换成功，可以通过 替换指定节点尝试恢复节点。