创建自定义集群 硬件配置 MRS集群硬件配置 参数 参数说明 可用区 选择集群工作区域下关联的可用区。 可用区是使用独立电源和网络资源的物理区域。通过内部网络互联,再以物理方式进行隔离,提高了应用程序的可用性。建议您在不同的可用区下创建集群。 虚拟私有云 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 选择需要创建集群的子网,单击“查看子网”可查看所选子网的详细信息,若VPC下未创建子网,请在VPC服务控制台单击“创建子网”进行创建。网络ACL出规则配置请参考切换集群子网章节中的 如何配置网络ACL出规则?。 说明 创建MRS集群需要的IP数量和集群节点和组件个数相关,集群类型不影响IP数量。 MRS集群部署默认需要的IP数量为:集群节点数量+2(Manager+DB),如果部署集群时选择Hadoop、Hue、Sqoop或Loader、Presto组件,则每一个组件需要再加一个IP。若单独创建ClickHouse集群则需要的IP数量为:集群节点数量+1(Manager)。 安全组 安全组是一组对弹性云主机的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云主机提供访问策略。 用户创建集群时,可自动创建安全组,也可选择下拉框中已有的安全组。 说明 选择用户自己创建的安全组时,请确保入方向规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则,源地址请勿使用0.0.0.0/0,否则会有安全风险。若用户不清楚可信任的IP访问范围,请选择自动创建。 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。 用户创建集群时,可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP,可以单击“管理弹性公网IP”进入弹性公网IP服务进行创建。 说明 弹性公网IP必须和集群在同一区域。 集群节点信息 参数 参数说明 CPU架构 MRS提供的CPU架构类型。 x86计算:x86 CPU架构采用复杂指令集(CISC),CISC指令集的每个小指令可以执行一些较低阶的硬件操作,指令数目多而且复杂,每条指令的长度并不相同。由于指令执行较为复杂所以每条指令花费的时间较长。 鲲鹏计算:鲲鹏CPU架构采用精简指令集(RISC),RISC是一种执行较少类型计算机指令的微处理器,它能够以更快的速度执行操作,使计算机的结构更加简单合理地提高运行速度,相对于x86 CPU架构具有更加均衡的性能功耗比。鲲鹏的优势是高密度低功耗,可以提供更高的性价比。 常用模板 当“集群类型”选择“自定义”时该参数有效,请参考创建自定义拓扑集群中的自定义集群模板说明选择。 节点类型 MRS提供节点类型: Master:指集群Master节点,负责管理集群,协调将集群可执行文件分配到Core节点。此外,还会跟踪每个作业的执行状态,监控DataNode的运行状况。 Core:指集群Core节点,处理数据并在HDFS中存储过程数据。分析集群将创建分析Core节点,流式集群将创建流式Core节点,混合集群分别创建分析Core和流式Core节点。 Task:指集群Task节点,主要用于计算,不存放持久数据。主要安装Yarn、Storm组件。Task节点为可选节点,数目可以是零。分析集群将创建分析Task节点,流式集群将创建流式Task节点,混合集群分别创建分析Task和流式Task节点。 当集群数据量变化不大而集群业务处理能力需求变化比较大,大的业务处理能力只是临时需要,此时选择添加Task节点。 − 临时业务量增大,如年底报表处理。 − 需要在短时间内处理完原来需要处理很久的任务,如一些紧急分析任务。 实例规格 选择主节点和核心节点的实例规格。MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。单击,配置集群节点的实例规格、系统盘和数据盘参数。 说明 节点的实例规格配置越高,数据处理分析能力越强。 当Core节点规格选择非HDD磁盘时,Master节点和Core节点的磁盘类型取决于数据磁盘。 当节点的实例规格选项后标示“已售罄”时,将无法创建此规格的节点,请选择其他规格节点进行。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 系统盘 节点系统盘的存储类型和存储空间。 存储类型: SATA:普通IO SAS:高IO SSD:超高IO GPSSD:通用型SSD ESSD:极速型SSD 数据盘 节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘,有如下应用场景: 数据存储和计算分离,数据存储在OBS中,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用。 数据存储和计算不分离,数据存储在HDFS中,集群成本较高,计算性能高,但存储量受磁盘空间限制,删除集群前需将数据导出保存,建议在数据计算频繁场景下使用。 目前的存储类型: SATA:普通IO SAS:高IO SSD:超高IO GPSSD:通用型SSD ESSD:极速型SSD 创建的节点个数越多,对管理节点(即master节点)的硬盘容量要求越高。为了保证集群能够健康地运行,当创建的节点个数达到300时,建议将master的硬盘容量配置成600GB以上;当创建的节点个数达到500时,建议将master的硬盘容量配置成1TB以上。 实例数量 配置主节点和核心节点的个数。 Master: 开启“集群高可用”时,Master实例数量固定为2个。 关闭“集群高可用”时,Master实例数量固定为1个。 Core节点至少存在一个,Core节点和Task节点的数量之和不能超过500个。 Task:单击添加Task节点。单击修改Task节点额实例规格和磁盘配置。单击删除已添加的节点。 说明 Core节点默认的最大值为500,如果用户需要的Core节点数大于500,请联系技术支持人员。 过小的节点容量会导致您的集群运行缓慢,而过大的节点容量会产生不必要的成本,请根据您要处理的数据对集群节点数量进行调整。 LVM 仅当创建流式Core节点时,该参数在流式Core节点有效。单击该参数以开启或关闭磁盘LVM管理。MRS 3.x及之后版本不支持该参数。 启用逻辑卷管理(LVM)时,会将节点中所有磁盘以逻辑卷的方式挂载,能够更加合理的规划磁盘,避免磁盘不均匀的问题,提升系统的稳定性。 拓扑调整 当常用模板中的部署方式不满足需求,请设置“拓扑调整”为“开启”,然后根据业务需要调整实例部署方式,具体说明请参见“创建自定义拓扑集群”章节中的“自定义集群拓扑调整说明”。当集群类型为“自定义”时该参数有效。