本章节主要介绍操作类问题中有关监控告警的问题。 在MRS流式集群中，Kafka Topic的监控是否支持发送告警？ 暂不支持Kafka Topic监控发送邮件和短信告警。 用户可以在集群Manager界面查看组件相关告警信息。 产生“ALM18022 Yarn队列资源不足”告警时，正在运行的资源队列可以在哪查看？ Yarn资源队列可以登录Manager界面，选择“集群 > 服务 > Yarn ResourceManager(主)”，登录Yarn的原生页面进行查看。 具体的告警处理方法可查看该告警的联机帮助文档进行处理。 HBase操作请求次数指标中的多级图表统计如何理解？ 以“RegionServer级别操作请求次数”监控项为例： 1.登录FusionInsight Manager，选择“集群 > 服务 > HBase > 资源”，在该界面即可查看“RegionServer级别操作请求次数”图表，选中“all”，则显示当前集群所有RegionServer的所有操作请求次数总和排Top10的值，统计时间间隔为5分钟。 2.单击表格中某一统计点，即可进入二级图表，表示该时刻前5分钟内统计的所有RegionServer的操作请求数。 3.再单击某一个操作统计柱状图即可进入三级图表，表示该时间段内各个Region相应操作的分布情况。 4.单击某个Region名称，进入该Region在12小时内每5分钟做的操作数统计分布图，可查看具体的操作在该时间段内执行的次数。

本章节主要介绍记录数据迁移入库时间。 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 创建表/文件迁移作业 1.在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图 配置作业 2.单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图 配置字段映射 3.选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。 值：${timestamp()}，更多时间宏变量请参见下表。 图 添加字段 表 时间变量宏定义具体展示 宏变量 含义 实际显示效果 ${dateformat(yyyyMMdd)} 以yyyyMMdd格式返回当前时间。 20171016 ${dateformat(yyyy/MM/dd)} 以yyyy/MM/dd格式返回当前时间。 2017/10/16 ${dateformat(yyyyMMdd HH:mm:ss)} 以yyyyMMdd HH:mm:ss格式返回当前时间。 20171016 09:00:00 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 以yyyyMMdd HH:mm:ss格式返回时间，时间为当前时间的前一天。 20171015 09:00:00 ${timestamp()} 返回当前时间的时间戳，即1970年1月1日（00:00:00 GMT）到当前时间的毫秒数。 1508115600000 ${timestamp(10, MINUTE)} 返回当前时间点10分钟前的时间戳。 1508115000000 ${timestamp(dateformat(yyyyMMdd))} 返回今天0点的时间戳。 1508083200000 ${timestamp(dateformat(yyyyMMdd,1,DAY))} 返回昨天0点的时间戳。 1507996800000 ${timestamp(dateformat(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 说明 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能，要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器，或者目的端为HBase连接器。 4.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 作业运行完是否删除：这里保持默认值“不删除”。 5.单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。 6.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

表类型 跨源认证类型 数据源 约束与限制 源表 Kerberos Kafka MRS Kafka开启Kerberos认证。 源表 KafkaSSL Kafka DMS Kafka开启SASLSSL认证。 MRS Kafka开启SASL认证。 MRS Kafka开启SSL认证。 结果表 Kerberos HBase MRS安全集群已开启Kerberos认证。 结果表 Kerberos Kafka MRS Kafka开启Kerberos认证。 结果表 KafkaSSL Kafka DMS Kafka开启SASLSSL认证。 MRS Kafka开启SASL认证。 MRS Kafka开启SSL认证。 结果表 Password DWS、RDS、CSS 维表 Password RDS、Redis

菜单导航 功能描述 首页 展示平台主机健康状态、初始化状态汇总； 故障和告警集群信息； 平台告警信息。 资源概览 展示所有主机的CPU、内存、网络等信息。 集群服务 展示所有集群，集群列表按组件类型，列表视图列出，在集群列表处一键启动所有集群、一键停止所有集群，支持健康检查； 支持单集群的启动、停止、滚动重启等操作； 支持角色实例的启动、停止、重启、滚动停止、滚动重启等操作； 支持查看集群的告警历史和监控看板等。 主机 展示当前平台的所有主机； 支持对主机进行置维护、取消维护操作； 支持查看单个主机基础信息、主机资源使用信息、主机上的文件系统信息； 支持查看单个主机上安装的角色实例、告警历史。 租户与资源 支持对LDAP租户与Kerberos安全凭证进行管理；提供YARN队列管理与HBase数据库管理功能。 监控与告警 支持查询角色实例级、主机级的监控指标；支持按需创建和导入告警规则； 支持指标结果的绘图操作，让用户更直观获取监控项变化； 支持按照集群级、角色实例级、主机级查询告警内容。 运维与配置 支持对各集群服务的配置文件进行修改、同步、回滚等操作；支持查看所有流水线的运行历史记录，以及操作人。

枚举参数 无 请求示例 请求url /teledbdcp/v2/openapi/dcporderinfo/getInstanceSecurityGroups?instId609365863653849627 请求头header 无 请求体body 无 响应示例 { "returnObj":{ "data":[ { "securityGroupName":"sgsea89xm", "name":"sgsea89xm", "id":"sgugabuxrl64", "description":"", "securityGroupRules":[ { "direction":"ingress", "etherType":"IPv4", "protocol":"TCP", "description":"HBASE", "id":"sgruleukjm4bl1yr", "securityGroupId":"sgugabuxrl64", "action":null, "remoteIpCidr":"0.0.0.0/0", "rangeMin":"8622", "rangMax":13345 }], } ] }, "statusCode":200, "message":"SUCCESS" } 状态码 请参考 状态码 错误码 请参考 错误码

本章节主要介绍翼MapReduce服务的产品定义。 翼MapReduce服务（MRS），是一个在云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。翼MR提供租户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合云计算、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，并具备在后续根据业务需要进行定制开发的能力，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。

参数名称 描述 “只重启集群内配置过期的实例” 是否只重启集群内修改过配置的实例。 “启用机架策略” 是否启用机架并发滚动重启策略，只对满足机架策略滚动重启的角色（角色支持机架感知功能，且角色下的实例归属于2个或2个以上的机架）生效。 说明 该参数仅在滚动重启HDFS、Yarn时可设置。 “数据节点滚动重启并发数” 采用分批并发滚动重启策略的数据节点实例每一个批次重启的实例数，默认为1。 说明 该参数仅对同时满足“采用并发滚动策略”和“实例为数据节点”两个条件时才有效。 当启用机架策略时，该参数将失效，集群以机架策略默认配置的最大实例数（默认值为20）作为一个机架内分批并发重启的最大实例数。 该参数仅在滚动重启HDFS、HBase、Yarn、Kafka、Storm、Flume时可设置。 HBase的RegionServer滚动重启的并发数不支持手动配置，会根据RegionServer的节点数自行调整，调整规则为：30节点以内，每个批次1个节点；300节点以内，每个批次2个节点；300节点以上(含300节点)，每个批次1%(向下取整)个节点。 “批次时间间隔” 滚动重启实例批次之间的间隔时间，默认为0。 “退服超时时间” 角色实例在滚动重启过程中的退服等待时间，默认为1800s。部分角色（例如HiveServer、JDBCServer）在滚动重启前会暂时停止提供服务，该状态下的实例不可再接入新的客户端连接，而已经存在的连接需要等待一段时间才能完成，配置合适的超时时间参数能尽可能地保证业务不中断。 说明 该参数仅在滚动重启Hive、Spark2x时可设置。 “批次容错阈值” 滚动重启实例批次执行失败容错次数，默认为0，即表示任意一个批次的实例重启失败后，滚动重启任务终止。

用户可以根据业务需求量，通过简单的缩减Core节点或者Task节点，对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。 当集群正在进行主备同步操作时，不允许进行缩容操作。 说明 MRS包周期集群暂不支持缩容，当前仅支持MRS按需集群按指定数量进行缩容。 背景信息 目前支持缩容Core节点和Task节点，不支持缩容Master节点。对集群进行缩容时，只需要在界面调整节点个数，MRS会自动选择缩容节点，完成缩容任务。 自动选择缩容节点的策略如下： 不允许缩容安装了基础组件（Zookeeper，DBService，KrbServer，LdapServer等）的节点，MRS不会选择这些节点进行缩容。因为这些基础组件是集群运行的基础。 Core节点是存放集群业务数据的节点，在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点，即完成各个组件的退服之后，才会执行缩容的后续操作（节点退出Manager和删除ECS等）。在选择Core节点时，会优先选择存储数据量较小，且可退服实例健康状态良好的节点，避免节点退服失败。例如在分析集群上，Core节点安装了DataNode，缩容时会优先选择DataNode存储数据量较小且健康状态良好的节点。 Core节点在缩容的时候，会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存，客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长，可以重启HBase或者对相关的表Disable/Enable来避免。 Task节点本身不存储集群数据，属于计算节点，不存在节点数据迁移的问题。因此在选择Task节点时，优先选择健康状态为故障、未知、亚健康的节点进行缩容。这些节点实例的健康状态信息可以在MRS上的“实例”管理界面查看。

参数名 描述 “名称” 指定当前租户的名称，长度为1到20，可包含数字、字母和下划线。 “租户类型” 可选参数值为“叶子租户”和“非叶子租户”。当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 “动态资源” 为当前租户选择动态计算资源。系统将自动在Yarn中以租户名称创建任务队列。动态资源不选择“Yarn”时，系统不会自动创建任务队列。 “默认资源池容量(%)” 配置当前租户在“default”资源池中使用的计算资源百分比。 “默认资源池最大容量(%)” 配置当前租户在“default”资源池中使用的最大计算资源百分比。 “储存资源” 为当前租户选择存储资源。系统将自动在“/tenant”目录中以租户名称创建文件夹。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。存储资源不选择“HDFS”时，系统不会在HDFS中创建存储目录。 “存储空间配额(MB)” 配置当前租户使用的HDFS存储空间配额。取值范围为“1”到“8796093022208”。单位为MB。此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500”，则实际只能保存约500/2250MB大小的文件。 “存储路径” 配置租户在HDFS中的存储目录。系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”，默认HDFS存储目录为“tenant/ta1”。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。 “服务” 配置当前租户关联使用的其他服务资源，支持HBase。单击“关联服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。 “描述” 配置当前租户的描述信息。

集群类型 站点类型 站点地址 全部类型 MRS Manager 适用于所有版本集群 说明 1. 确保本地机器与MRS集群网络互通。 2. 远程登录Master2节点，执行“ifconfig”命令，系统回显中“eth0:wsom”表示MRS Manager浮动IP地址，请记录“inet”的实际参数值。如果在Master2节点无法查询到MRS Manager的浮动IP地址，请切换到Master1节点查询并记录。如果只有一个Master节点时，直接在该Master节点查询并记录。 MRS 3.x之前版本集群 具体请参见 访问MRS Manager（MRS 2.x及之前版本） 。 MRS 3.x及以后版本请参见 访问FusionInsight Manager（MRS 3.x及之后版本） 。 分析集群 HDFS NameNode MRS 3.x之前版本集群，在集群详情页选择“组件管理> HDFS > NameNode WebUI > NameNode (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> HDFS > NameNode WebUI > NameNode ( 主机名称 ，主)” HBase HMaster MRS 3.x之前版本集群，在集群详情页选择“组件管理> HBase > HMaster WebUI > HMaster (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> HBase > HMaster WebUI > HMaster ( 主机名称 ，主)” MapReduce JobHistoryServer MRS 3.x之前版本集群，在集群详情页选择“组件管理> Mapreduce > JobHistoryServer WebUI > JobHistoryServer” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Mapreduce > JobHistoryServer WebUI > JobHistoryServer ( 主机名称 ，主)” YARN ResourceManager MRS 3.x之前版本集群，在集群详情页选择“组件管理> Yarn > ResourceManager WebUI > ResourceManager (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Yarn > ResourceManager WebUI > ResourceManager ( 主机名称 ，主)” Spark JobHistory MRS 3.x之前版本集群，在集群详情页选择“组件管理> Spark > Spark WebUI > JobHistory” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Spark2x > Spark2x WebUI > JobHistory2x ( 主机名称 )” Hue MRS 3.x之前版本集群，在集群详情页选择“组件管理> Hue > Hue WebUI > Hue (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Hue > Hue WebUI > Hue (主机名称 ，主)” Loader页面是基于开放源代码Sqoop WebUI的图形化数据迁移管理工具，由Hue WebUI承载。 Tez MRS 3.x之前版本集群，在集群详情页选择“组件管理> Tez > Tez WebUI > TezUI” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Tez > Tez WebUI > TezUI ( 主机名称 )” Presto MRS 3.x之前版本集群，在集群详情页选择“组件管理> Presto > Presto WebUI > Coordinator (主)” 在Manager页面选择“集群>服务> Presto > Coordinator WebUI > Coordinator(Coordinator)” Ranger MRS 3.x之前版本集群，在集群详情页选择“组件管理> Ranger > Ranger WebUI > RangerAdmin (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Ranger > Ranger WebUI > RangerAdmin” 流处理集群 Storm MRS 3.x之前版本集群，在集群详情页选择“组件管理> Storm > Storm WebUI > UI” 在Manager页面选择“集群>服务> Storm > Storm WebUI > UI (主机名称 )”

本章节主要介绍新建MySQL连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。 1. 在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。 2. 在创建MRS HBase、MRS Hive、MRS Kafka、MRS Ranger、MRS Spark、MRS Presto类型的数据连接前，需确保您已创建MRS集群，并且在创建数据链接时已创建选择所需要的组件。 3. 在创建RDS类型的数据连接前，请确保您已创建RDS数据库实例。DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库引擎。 在创建数据连接前，请确保待连接的数据湖与DataArts Studio实例之间网络互通。 1. 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据源所在的主机可以访问公网，并且防火墙规则已开放连接端口。 2. 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： ①DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。 ②DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见《虚拟私有云》帮助文档有关“添加路由信息”的章节，配置安全组规则请参见《虚拟私有云》帮助文档中有关“ 添加安全组规则”的章节。 ③此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。

参数名 描述 名称 指定当前租户的名称，长度为3到50，可包含数字、字母和下划线。 租户类型 可选参数值为“叶子租户”和“非叶子租户”。当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 动态资源 为当前租户选择动态计算资源。系统将自动在Yarn中以租户名称创建任务队列。动态资源不选择“Yarn”时，系统不会自动创建任务队列。 默认资源池容量(%) 配置当前租户在“default”资源池中使用的计算资源百分比。 默认资源池最大容量(%) 配置当前租户在“default”资源池中使用的最大计算资源百分比。 储存资源 为当前租户选择存储资源。系统将自动在“/tenant”目录中以租户名称创建文件夹。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。存储资源不选择“HDFS”时，系统不会在HDFS中创建存储目录。 存储空间配额(MB) 配置当前租户使用的HDFS存储空间配额。取值范围为“1”到“8796093022208”。单位为MB。此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500”，则实际只能保存约500/2250MB大小的文件。 存储路径 配置租户在HDFS中的存储目录。系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”，默认HDFS存储目录为“tenant/ta1”。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。 服务 配置当前租户关联使用的其他服务资源，支持HBase。单击“关联服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。 描述 配置当前租户的描述信息。

本章节主要介绍数据目录相关问题。 数据目录组件有什么用？ 数据目录的核心是通过元数据采集任务，采集并展示企业的数据资产地图，包括所有的元数据信息和数据血缘关系。 数据目录支持采集哪些对象的资产？ 数据目录目前支持采集的资产有：数据仓库服务（DWS）、MapReduce服务（MRS HBase）、MapReduce服务（MRS Hive）、MySQL、云数据库 RDS（DataArts Studio仅支持MySQL和PostgreSQL数据库）。 什么是数据血缘关系？ 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征： 归属性 ：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。 多源性 ：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯性 ：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性 ：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 如图所示数据血缘关系示例

参数 参数说明 连接名称 所创建的跨源连接名称。 名称只能包含数字、英文字母、下划线。不能为空。 输入长度不能超过64个字符。 虚拟私有云 数据源所使用的虚拟私有云。 子网 数据源所使用的子网。 主机信息 可选参数，用于配置主机的IP与域名的映射关系，在作业配置时只需使用配置的域名即可访问对应的主机。 例如：访问MRS的HBase集群时需要配置Zookeeper实例的主机名（即域名）与对应的IP地址。每行填写一条记录，填写格式为：“IP主机名/域名”。 示例： 192.168.0.22 nodemasterxxx1.1com 192.168.0.23 nodemasterxxx2.1com

本章节主要介绍新建DWS连接。 本章节以新建DWS连接为例，介绍如何建立DataArts Studio与数据仓库底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。 1. 在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。 2. 在创建MRS HBase、MRS Hive、MRS Kafka、MRS Ranger、MRS Spark、MRS Presto类型的数据连接前，需确保您已创建MRS集群，并且在创建数据链接时已创建选择所需要的组件。 3. 在创建RDS类型的数据连接前，请确保您已创建RDS数据库实例。DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库引擎。 在创建数据连接前，请确保待连接的数据湖与DataArts Studio实例之间网络互通。 1. 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据源所在的主机可以访问公网，并且防火墙规则已开放连接端口。 2. 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： ①DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。 ②DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见《虚拟私有云》帮助文档中的“添加路由信息”章节，配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组 > 添加安全组规则”章节。 ③此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。

本章节主要介绍翼MapReduce服务的组件依赖关系。 组件依赖关系说明 组件名称 集群部署的依赖组件 Doris / Elasticsearch / HBase HDFS、ZooKeeper、Kerberos、OpenLDAP HDFS ZooKeeper、Kerberos、OpenLDAP Hive HDFS、YARN、ZooKeeper、Kerberos、OpenLDAP Kafka ZooKeeper、Kerberos、OpenLDAP Kerberos OpenLDAP Kibana Elasticsearch Kyuubi Spark、Hive、HDFS、YARN、ZooKeeper、OpenLDAP、Kerberos OpenLDAP / Ranger HDFS、OpenLDAP、Kerberos、ZooKeeper Spark HDFS、YARN、Hive、ZooKeeper、OpenLDAP、Kerberos Trino Kerberos、OpenLDAP YARN ZooKeeper、Kerberos、HDFS、OpenLDAP ZooKeeper Kerberos、OpenLDAP Flink HDFS、YARN、Kerberos、OpenLDAP、ZooKeeper Hudi Hive/Spark/Flink Iceberg Hive/Spark/Flink Knox Kerberos、OpenLDAP Logstash / JeekeFS Kerberos、OpenLDAP Tez HDFS、YARN、Hive、ZooKeeper、OpenLDAP、Kerberos Flume / KafkaUI Kafka、OpenLDAP、Kerberos、ZooKeeper SeaTunnel Flink、HDFS、YARN、OpenLDAP、Kerberos、ZooKeeper Pushgateway / TezUI OpenLDAP、Kerberos、Hive、ZooKeeper、Tez、HDFS、YARN Amoro Kerberos、OpenLDAP、ZooKeeper、HDFS、YARN Hue Kerberos、OpenLDAP DolphinScheduler HDFS、OpenLDAP、Kerberos、ZooKeeper Sqoop HDFS、YARN Lance / Paimon Hive/Spark/Flink

本章节主要介绍翼MapReduce的Web UI便捷访问特性。 大数据组件都有自己的WebUI页面管理自身系统，但是由于网络隔离的原因，用户并不能很简便地访问到该页面。如访问HDFS的WebUI页面，传统的操作方法是需要用户创建ECS，使用ECS远程登录组件的UI，这使得组件的页面UI访问很是繁琐，对于很多初次接触大数据的用户很不友好。 翼MR提供了基于弹性公网IP来便捷访问组件WebUI的安全通道，并且比用户自己绑定弹性公网IP更便捷，只需界面鼠标操作，即可简化原先用户需要自己登录虚拟私有云添加安全组规则，获取公网IP等步骤，减少了用户操作步骤。分析集群Hadoop、Spark、HBase、Hue及流式集群Storm，都可以在Manager上找到组件页面入口，快速访问。

本章节主要介绍翼MapReduce的执行角色实例主备倒换操作。 操作场景 部分服务的角色以主备高可用的模式进行部署，在需要对主实例进行维护不能提供服务，或者其他维护需要时，可以手动触发实例主备倒换。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中指定的服务名称。 4. 在服务详情页面单击“更多”，选择“执行角色实例倒换”。 5. 输入当前登录的用户密码确认身份，单击“确定”。 6. 在弹出界面单击“确定”，执行角色实例主备倒换。 说明 Manager部件包支持的主备倒换角色实例的服务有：DBService。 HD部件包支持的主备倒换角色实例的服务有：HDFS、Yarn、Storm、HBase、Mapreduce。 HDFS的角色NameNode在进行主备倒换时，需要指定NameService。 Porter部件包支持的主备倒换角色实例的服务有：Loader。 其他角色实例则不支持此功能。

参数名 描述 父租户 显示上级父租户的名称。 名称 指定当前租户的名称，长度为3到20，可包含数字、字母和下划线。 租户类型 可选参数值为“叶子租户”和“非叶子租户”，当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 动态资源 为当前租户选择动态计算资源。系统将自动在Yarn父租户队列中以子租户名称创建任务队列。动态资源不选择“Yarn”时，系统不会自动创建任务队列。如果父租户未选择动态资源，子租户也无法使用动态资源。 默认资源池容量(%) 配置当前租户使用的资源百分比，基数为父租户的资源总量。 默认资源池最大容量(%) 配置当前租户使用的最大计算资源百分比，基数为父租户的资源总量。 储存资源 为当前租户选择存储资源。系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。存储资源不选择“HDFS”时，系统不会在HDFS中创建存储目录。如果父租户未选择存储资源，子租户也无法使用存储资源。 存储空间配额(MB) 配置当前租户使用的HDFS存储空间配额。最小值值为“1”，最大值为父租户的全部存储配额。单位为MB。此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。若此配额大于父租户的配额，实际存储量受父租户配额影响。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间球所有副本文件在HDFS中占用磁盘空间大小总和。例如“父租户中分配资源”设置为“500”，则实际只能保存约500/2250MB大小的文件。 存储路径 配置租户在HDFS中的存储目录。系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“tenant/ta1”，系统默认自动配置此参数值为“tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。支持在父目录中自定义存储路径。存储路径的父目录必需是父租户的存储目录。 服务 配置当前租户关联使用的其他服务资源，支持HBase。单击“关联服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。 描述 配置当前租户的描述信息。

参数名 描述 “父租户” 显示上级父租户的名称。 “名称” 指定当前租户的名称，长度为1到20，可包含数字、字母和下划线。 “租户类型” 可选参数值为“叶子租户”和“非叶子租户”，当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 “动态资源” 为当前租户选择动态计算资源。系统将自动在Yarn父租户队列中以子租户名称创建任务队列。动态资源不选择“Yarn”时，系统不会自动创建任务队列。如果父租户未选择动态资源，子租户也无法使用动态资源。 “默认资源池容量(%)” 配置当前租户使用的资源百分比，基数为父租户的资源总量。 “默认资源池最大容量(%)” 配置当前租户使用的最大计算资源百分比，基数为父租户的资源总量。 “储存资源” 为当前租户选择存储资源。系统将自动在HDFS父租户目录中，以子租户名称创建文件夹。存储资源不选择“HDFS”时，系统不会在HDFS中创建存储目录。如果父租户未选择存储资源，子租户也无法使用存储资源。 “存储空间配额(MB)” 配置当前租户使用的HDFS存储空间配额。最小值值为“1”，最大值为父租户的全部存储配额。单位为MB。此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。若此配额大于父租户的配额，实际存储量受父租户配额影响。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间球所有副本文件在HDFS中占用磁盘空间大小总和。例如“父租户中分配资源”设置为“500”，则实际只能保存约500/2250MB大小的文件。 “存储路径” 配置租户在HDFS中的存储目录。系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”，父目录为“tenant/ta1”，系统默认自动配置此参数值为“tenant/ta1/ta1s”，最终子租户的存储目录为“/tenant/ta1/ta1s”。支持在父目录中自定义存储路径。存储路径的父目录必需是父租户的存储目录。 “服务” 配置当前租户关联使用的其他服务资源，支持HBase。单击“关联服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。 “描述” 配置当前租户的描述信息。

本章主要介绍翼MapReduce的备份Kafka元数据功能。 操作场景 为了确保Kafka元数据安全，或者系统管理员需要对ZooKeeper进行重大操作（如升级或迁移等）时，需要对Kafka元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份Kafka任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“Kafka”。 说明 若安装了多个Kafka服务，默认备份所有Kafka服务，可单击“指定服务”指定需要备份的Kafka服务。 7.在“Kafka”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “LocalDir”：表示将备份文件保存在主管理节点的本地磁盘上，备管理节点将自动同步备份文件。默认保存目录为“ 数据存放路径 /LocalBackup/”。 选择此参数值，还需要配置“最大备份数”，表示备份目录中可保留的备份文件集数量。 “LocalHDFS”：表示将备份文件保存在当前集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端路径”：填写备份文件在HDFS中保存的目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “目标NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “目的端路径”：填写保存备份数据的OBS目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 说明 MRS 3.1.0及之后版本才支持备份数据到OBS。 8.单击“确定”保存。 9.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备份目录中为每个备份任务创建子目录，目录名为 “备份任务名任务创建时间” ，用于保存数据源的备份文件。备份文件的名称为 版本号数据源任务执行时间.tar.gz 。

本章节主要介绍数据集成概述。 DataArts Studio数据集成是一种高效、易用的数据集成服务，围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移（Cloud Data Migration，后简称CDM）服务，本文中的“云数据迁移”、“CDM”均指“数据集成”。 您可以通过以下方式之一进入CDM主界面： 登录CDM控制台，单击“集群管理”，进入到CDM主界面。 登录DataArts Studio控制台。选择对应工作空间的“数据集成”模块，进入CDM主界面。 选择数据集成详见下图 云数据迁移简介 云数据迁移基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动，实现不停服数据迁移，快速构建所需的数据架构。 数据集成定位详见下图 产品功能 表/ 文件/ 整库迁移 支持批量迁移表或者文件，还支持同构/异构数据库之间整库迁移，一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时，CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。

本章节主要介绍翼MR的下载客户端操作。 操作场景 未部署服务端的服务器上需要安装组件客户端时，需要下载客户端安装包和配置文件。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群详情页面。 3. 在“基础信息”页面的软件信息中，点击“前往下载客户端”按钮即可下载。当前共4个业务场景支持下载客户端，分别是：数据湖、数据服务、实时数据流和自定义场景。 4. 进入到组件的客户端安装包、MD5值和配置文件的下载页面，选择下载路径，点击保存即可。 注意 下载完整客户端包含：客户端安装包、MD5值和客户端配置文件。 客户端安装包包含组件：Hadoop（HDFS、YARN）、Hive、HBase、Flink、Kafka、Spark、ZooKeeper、Trino。 V2.17版本起，客户端安装包中新增Flume、SeaTunnel。 客户端配置文件：包含当前环境公共空间下所有客户端配置文件。 文件容量较大，请您耐心等待。

本文主要介绍日志收集系统Flume接入Kafka。 最佳实践概述 场景描述 使用Flume+Kafka来完成实时流式日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，可以把它理解为一个数据库，可以存放一段时间的数据。 因此数据从数据源（ HTTP、Log 文件、JMS、监听端口数据等）到flume再到Kafka进行消息缓存，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计算，可实现数据多分发。 技术架构图 暂无。 方案优势 把数据存储到 HDFS 或者 HBase 等下游存储模块或者计算模块时需要考虑各种复杂的场景，例如并发写入的量以及系统承载压力、网络延迟等问题。Flume 作为灵活的分布式系统具有多种接口，同时提供可定制化的管道。在生产处理环节中，当生产与处理速度不一致时，Kafka 可以充当缓存角色。Kafka 拥有 partition 结构以及采用 append 追加数据，使 Kafka 具有优秀的吞吐能力；同时其拥有 replication 结构，使 Kafka 具有很高的容错性。所以将 Flume 和 Kafka 结合起来，可以满足生产环境中绝大多数要求。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 确认准备 Apache Flume环境（1.6.0以上版本兼容 Kafka）。 确认 Kafka 的 Source、 Sink 组件已经在 Flume 中。 资源规划 本实践方案内容仅涉及Kafka专享版实例。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 方案正文

本章节介绍Ranger如何基于User进行权限管控。 功能说明 Ranger支持基于User的权限管控，即可以直接针对某个用户配置资源访问权限。用户在访问Hive、HDFS、HBase等组件资源时，组件侧的Ranger Plugin会拦截访问请求，并将请求中的用户、资源、操作类型等信息与Ranger Admin中的策略进行匹配，最终决定是否允许访问。基于User授权是最常见的权限配置方式之一，适用于对单个用户进行精细化权限控制的场景。 操作步骤 1、访问Ranger Admin WebUI页面。 2、首先点击右上角的“Settings”按钮，然后点击“Users/Groups/Roles”选项；最后点击“Users”选项查看用户的相关信息。 3、回到Service界面，选择目标Service（DEMO以HDFS为例）。 4、点击右上角新建Policy。 5、在Policy页面填写基础信息，首先在Conditions栏选择“Select User”；然后选择目标用户。 6、确认配置后点击添加，即可生效。

本章节主要介绍操作类问题中有关集群访问的问题。 MRS集群内节点的登录方式（密码或密钥对）如何切换？ 不可以切换。 创建集群时选择了节点登录方式后不能更改登录方式。 如何获取ZooKeeper的IP地址和端口？ ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一：通过MRS控制台获取 1. 在MRS集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 2. 选择“组件管理 > ZooKeeper > 实例”，获取ZooKeeper实例的“业务IP”地址。 3. 选择“服务配置”页签，搜索“clientPort”参数，该参数的值即为ZooKeeper的端口。 方法二：通过Manager界面获取 1. 登录Manager界面。 2. 在Manager界面获取ZooKeeper的IP地址和端口。 −针对MRS 3.x之前版本集群 i.选择“服务管理 > ZooKeeper > 实例”，获取ZooKeeper实例的“业务IP”地址。 ii.选择“服务配置”页签，搜索“clientPort”参数，该参数的值即为ZooKeeper的端口。 −针对MRS 3.x及之后版本集群 i.选择“集群 > 服务 ZooKeeper > 实例”，获取ZooKeeper实例的“业务IP”地址。 ii.选择“配置”页签，搜索参数“clientPort”值，该参数的值即为ZooKeeper的端口。 如何通过集群外的节点访问MRS集群？ 创建集群外Linux操作系统ECS节点访问MRS集群 1.创建一个集群外ECS节点。 ECS节点的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 2.在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。 3.配置集群安全组规则。 a.在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 b.在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”配置ECS节点的IP和放开所有端口。 c.安全组规则添加完成后，可以直接下载并安装客户端到集群外ECS节点。 d.使用客户端。 使用客户端安装用户，登录客户端节点，执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令加载环境变量。 source bigdataenv 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则通常情况下无需认证。 kinit MRS集群用户 例如： kinit admin 直接执行组件的客户端命令。 例如： 使用HDFS客户端命令查看HDFS根目录文件。 hdfs dfs ls / Found 15 items drwxrwxx hive hive 0 20211026 16:30 /apps drwxrxrx hdfs hadoop 0 20211018 20:54 /datasets drwxrxrx hdfs hadoop 0 20211018 20:54 /datastore drwxrwx+ flink hadoop 0 20211018 21:10 /flink drwxrx flume hadoop 0 20211018 20:54 /flume drwxrwxx hbase hadoop 0 20211030 07:31 /hbase ...

本章节主要介绍MapReduce如何创建集群。 使用翼MR的首要操作就是创建集群，本章节为您介绍如何在翼MR管理控制台创建一个新的集群。 操作步骤 1.登录翼MR管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 说明 创建集群时需要注意配额提醒。当资源配额不足时，建议按照提示申请足够的资源，再创建集群 。 3.在创建集群页面，选择“自定义创建”页签。 4 .配置集群软件信息。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 集群版本：默认最新版本即可。 集群类型：默认选择“分析集群”即可。 组件选择：分析集群勾选Spark2x、HBase和Hive等组件。流式集群勾选Kafka和Storm等组件。混合集群可同时勾选分析集群流式集群的组件。 元数据：默认即可。 说明 针对翼MR 3.x之前版本，分析集群勾选Spark、HBase和Hive等组件 。 5.单击“下一步”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 安全组：选择“自动创建”。 弹性公网IP：选择“暂不绑定”。 实例规格：Master和Core节点都选择“通用计算型S3>8核16GB(s3.2xlarge.2 )”。 系统盘：存储类型选择“普通IO”，存储空间默认即可。 数据盘：存储类型选择“普通IO”，存储空间默认即可，数据盘数量默认即可。 实例数量：Master节点数量默认为2，Core节点数量配置为3。 注意 上述“实例规格”示例，实际可选规格请以各资源池可用规格为准。 6.单击“下一步”进入高级配置页签，配置参数，其他参数保持默认。 Kerberos认证： −Kerberos认证：关闭Kerberos认证。 −用户名：Manager管理员用户，目前默认为admin用户。 −密码：Manager管理员用户的密码。 登录方式：选择登录ECS节点的登录方式。 −密码：设置登录ECS节点的登录密码。 −密钥对：从下拉框中选择密钥对，如果已获取私钥文件，请勾选“我确认已获取该密钥对中的私钥文件 SSHkeyxxx ，否则无法登录弹性云主机”。如果没有创建密钥对，请单击“查看密钥对”创建或导入密钥，然后再获取私钥文件。 通信安全授权：勾选确认授权。 7.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 8.单击“返回集群列表”，可以查看到集群创建的状态。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

本小节介绍数据库安全审计RDS关系型数据库（安装Agent）最佳实践。 方案架构 数据库安全审计采用旁路部署模式，通过在访问数据库的应用系统服务器上部署数据库安全审计Agent，获取访问数据库流量，Agent将获取的流量数据上传到审计系统、接收审计系统配置命令和上报数据库状态监控数据，实现对数据库的安全审计。 审计RDS关系型数据库（安装Agent）架构图 本文以POSTGRESQL 7.4版本的关系型数据库为例，详细信息如表所示，您需要对该数据库内部违规和不正当操作进行定位追责，满足等保测评数据库审计需求。本节详细介绍该场景下开启数据库安全审计功能和验证审计结果的具体操作。 数据库类型 POSTGRESQL 数据库版本 7.4 数据库IP地址 192.168.1.31 应用端IP地址 （安装节点IP地址） 192.168.1.132 端口 8000 操作系统 LINUX64 约束与限制 使用数据库安全审计需要关闭数据库的SSL。 待审计数据库与数据库安全审计需要在同一区域。 购买数据库安全审计配置“VPC”参数时，需与Agent安装节点所在VPC相同。 数据库安全审计的Agent安装节点，请参见：如何选择数据库安全审计的Agent安装节点？。 步骤一：购买数据库安全审计 您需要根据您的业务需求购买数据库安全审计规格并配置数据库安全审计参数，详细操作请参见购买数据库安全审计。 为保证审计功能的正常使用，购买数据库安全审计配置“VPC”参数时，请与Agent安装节点所在VPC相同。 数据库安全审计的Agent安装节点，请参见：如何选择数据库安全审计的Agent安装节点？。

本章主要介绍翼MapReduce的备份DBService数据功能。 操作场景 为了确保DBService日常数据安全，或者系统管理员需要对DBService进行重大操作（如升级或迁移等）时，需要对DBService数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份DBService任务并备份数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“DBService”。 说明 若安装了多个DBService服务，默认备份所有DBService服务，可单击“指定服务”指定需要备份的DBService服务。 7.在“DBService”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “LocalDir”：表示将备份文件保存在主管理节点的本地磁盘上，备管理节点将自动同步备份文件。 默认保存目录为“ 数据存放路径 /LocalBackup/”，例如“/srv/BigData/LocalBackup”。 选择此参数值，还需要配置“最大备份数”，表示备份目录中可保留的备份文件集数量。 “LocalHDFS”：表示将备份文件保存在当前集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端路径”：填写备份文件在HDFS中保存的目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “目标NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的Yarn队列的名称。需和源集群中已存在且状态正常的队列名称相同。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “SFTP”：表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “目的端路径”：填写保存备份数据的OBS目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 说明 MRS 3.1.0及之后版本才支持备份数据到OBS。 8.单击“确定”保存。 9.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备份目录中为每个备份任务创建子目录，目录名为 “备份任务名任务创建时间” ，用于保存数据源的备份文件。 备份文件的名称为 版本号数据源任务执行时间.tar.gz 。

本章节介绍Ranger如何基于User进行权限管控。 功能说明 Ranger支持基于User的权限管控，即可以直接针对某个用户配置资源访问权限。用户在访问Hive、HDFS、HBase等组件资源时，组件侧的Ranger Plugin会拦截访问请求，并将请求中的用户、资源、操作类型等信息与Ranger Admin中的策略进行匹配，最终决定是否允许访问。基于User授权是最常见的权限配置方式之一，适用于对单个用户进行精细化权限控制的场景。 操作步骤 1、访问Ranger Admin WebUI页面。 2、首先点击右上角的“Settings”按钮，然后点击“Users/Groups/Roles”选项；最后点击“Users”选项查看用户的相关信息。 3、回到Service界面，选择目标Service（DEMO以HDFS为例）。 4、点击右上角新建Policy。 5、在Policy页面填写基础信息，首先在Conditions栏选择“Select User”；然后选择目标用户。 6、确认配置后点击添加，即可生效。

本章节主要介绍翼MapReduce的资源概述操作。 MRS集群的资源分为计算资源和存储资源。多租户可实现资源的隔离： 计算资源 计算资源包括CPU和内存。租户之间不可以相互占用计算资源，私有计算资源独立。 存储资源 存储资源包括磁盘或第三方存储系统。租户之间不可以相互访问数据，私有存储资源独立。 计算资源 计算资源可分为静态服务资源和动态资源： 静态服务资源 静态服务资源是集群分配给各个服务的计算资源，每个服务的计算资源总量固定，不与其他服务共享，是静态的。这些服务包括Flume、HBase、HDFS和Yarn。 动态资源 动态资源是分布式资源管理服务Yarn动态调度给任务队列的计算资源。Mapreduce、Spark2x、Flink和Hive的任务队列由Yarn来动态调度资源。 说明 大数据集群为Yarn分配的资源是静态服务资源，可以由Yarn动态分配给任务队列计算使用。 存储资源 存储资源是分布式文件存储服务HDFS中可分配的数据存储空间资源。目录是HDFS存储资源分配的基本单位，租户通过指定HDFS文件系统的目录来获取存储资源。

本章节主要介绍如何配置角色实例参数。 操作场景 用户可以根据实际业务场景，在MRS中快速查看及修改角色实例默认的配置。支持导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并更新客户端配置文件。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 修改角色实例参数 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.单击角色实例列表中指定的角色实例名称。 5.单击“实例配置”页签。 6.将页面右侧“基础配置”切换为“全部配置”，界面上将显示该角色实例的全部配置参数导航树。 7.在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改，可以单击恢复。 8.单击“保存配置”，勾选“重新启动受影响的服务或实例。”并单击“确定”，重启角色实例。