本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后，需要为Yarn任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。 管理员可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，Yarn任务队列与资源池形成关联关系。 前提条件 已添加队列，即已创建关联了计算资源的租户。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 动态资源计划”。 默认显示“资源分布策略”。 3. “集群”参数选择待操作的集群名称，然后在“资源池”，选择待操作的资源池。 4. 在“资源分配”表格，指定租户资源名队列的“操作”列，单击“修改”。 5. 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量（%）”：表示当前租户计算资源使用的资源百分比。 “最大资源容量（%）”：表示当前租户计算资源使用的最大资源百分比。 6. 单击“确定”保存配置。 说明 删除队列的资源容量值并保存，可以取消队列在此资源池中的资源容量策略，表示解除队列与资源池的关联关系。需要先将队列的默认资源池更改为其他资源池，请参见

本章节主要介绍翼MapReduce的配置SNMP北向参数。 操作场景 该任务指导用户采用SNMP协议把MRS Manager的告警、监控数据集成到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地址和指定端口。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“配置”区域“监控和告警配置”下，单击“SNMP配置”。 “SNMP服务”的开关默认为关闭，单击启用SNMP服务。 2. 设置如下表所示的对接参数。 详见下表：对接参数 参数名称 参数说明 版本 SNMP协议版本号，取值范围： l v2c：低版本，安全性较低 l v3：高版本，安全性比v2c高 推荐使用v3版本。 本地端口 本地端口，默认值“20000”，取值范围“1025”到“65535”。 读团体名 该参数仅在设置“版本”为v2c时存在，用于设置只读团体名。 写团体名 该参数仅在设置“版本”为v2c时存在，用于设置可写团体名。 安全用户名 该参数仅在设置“版本”为v3时存在，用于设置协议安全用户名。 认证协议 该参数仅在设置“版本”为v3时存在，用于设置认证协议，推荐选择SHA。 认证密码 该参数仅在设置“版本”为v3时存在，用于设置认证密钥。 确认认证密码 该参数仅在设置“版本”为v3时存在，用于确认认证密钥。 加密协议 该参数仅在设置“版本”为v3时存在，用于设置加密协议，推荐选择AES256。 加密密码 该参数仅在设置“版本”为v3时存在，用于设置加密密钥。 确认加密密码 该参数仅在设置“版本”为v3时存在，用于确认加密密钥。 “认证密码”和“加密密码”密码长度为8到16位，至少需要包含大写字母、小写字母、数字、特殊字符中的3种类型字符。两个密码不能相同。两个密码不可和安全用户名或安全用户名的逆序字符相同。 使用SNMP协议从安全方面考虑，需要定期修改“认证密码”和“加密密码”密码。 使用SNMP v3版本时，安全用户在5分钟之内连续鉴权失败5次将被锁定，5分钟后自动解锁。 3. 单击“Trap目标”下的“添加Trap目标”，在弹出的“添加Trap目标”对话框中填写以下参数： 目标标识：Trap目标标识，一般指接收Trap的网管或主机标识。长度限制1～255字节，一般由字母或数字组成。 目标IP：目标IP。可使用A、B、C类IP地址，要求可与管理节点的管理平面IP地址互通。 目标端口：接收Trap的端口，要求与对端保持一致，取值范围“0”～“65535”。 Trap团体名：该参数仅在设置Version为v2c时存在，用于设置主动上报团体名。 单击“确定”，设置完成，退出“添加Trap目标”对话框。 4. 单击“确定”，设置完成。

链路追踪 自动发现应用拓扑：通过拓扑图更加直观地看到应用的上下游组件以及与它们的调用关系，同时提供应用请求总量、请求耗时等关键指标，帮助客户更快速地找出应用的瓶颈。 调用链分析：一次请求将会被记录为一条调用链路数据，每条调用链数据都包含着详细的调用数据，包括服务名称、接口名称、方法名称、调用类型、平均耗时等。通过调用栈逐层查看异常发生的具体节点，可以更快确认问题可能原因。 Prometheus监控 一键接入容器监控：容器集群可一键接入Prometheus监控平台，实现集群及工作负载的一体化监测。 内置容器监控大盘：默认内置多种容器监控大盘，包括集群概览、核心组件、Node、Pod等监控能力。 自定义数据接入：基于 ServiceMonitor、PodMonitor 实现容器自定义指标采集。同时提供Remote Write标准接口，远程接入开源Prometheus的监控数据。 灵活的告警配置 多指标告警配置：提供接口调用、HTTP返回码、异常、JVM内存与线程、数据库等多项告警指标配置。 多通知渠道：支持短信、邮件、翼连、Webhook（企业微信、钉钉、飞书等）。 静默策略：支持组合配置且或条件，设置静默时间段。

本文主要介绍如何创建子账号，并对子账号设置系统策略，从而使用子账号开通实例，使用DRDS控制台。 创建子账户并使用 用户在天翼云注册后自动创建，该用户对其所拥有的资源具有完全的访问权限，可以重置用户密码、分配用户权限等。如果需要多人共同使用天翼云资源，为了确保账号安全，建议创建子用户来进行日常管理工作。子用户的用户名、密码由拥有IAM权限的用户控制。子用户同样可以登录访问天翼云控制台，登录入口与主用户相同，受赋予的权限限制。创建子账户的步骤如下： 操作步骤 1. 进入天翼云官网，通过主账号登录，登入后，右上角选择【我的】，点击【账号中心】，进入个人中心界面。 2. 在左侧导航栏点击【统一身份认证】，进入统一认证服务IAM。 3. 在左侧导航栏点击【用户】页签，点击右上角【创建用户】。 4. 填写子账号的相关信息，包含用户名、邮箱、手机号等，并设置密码。设置完成点击右下角【下一步】。 5. 如无用户组请先创建用户组，如有可点击【添加】，添加进该用户组之后，会自动显示在右侧【已选用户组】窗口。如后续从用户组删除该用户，可点击【移除】。admin用户组为拥有所有操作权限的用户组，您可根据需要加入此用户组或者加入自行创建的用户组。 6. 加入用户组后，点击右下角【下一步】，将会显示创建成功。点击【返回用户列表】，可以看到创建的子账户。 7. 选择左侧导航栏【企业项目】页签，可以看到默认的企业项目，您也可以点击右上角【创建企业项目】按钮新创建一个企业项目。点击右侧的【查看用户组】可进行查看和设置企业项目下的用户组。 8. 点击【设置用户组】，并选择可选的用户组，点击右箭头移动至右侧窗口，并点击【确定】。点击【移除】按钮可将用户组从企业项目中移除。如果您在上一步骤中创建了新的企业项目，也需要进行该步骤设置用户组。 9. 在新添加的用户组右侧选择【设置策略】，可以搜索DRDS相关的策略，勾选策略，点击右移箭头移动至右侧窗口，并点击【确定】。确认后会提示操作成功，该步骤是为用户组的用户设置策略。 10. 退出当前账号，并使用步骤4中创建的子账号和密码登录，选择相应资源池和企业项目，您可看到主账户创建的资源。 11. 您也可以利用子账户创建开通实例。

本节主要介绍控制台的功能概述。 目前，OBS管理控制台提供的功能如下表所示： 功能 说明 桶基本操作 指定region（不同服务区域）创建不同存储类别的桶、删除桶、修改桶的存储类别、复制桶的配置信息等。 对象基本操作 管理对象，包括上传（含多段上传功能）、下载、删除、修改对象的存储类别、恢复归档存储对象等。 服务端加密 用户可根据需要对对象进行服务端加密，使对象更安全的存储在OBS中。 对象元数据 根据用户需要为对象设置属性。 碎片管理 碎片管理功能可以清除由于对象上传失败而产生的碎片。 多版本控制 管理桶的多版本状态，允许桶内同一个对象存在多个版本。 日志记录 支持对桶的访问请求创建并保存访问日志记录，可用于进行请求分析或日志审计。 权限控制 支持通过IAM策略、桶策略&对象策略和桶/对象ACL对OBS进行访问控制。 生命周期管理 支持设置桶的生命周期管理策略，实现定时删除桶中的对象或者定时转换对象的存储类别。 跨区域复制 跨区域复制是指通过创建跨区域复制规则，在同一个帐号下，将一个桶（源桶）中的数据自动、异步地复制到不同区域的另外一个桶（目标桶）中。跨区域复制能够为用户提供跨区域数据容灾的能力，满足用户数据复制到异地进行备份的需求。 标签 用于对OBS中的桶进行标识和分类。 静态网站托管 支持设置桶的网站属性，实现静态网站托管；也可设置网页重定向，访问桶资源可以重定向至指定的主机。 防盗链 提供防盗链功能，防止OBS中的对象链接被其他网站盗用。 跨域资源共享 跨域资源共享（CORS）是由W3C标准化组织提出的一种网络浏览器的规范机制，定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中，由于同源安全策略（Same Origin Policy，SOP）的存在，不同域之间的网站脚本和内容是无法进行交互的。 归档数据直读 您可以为桶开启归档数据直读，开启后存储类别为归档存储的对象可以直接下载，无需提前恢复。归档数据直读会收取相应的费用。 桶清单 桶清单功能可以定期生成桶内对象的相关信息，保存在CSV格式的文件中，并上传到您指定的桶中。 天翼云各区域支持的能力不一致，具体清单参见功能特性。

接口描述 该接口下了一个新购单，需要登录到天翼云我的订单页面支付订单之后才能完成实例创建。 接口约束 无 URI POST /v1/eop/purchaseorder 请求参数 参数 是否必填 参数类型 说明 示例 下级对象 : orders 是 Array 订单项 List OrderItem 参数 是否必填 参数类型 说明 示例 下级对象 : cycleType 是 String 订购周期类型；3 表示按月订购；5 表示按一年订购；6 表示按两年订购；7表示按三年订购 3 instanceCnt 是 Integer 订购数量；大于0且小于50 1 cycleCnt 是 Integer 订购周期，大于0，订购时长最长不能超过384个月。cycleCnt为1，cycleType为3时，表示订购1个月 1 items 是 Array 包含虚机、存储、备份三部分，由resourceType标识 List RdsFlavor虚机部分 参数 是否必填 参数类型 说明 示例 下级对象 : resourceType 是 String 资源类型，虚机为PGSQLVM PGSQLVM itemConfig 是 Object RdsFlavorVM RdsFlavorVM 参数 是否必填 参数类型 说明 示例 下级对象 : dbversion 否 String 数据库版本，默认为12.0; 需根据资源池支持的版本来填写，建议填12.0。 12.0 vpcId 是 String VPC ID，可通过接口【查询VPC列表】获取 b3572a695af8458bbf146fdbf31f7063 subnetId 是 String 子网ID，可通过接口【查询子网列表】获取 7d3fe61db2794c2ab190afd9754125b4 secgroups 是 String 安全组ID，可通过接口【查询安全组列表】获取 aa8ddfb7f0424c57bb257df09d5c732a cpuNum 是 Integer CPU核数和内存大小，需按照资源池所支持的实例规格填写。常用的规格有：2C4G，2C8G，4C8G，4C16G，8C16G，8C32G，16C32G，16C64G 2 memSize 是 Integer 4 edition 是 String 可选值：standby（主备）、single（单机） standby dbName 是 String 数据库名称 admin dbPassword 是 String 数据库密码，832位，且必须含有数字，小写字母，大写字母，特殊字符 RdsFlavor存储部分 参数 是否必填 参数类型 说明 示例 下级对象 resourceType 是 String 资源类型，存储为PGSQLEBSC PGSQLEBSC itemValue 否 Integer 磁盘容量,默认为100，最低为100 100 itemConfig 是 Object 磁盘配置 RdsFlavorEBSC RdsFlavorEBSC 参数 是否必填 参数类型 说明 示例 下级对象 : volumeType 是 String 磁盘类型,默认为SATA;可选值：SATA、SSD、SAS;需要根据资源池是否支持该类型来填写。 SATA RdsFlavor备份部分 参数 是否必填 参数类型 说明 示例 下级对象 : resourceType 是 String 资源类型，为PGSQLBACKUP PGSQLBACKUP itemValue 否 Integer 磁盘容量，默认为100,最低为100。需大于等于存储部分的磁盘容量 100 itemConfig 是 Object 磁盘配置 RdsFlavorBACKUP RdsFlavorBACKUP 参数 是否必填 参数类型 说明 示例 下级对象 volumeType 是 String 磁盘类型，目前只能为SATA SATA

本文介绍全站加速资源包的选购指导。 当前天翼云全站加速产品可订购的资源包包括流量包、静态https请求包、动态请求包、上传加速流量包、websocket流量包。 全站加速支持订购面向中国内地和全球（不含中国内地）的资源包，客户可按实际业务需求选购额度匹配的规格。 选购案例 客户是金融行业，需要对其官网做加速，以解决其官网访问卡顿、接口响应慢的问题。 应用场景：静态图片、文字以及动态接口类。 加速区域：中国内地。 客户诉求：无上传、websocket需求。网站使用量相对变化不大，希望购买足额资源包方式，不希望使用按量付费方式。 业务资源消耗的预估如下： 业务使用明细 业务额度评估 全站加速下行流量 下行流量：约16.6TB/月 静态https请求数 静态https请求数：约15000万次/月 动态请求数 动态https请求数+动态http请求数约：120万次/月 资源包选购分析 如下为全站加速（中国内地）资源包对应的规格和标准资费。 计费项 阶梯/规格 标准资费（元/个） 有效期 流量包 100GB 17 一年 流量包 500GB 85 一年 流量包 1TB 170 一年 流量包 5TB 850 一年 流量包 10TB 1700 一年 流量包 50TB 7650 一年 流量包 200TB 25500 一年 流量包 1PB 127500 一年 静态https请求包 1000万次 40 一年 静态https请求包 1亿次 360 一年 静态https请求包 10亿次 3200 一年 静态https请求包 100亿次 28000 一年 静态https请求包 1000亿次 200000 一年 动态请求包 100万次 13 一年 动态请求包 1000万次 128 一年 动态请求包 1亿次 1275 一年 动态请求包 10亿次 12500 一年 动态请求包 100亿次 120000 一年 根据客户业务额度预估的下行流量约200TB/年，静态https请求数约180000万次/年，动态请求数约1440万次/年。 流量包订购参考：订购1个200TB的下行流量包，标准价格为25500元。 静态请求包订购参考： 订购18个10000万次的静态https请求包，总计标准价格为18x3606480元。 订购2个100000万次的静态https请求包，总计标准价格为2x32006400元。 订购1个100000万次的静态https请求包，8个10000万次的静态https请求数包，总计标准价格为1x3200+8x3606080元。 动态请求包订购参考： 订购2个1000万次的动态请求包，总计标准价格为2x128256元。 订购1个1000万次的动态请求包，5个100万次的动态请求包，总计标准价格为1x128+5x13193元。

本文为您介绍如何通过Kibana向天翼云云搜索服务Elasticsearch实例导入数据。 Kibana 提供的Dev Tools控制台允许直接在浏览器中通过REST API向Elasticsearch发出查询和数据操作请求。 Kibana可视化界面提供了简单的数据导入功能，适用于小规模数据的手动导入场景，特别是在测试和快速验证场景中非常实用。 适用场景 快速测试与调试：适用于开发阶段测试查询语句、创建索引、插入和更新数据等操作。 简单数据管理：如果只是少量数据操作，如插入、更新、删除数据或查看结果，Kibana提供了方便的Web界面操作。 无需编程环境：不需要安装额外的客户端工具，只要能访问Kibana即可操作Elasticsearch。 前提条件 已经开通天翼云云搜索Elasticsearch实例。 查看Kibana的终端可以访问到云搜索实例，设置好5601端口的网络安全策略。 实际操作 点击Kibana输入用户名登录后，进入首页。 右上角可以点击开发工具进入开发工具界面。 如果没有索引，可以创建一个测试索引名为testindex： plaintext PUT /testindex { "mappings": { "properties": { "mytest": { "type": "text" } } } } 执行创建索引操作会返回如下信息： plaintext { "acknowledged" : true, "shardsacknowledged" : true, "index" : "testindex" } 如果有索引可以使用已有的索引。 往索引中写入数据，以上面创建的索引为例。 1. 写入单条数据，可以使用下面命令写入一条id为1的数据： plaintext POST /testindex/doc/1 { "mytest": "xiaoming" } 执行上面的命令，返回下面的结果即导入数据成功。 plaintext { "index" : "testindex", "type" : "doc", "id" : "1", "version" : 1, "result" : "created", "shards" : { "total" : 2, "successful" : 2, "failed" : 0 }, "seqno" : 0, "primaryterm" : 1 } 2. 批量写数据，可以使用下面命令写入一批数据： plaintext POST /testindex/bulk {"index":{"id": 1}} {"mytest": "xiaoming"} {"index":{"id": 2}} {"mytest": "xiaohong"} {"index":{"id": 3}} {"mytest": "xiaoli"} {"index":{"id": 4}} {"mytest": "xiaozhang"} {"index":{"id": 5}} {"mytest": "xiaowang"} 执行上面的命令，返回下面的结果即导入数据成功。 plaintext { "took" : 10, "errors" : false, "items" : [ { "index" : { "index" : "testindex", "type" : "doc", "id" : "1", "version" : 1, "result" : "created", "shards" : { "total" : 2, "successful" : 2, "failed" : 0 }, "seqno" : 0, "primaryterm" : 1, "status" : 201 } }, .... { "index" : { "index" : "testindex", "type" : "doc", "id" : "5", "version" : 1, "result" : "created", "shards" : { "total" : 2, "successful" : 2, "failed" : 0 }, "seqno" : 4, "primaryterm" : 1, "status" : 201 } } ] }

本文主要介绍物理机的权限管理。 如果您需要对天翼云上购买创建的物理机服务器资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制天翼云云服务资源的访问。 通过IAM，您可以在帐号中给员工创建IAM用户，并授权控制他们对天翼云资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有物理机的使用权限，但是不希望他们拥有删除物理机等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用物理机，但是不允许删除物理机的权限，控制他们对物理机资源的使用范围。 如果天翼云帐号已经能满足您的要求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用物理机服务的其它功能。 IAM是天翼云提供权限管理的基础服务，无需付费即可使用，您只需要为您帐号中的资源进行付费。 物理机权限 默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 物理机部署时通过物理区域划分，为项目级服务。授权时，“作用范围”需要选择“区域级项目”，然后在指定区域（如江苏苏州）对应的项目（cnjssz1）中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问物理机时，需要先切换至授权区域。 根据授权精度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于天翼云云服务平台各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对物理机服务，管理员能够控制IAM用户仅能对某一类物理机资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分。 物理机常用操作与系统权限的关系 如下表： 操作 物理机 FullAccess 物理机 CommonOperations 物理机 ReadOnlyAccess 创建物理机 √ x x 查看物理机列表 √ √ √ 查询物理机详情 √ √ √ 修改物理机名称 √ x x 启动物理机 √ √ x 关闭物理机 √ √ x 重启物理机 √ √ x 物理机挂载数据卷 √ √ x 物理机卸载数据卷 √ √ x 重装裸物理机操作系统 √ x x 一键重置物理机的密码 √ x x

本章节主要介绍翼MapReduce服务执行健康检查。 操作场景 该任务指导用户在日常运维中完成集群进行健康检查的工作，以保证集群各项参数、配置以及监控没有异常、能够长时间稳定运行。 说明 系统健康检查的范围包含Manager、服务级别和主机级别的健康检查： Manager关注集群统一管理平台是否提供管理功能。 服务级别关注组件是否能够提供正常的服务。 主机级别关注主机的一系列指标是否正常。 系统健康检查可以包含三方面检查项：各检查对象的“健康状态”、相关的告警和自定义的监控指标，检查结果并不能等同于界面上显示的“健康状态”。 操作步骤 手动执行所有服务的健康检查 1. 单击“服务管理”。 2. 选择“更多 > 启动服务健康检查”，启动服务健康检查。 说明 集群健康检查包含了Manager、服务与主机状态的检查。 在MRS Manager界面，选择“系统设置 > 维护 > 健康检查 > 集群健康检查”，也可以执行集群健康检查。 手动执行健康检查的结果可直接在检查列表左上角单击“导出报告”，选择导出结果。 手动执行单个服务的健康检查 1. 选择“服务管理”，在服务列表中单击服务指定名称。 2. 选择“更多 > 启动服务健康检查”启动指定服务健康检查。 手动执行主机健康检查 1. 单击“主机管理”。 2. 勾选待检查主机前的复选框。 3. 选择“更多 > 启动主机健康检查”启动指定主机健康检查。

本章节主要介绍翼MapReduce的OMS维护页面概述操作。 总览 登录FusionInsight Manager以后，选择“系统 > OMS”后，打开OMS维护页面，管理员可以在此页面对OMS进行维护操作，包含查看基本信息、查看OMS业务模块的服务状态，也可以手工触发健康检查。 说明 OMS为操作维护系统的管理节点，OMS节点一般有两个，互为主备。 基本信息 FusionInsight Manager支持显示当前OMS的关联信息，包含如下表所示内容： OMS信息说明 项目 说明 版本 表示OMS版本，与FusionInsight Manager版本相同。 IP模式 表示当前集群网络的IP地址模式。 HA模式 表示OMS工作模式，由安装FusionInsight Manager时的配置文件指定。 当前主用 表示OMS主进程节点主机名，即主管理节点主机名。单击主机名可进入对应的主机详情页面。 当前备用 表示OMS备进程节点主机名，即备管理节点主机名。单击主机名可进入对应的主机详情页面。 持续时间 表示OMS进程启动持续的时间。 OMS服务状态 FusionInsight Manager支持显示OMS所有业务模块的运行状态，每个业务模块的状态显示为表示运行正常。 健康检查 管理员可以在OMS维护页面单击“健康检查”开始为OMS的状态进行检查。如果某些检查项存在问题，可直接打开检查说明进行处理。

本章主要介绍翼MapReduce的管理本地快速恢复任务功能。 操作场景 使用DistCp备份数据时，本集群HDFS中将保存备份数据的快照信息。FusionInsight Manager支持使用本地的快照快速恢复数据，减少从备集群恢复数据使用的时间。 管理员可以通过FusionInsight Manager与本集群HDFS保存的快照信息，创建本地快速恢复任务并执行恢复任务。 操作步骤 1.登录FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.在备份任务列表已创建任务的“操作”列，单击“恢复”。 3.确认界面是否提示“没有可快速恢复的数据，请在恢复管理界面创建恢复任务进行恢复。”。 是，备份任务未在主集群产生备份数据快照，任务结束。 否，可以创建本地快速恢复任务，执行4。 说明 元数据不支持快速恢复。 4.在“任务名称”填写本地快速恢复任务的名称。 5.在“备份配置”选择数据源。 6.在“可恢复点列表”选择一个包含目标备份数据的恢复点。 7.在“队列名称”填写任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 8.在“数据配置”选择需要恢复的对象。 9.单击“校验”，界面显示“校验恢复任务配置成功”。 10.单击“确定”。 11.在恢复任务列表已创建任务的“操作”列，单击“执行”，开始执行恢复任务。 任务执行完成后，“任务状态”显示为“成功”。

本章节主要介绍翼MapReduce服务在不同场景下的应用。 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（ExtractTransformLoad）处理形成模型化数据，以便提供给各个业务模块进行分析梳理，这类业务通常有以下特点： 对执行实时性要求不高，作业执行时间在数十分钟到小时级别。 数据量巨大。 数据来源和格式多种多样。 数据处理通常由多个任务构成，对资源需要进行详细规划。 例如在环保行业中，可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析，在1小时内MRS可以完成10TB的天气数据分析。 详见下图：环保行业海量数据分析场景 该场景下MRS的优势如下所示。 低成本：利用OBS实现低成本存储。 海量数据分析：利用Hive实现TB/PB级的数据分析。 可视化的导入导出工具：通过可视化导入导出工具Loader，将数据导出到DWS，完成BI分析。 海量数据存储场景 用户拥有大量结构化数据后，通常需要提供基于索引的准实时查询能力，如车联网场景下，根据汽车编号查询汽车维护信息，存储时，汽车信息会基于汽车编号进行索引，以实现该场景下的秒级响应。通常这类数据量比较庞大，用户可能保存1至3年的数据。 例如在车联网行业，某车企将数据储存在HBase中，以支持PB级别的数据存储和毫秒级的数据详单查询。 详见下图：车联网行业海量数据存储场景 该场景下MRS的优势如下所示。 实时：利用Kafka实现海量汽车的消息实时接入。 海量数据存储：利用HBase实现海量数据存储，并实现毫秒级数据查询。 分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯的数据，实时传入到MRS的流式集群中进行实时告警。 详见下图：梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。 实时数据采集：利用Flume实现实时数据采集，并提供丰富的采集和存储连接方式。 海量的数据源接入：利用Kafka实现万级别的电梯数据的实时接入。

海量文件系统是天翼云文件存储的产品之一,本文为您介绍创建文件系统的步骤。 操作场景 文件系统支持挂载至多台云主机、物理机等计算服务，从而实现文件系统的共享访问。本文介绍如何创建文件系统实例，包含包年包月和按量付费两种计费模式。 说明 本服务当前在华东1支持创建按实际使用量付费的文件系统实例，您可以提交工单申请白名单试用，具体参考按实际用量付费计费说明。 前提条件 创建文件系统之前，请确认该地域已创建VPC，具体操作请参考创建VPC、子网搭建私有网络。 文件系统和云主机须归属于相同VPC，才能保证网络互通，实现文件的挂载访问。 操作步骤 1. 登录天翼云控制中心，单击管理控制台左上角的，选择地域。 2. 选择“存储>海量文件服务 OceanFS”，进入OceanFS文件系统列表页面。 3. 点击“创建OceanFS实例”，进入创建文件系统页面。 4. 根据界面提示配置参数，参数说明如表所示： 参数 说明 计费方式 支持包年包月和按量付费。预付费用户选择按量计费请保证账户余额超过100元。 地域 从地理位置和网络时延维度划分，同一个地域内共享弹性计算、弹性文件服务、VPC网络、弹性公网IP、镜像等公共服务。 企业项目 选择归属的企业项目，默认为default，只能选择已创建的企业项目。启用企业项目管理功能后可进行企业项目迁移。 可用区 同一地域内，电力和网络互相独立的地理区域。文件系统可被同一地域不同可用区的云主机挂载访问。 名称 系统自动生成名称，支持用户自定义修改，不可重复。文件系统名称只能由数字、“”、字母组成，不能以数字和“”开头、且不能以“”结尾，2~255字符。 存储类型 支持OceanFS容量型。 协议类型 支持CIFS协议、NFS协议。NFS协议仅支持Linux，CIFS协议仅支持Windows。 说明 不同资源池覆盖情况不同，以订购页面实际展示为准。各资源池能力情况可参考产品能力地图。 选择网络 选择虚拟私有云（VPC），若当前地域没有虚拟私有云，点击“创建虚拟私有云”，创建完成后刷新可选择新建的虚拟私有云。 注意 文件系统须与计算服务同属一个VPC，才能挂载成功。 终端节点 默认关闭。开启后，创建开启后本服务将为您创建免费的终端节点（VPCE），自动连接OceanFS文件存储服务。若挂载物理机必须通过终端节点访问OceanFS文件系统，其它计算服务如云主机、容器为非必须。创建VPCE后将返回该VPC专属的挂载地址，通常需要1~3分钟。 注意 为您创建的VPC终端节点（VPCE）为免费服务 ，可以在“网络VPC终端节点”控制台查看到，请务必不要删除或修改“VPCEoceanfs”开头的VPCE，否则可能导致客户端与文件系统断开连接，影响业务进行。 若系统检测到您选用的VPC中已有VPC终端节点，将复用该VPC终端节点。 IP地址类型 选择创建VPC终端节点后需要选择子网。目前仅支持IPv4类型的VPC终端节点，VPC终端节点将占用VPC子网中的一个IP，您可以选择对应的子网，方便进行网络规划。 容量 100GB起步，步长1GB。可以选择按GB或TB 自定义容量。默认单文件系统最大支持1PB，可提交工单申请更大容量，最大可申请至4PB。 说明 单用户默认总配额为500TB，若需要创建500TB以上的文件系统实例，请先提交工单申请提高用户总容量配额。 按量付费是根据订购时配置容量按小时计费，不是按实际使用量计费，开通后即开始计费。华东1可申请白名单试用按实际用量付费的文件系统实例。 购买时长 可选择1个月3年。选择按年订购可享受包年一次性折扣，参考包年包月计费说明。 自动续订，是否启动自动续订。按月购买：自动续订周期为1个月；按年购买：自动续订周期为1年。 数量 同一订单创建相同配置文件系统的数量，受用户配额约束。 同时创建多个实例时，系统将自动在名称末尾增加数字编号后缀进行区分。例如数量为2时，名称为“oceanfs36d8001、oceanfs 36d8002"。 5. 配置完成后，点击“下一步”，进入购买界面，确定相关规格配置，阅读天翼云海量文件服务协议。 6. 确认无误，勾选“我已阅读并同意相关协议”，单击“立即购买”，包年/包月模式下完成支付，即完成文件系统的购买。 7. 返回OceanFS控制台，等待文件系统的状态变为“可用”，表示文件系统创建成功。

本章节主要介绍翼MapReduce服务ZooKeeper健康检查指标项说明。 ZooKeeper服务处理请求平均延时 指标项名称 ：ZooKeeper服务处理请求平均延时 指标项含义 ：检查ZooKeeper服务处理请求的平均延时，如果大于300毫秒，则认为不健康。 恢复指导： 如果该指标项异常，则需要检查集群的网络速度是否正常、内存或CPU使用率是否过高。 ZooKeeper连接数使用率 指标项名称 ：ZooKeeper连接数使用率 指标项含义 ：检查ZooKeeper内存使用率是否超过80%。如果超过阈值，则认为不健康。 恢复指导 ：如果该指标项异常，建议增加ZooKeeper服务可以使用的内存。可以通过ZooKeeper服务配置中的“GCOPTS”配置项参数Xmx来修改，修改完成需重启ZooKeeper服务。 服务健康状态 指标项名称： 服务状态 指标项含义 ：检查ZooKeeper服务状态是否正常。如果状态不正常，则认为不健康。 恢复指导： 如果该指标项异常，建议检查KrbServer、LdapServer两个服务的健康状态是否为故障并进行处理。然后登录ZooKeeper客户端，确认ZooKeeper是否无法写入数据，根据错误提示排查ZooKeeper写数据失败的原因。最后参考告警ALM13000进行处理。 检查告警 指标项名称： 告警信息 指标项含义 ：检查服务是否存在未清除的告警。如果存在，则认为不健康。 恢复指导： 如果该指标项异常，建议参见告警进行处理。

本节介绍翼甲控制台的设置功能。 告警配置 用户可在该界面根据业务需要添加告警规则。 （1）开通短信告警：点击“去开通”，可前往开通短信告警功能； （2）添加规则：点击“添加规则”，可添加新的告警规则，可根据具体业务需求对告警规则进行配置。 （3）删除：在列表首列点选告警规则，点击“批量删除”，可完成对规则的批量删除；在单条规则的最右侧操作列，点击“删除”，可完成对单条规则的删除。 （4）编辑：在已创建告警规则的最右侧操作列，点击“编辑”，可对单条规则的内容配置及启用状态进行编辑。 （5）复制：在已创建规则的最右侧操作列，点击“复制”，将会弹出“复制规则”确认框，用户可基于当前告警规则的字段进行二次编辑，点击确认后可创建规则。 （6）导出：点击“导出”，可导出告警规则信息的JSON文件。 （7）导入：将告警规则以JSON文件的格式编辑好后（可参照导出文件的模板），点击“导入”即可完成规则批量导入。 版本升级 在版本升级界面，用户可根据业务需求对防火墙、入侵防御特征库、病毒防护特征库、URL分类库等4个领域的内容，自定义配置自动升级规则及升级时间。

本章节主要介绍 翼MapReduce的管理资源分布功能。 用户需要了解服务和主机关键监控指标中最高、最低或平均监控数据形成的曲线，即资源分布情况时，可以在MRS Manager上查看，支持查询1小时以内的监控数据。 用户也可以在MRS Manager上修改资源分布，使服务和主机的资源分布图表中，可以按自定义的数值显示一条或多条最高、最低监控数据形成的曲线。 部分监控指标的资源分布不记录。 操作步骤 查看服务监控指标的资源分布 1. 在MRS Manager，单击“服务管理”。 2. 单击服务列表中指定的服务名称。 3. 单击“资源贡献排名”。 “指标”中选择服务的关键指标，MRS Manager将显示过去1小时内指标的资源分布情况。 查看主机监控指标的资源分布 1. 单击“主机管理”。 2. 单击主机列表中指定的主机名称。 3. 单击“资源贡献排名”。 “指标”中选择主机的关键指标，MRS Manager将显示过去1小时内指标的资源分布情况。 配置资源分布 1. 在MRS Manager，单击“系统设置”。 2. 在“配置”区域“监控和告警配置”下，单击“资源贡献排名配置”。 3. 修改资源分布的显示数量。 “TOP数量”填写最大值的显示数量。 “BOTTOM数量”填写最小值的显示数量。 说明 最大值与最小值的资源分布显示数量总和不能大于5。 4. 单击“确定”保存设置。 界面右上角提示“保存TOP数量和BOTTOM数量成功。”。

本章节主要介绍翼MapReduce的审计管理页面操作。 操作场景 “审计”页面记录用户对集群Manager页面操作信息。管理员可通过该页面查看用户在Manager上的历史操作记录。审计管理包含的审计内容信息，请参考关于日志章节中的“审计日志”。 概述 登录FusionInsight Manager，单击“审计”，界面展示如下图所示FusionInsight Manager审计信息，包括操作类型、安全级别、开始时间、结束时间、用户、来源名称、主机、服务、实例、操作结果等。 审计信息列表 用户可以在“所有安全级别”中选择“高危”、“危险”、“一般”和“提示”级别的审计日志。 在高级搜索中，用户可设置过滤条件来查询审计日志。 a. 在“操作类型”中，用户可根据用户管理、集群、服务、健康检查等来指定操作类型查询对应的审计日志。 b. 在“服务”中，用户可选择相应的服务来查询审计日志。 说明 在服务中选择“”，表示除服务以外其他类型的审计日志。 c. 在“操作结果”中，用户可选择所有、成功、失败和未知来查询审计日志。 单击手动刷新当前页面，也可在修改审计表格显示的列。 单击“导出全部”，可一次性导出所有审计信息，可导出“TXT”或者“CSV”格式。

本章节主要介绍翼MapReduce服务Loader健康检查指标项说明。 ZooKeeper健康状态 指标项名称 ：ZooKeeper健康状态 指标项含义 ：检查ZooKeeper健康状态是否正常。如果ZooKeeper服务状态不正常，则认为不健康。 恢复指导 ：如果该指标项异常，建议参见告警进行处理。 HDFS健康状态 指标项名称 ：HDFS健康状态 指标项含义 ：检查HDFS健康状态是否正常。如果HDFS服务状态不正常，则认为不健康。 恢复指导 ：如果该指标项异常，建议参见告警进行处理。 DBService健康状态 指标项名称 ：DBService健康状态 指标项含义 ：检查DBService健康状态是否正常。如果DBService服务状态不正常，则认为不健康。 恢复指导 ：如果该指标项异常，建议参见告警进行处理。 Yarn健康状态 指标项名称 ：Yarn健康状态 指标项含义 ：检查Yarn健康状态是否正常。如果Yarn服务状态不正常，则认为不健康。 恢复指导 ：如果该指标项异常，建议参见告警进行处理。 MapReduce健康状态 指标项名称 ：MapReduce健康状态 指标项含义 ：检查MapReduce健康状态是否正常。如果MapReduce服务状态不正常，则认为不健康。 恢复指导 ：如果该指标项异常，建议参见告警进行处理。 Loader进程状态 指标项名称 ：Loader进程状态 指标项含义 ：检查Loader进程状态是否正常。如果状态不正常，则认为不健康。 恢复指导 ：如果该指标项异常，建议参见告警进行处理。

本章主要介绍翼MapReduce的配置Controller与Agent间通信加密功能。 操作场景 安装集群后Controller和Agent之间需要进行数据通信，在通信的过程中采用了Kerberos认证，出于对集群性能的考虑，通信过程默认不加密，对于一些安全要求较高用户可以采用以下方式进行加密。 对系统的影响 执行加密操作时，会自动重启Controller和所有Agent，重启期间会造成FusionInsight Manager暂时中断。 大集群下会导致管理节点性能有所下降，建议集群不超过200节点时开启该功能。 前提条件 已确认主备管理节点IP。 操作步骤 1.以omm用户登录到主管理节点。 2.执行以下命令，防止超时退出。 TMOUT0 说明 执行完本章节操作后，请及时恢复超时退出时间，执行命令 TMOUT 超时退出时间 。例如： TMOUT600 ，表示用户无操作600秒后超时退出。 3.执行以下命令，切换目录。 cd ${CONTROLLERHOME}/sbin 4.执行以下命令启用通信加密： ./enableRPCEncrypt.sh t 执行 sh ${BIGDATAHOME}/omserver/om/sbin/statusoms.sh 查看主管理节点Controller的“ResHAStatus”是否为“Normal”，并可以重新登录FusionInsight Manager表示更改成功。 5.如果需要关闭加密模式，执行以下命令： ./enableRPCEncrypt.sh f 执行 sh ${BIGDATAHOME}/omserver/om/sbin/statusoms.sh ，查看主管理节点Controller的“ResHAStatus”是否为“Normal”，并可以重新登录FusionInsight Manager表示更改成功。

本章节主要介绍翼MapReduce的管理全局用户策略操作。 操作场景 如果租户配置使用Superior调度器，那么系统可以控制具体用户使用资源调度器的行为，包含： 最大运行任务数 最大挂起任务数 默认队列 操作步骤 添加策略 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 说明 defaults(default setting)表示如果一个用户未配置全局用户策略，则默认使用defaults所指定的策略。该策略不可删除。 4. 单击“添加全局用户策略”，在弹出窗口中填写以下参数。 集群：选择需要操作的集群。 用户名：表示需要控制资源调度的用户，请输入当前集群中已存在用户的名称。 最大运行任务数：表示该用户在当前集群中能运行的最大任务数量。 最大挂起任务数：表示该用户在当前集群中能挂起的最大任务数量。 默认队列：表示用户的队列，请输入当前集群中已存在队列的名称。 修改策略 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 4. 在指定用户策略所在行，单击“操作”列中的“修改”。 5. 调整相关参数后，单击“确定”。 删除策略 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 4. 在指定用户策略所在行，单击“操作”列中的“删除”。 在弹出窗口单击“确定”。

本章节主要介绍翼MapReduce服务的配置修改建议说明。 操作场景 当节点组内ECS实例的规格（vCPU和内存）无法满足您的业务需求时，您可以使用配置升级功能提升ECS实例规格。升级配置后需要手动修改HDFS、YARN和Spark等服务的配置信息。本文为您介绍如何在翼MR Manager的“配置管理”页面修改配置项。 前提条件 已创建集群。 操作步骤 在翼MR Manager中，单击“运维与配置”。 1. 单击“配置管理”。 2. 选择“所选集群服务”，点击查询，即可在当前页面修改配置信息。 配置修改建议说明 1. Doris：Doris所在节点配置升级后，Doris FE建议使用节点一半内存。 2. Elasticsearch：一个ES节点，内存建议不超过64G。ES所在节点配置升级后，ES会自动根据节点情况设置内存值，一般无须用户手动修改，但需要重启集群。如果想手动设置，可以修改jvm.options文件配置Xms30g、Xmx30g参数，并重启集群。 3. HBase：HBase所在节点配置升级后，修改建议如下： hbasesite.xml：hbase.regionserver.handler.count 说明 一般跟CPU核数相同。 hbaseenv.sh：export HBASEMASTEROPTS ："Xmsg Xmxg" 说明 master不消耗很多内存，一般默认不添加或者分配2~8G左右。 hbaseenv.sh：export HBASEREGIONSERVEROPTS："Xmsg Xmxg " 说明 regionserver需要较多内存，一般配置内存配额的一半或更多。 4. HDFS：HDFS所在节点配置升级后，可以根据hadoopenv.sh 参数配置进行，通过调整服务的内存大小调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。NameNode 建议文件、目录、数据块之和1亿，配置50G。 5. Hive：Hive所在节点配置升级后，可以通过hiveenv.sh统一参数配置来进行，也可以在作业提交时使用额外参数指定来进行。通过调整服务的内存大小调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。内存大小可以根据机器的总内存而定，建议初始值为总内存大小的10%，后续根据性能需求调整。 6. Kafka：Kafka所在节点配置升级后，建议配置如下： kafkaenv.sh设置jvm配置参数：调整jvm堆大小，通过调整参数：export KAFKAHEAPOPTS"Xmx20G Xms20G Xmn4g"设置堆大小。 server.properties文件建议修改的配置项： num.io.threads：修改写磁盘的线程数，建议配置为CPU核数的50%； num.replica.fetchers：修改副本拉取线程数，建议配置为CPU核数50%的1/3； num.network.threads：修改数据传输线程数，建议配置为CPU核数的50%的2/3； replica.fetch.max.bytes：副本拉取数据量的大小。内存增加，可以适当加大该值； socket.send.buffer.bytes：调整socket发送的数据量。内存增加，可以适当加大该值； socket.receive.buffer.bytes：调整socke接受的数据量。内存增加，可以适当加大该值； socket.request.max.bytes：socket请求的数据量。内存增加，可以适当加大该值。 7. Kerberos：建议保持默认值，无需修改配置。 8. Kibana：Kibana是一个基于NodeJS的单页web应用，一般情况下，对内存CPU占用很少，无须修改内存、CPU等配置。 9. Kyuubi：Kyuubi一般情况下，对内存CPU占用很少，无须修改内存、CPU等配置。 10. OpenLDAP：建议保持默认值，无需修改配置。 11. Ranger：Ranger所在节点配置升级后，修改建议如下： rangeradmin通过{installdir}/ews/rangeradminservices.sh中变量 rangeradminmaxheapsize的值修改JMX，JAVAOPTS修改Xmx、Xmn等JVM参数，一般设置18g，1K policy建议设置为1G，1W policy建议设置为8G。 rangerusersync通过/{installdir}/rangerusersyncservices.sh中变量rangerusersyncmaxheapsize 的值修改JMX，JAVAOPTS修改Xmx Xmn等JVM参数，一般设置18g，1K policy建议设置为1G，1W policy建议设置为8G。 12. Spark：Spark所在节点配置升级后，修改建议如下： spark.history.kerberos.principal和spark.history.kerberos.keytab为spark读写eventLog的租户，用户如有特殊需求自行更改。 spark.yarn.historyServer.address: 说明了history server的地址，用户如有特殊需求自行更改。 spark.dynamicAllocation.enabled 和 spark.dynamicAllocation.maxExecutors 分别控制动态和动态开启下能使用的最大资源，用户如有特殊需求自行更改。 spark.executor.cores 和 spark.executor.memory 确保spark.executor的每一个core分配到2~4g内存，标准是4g，具体视情况而定，设置core的memory设置过小executor容易oom。 13. Trino：Trino的服务包括coordinator和worker。Trino所在节点配置升级后，可以根据jvm.config参数配置进行，通过调整服务的内存大小调整服务的性能，如Xmx128g Xms128g，然后重启服务。 14. YARN：YARN所在节点配置升级后，可以根据yarnenv.sh 参数配置进行，通过调整服务的内存大小来调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。NM用于集群中作业的内存和CPU，需要修改NodeManager节点的yarnsite.xml中的yarn.nodemanager.resource.memorymb的值，该值用于所有作业的最多可用内存；以及yarn.nodemanager.resource.cpuvcores的值，该值用于所有作业的最多可用虚拟CPU核数。 15. ZooKeeper：ZooKeeper所在节点配置升级后，可通过配置java.env文件，在其中添加：export ZKSERVERHEAP2048（这里设置的单位默认是MB）。

本章节主要介绍通过弹性公网IP访问。 为了方便用户访问开源组件的Web站点，翼MapReduce集群支持通过为集群绑定弹性公网IP的方式，访问集群上托管的开源组件。该方式更加简便易操作，推荐使用该方式访问开源组件的Web站点。 绑定弹性公网IP 1. 在集群列表页面，单击“集群名称”列下需要绑定IP的集群名称，进入该集群信息页面。 2. 确定需要开通公网访问组件所在的节点。可以通过单击“访问链接与端口”，在“集群服务名称”中找到需要开通公网访问的组件，其“原生UI地址”中包含所在节点内网IP地址。 3. 单击“节点管理”，点击“节点组名称”列的下拉按钮，展开对应的节点信息，确定需要开通公网访问的节点，单击“操作”列的“更多”。 4. 单击“绑定弹性IP”，在“绑定弹性IP”的弹框中，如果您账号下没有可用的弹性公网IP，需要点击“+创建弹性公网IP”按钮跳转至新页面进行创建；如果您账号下有可用的弹性公网IP，可以通过下拉“弹性IP”的选择框选择IP后，点击“确认”进行绑定。 5. 绑定弹性IP后，根据需要对集群安全组规则进行相应的添加或修改，变更端口的访问权限。之后可以通过“公网IP：端口”的方式访问该开源组件的Web站点。

本章节主要介绍使用Hive加载HDFS数据并分析图书评分的实践。 MRS离线处理集群，可对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。 离线处理对处理时间要求不高，但是所处理数据量较大，占用计算存储资源较多，通常通过Hive/SparkSQL引擎或者MapReduce/Spark2x实现。 本实践基于天翼云翼MapReduce服务，用于指导您创建MRS集群后，使用Hive对原始数据进行导入、分析等操作，展示了如何构建弹性、低成本的离线大数据分析。 基本内容如下所示： 1. 创建MRS离线查询集群。 2. 将本地数据导入到HDFS中。 3. 创建Hive表。 4. 将原始数据导入Hive并进行分析。 场景描述 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 海量结构化数据分析汇总。 将复杂的MapReduce编写任务简化为SQL语句。 灵活的数据存储格式，支持JSON，CSV，TEXTFILE，RCFILE，SEQUENCEFILE，ORC（Optimized Row Columnar）这几种存储格式。 本实践以某图书网站后台用户的点评数据为原始数据，导入Hive表后通过SQL命令筛选出最受欢迎的畅销图书。

本文为您介绍如何使用自建Beats向天翼云云搜索服务Elasticsearch实例导入数据。 Beats是轻量级的数据收集器，专门用于将各种日志、指标、网络数据发送到Elasticsearch。常用的Beats包括 Filebeat、Metricbeat、Packetbeat等。 Filebeat是一种轻量级日志收集器，通常用于将文件系统中的日志文件或事件日志发送到Elasticsearch或Logstash。它适合简单的日志采集场景，能够有效处理系统、应用程序日志等。本文将以Filebeat为例，导入数据至Elasticsearch实例。 适用场景 轻量数据收集：适用于需要从大量分布式系统、服务器、容器中收集日志、监控指标等情况。 实时日志监控：Beats 能够实时收集日志并传送到 Elasticsearch，是实时日志分析场景的理想选择。 低延迟要求的场景：Beats设计为轻量级工具，占用资源少，适合资源受限的环境。 前提条件 已经开通天翼云云搜索Elasticsearch实例。 已经部署Filebeat且打通和Elasticsearch实例之间的网络。 Filebeat配置 Filebeat采集日志，需要配置Filebeat的配置文件，设置具体需要采集的日志路径。 具体根据实际的部署路径配置filebeat.yml。 采集日志 filebeat.inputs: type: log 采集的日志文件的路径。替换为自己日志的路径，可以使用通配符。 paths: /yourpath/.log output.elasticsearch: ip替换为Elasticsearch实例的地址。 hosts: [" 传入Elasticsearch实例的用户名和密码 username: "" password: ""

本小节介绍如何购买DDoS高防IP实例。 DDoS高防IP不支持试用。若需要使用DDoS高防IP，请参照本文订购步骤进行购买。 操作步骤 1. 使用天翼云账号登录DDoS高防IP管理控制台。 2. 单击“立即购买”进入订购页面。 3. 配置相关参数，根据需求进行购买。 参数 说明 基本信息 IP个数 默认为1个高防IP，不支持修改。 基本信息 接入方式 支持静态防护和动态防护。 静态防护：提供1个高防IP，在一个高防中心使用。 动态防护：提供1个高防IP，并且在多个高防中心使用，实现负载调度近源清洗。 基本信息 高防节点 仅“静态防护”接入方式需要选择高防节点。 当前提供了华北地区、华东地区1、华东地区2、华南地区共4个节点。 源站端口根据选择的防护节点有如下规则： 华北 1：可以选择任意端口进行转发； 华东 1：可以选择任意端口进行转发； 华东 2：可以选择任意端口进行转发； 华南 1：可以选择任意端口进行转发； 网站类业务：限定选择80、8080、8081、443、7443、8443之一。 非网站类业务：可以选择任意端口进行转发。 产品配置 业务类型 选择业务类型，支持非网站类和网站类。 网站类业务还需要填写域名个数。默认提供50个免费域名，可按需付费增加。增加步长为5个，最多支持200个域名。 产品配置 保底防护带宽 选择保底防护带宽，保底防护带宽包月计费。 注意 保底防护带宽选择100Gbps及以上时只能包年订购，支持1年~5年。 产品配置 回源业务带宽 默认赠送100Mbps回源带宽，可按需付费增加。 产品配置 端口数量 默认赠送50个端口，可按需付费增加。增加步长为5个，最多支持100个。 订购时长 可以单击加减号调整订购时长，步长为1；也可以在其中直接输入。 自动续订 支持开启“自动续订”，当服务到期前，系统会自动按照默认的续费周期生成续费订单并进行续费，无须用户手动续费。 按月购买，自动续费周期默认为1个月。 按年购买，自动续费周期默认为1年。 如需要修改自动续费周期，可进入天翼云“费用中心 > 订单管理 > 续订管理”页面，找到对应的资源进行修改。 企业/用户名称 该信息仅用于建立通知与防护功能，不做他用。 4. 在页面左下角确认配置费用后，勾选“我已阅读，理解并接受《天翼云高防IP产品服务协议》”，单击“立即订购”。 5. 进入付款页面，完成付款。

本小节介绍渗透测试的服务流程，帮助您了解服务开展过程。 渗透测试服务以人工服务为主，我们的渗透测试人员在取得您的授权后，将对目标系统进行全面的渗透测试工作，总体流程如下： 1. 客户订购与需求匹配的服务规格并下单付款。 2. 客户经理会与您取得联系，协助您完成《业务需求单》及《渗透测试授权书》的填写，您需要如实填写以下内容： 域名备案信息比对，必须为真实、合法信息。 被检测的IP主机信息。 如您为天翼云托管用户，需要提供域名清单，解析后必须为天翼云主机IP，才可提供渗透测试服务。 您所提供的应用URL描述须写明功能是什么或用途是什么。 业务接口人联系方式，您需提供一个具有对渗透测试方案及渗透测试过程中出现的问题有决定权的业务接口人联系人。 如您有安全防护设备，应在渗透测试开始阶段将渗透测试所用的公网IP加入安全防护设备白名单，避免因渗透测试工作带来的告警。（如在渗透测试开始阶段客户未将渗透测试所用的公网IP加入安全防护设备白名单，由此产生的告警及对渗透测试结果的影响，我方不承担责任。） 您需签订渗透测试授权书。 3. 我们会根据您提供的信息，与您进行沟通，编写渗透测试方案，并与您确认测试细节，双方确认无误后，将进入渗透测试环境，渗透测试工作主要包含如下步骤： 明确目标：确定渗透测试的范围，如IP、域名、内外网、整站或部分模块，确定规则，如能渗透到什么程度，是发现漏洞为止还是继续利用漏洞，确定需求，如Web应用的漏洞，业务逻辑漏洞，人员权限管理漏洞。 信息收集：在信息收集阶段要尽量收集关于项目软件的各种信息，例如，对于一个Web应用程序，要收集脚本类型、服务器类型、数据库类型以及项目所用到的框架、开源软件等。 漏洞探测：进行漏洞探测，包括手动和自动探测。 漏洞验证：对探测出的漏洞进行验证，确定其真实存在。 信息分析：对收集到的信息进行分析，尝试利用漏洞获取数据。 利用漏洞获取数据：如果能够利用漏洞获取数据，则进行数据获取。 信息整理：对获取到的数据进行整理，方便后续分析。 形成报告：根据渗透测试的实际情况，形成详细、专业的报告。 4. 形成报告后，我们会将报告发送给您，您可以根据报告内容，发现系统漏洞，及时加固完善。 以上为渗透测试的基本服务流程，如您在服务过程中有任何问题，请您与客户经理联系并反馈，我们会尽快为您处理。

为助力企业客户能更方便快捷的将已有业务迁移至天翼云分布式数据库或基于天翼云分布式数据库打造全新的应用，TeleDB不仅努力提升内核性能和管控资源全生命周期管理平台的易用性，还不断丰富周边的生态。目前已实现如下功能：如支持强大的GIS地理信息系统、支持异构数据复制能力、支持集群负载均衡能力和支持JSON数据类型等。 支持强大的GIS地理信息系统 GIS地理信息系统是指一个空间数据库，它通过SQL语言高效的进行空间数据管理、数量测量与几何拓扑分析对地球表层（包括大气层）空间中的地理分布数据进行采集、储存、管理、运算、分析、显示和描述。TeleDB透过集群化的PostGis插件，使其更好的支持强大的GIS地理信息系统。 说明 PostGIS插件不仅实现了Open Geospatial Consortium 所提出的基本要素类（点、线、面、多点、多线、多面等）的SQL实现参考。PostGIS还能使用wellknown text与wellknown binary在数据库中存储空间对象。wellknown text是一种用文本表示空间对象的注记方法，wellknown是一种用二进制流表示空间对象的存储方法。 GIS地理信息系统目前支持提供了如下的空间特性： 定义了一些基本的集合实体类型。 定义了一系列的函数和操作符来实现几何类型的操作和运算。 引入空间数据索引。 异构数据复制能力 在实际业务中，会涉及到非常多的TeleDB同其他数据库，包括PostgreSQL，MySQL，Oracle等的数据同步的需求。为了满足TeleDB和其它数据库包括PostgreSQL，MySQL，Oracle等实现数据同步，TeleDB开发了一款性能高效，安全可靠，功能完善的异构数据库复制工具。通过异构数据复制工具，让数据能够很好的在多个数据库中实现共享。 异构数据复制逻辑图如下： 异构数据复制原理主要通过数据实时同步、数据一致性同步和多种不同的数据同步方式组成。 数据实时同步 ： 同步数据需准实时的（分钟级）由源库同步到目标库。 数据一致性同步：异构数据库同步具备高可靠性，当发生断网、服务器重启、服务器宕机一段时间恢复后等场景下，保障同步数据的最终一致性。 数据同步方式：TeleDB支持对所有数据的全量同步和对变化数据的增量同步，以及配置同步任务。 全量同步：一般在系统迁移中，有历史数据的迁移，一次需要支持高效快速的将历史数据迁移到新系统的能力，称为全量同步。一般在全量同步完成后，会切换为下文提到的增量同步模式。 增量同步：同步工具实时跟踪数据改变情况，并及时将增量数据同步到目标库。 定时同步：支持配置类似定时任务，支持周期性向目标进行数据同步。

告警事件历史 1. 在Ecs应用详情左边导航栏中选择“告警事件历史“ 2. 在列表页查看告警事件列表信息 具体使用说明可参考应用性能监控>用户指南>告警管理>查看告警事件历史 告警发送历史 1. 在Ecs应用详情左边导航栏中选择“告警发送历史“ 2. 在列表页查看告警发送列表信息 具体使用说明可参考应用性能监控>用户指南>告警管理>查看告警发送历史 通知组 告警支持通过短信、邮箱、翼连等方式将告警信息通知给对应接收人，我们可以在通知组中设置接收人信息。 1. 在Ecs应用详情左边导航栏中选择“通知组“，进入”通知对象”，设置通知基本信息 具体使用说明可参考应用性能监控>用户指南>告警管理>通知对象 通知策略 创建告警通知策略，当告警触发时，只要不符合静默策略，就会依照通知策略在对应渠道发送告警信息给对应的通知对象。 1. 在Ecs应用详情左边导航栏中选择“通知策略“ 2. 查看左侧菜单栏“通知策略列表”，点击具体策略，右侧面板展示策略详情 具体使用说明可参考应用性能监控>用户指南>告警管理>通知策略

12 隐私权保护 天翼云不收集客户在TeleDB数据库中存储的信息。为了更好地改进产品和服务，用户同意天翼云代理可以收集、维护、处理和使用客户在使用本产品过程中产生的诊断性、技术性、使用及相关信息， 包括但不限于定期搜集系统日志、独特的系统或硬件识别码（“诊断信息”）。为便于本公司和第三方开发商改善其设计配合本产品使用的产品、硬件和服务，本公司并可向任何此类伙伴或第三方开发商提供与该伙伴或第三方开发商的产品、硬件和/或服务有关的诊断信息子集。如根据有关法律法规的规定导致天翼云不得再按照上述方式处理诊断信息，天翼云将按照有关法律法规的规定变更数据处理方式，并将通过满足法律法规的要求且在商业上合理的方式通知您，并获得您的同意。 13 免责与责任限制 1. 本产品经过详细的测试，但不能保证与提供的技术清单外的，所有的软硬件系统完全兼容，不能保证本产品完全没有错误。 2. 使用本产品风险由用户自行承担，在适用法律允许的最大范围内，对因使用或不能使用本产品所产生的损害及风险，包括但不限于直接或间接的数据丢失、个人损害、商业赢利的丧失、贸易中断、商业信息的丢失或任何其它经济损失，本公司不承担任何责任。 3. 对于因电信系统或互联网网络故障、计算机故障或病毒、信息损坏或丢失、计算机系统问题或其它任何不可抗力原因而产生损失，本公司不承担任何责任。 4. 用户违反本协议规定，对本公司造成损害的。本公司有权采取包括但不限于中断使用许可、停止提供服务、限制使用、法律追究等措施。 5. 对于从非本公司指定站点下载的本产品以及从非本公司发行的介质上获得的本产品，本公司无法保证该产品是否感染计算机病毒、是否隐藏有伪装的木马程序或者黑客产品，使用此类产品，将可能导致不可预测的风险，建议用户不要轻易下载、安装、使用，本公司不承担任何由此产生的任何法律责任。 6. 本《协议》所述明示担保，为担保的全部内容。在适用法律所允许的最大范围内，天翼云及其供应商提供的本“产品”和支持服务（如有）均为按现状及包含所有瑕疵状况下提供，不允诺其它不论是明示的、暗示的还是法定的任何保证和担保：包括但不限于本“产品”对特殊应用目的适销性或适应性，反应的精确性，结果的完整性，不含病毒及疏忽，针对本“产品”提供或不提供支持服务。

本章主要介绍翼MapReduce的修改集群组件鉴权配置开关功能。 操作场景 集群部署为安全模式或者普通模式时，HDFS和ZooKeeper默认会对访问服务的用户进行鉴权，没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时，HBase和Yarn默认不会对访问用户进行鉴权，所有用户可以访问HBase和Yarn中的资源。 管理员可以根据业务实际需要，在普通模式集群中配置开启HBase和Yarn鉴权，或关闭HDFS和ZooKeeper鉴权。 对系统的影响 修改开关后服务的配置将过期，需要重启对应的服务使配置生效。 开启HBase鉴权 1.登录FusionInsight Manager。 2.选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”。 3.单击“全部配置”。 4.搜索参数“hbase.coprocessor.region.classes”、“hbase.coprocessor.master.classes”和“hbase.coprocessor.regionserver.classes”。 将协处理器参数“org.apache.hadoop.hbase.security.access.AccessController”添加到以上参数原有参数值末尾，使用英文逗号与原有协处理器分隔。 5.单击“保存”，单击“确定”。 等待界面提示操作完成。 关闭HBase鉴权 关闭HBase鉴权后，原有的权限数据会继续保留。如果需要删除权限信息，请在关闭鉴权后，进入hbase shell删除表hbase:acl。 1.登录FusionInsight Manager。 2.选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”。 3.单击“全部配置”。 4.搜索参数“hbase.coprocessor.region.classes”、“hbase.coprocessor.master.classes”和“hbase.coprocessor.regionserver.classes”。 将协处理器参数“org.apache.hadoop.hbase.security.access.AccessController”去除。 5.单击“保存”，单击“确定”。 等待界面提示操作完成。

本章主要介绍翼MapReduce的修改LDAP管理帐户密码功能。 操作场景 建议管理员定期修改集群LDAP管理帐户“cnkrbkdc,ouUsers,dchadoop,dccom”和“cnkrbadmin,ouUsers,dchadoop,dccom”的密码，以提升系统运维安全性。 对系统的影响 修改密码后需要重启KrbServer服务。 修改密码后需要确认LDAP管理帐户“cnkrbkdc,ouUsers,dchadoop,dccom”和“cnkrbadmin,ouUsers,dchadoop,dccom”是否被锁定，在集群主管理节点上执行如果下命令查看krbkdc是否被锁定（krbadmin用户方法类似）： 说明 oldap端口查询方法： 1. 登录FusionInsight Manager，选择“系统 > OMS > oldap > 修改配置”； 2. “Ldap服务监听端口”参数值即为oldap端口。 ldapsearch H ldaps://OMSFLOAT IP地址:OLdap端口 LLL x D cnkrbkdc,ouUsers,dchadoop,dccom W b cnkrbkdc,ouUsers,dchadoop,dccom e ppolicy 输入LDAP管理帐户krbkdc的密码，出现如下提示表示该用户被锁定，则需要解锁用户，具体请参见解锁LDAP用户和管理帐户。 ldapbind: Invalid credentials (49); Account locked 前提条件 已确认主管理节点IP地址。 操作步骤 1.以omm用户通过管理节点IP登录主管理节点。 2.执行以下命令，切换到目录。 cd ${BIGDATAHOME}/omserver/om/meta0.0.1SNAPSHOT/kerberos/scripts 3.执行以下命令，修改LDAP管理帐户密码。 ./okerberosmodpwd.sh 输入旧密码后，再输入两次新密码。 密码复杂度要求： 密码字符长度为16～32位。 至少需要包含大写字母、小写字母、数字、特殊字符~!@