活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
热门活动
- 618智算钜惠季 爆款云主机2核4G限时秒杀，88元/年起！
- 免费体验DeepSeek，上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens，限时两周
- 云上钜惠 HOT 爆款云主机全场特惠，更有万元锦鲤券等你来领！
- 算力套餐 HOT 让算力触手可及
- 天翼云脑AOne NEW 连接、保护、办公，All-in-One！
- 中小企业服务商合作专区 国家云助力中小企业腾飞，高额上云补贴重磅上线
- 出海产品促销专区 NEW 爆款云主机低至2折，高性价比，不限新老速来抢购！
- 天翼云电脑专场 HOT 移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！
- 天翼云奖励推广计划 加入成为云推官，推荐新用户注册下单得现金奖励
行业应用
合作伙伴
天翼云携手合作伙伴，共创云上生态，合作共赢
开发者
开发者相关功能入口汇聚
天翼云大数据平台_相关内容
- 翼MR Manager入门指导本章节主要介绍翼MR Manager的操作。 概述 翼MR Manager由天翼云自主研发,主要为运维工程师提供日常的大数据组件运维管理操作能力。通过可视化、流程化的方式对系统中的各个系统资源和数据资产进行管理,并支持自动化的运维调度、统一的配置文件管理、统一运维监控,支持组件集群服务管理、多租户管理、资源管理等功能。在提高运维人员工作效率的同时,为大数据运维工作者提供专业全面的运维能力,从而大幅降低大数据平台的运维门槛。
- 如何使用翼MR本章节主要介绍翼MapReduce基本使用流程。 天翼云大数据平台 翼MapReduce是一个在云上部署和管理Hadoop系统的服务,一键即可开通部署Hadoop、HBase、Hive、Spark、Flink、Doris等大数据集群。翼MapReduce提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、HBase、Hive、Spark、Flink、Doris等大数据组件。
- 添加作业本章节主要介绍在天翼云大数据平台翼MapReduce的大数据集群中如何添加、运行作业。 用户可将自己开发的大数据应用程序提交到翼MapReduce中,执行程序并获取结果。 本章节以MapReduce作业为例,MapReduce作业用于提交jar程序快速并行处理大量数据,是一种分布式数据处理模式和执行环境。通过此次的指导,希望用户能够对如何在翼MapReduce服务中提交、运行MapReduce作业有清晰的认知。 当前翼MR服务尚不支持通过前台界面化进行作业提交、运行的功能。
- 翼MR管理控制台和翼MR Manager页面区别与联系？本章节主要介绍翼MapReduce各模块的功能。 用户可以通过翼MR管理控制台的“翼MR Manager”页面进入到翼MR的Manager页面。
- 技术支持范围本章节主要介绍翼MapReduce服务的技术支持范围。 天翼云翼MapReduce(简称翼MR)是一款基于云计算平台的数据处理分析服务,帮助客户大数据快速上云,轻松运行Doris、Elasticsearch、Hive、Kafka、Spark等高性能大数据组件。
- 产品定义产品架构 翼MR集群各个版本组件情况请参见版本概述。 详见下图:翼MR架构图 翼MR架构包括了基础设施和大数据处理流程各个阶段的能力。 ● 基础设施 基于天翼云弹性云主机CT-ECS构建的大数据集群,整体集群的高可靠和高安全能力可以得到虚拟化底层的充分保证。 虚拟私有云(CT-VPC)为每个租户提供虚拟的内部网络,默认与其他网络隔离,同时通过配套的安全组访问控制确保网络层面的安全性。 云硬盘(CT-EVS)提供不同规格和性能表现的高可靠存储能力。
- 获取翼MapReduce数据湖集群信息本文介绍如何获取翼MapReduce数据湖集群的信息。 前提条件 已购买翼MapReduce(以下简称翼MR)数据湖集群。 操作步骤 进入翼MapReduce控制台。 点击已购买的数据湖集群。 点击“翼MR Manager”页签,再点击“前往翼MR Manager”按钮,进入集群管理。 翼MR集群信息获取 获取翼MR集群配置文件 获取core-site.xml 操作步骤 1)点击运维与配置-配置管理。 2)所属集群服务选择HDFS。
- 翼MR集群是否支持Hive on Spark？本章节主要介绍翼MapReduce集群使用规则。 当前,翼MR集群中的Hive服务,默认提供的是Hive on MR的计算能力。 用户可以在开通好翼MR集群后,进入翼MR Manager的管控平台中,并在Hive服务的配置管理页中,修改相关配置参数,重启Hive服务,完成Hive on Spark的切换并生效。
- 翼MR是否支持Hive on Tez和Hive on Kudu？本章节主要介绍翼MapReduce集群使用规则。 当前,翼MR集群中的Hive组件,支持Hive on Tez,暂不支持Hive on Kudu模式。 翼MR集群开通后,默认支持Hive on MR模式。客户可以在开通翼MR集群后,通过进入翼MR Manager管控平台,在Hive服务的配置管理中,修改相关配置参数,并重启Hive服务,实现Hive on Spark切换和生效。
- 翼MR是否支持更换网段？本章节主要介绍翼MapReduce的网段设置规则。 当前,翼MR集群内节点暂不支持更换网段。因此,客户在选择开通翼MR集群前,建议基于业务需要,做好相关网段划分并提前在天翼云其它产品,如:虚拟私有云(CT-VPC)中开通好合适的资源。
- 翼MR支持什么类型的分布式存储？本章节主要介绍翼MapReduce支持的分布式存储类型。 翼MR集群内当前使用主流的大数据Hadoop,目前支持Hadoop 3.3.3版本,并且会随着集群的演进逐步更新相关稳定版本。 同时客户可以在开通翼MR产品中选择使用Doris组件,Doris同样提供分布式数据存储能力,当前默认提供的Doris为2.1.8版本。 更多的翼MR产品中组件信息请参见产品文档中的版本概述。
- 创建集群本章节主要介绍大数据管理平台 DataWings的集群注册操作说明。 背景信息 为了能够更好的使用大数据管理平台的能力,若您需要使用数据处理模块,需先购买翼MR大数据集群,并绑定大数据引擎。DataWings支持自动同步和手动创建两种集群注册方式。 前提条件 已购买开通翼MapReduce产品。 进入页面 单击左上方的图标,选择全部产品 > 系统管理 > 集群管理 > 集群注册。
- 集群创建类参照天翼云-虚拟私有云产品文档中“创建虚拟私有云VPC”章节,需完成在“一类节点”资源池创建相关VPC网段,默认为“192.168.0.0/16”。 完成上述步骤后,在控制中心-网络控制台-访问控制-安全组菜单中,可以发现为创建的VPC自动添加了默认安全组。另外,客户可以额外创建自定义的安全组。 在创建翼MR集群时,需要授权翼MR完成以下规则的配置添加。 购买翼MR集群时,找不到HDFS、YARN和ZooKeeper组件如何处理?
- 翼MR产品支持Hive元数据库使用内置MySQL类型吗？本章节主要介绍翼MapReduce集群组件使用规则。 当前,翼MR产品不支持Hive元数据库使用内置MySQL类型。内置MySQL不具备生产运行所需要的高可用、高安全性,且该方式缺乏有效的技术保障能力,客户需要为此承担不必要的业务风险。 在翼MR集群开通的流程中,基于上述产品考量,不开放相关选配功能,默认推荐客户预先开通好天翼云成熟的数据库产品-关系数据库MySQL版(CT-RDS MySQL)作为Hive服务的元数据库。
- 运维历史-数据展示设置本章节主要介绍如何进行运维历史数据的展示设置。 操作场景 设置运维历史展示的最长时间范围、最大数量。 操作步骤 登录翼MR管理控制台。 单击“我的集群”,单击指定的集群名称,进入集群信息页面。 单击“翼MR Manager”tab,单击“前往翼MR Manager”。 进入到翼MR Manager以后,单击菜单“运维与配置 > 运维历史”。点击“数据展示设置”按钮,打开“数据显示设置”弹窗。 可设置展示的最长时间范围、最大数量,如图所示:
- 性能优化类本章节主要介绍翼MapReduce服务的性能优化类常见问题。 翼MapReduce集群是否支持重装系统? 翼MR集群不支持重装系统。另外,不建议客户通过远程连接登录CT-ECS,尝试自行执行重装系统等高危操作,由此造成翼MR集群故障,从而导致业务不可用。 翼MapReduce集群是否支持切换操作系统? 翼MR集群节点不支持切换操作系统。建议客户在使用翼MR集群过程中,有相关使用问题,可以优先提交天翼云工单,向天翼云专业客服进行咨询和沟通,感谢理解。 如何提高集群Core节点的资源使用率?
- 产品优势本章节主要介绍翼MapReduce服务的产品优势。 翼MapReduce(简称:“翼MR”)服务,历经集团和云公司的大规模集群和业务打磨,提供全年多级用户SLA保障。 翼MR具有如下优势: 高安全 翼MR服务拥有企业级的大数据多租户权限管理能力,拥有企业级的大数据安全管理特性;使用Kerberos和Ranger安全技术实现全组件的认证和授权;支持库、表、字段级数据权限管控。 优开源 基于Hadoop3.3.3等开源最新组件,保证版本性能的同时,优化了底层资源占用,对任务和引擎进行定制化管控。
- 购买类本章节主要介绍翼MapReduce服务的购买类常见问题。 天翼云都有哪些资源池可订购翼MapReduce? 目前翼MapReduce已在华东1、西南1、华北2、上海36、华南2、武汉41、呼和浩特3、南昌5、杭州7等一类节点资源池上线,后续会持续扩展更多资源池资源。 翼MapReduce支持什么类型的分布式存储? 翼MapReduce提供目前主流的Hadoop,目前支持Hadoop 3.3.3版本,并且随社区更新版本。 翼MapReduce支持购买哪些业务场景的大数据集群?
- 大数据管理平台 DataWings公测服务协议天翼云为您提供大数据管理平台 DataWings产品公测服务协议说明,请您点击查看。 大数据管理平台 DataWings公测服务协议
- 资源概览概述本章节主要介绍翼MR Manager的资源概览特性。 操作步骤 登录翼MR管理控制台。 单击“我的集群”,单击指定的集群名称,进入集群信息页面。 单击“翼MR Manager”tab。 单击“前往翼MR Manager”。 进入翼MR Manager后,点击菜单“资源概览”,进入资源概览页面。 默认展示最新3小时的数据,可通过右上角时间范围选框,选择其他时间段的监控数据。 主机状态数据,可以通过下拉选框,选择单台主机,查看监控数据。
- 组件WEB UI便捷访问本章节主要介绍翼MapReduce服务的Web UI便捷访问特性。 大数据组件都有自己的WEB UI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。如访问HDFS的WEB UI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好。 翼MR提供了基于内网IP地址来便捷访问开源组件UI。 操作步骤 1.登录翼MR控制台,点击正常运行的集群名称,进入集群详情页面。
- 首页概述本章节主要介绍翼MR Manager的首页特性。 操作步骤如下: 登录翼MR管理控制台。 单击“我的集群”,单击指定的集群名称,进入集群信息页面。 单击“翼MR Manager”tab。 单击“前往翼MR Manager”,默认进入到首页,如图所示: 主机:展示平台主机健康状态汇总、主机初始化状态汇总。 待处理集群服务:展示故障和告警的集群服务信息。 告警:展示待处理的告警信息,支持查看不同级别的告警信息。
- 创建翼MapReduce操作用户本章节主要介绍如何创建翼MapReduce服务的操作用户。 如果您需要对您所拥有的翼MapReduce服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),创建IAM子用户,并给子用户赋予不同的角色权限及企业项目权限。如果主帐号已经能满足您的要求,不需要创建更多的子用户,您可以跳过本章节,不影响您使用翼MapReduce服务的其它功能。创建用户管理员登录天翼云官网,点击页面右上角用户名,在下拉列表中点击“账号中心”。
- 账号密码类本章节主要介绍翼MapReduce服务的账号密码类常见问题。 翼MR集群开通后,登录翼MR Manager的用户是什么?系统默认登录翼MR Manager的帐号为op_admin,用户可以直接通过翼MR控制台中的免密登录跳转访问到翼MR Manager。集群的主机登录密码是什么?主机登录密码是在翼MR集群开通时所设置的,如忘记密码,可前往集群的基础信息页进行密码重置。当前仅支持对2.16及以上版本进行密码重置。组件密码在哪里查询与重置?
天翼云最新活动
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
