活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
热门活动
大模型
智算一体机
模型适配专家服务
AI服务
教育应用
合作伙伴
天翼云携手合作伙伴，共创云上生态，合作共赢
开发者
开发者相关功能入口汇聚
翼视界魔云_相关内容
- 翼MR支持什么类型的分布式存储？本章节主要介绍翼MapReduce支持的分布式存储类型。 翼MR集群内当前使用主流的大数据Hadoop,目前支持Hadoop 3.3.3版本,并且会随着集群的演进逐步更新相关稳定版本。 同时客户可以在开通翼MR产品中选择使用Doris组件,Doris同样提供分布式数据存储能力,当前默认提供的Doris为2.1.8版本。 更多的翼MR产品中组件信息请参见产品文档中的版本概述。
- 翼MR如何连接spark-shell？本章节主要介绍翼MapReduce组件Spark使用说明。 任一用户登录集群客户端节点。 配置/usr/local/ 下spark客户端目录 conf下的配置,主要是Spark-env.sh 需要配置SPARK_HOME、HADOOP_HOME、HADOOP_CLASSPATH等。 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
- 翼MR集群内节点上/var/log目录中的日志文件能否清理？本章节主要介绍翼MapReduce集群使用规则。 翼MR集群内节点上的/var/log目录中,存放了操作系统的相关操作、安全等关键性日志数据以及翼MR集群各个部署组件实例的应用和审计日志,以方便客户对云主机的系统问题以及翼MR组件集群进行定位和安全审计。 针对上述的系统日志文件,不建议客户进行清理,该操作属于高危操作,易引发弹性云主机的故障不可用问题。 针对上述的翼MR集群应用和审计日志,建议客户基于必要性考虑,确认是否需要清理。如果需要清理,优先考虑将相关历史久远的日志执行删除操作。
- 翼MR如何连接spark-beeline？本章节主要介绍翼MapReduce组件Spark的操作使用说明。 Spark-beeline连接的目标可以是spark thrift server、也可以是kyuubi server。 我们以spark thrift server为例,提供链接流程如下: 首先配置spark thrift相关配置。 Spark-env.sh 中配置需要配置JAVA_HOME、HADOOP_HOME、HADOOP_CLASSPATH、HADOOP_CONF_DIR等环境变量。
- 翼MapReduce翼MapReduce(翼MR)是一种基于云计算平台的数据处理分析服务,打造了高可靠、高安全、易使用的运行维护平台,对外提供大容量数据的存储和分析能力,可解决用户实时性要求不高的海量数据存储和处理需求,可以独立申请和使用托管Hadoop、Spark、HBase和Hive组件。
- 翼MapReduce翼MapReduce(翼MR)是一种基于云计算平台的数据处理分析服务,帮助客户大数据快速上云,轻松运行Doris、Elasticsearch、Hive、Kafka、Spark等高性能大数据组件,构建即开即用、安全可靠,便捷管理的企业级大数据平台。
- 支持天翼云APP产品控制台的云产品本文介绍天已支持翼云APP产品控制台的云产品。 天翼云支持在天翼云APP对云产品进行管理。
- 与其他产品的关系云日志服务 云日志服务支持对V2.17.0及以上版本的翼MR集群进行组件服务的日志监控与管理。 创建翼MR集群后,可从翼MR控制台内授权开通该集群的云日志服务功能,并前往云日志服务控制台查看日志详情。 云审计 云审计产品支持对V2.17.0及以上版本的翼MR集群进行操作记录的收集、存储与查询功能,可用于支撑合规审计、安全分析和问题定位等常见应用场景。 创建翼MR集群后,可前往云审计服务控制台查看操作记录。
- 天翼云SD-WAN实例介绍本节为您介绍天翼云SD-WAN实例。 您可以在控制台创建天翼云SD-WAN实例,用户将智能网关实例绑定到天翼云SD-WAN实例后,便可在同一天翼云SD-WAN实例下构建云、数据中心、企业分支之间的专属广域网络;在不同SD-WAN实例之间实现业务隔离。 您也可以将SD-WAN实例与云间高速实例绑定,便可借助云间高速将本地网络连接至天翼云。
- 技术支持范围本章节主要介绍翼MapReduce服务的技术支持范围。 天翼云翼MapReduce(简称翼MR)是一款基于云计算平台的数据处理分析服务,帮助客户大数据快速上云,轻松运行Doris、Elasticsearch、Hive、Kafka、Spark等高性能大数据组件。
- 集群创建类参照天翼云-虚拟私有云产品文档中“创建虚拟私有云VPC”章节,需完成在“一类节点”资源池创建相关VPC网段,默认为“192.168.0.0/16”。 完成上述步骤后,在控制中心-网络控制台-访问控制-安全组菜单中,可以发现为创建的VPC自动添加了默认安全组。另外,客户可以额外创建自定义的安全组。 在创建翼MR集群时,需要授权翼MR完成以下规则的配置添加。 购买翼MR集群时,找不到HDFS、YARN和ZooKeeper组件如何处理?
- 购买类翼MapReduce业务场景主要包括6个:数据湖场景、数据分析场景、云搜索场景、数据服务、实时数据流和自定义场景。 场景 描述 数据湖 数据湖分析提供更灵活、可靠、高效的管理集群,更快的运行大数据计算引擎并提供出色的数据分析能力。 数据分析 数据分析Apache Doris:开源的MPP架构的OLAP分析引擎,支持亚秒级的数据查询和多表join。 云搜索 云搜索为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析服务能力。
- 产品定义产品架构 翼MR集群各个版本组件情况请参见版本概述。 详见下图:翼MR架构图 翼MR架构包括了基础设施和大数据处理流程各个阶段的能力。 ● 基础设施 基于天翼云弹性云主机CT-ECS构建的大数据集群,整体集群的高可靠和高安全能力可以得到虚拟化底层的充分保证。 虚拟私有云(CT-VPC)为每个租户提供虚拟的内部网络,默认与其他网络隔离,同时通过配套的安全组访问控制确保网络层面的安全性。 云硬盘(CT-EVS)提供不同规格和性能表现的高可靠存储能力。
- 性能优化类本章节主要介绍翼MapReduce服务的性能优化类常见问题。 翼MapReduce集群是否支持重装系统? 翼MR集群不支持重装系统。另外,不建议客户通过远程连接登录CT-ECS,尝试自行执行重装系统等高危操作,由此造成翼MR集群故障,从而导致业务不可用。 翼MapReduce集群是否支持切换操作系统? 翼MR集群节点不支持切换操作系统。建议客户在使用翼MR集群过程中,有相关使用问题,可以优先提交天翼云工单,向天翼云专业客服进行咨询和沟通,感谢理解。 如何提高集群Core节点的资源使用率?
- 产品优势易运维 翼MR提供可视化的大数据集群运维管理平台,全链路可视化操作降低运维门槛,助力实现90%日常运维场景便捷操作,提升运维效率。 低成本 翼MR集群基于多样化的云基础设施,提供了丰富的计算、存储设施的选择,可以用时再创建、用时再扩容,用完就销毁,确保成本最优。
- 产品动态AI云电脑投屏功能2024.11.06天翼AI云电脑外设使用指南介绍如何在天翼AI云电脑中使用外接打印机、音视频、存储等设备外设使用指南2024年8月时间节点功能名称功能描述相关文档2024.8.12天翼AI云电脑终端适配列表更新了数款适配通过的瘦终端。终端适配列表2024年6月时间节点功能名称功能描述相关文档2024.6.18云专线绑跨域云专线绑定跨域互联主要为云专线用户提供与跨资源池VPC互访能力。
- 添加作业本章节主要介绍在天翼云大数据平台翼MapReduce的大数据集群中如何添加、运行作业。 用户可将自己开发的大数据应用程序提交到翼MapReduce中,执行程序并获取结果。 本章节以MapReduce作业为例,MapReduce作业用于提交jar程序快速并行处理大量数据,是一种分布式数据处理模式和执行环境。通过此次的指导,希望用户能够对如何在翼MapReduce服务中提交、运行MapReduce作业有清晰的认知。 当前翼MR服务尚不支持通过前台界面化进行作业提交、运行的功能。
- 账号密码类组件密码可前往翼MR Manager配置管理页面,在vars.yaml的高级配置中查询。当前暂不支持在该文件中直接修改组件密码,文件仅用于记录配置信息。2.19版本起,云搜索场景支持在控制台-集群服务管理页对Elasticsearch组件密码进行修改。LDAP密码在哪里重置?LDAP密码可前往翼MR Manager LDAP租户管理页面,选择要修改密码的LDAP用户,进入该用户的基础信息页进行密码重置。Manager主密码是否支持重置 ?当前主密码暂不支持重置,请妥善保存密码。
- 退订本章节主要介绍翼MapReduce服务的退订操作。 包周期计费 包年包月购买的集群,您可以根据业务需要,手动退订集群来释放资源。翼MapReduce集群在申请退订前,请做好数据备份。 注意退订翼MapReduce集群会导致集群所有数据都被删除,且不可恢复,请谨慎操作。具体涉及到退订的费用以及规则,详细请参见费用中心-退订规则说明。 方法一、通过订单管理退订 登录天翼云官网,进入“费用中心-订单管理-退订管理”页面。 选择要退订的资源,点击退订,天翼云目前支持单个退订和批量退订。
- 版本概述本章节主要介绍翼MapReduce服务产品的发行版本号格式、发行版本更新记录和发行版本说明。 产品发行版本号格式翼MapReduce采用类似翼MR-a.b.c格式的版本号,详细说明如下:a代表版本有较大的变动。b代表版本中一些组件的变动。c代表版本中Bug修复,可以向前兼容;以及一些较小的变动。翼MR每个版本的捆绑软件和集群创建说明捆绑软件:每个翼MapReduce发行版本上捆绑的软件和软件版本都是固定的。集群创建:创建某一个发行版本的翼MapReduce集群后,该集群版本不会自动升级。
天翼云最新活动
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
