活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
热门活动
- 618智算钜惠季 爆款云主机2核4G限时秒杀，88元/年起！
- 免费体验DeepSeek，上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens，限时两周
- 云上钜惠 HOT 爆款云主机全场特惠，更有万元锦鲤券等你来领！
- 算力套餐 HOT 让算力触手可及
- 天翼云脑AOne NEW 连接、保护、办公，All-in-One！
- 中小企业应用上云专场 产品组合下单即享折上9折起，助力企业快速上云
- 出海产品促销专区 NEW 爆款云主机低至2折，高性价比，不限新老速来抢购！
- 天翼云电脑专场 HOT 移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！
- 天翼云奖励推广计划 加入成为云推官，推荐新用户注册下单得现金奖励
行业应用
合作伙伴
天翼云携手合作伙伴，共创云上生态，合作共赢
开发者
开发者相关功能入口汇聚
电信云app_相关内容
- 翼MR如何连接spark-shell？本章节主要介绍翼MapReduce组件Spark使用说明。 任一用户登录集群客户端节点。 配置/usr/local/ 下spark客户端目录 conf下的配置,主要是Spark-env.sh 需要配置SPARK_HOME、HADOOP_HOME、HADOOP_CLASSPATH等。 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
- 使用Packer制作私有镜像Packer包含构建器(Builder)、配置器(Provisioner)、后处理器(Post-Processor)三个组件。 本文提供Packer工具的使用全流程,为您介绍如何构建天翼云可用的镜像文件,帮助您快速上云。 约束与限制 当前仅支持x86架构的私有镜像构建,ARM架构的私有镜像构建方法正在建设中。 对于x86架构中的海光类型是否支持,取决于原始镜像本身是否已可以在海光芯片上正常启动和运行。
- 中文分词（zhparser）本小节主要介绍RDS-PostgreSQL的zhparser插件使用方法。 操作场景 RDS-PostgreSQL支持 zhparser插件,支持utf8和gbk字符集,主要用于全文搜索的中文分词。 前提条件 请确保您的实例内核大版本满足,本插件所支持的内核版本,请参考支持的版本插件列表。
- pg_transparent_crypt_policy_map本页介绍天翼云TeleDB数据库元数据pg_transparent_crypt_policy_map的内容。 存储管理和配置透明加密策略的映射关系。
- 初始化Linux数据盘（parted）本文为您介绍初始化Linux数据盘(parted)。 操作场景 本文以物理机的操作系统为“CentOS 7.6 64位”为例,采用parted分区工具为数据盘设置分区。 说明 物理机的不同操作系统的格式化操作可能不同,本文仅供参考,具体操作步骤和差异请参考对应操作系统的产品文档。 前提条件 已登录物理机。 挂载至物理机的云盘数据盘或者物理机的本地数据盘还没有被初始化。
- 翼MR如何连接spark-beeline？本章节主要介绍翼MapReduce组件Spark的操作使用说明。 Spark-beeline连接的目标可以是spark thrift server、也可以是kyuubi server。 我们以spark thrift server为例,提供链接流程如下: 首先配置spark thrift相关配置。 Spark-env.sh 中配置需要配置JAVA_HOME、HADOOP_HOME、HADOOP_CLASSPATH、HADOOP_CONF_DIR等环境变量。
- SparkSQL节点编辑SparkSQL脚本 双击SparkSQL节点可开始编辑SparkSQL代码,在编辑页面,您可以快速查看内置Hive元数据,以及调试、保存开发代码。 配置SparkSQL节点参数 单击SparkSQL节点,您除了可以配置节点基本信息外,还可以编辑当前节点的Spark运行参数。
- Linux操作系统执行passwd命令重置密码失败提示：Authentication token manipulation error本文为您介绍Linux 操作系统执行 passwd 命令重置密码失败提示:Authentication token manipulation error的解决方法。 问题现象 root用户用passwd命令修改管理员用户以及普通用户的密码时失败,提示passwd:Authentication token manipulation error。 根因分析 出现该问题通常是密码文件的属性的问题导致,但也有可能是根目录空间满。
- 运行SparkSql作业本章节主要介绍如何运行SparkSql作业。 用户可将自己开发的程序提交到MRS中,执行程序并获取结果。本章节教您在MRS集群页面如何提交一个新的SparkSql作业。SparkSQL作业用于查询和分析数据,包括SQL语句和Script脚本两种形式,如果SQL语句涉及敏感信息,请使用Spark Script提交。 前提条件 用户已经将运行作业所需的程序包和数据文件上传至OBS系统或HDFS中。 通过界面提交作业 1.登录MRS管理控制台。
- 部署Palworld幻兽帕鲁服务器最佳实践（Windows）本文为您介绍Windows系统部署Palworld幻兽帕鲁服务器的最佳实践。 登录云主机控制台,选择创建云主机的资源池,点击“创建云主机”按钮。 基础配置。 CPU架构选择“X86计算”,规格-分类选择“通用型”。为确保游戏顺畅运行,建议您选择4C16G及以上的规格。 镜像类型选择“应用镜像”,镜像下拉菜单中选择“windows”-“幻兽帕鲁(Palworld)”。 点击“下一步:网络配置”。 网络配置。 点击“创建安全组”按钮,跳转至网络控制台-安全组页面。
- ALM-28001 Spark服务不可用（2.x及以前版本）本章节主要介绍告警ALM-28001 Spark服务不可用(2.x及以前版本)。 告警解释 系统每30秒周期性检测Spark服务状态,当检测到Spark服务不可用时产生该告警。 Spark服务恢复时,告警清除。 告警属性 告警ID 告警级别 可自动清除 28001 致命 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。
- 运行SparkSubmit作业本章节主要介绍如何运行SparkSubmit作业。 用户可将自己开发的程序提交到MRS中,执行程序并获取结果。本章节教您在MRS集群页面如何提交一个新的Spark作业。 前提条件 用户已经将运行作业所需的程序包和数据文件上传至OBS系统或HDFS中。 通过界面提交作业 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 3.若集群开启Kerberos认证时执行该步骤,若集群未开启Kerberos认证,请无需执行该步骤。
- ALM-29004 Impalad进程内存占用率超过阈值本章节主要介绍 ALM-29004 Impalad进程内存占用率超过阈值的告警。 告警解释 以30s为周期检测Impalad进程系统内存占用率,当检测到的超过默认阈值(80%)时,系统产生此告警。 当系统检测到进程内存占用率下降到阈值以下时,告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29004 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
- Spark2x对接OBS文件系统本章节主要介绍Spark2x对接OBS文件系统。 MRS集群支持Spark2x在集群安装完成后对接OBS文件系统。 使用本章节前已参考配置存算分离集群(委托方式)或配置存算分离集群(AKSK方式)完成存算分离集群配置。 集群安装后使用spark beeline 1.登录FusionInsight Manager,选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在左侧的导航列表中选择“JDBCServer2x>自定义”。
- P1型云主机如何安装NVIDIA驱动？本节介绍了P1型云主机如何安装NVIDIA驱动的解决办法。 前提条件 已绑定弹性IP。 已根据下表,下载对应操作系统所需驱动的安装包。
- 使用Spark客户端本章节主要介绍使用Spark的操作指导。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用Spark客户端 安装客户端。 登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 集群默认为安全模式,执行以下命令进行用户认证。 kinit 组件业务用户 直接执行命令。例如: spark-shell --master spark://IP:port
- 创建并提交Spark Jar作业本章节主要介绍创建并提交Spark Jar作业 。 操作场景 DLI可以查询存储在OBS中的数据,本节操作介绍使用DLI提交Spark Jar进行实时计算的操作步骤。 操作流程 使用DLI提交Spark作业进行实时计算。基本流程如下: 1.上传数据至OBS 2.创建队列 3.创建程序包 4.提交Spark作业 上传数据至OBS 开发Spark Jar作业程序,编译并打包为“spark-examples.jar”。参考以下操作步骤上传该作业程序。
- Spark作业管理概述本章节主要介绍Spark作业管理概述。 DLI在开源Spark基础上进行了大量的性能优化与服务化改造,兼容Apache Spark生态和接口,执行批处理任务。 DLI还支持使用Spark作业访问DLI元数据。 Spark作业管理主要包括如下功能: 创建Spark作业 重新执行作业 查找作业 终止作业 以及查看“使用指南”和“使用视频”。 作业管理页面 在总览页面单击“Spark作业”简介,或在左侧导航栏单击“作业管理”>“Spark作业”,可进入Spark作业管理页面。
- 使用Impala客户端本章节主要介绍使用Impala客户端 。 使用Impala客户端 Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。 它是一个用C++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比,它拥有高性能和低延迟的特点。 背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,使用Impala客户端实现A业务操作流程如下: 普通表的操作: 创建用户信息表user_info。 在用户信息中新增用户的学历、职称信息。
- 如何获取Spark Jar包？本章节主要介绍翼MapReduce如何获取Spark Jar包。 1、获取非Spark依赖 从maven中央仓库/华为云仓库等 获取Spark运行所需要的依赖 ,可以从Spark Apache官网获取Spark相关的客户端。 Spark客户端中jars目录包含Spark运行依赖。 Spark 客户端下载地址参考Spark Apache官网。 2、获取Spark-core等Spark依赖 除了通过Spark Apache官网下载客户端获取和maven中央仓库获取有时也可以通过源码打包以获取。
- Spark组件优化后TPC-DS测试结果本章节主要介绍翼MapReduce服务中Spark组件性能优化后的TPC-DS测试结果。
- Spark job对应的执行日志保存在哪里？本章节主要介绍翼MapReduce组件Spark日志保存问题。 Spark job没有完成的任务日志保存在dirver节点的nodemanager 的 containerlogs中。Spark job完成的任务日志保存在HDFS的/tmp/logs/ 用户名 /logs。
- 使用OPA策略引擎实现访问控制本章节介绍使用OPA策略引擎实现访问控制 前提条件 开通实例后,系统默认生成OPA相关的ServiceEntry和opa-ext-auth-grpc。 验证opa-ext-auth-grpc 在服务网格控制台->网格安全中心->自定义授权服务。 可以看到产生了一个GRPC协议的授权服务,端口为19191。 验证ServiceEntry 在服务网格控制台->集群与工作负载->服务条目中,选定istio-system命名空间,可以看到产生了ext-authz,点击编辑可以查看详情。
- 翼MR集群是否支持Hive on Spark？本章节主要介绍翼MapReduce集群使用规则。 当前,翼MR集群中的Hive服务,默认提供的是Hive on MR的计算能力。 用户可以在开通好翼MR集群后,进入翼MR Manager的管控平台中,并在Hive服务的配置管理页中,修改相关配置参数,重启Hive服务,完成Hive on Spark的切换并生效。
- 配置Multipathpath_grouping_policy failover path_checker tur path_selector "round-robin 0" hardware_handler "1 alua" rr_weight priorities no_path_retry queue prio alua } }
- 容器水平伸缩（HPA）本节介绍了:容器水平伸缩(HPA)的用户指南。 容器水平伸缩云容器引擎支持在控制台界面上快速创建支持HPA的应用,实现容器资源的弹性伸缩。您也可通过定义HPA(Horizontal Pod Autoscaling)的YAML来进行配置。背景信息从v1.18开始,K8s v2beta2 API允许通过HPA的behavior字段配置扩缩行为。在behavior字段中的scaleUp和scaleDown分别指定扩容和缩容行为。
- 容器垂直伸缩（VPA）本节介绍了容器垂直伸缩(VPA)的用户指南。 通过在容器集群上部署安装ccse-vertical-pod-autoscaler组件,云容器引擎可以提供垂直的容器伸缩的功能。VPA会基于Pod的资源使用情况自动调整集群中容器的资源请求和限制,从而可以让Pod调度到有充足资源的最佳节点上。前提条件请确保您已完成以下操作:已创建一个Kubernetes集群,且Kubernetes版本高于1.23。已使用命令行工具连接集群。
- 天翼云ECX，助您快速搭建低时延Palworld幻兽帕鲁Windows服务器本文为您介绍使用ECX搭建Palworld幻兽帕鲁Windows服务器的最佳实践。 下单云服务器 登录ECX控制台。 单击左侧【边缘虚拟机>实例】导航栏。 购买虚拟机,具体可参考如何创建实例,其中: 选择离您最近的地域和可用区。 规格建议您选择“4vCPU 16GB内存”以上的通用计算型虚拟机。 镜像选择:镜像市场>其他>Windows>palworld-server 64位8.4G。 存储配置建议选择40GB以上。
- 如何选择驱动及相关库、软件版本本文介绍如何选择驱动及相关库、软件版本。 GPU云主机在实际的使用中往往需要安装驱动、CUDA工具包、cuDNN、Pytorch等相关的库或软件版本。 如何选择CUDA版本 CUDA(Compute Unified Device Architecture),是显卡厂商NVIDIA推出的运算平台。 CUDA™是一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题。 它包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。
天翼云最新活动
推荐文档
玩转天翼云①：如何获得管理员权限的方法
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
