活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
热门活动
- 618智算钜惠季 爆款云主机2核4G限时秒杀，88元/年起！
- 免费体验DeepSeek，上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens，限时两周
- 云上钜惠 HOT 爆款云主机全场特惠，更有万元锦鲤券等你来领！
- 算力套餐 HOT 让算力触手可及
- 天翼云脑AOne NEW 连接、保护、办公，All-in-One！
- 中小企业应用上云专场 产品组合下单即享折上9折起，助力企业快速上云
- 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛，数款产品享受线上订购超值特惠
- 天翼云电脑专场 HOT 移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！
- 天翼云奖励推广计划 加入成为云推官，推荐新用户注册下单得现金奖励
行业应用
合作伙伴
天翼云携手合作伙伴，共创云上生态，合作共赢
开发者
开发者相关功能入口汇聚
电信云paas_相关内容
- Spark作业管理概述本章节主要介绍Spark作业管理概述。 DLI在开源Spark基础上进行了大量的性能优化与服务化改造,兼容Apache Spark生态和接口,执行批处理任务。 DLI还支持使用Spark作业访问DLI元数据。 Spark作业管理主要包括如下功能: 创建Spark作业 重新执行作业 查找作业 终止作业 以及查看“使用指南”和“使用视频”。 作业管理页面 在总览页面单击“Spark作业”简介,或在左侧导航栏单击“作业管理”>“Spark作业”,可进入Spark作业管理页面。
- Complete Multipart Upload"ETag Part> <Part> <PartNumber>2PartNumber>
"0c78aef83f66abc1fa1e8477f296d394" Part> <Part> <PartNumber>3PartNumber>"acbd18db4cc2f85cedef654fccc4a4d8" Part> partUpload> 响应示例 下面的响应中表示一个文件被拼接成功。 - 中文分词（zhparser）插件使用 安装插件 CREATE EXTENSION IF NOT EXISTS zhparser; 卸载插件 DROP EXTENSION IF EXISTS zhparser; 使用示例 CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser); ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR n,v,a,i,e,l WITH simple; SELECT
- 应用场景场景2:在纳管智算设备基础上还需要PAAS能力跑训推任务。解决方案1:息壤·一体化计算加速平台+息壤·一站式智算服务平台。解决方案2:息壤·一站式智算服务平台(轻量化)。提供全链路智算平台,实现大模型训练与推理任务的全程管控。敏捷开发-弹性租用资源场景:根据使用需求调用算力资源和训推平台能力。解决方案1:息壤·一体化计算加速平台,基于云公有云资源池,按需租用所需的计算、存储等资源。解决方案2:息壤·一体化智算服务平台,基于公有云资源,使用平台运行训练和推理任务。
- 使用Spark客户端本章节主要介绍使用Spark的操作指导。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用Spark客户端 安装客户端。 登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 集群默认为安全模式,执行以下命令进行用户认证。 kinit 组件业务用户 直接执行命令。例如: spark-shell --master spark://IP:port
- 翼MR如何连接spark-shell？如果SPARK_HOME/bin 已经配置到系统环境变量中,可以直接spark-shell 进入。否则需要去到SPARK_HOME/bin下执行。
- 如何设置Apache缓存策略本文介绍设置Apache缓存策略的方法。 免责声明: 本文档包含第三方产品信息,该信息仅供参考。 背景说明 本文主要介绍Apache服务器的缓存策略配置方法,如果源站使用的是Apache,可参考此文进行设置。 详细信息 Apache设置缓存策略的具体方法有两种:使用mod_headers模块或mod_expires模块。 1. mod_headers模块配置 使用mod_headers配置源站响应缓存策略可按如下步骤: 1)确保apache安装了mod_headers模块。
- 翼MR如何连接spark-beeline？本章节主要介绍翼MapReduce组件Spark的操作使用说明。 Spark-beeline连接的目标可以是spark thrift server、也可以是kyuubi server。 我们以spark thrift server为例,提供链接流程如下: 首先配置spark thrift相关配置。 Spark-env.sh 中配置需要配置JAVA_HOME、HADOOP_HOME、HADOOP_CLASSPATH、HADOOP_CONF_DIR等环境变量。
- 开发一个DLI Spark作业获取Spark作业的演示JAR包,并在数据开发模块中关联到此JAR包。 创建数据开发模块作业,通过DLI Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS,并创建桶,例如“obs://dlfexample”,用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI,并创建Spark集群“spark_cluster”,为Spark作业提供运行所需的物理资源。
- 创建Password类型跨源认证本章节主要介绍如何创建Password类型跨源认证。 操作场景 通过在DLI控制台创建的Password类型的跨源认证,将DWS、RDS、DCS和DDS数据源的密码信息存储到DLI,无需在SQL作业中配置帐号密码,安全访问DWS、RDS、DDS、DCS数据源。 操作步骤 创建跨源认证。 a.登录DLI管理控制台。 b.选择“跨源管理 > 跨源认证”。 c.单击“创建”。 填写认证信息,详细参数说明请参考下表。 参数说明 参数 参数说明 类型 选择Password。
- Spark组件优化后TPC-DS测试结果本测试所需能力为内部对Spark二次开发获得,开源Spark不支持此能力。如使用Hive事务表,随机测试单条删除语句耗时超过300s,而mt1测试中,共48条删除语句和14条插入语句,因此以开源Spark的mt测试为天翼云翼MR Spark的10倍估算QPhDS@SF分数。
- 创建并提交Spark Jar作业本章节主要介绍创建并提交Spark Jar作业 。 操作场景 DLI可以查询存储在OBS中的数据,本节操作介绍使用DLI提交Spark Jar进行实时计算的操作步骤。 操作流程 使用DLI提交Spark作业进行实时计算。基本流程如下: 1.上传数据至OBS 2.创建队列 3.创建程序包 4.提交Spark作业 上传数据至OBS 开发Spark Jar作业程序,编译并打包为“spark-examples.jar”。参考以下操作步骤上传该作业程序。
- 创建工作负载弹性伸缩（CustomedHPA）每个工作负载只能创建一个策略,即如果您创建了一个HPA策略,则不能再对其创建CustomedHPA策略或其他HPA策略,您可以删除该HPA策略后再创建。 1.19.10以下版本的集群中,如果使用HPA策略对挂载了EVS卷的负载进行扩容,当新Pod被调度到另一个节点时,会导致之前Pod不能正常读写。 1.19.10及以上版本集群中,如果使用HPA策略对挂载了EVS卷的负载进行扩容,新Pod会因为无法挂载云硬盘导致无法成功启动。
- 创建工作负载弹性伸缩（HPA）每个工作负载只能创建一个策略,即如果您创建了一个HPA策略,则不能再对其创建CustomedHPA策略或其他HPA策略,您可以删除该HPA策略后再创建。 1.19.10以下版本的集群中,如果使用HPA策略对挂载了EVS卷的负载进行扩容,当新Pod被调度到另一个节点时,会导致之前Pod不能正常读写。 1.19.10及以上版本集群中,如果使用HPA策略对挂载了EVS卷的负载进行扩容,新Pod会因为无法挂载云硬盘导致无法成功启动。 操作步骤 步骤 1 在CCE控制台,单击集群名称进入集群。
- 快速清理已删除节点上的CCE组件注意 卸载将会删除弹性云主机上的CCE系统用户paas以及docker相关资源,执行清理操作前,若有关键数据需要保留,请提前备份。 操作步骤 步骤 1 登录CCE控制台,在左侧导航栏中选择“集群管理 > 节点管理”,在右侧的节点列表中找到要执行操作的纳管节点,在节点的“操作”区域下单击“更多 > 移除”。 步骤 2 在弹出的“移除纳管节点”对话框中输入"REMOVE"确认移除节点,单击“确认”。 步骤 3 认真阅读弹出的“提示”页面内容,按照步骤清理CCE相关资源。
- Abort Multipart Upload本节主要介绍Abort Multipart Upload。 该接口用于终止一次分片上传操作。分片上传操作被终止后,用户不能再通过上传ID上传其它片段,之前已上传完成的片段所占用的存储空间将被释放。如果此时任何片段正在上传,该上传过程可能会也可能不会成功。所以,为了释放所有片段所占用的存储空间,可能需要多次终止分片上传操作。 请求语法 DELETE /ObjectName?
- 使用Impala客户端source bigdata_env 运行Impala客户端命令,实现A业务。 直接执行Impala组件的客户端命令: impala-shell 说明 默认情况下,impala-shell尝试连接到localhost的21000端口上的Impala守护程序。如需连接到其他主机,请使用 -i host:port 选项,例如:impala-shell -i xxx.xxx.xxx.xxx:21000。要自动连接到特定的Impala数据库,请使用 -d 选项。
- 开发一个MRS Spark Python作业数据准备: 准备脚本文件"wordcount.py",具体内容如下: # -*- coding: utf-8 -* import sys...park import SparkConf, SparkContext def show(x): print(x) if __name__ == "__main__": if len(sys.argv) < 2: print ("Usage: wordcount
- ALM-43001 Spark2x服务不可用对系统的影响 用户提交的Spark任务执行失败。 可能原因 KrbServer服务异常。 LdapServer服务异常。 ZooKeeper服务异常。 HDFS服务异常。 Yarn服务异常。 对应的Hive服务异常。 Spark2x assembly包异常。 处理步骤 若告警原因为:Spark2x assembly包异常,则表示Spark的包存在异常,等待10分钟左右,告警自动恢复。
- 清理表空间（pg_repack）全表repack时,剩余存储空间大小需要至少是待repack表大小的2倍。 pg_repack无法操作临时表。 pg_repack无法操作GiST索引。 重建表和索引时会占用较多的磁盘IO,使用时请提前评估是否影响业务。 在pg_repack运行期间,目标表上不能执行除vacuum和analyze之外的任何DDL指令。
- ALM-29000 Impala服务不可用本章节主要介绍ALM-29000 Impala服务不可用的告警。 告警解释 以30s为周期检测Impala服务状态,当检测到Impala服务异常时,系统产生此告警。 当系统检测到Impala服务恢复正常,或告警处理完成时,告警解除。
- 创建虚拟私有云VPC192.168.0.0/16 VPC网段(IPv6) 是否分配虚拟私有云VPC的IPv6地址,仅部分可用区资源池支持为VPC开启IPv6,不同资源池列表见产品简介-资源池区别页面,实际情况以控制台展现为准。 开启 IPv6地址类型 开启IPv6的情况下,显示此选项,默认仅支持中国电信单线。 中国电信单线 VPC IPv6地址段 开启IPv6的情况下,显示此选项。自动分配: 系统会在客户选定的IPv6地址类型中自动分配一个56位的可用网段。
- 创建并提交Spark SQL作业本章节主要介绍数据湖探索创建并提交Spark SQL作业。 操作场景 DLI可以查询存储在OBS中的数据,本节操作介绍使用DLI提交Spark SQL作业查询OBS数据的操作步骤。 操作流程 使用DLI提交Spark SQL作业查询数据。基本流程如下: 1.上传数据至OBS 2.创建队列 3.创建数据库 4.创建表 5.查询数据 上传数据至OBS 使用DLI查询数据前,需要将数据文件上传至OBS中。 1.登录管理控制台。
- Spark2x对接OBS文件系统kinit 用户名 5.在spark-sql中访问OBS,例如在“obs://mrs-word001/table/”目录中创建表“test”。 6.进入spark bin目录: cd ${client_home}/Spark2x/spark/bin ,执行./spark-sql登录spark-sql命令行。
天翼云最新活动
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
