活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 618智算钜惠季 爆款云主机2核4G限时秒杀,88元/年起!
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云脑AOne NEW 连接、保护、办公,All-in-One!
  • 中小企业应用上云专场 产品组合下单即享折上9折起,助力企业快速上云
  • 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛,数款产品享受线上订购超值特惠
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
科研助手
  • 算力商城
  • 应用商城
  • 开发机
  • 并行计算
算力互联调度平台
  • 应用市场
  • 算力市场
  • 算力调度推荐
一站式智算服务平台
  • 模型广场
  • 体验中心
  • 服务接入
智算一体机
  • 智算一体机
大模型
  • DeepSeek-R1-昇腾版(671B)
  • DeepSeek-R1-英伟达版(671B)
  • DeepSeek-V3-昇腾版(671B)
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek-R1-Distill-Qwen-32B
  • Qwen2-72B-Instruct
  • StableDiffusion-V2.1
  • TeleChat-12B

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案
办公协同
  • WPS云文档
  • 安全邮箱
  • EMM手机管家
  • 智能商业平台
财务管理
  • 工资条
  • 税务风控云
企业应用
  • 翼信息化运维服务
  • 翼视频云归档解决方案
工业能源
  • 智慧工厂_生产流程管理解决方案
  • 智慧工地
建站工具
  • SSL证书
  • 新域名服务
网络工具
  • 翼云加速
灾备迁移
  • 云管家2.0
  • 翼备份
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)
行业应用
  • 翼电子教室
  • 翼智慧显示一体化解决方案

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
  • 天翼云EasyCoding平台
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
开放能力
  • EasyCoding敏捷开发平台
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      文档中心

      数据湖探索

      数据湖探索

        • 产品动态
        • 产品简介
        • 产品定义
        • 产品优势
        • 功能特性
        • 应用场景
        • 与其他产品的关系
        • 术语解释
        • 计费说明
        • 资源节点
        • 产品规格
        • 产品价格
        • 计费模式
        • 购买
        • 续订
        • 退订
        • 快速入门
        • 注册天翼云账号
        • 创建并提交Spark SQL作业
        • 使用TPC-H样例模板开发并提交Spark SQL作业
        • 创建并提交Spark Jar作业
        • 用户指南
        • 概述
        • DLI控制台总览
        • SQL编辑器
        • 作业管理
        • SQL作业管理
        • Flink作业管理
        • Flink作业管理概述
        • Flink作业权限管理
        • 准备Flink作业数据
        • 创建Flink SQL作业
        • 创建Flink Jar作业
        • 调试Flink作业
        • 操作Flink作业
        • Flink作业详情
        • 开启Flink作业动态扩缩容
        • Spark作业管理
        • Spark作业管理概述
        • 创建Spark作业
        • 设置作业优先级
        • 队列管理
        • 队列管理概述
        • 队列权限管理
        • 创建队列
        • 删除队列
        • 修改队列网段
        • 队列弹性扩缩容
        • 弹性扩缩容定时任务
        • 测试地址联通性
        • 创建消息通知主题
        • 弹性资源池
        • 使用前必读
        • 弹性资源池概述
        • 使用场景一:创建弹性资源池并运行作业
        • 使用场景二:配置弹性资源池队列扩缩容策略
        • 弹性资源池基本操作
        • 创建弹性资源池
        • 弹性资源池权限管理
        • 弹性资源池添加队列
        • 弹性资源池关联队列
        • 弹性资源池队列管理
        • 弹性资源池CU设置
        • 弹性资源池规格变更
        • 查看弹性资源池扩缩容历史
        • 数据管理
        • 库表管理
        • 库表管理概述
        • 数据库权限管理
        • 表权限管理
        • 创建数据库和表
        • 删除数据库和表
        • 修改数据库和表所有者
        • 导入数据
        • 将DLI数据导出至OBS
        • 查看元数据
        • 预览数据
        • 程序包管理
        • 程序包管理概述
        • 程序包组和程序包权限管理
        • 创建程序包
        • 删除程序包
        • 修改所有者
        • 内置依赖包
        • 作业模板
        • SQL模板管理
        • Flink模板管理
        • Spark模板管理
        • 附录
        • SQL模板下TPC-H样例数据说明
        • 增强型跨源连接
        • 增强型跨源连接概述
        • 跨源分析开发方式
        • 创建增强型跨源连接
        • 删除增强型跨源连接
        • 修改主机信息
        • 绑定/解绑队列
        • 添加路由
        • 删除路由
        • 增强型跨源连接权限管理
        • 跨源认证
        • 跨源认证概述
        • 创建CSS类型跨源认证
        • 创建Kerberos跨源认证
        • 创建Kafka_SSL类型跨源认证
        • 创建Password类型跨源认证
        • 跨源认证权限管理
        • 全局配置
        • 全局变量
        • 全局变量权限管理
        • 服务授权
        • 权限管理
        • 权限管理概述
        • 创建IAM用户并授权使用DLI
        • DLI自定义策略
        • DLI资源
        • DLI请求条件
        • 常用操作与系统权限关系
        • 其他常用操作
        • 导入数据至DLI表的方式
        • 数据湖探索监控指标说明及查看指导
        • 云审计服务支持的DLI操作列表说明
        • 配额管理
        • 常见问题
        • 计费类
        • 购买类
        • 使用咨询
        • 作业管理
        • 隐私安全
        • 操作类
        • Flink作业相关问题
        • 使用咨询
        • Flink SQL作业相关问题
        • Flink Jar作业相关问题
        • 性能调优
        • 运维指导
        • SQL作业相关问题
        • 使用咨询
        • 作业开发
        • 作业运维报错
        • 运维指导
        • Spark作业相关问题
        • 使用咨询
        • 作业开发
        • 作业运维报错
        • 运维指导
        • 配额相关问题
        • 授权相关问题
        • 使用咨询
        • 运维指导
        • 队列相关问题
        • 使用咨询
        • 运维指导
        • 跨源连接相关问题
        • 跨源连接问题
        • 跨源分析问题
        • 跨源连接运维报错
        • 相关协议
        • 数据湖探索产品服务协议
        • 文档下载
        • 数据湖探索服务用户操作手册
        • 数据湖探索SQL语法参考
        • 数据湖探索开发指南
        • 数据湖探索故障排除
          无相关产品

          本页目录

          帮助中心数据湖探索常见问题操作类SQL作业相关问题作业运维报错
          作业运维报错
          更新时间 2023-11-30 00:52:42
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          最近更新时间: 2023-11-30 00:52:42
          分享文章
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          本章节主要介绍SQL作业相关问题中有关作业运维报错的问题。

          用户导表到OBS报“pathobs://xxx already exists”错误

          用户可新建一个不存在的OBS目录或手动删除已存在的OBS目录,再重新提交作业。删除已存在的OBS目录后,目录下的所有数据将会被删除。请谨慎执行此删除操作。

          对两个表进行join操作时,提示:SQL_ANALYSIS_ERROR: Reference 't.id' is ambiguous, could be: t.id,t.id.;

          出现这个提示,表示进行join操作的两个表中包含相同的字段,但是在执行命令时,没有指定该字段的归属。

          例如:在表tb1和tb2中都包含字段“id”。

          错误的命令:

          select id from tb1 join tb2;
          

          正确的命令:

          select tb1.id from tb1 join tb2;
          

          执行查询语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget.

          请先确认是否欠费,如有欠费请充值。

          如果充值后仍然提示相同的错误,请退出账号后重新登录。

          执行查询语句报错:There should be at least one partition pruning predicate on

          partitioned table XX.YYY]()

          原因分析:

          上述报错信息说明:partitioned

          table XX.YYY执行查询时,其查询条件中未使用其表分区列。

          查询分区表时,查询条件中每个分区表必须包含至少一个分区列才允许执行,否则不允许执行。

          解决方法:

          建议用户参考如下例子查询分区表:

          其中partitionedTable为分区表,partitionedColumn为分区列,查询语句为:

          SELECT * FROM partitionedTable WHERE partitionedColumn  = XXX
          

          查询每个分区表时必须包含至少一个分区条件。

          LOAD数据到OBS外表报错:IllegalArgumentException: Buffer size too small. size

          问题描述

          在Spark SQL作业中,使用LOAD DATA命令导入数据到DLI表中时报如下错误:

          error.DLI.0001: IllegalArgumentException: Buffer size too small. size = 262144 needed = 2272881
          

          或者如下错误

          error.DLI.0999: InvalidProtocolBufferException: EOF in compressed stream footer position: 3 length: 479 range: 0 offset: 3 limit: 479 range 0 = 0 to 479 while trying to read 143805 bytes
          

          问题原因

          上述报错可能原因是当前导入的文件数据量较大,同时因为spark.sql.shuffle.partitions参数设置的并行度过大,导致缓存区大小不够而导入数据报错。

          解决方案

          建议可以尝试调小spark.sql.shuffle.partitions参数值来解决缓冲区不足问题。具体该参数设置步骤如下:

          1.登录DLI管理控制台,单击“作业管理 > SQL作业”,对应SQL作业行的操作列,单击“编辑”按钮,跳转到“SQL编辑器”。

          2.在“SQL编辑器”中,单击“设置”,参考如下图配置添加参数。

          3.重新执行作业。

          SQL作业运行报错:DLI.0002 FileNotFoundException

          问题现象

          SQL作业执行报错,报错信息大致如下:

          Please contact DLI service. DLI.0002: FileNotFoundException: getFileStatus on obs://xxx: status [404] 
          

          解决方案

          请排查在同一时间点是否还有另外作业对当前报错作业操作的表信息有删除操作。

          DLI不允许同时有多个作业在同一时间点对相同表进行读写操作,否则会造成作业冲突,导致作业运行失败。

          用户通过CTAS创建hive表报schema解析异常错误

          目前DLI支持hive语法创建TEXTFILE、SEQUENCEFILE、RCFILE、ORC、AVRO、PARQUET文件类型的表,如果用户CTAS建表指定的文件格式为AVRO类型,而且直接使用数字作为查询语句(SELECT)的输入,如“CREATE TABLE tb_avro STORED AS AVRO AS SELECT 1”则会报schema解析异常。

          此问题的原因是如果不指定列名,则会把SELECT后的内容同时作为列名和插入值,而AVRO格式的表不支持列名为数字,所以会报解析schema异常错误。

          用户可以通过“CREATE TABLE tb_avro STORED AS AVRO AS SELECT 1 AS colName”指定列名的方式解决该问题,或者将存储格式指定为除AVRO以外的其它格式。

          在DataArts Studio上运行DLI SQL脚本,执行结果报org.apache.hadoop.fs.obs.OBSIOException错误

          问题现象

          在DataArts Studio上运行DLI SQL脚本,执行结果的运行日志显示语句执行失败,错误信息为:

          DLI.0999: RuntimeException: org.apache.hadoop.fs.obs.OBSIOException: initializing on obs://xxx.csv: status [-1] - request id 
          [null] - error code [null] - error message [null] - trace :com.obs.services.exception.ObsException: OBS servcie Error Message. Request Error: 
          ... 
          Cause by: ObsException: com.obs.services.exception.ObsException: OBSs servcie Error Message. Request Error: java.net.UnknownHostException: xxx: Name or service not known
          

          问题根因

          第一次执行DLI SQL脚本,用户没有在DLI控制台上同意隐私协议导致在DataArts Studio运行SQL脚本报错。

          解决方案

          1.登录DLI控制台,选择“SQL编辑器”,输入任意执行一个SQL语句,比如“select 1”。

          2.弹出隐私协议后,勾选“同意以上隐私协议”,单击“确定”。

          说明

          该隐私协议只需要在第一次执行时同意即可,后续再次运行不再会弹出和确认。

          3.重新在DataArts Studio上运行DLI SQL脚本,脚本运行正常。

          使用CDM迁移数据到DLI,迁移作业日志上报UQUERY_CONNECTOR_0001:Invoke DLI service api failed错误

          问题现象

          在CDM迁移数据到DLI,迁移作业提交后,在CDM作业迁移日志中查看作业执行失败,具体日志有如下报错信息:

          org.apache.sqoop.common.SqoopException: UQUERY_CONNECTOR_0001:Invoke DLI service api failed, failed reason is %s. 
          at org.apache.sqoop.connector.uquery.intf.impl.UQueryWriter.close(UQueryWriter.java:42) 
          at org.apache.sqoop.connector.uquery.processor.Dataconsumer.run(Dataconsumer.java:217) 
          at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 
          at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
          at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) 
          at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) 
          at java.lang.Thread.run(Thread.java:748)
          

          问题原因

          在CDM界面创建迁移作业,配置DLI目的连接参数时,“资源队列”参数错误选成了DLI的“通用队列”,应该选择DLI的“SQL队列”。

          解决方案

          1.登录DLI管理控制台,选择“队列管理”,在队列管理界面查看是否有“SQL队列”类型的队列。

          −是,执行3。

          −否,执行2购买“SQL队列”类型的队列。

          2.单击“购买队列”创建队列,其中队列类型选择“SQL队列”,选择其他参数后提交创建。

          3.在CDM侧重新配置迁移作业的DLI目的连接参数,其中资源队列”参数选择已创建的DLI“SQL队列”。

          4.CDM重新提交迁移作业,查看作业执行日志。

          SQL作业访问报错:File not Found

          问题现象

          执行SQL作业访问报错:File not Found。

          解决措施

          文件报错找不到,一般是读写冲突产生的,建议查询一下SQL查询报错表的时候,是否有作业正在覆盖写对应数据。

          SQL作业访问报错:DLI.0003: AccessControlException XXX

          问题现象

          SQL作业访问报错:DLI.0003: AccessControlException XXX。

          解决措施

          请查看下AccessControlException写的OBS桶,确认当前账号是否有访问桶的权限。

          SQL作业访问外表报错:DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on}: status [403]

          问题现象

          SQL作业访问外表报错:DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403]。

          解决措施

          当前账号没有访问该外表所在OBS桶的权限,请添加相应OBS权限再执行该查询。

          执行SQL语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget.

          问题现象

          执行SQL语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget。

          解决措施

          请先确认帐号否欠费,如帐号欠费请续费后重试。

          如果续费后重试仍然提示相同的错误,请退出账号后重新登录。

          文档反馈

          建议您登录后反馈,可在建议与反馈里查看问题处理进度

          鼠标选中文档,精准反馈问题

          选中存在疑惑的内容,即可快速反馈问题,我们会跟进处理

          知道了

          上一篇 :  作业开发
          下一篇 :  运维指导
          搜索 关闭
          ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
          公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
          备案 京公网安备11010802043424号 京ICP备 2021034386号
          ©2025天翼云科技有限公司版权所有
          京ICP备 2021034386号
          备案 京公网安备11010802043424号
          增值电信业务经营许可证A2.B1.B2-20090001
          用户协议 隐私政策 法律声明