活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      费用中心_相关内容
      • ETL Job
        参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 DWS − 连接名称(必选):单击 ,在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库(必选):单击 ,在弹出的“数据库”窗口选择DWS的数据库。 − schema(必选):单击 ,在弹出的“schema”窗口选择DWS的数据库模式。 − 表名(必选):单击 ,在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径(必选):单击 ,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称(必选):单击 ,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称(必选):输入CSS类型的索引名称。 HIVE − 连接名称(必选):单击 ,在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库(必选):单击 ,在弹出的“数据库”窗口选择HIVE的数据库。 − 表名(必选):单击 ,在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称(必选):输入CUSTOM类型的名称。 − 属性(必选):输入CUSTOM类型的属性,可新增不止一条。 DLI − 连接名称(必选):单击 ,在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库(必选):单击 ,在弹出的“数据库”窗口选择DLI的数据库。 − 表名(必选):单击,在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。 编辑 单击 ,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击 ,删除节点输入功能的参数配置。 查看表详情 单击 ,查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 DWS − 连接名称(必选):单击 ,在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库(必选):单击 ,在弹出的“数据库”窗口选择DWS的数据库。 − schema(必选):单击 ,在弹出的“schema”窗口选择DWS的数据库模式。 − 表名(必选):单击 ,在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径(必选):单击 ,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称(必选):单击 ,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称(必选):输入CSS类型的索引名称。 HIVE − 连接名称(必选):单击 ,在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库(必选):单击 ,在弹出的“数据库”窗口选择HIVE的数据库。 − 表名(必选):单击 ,在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称(必选):输入CUSTOM类型的名称。 − 属性(必选):输入CUSTOM类型的属性,可新增不止一条。 DLI − 连接名称(必选):单击 ,在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库(必选):单击 ,在弹出的“数据库”窗口选择DLI的数据库。 − 表名(必选):单击 ,在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”,保存节点输出功能的参数配置。 取消 单击“取消”,取消节点输出功能的参数配置。 编辑 单击 ,修改节点输出功能的参数配置,修改完成后,请保存。 删除 单击 ,删除节点输出功能的参数配置。 查看表详情 单击 ,查看节点输出血缘关系创建数据表的详细信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        节点参考
        ETL Job
      • 表达式概述
        本章节主要介绍DataArts Studio的EL表达式操作。 数据开发模块作业中的节点参数可以使用表达式语言(Expression Language,简称EL),根据运行环境动态生成参数值。可以根据Pipeline输入参数、上游节点输出等决定是否执行此节点。数据开发模块 EL表达式使用简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。 作业对象:提供了获取作业中上一个节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 工具类对象:提供了一系列字符串、时间、JSON操作方法,例如从一个字符串中截取一个子字符串、时间格式化等。 语法 表达式的语法: {expr} 其中,“expr”指的是表达式。“ ”和“{}”是数据开发模块 EL中通用的操作符,这两个操作符允许您通过数据开发模块内嵌对象访问作业属性。 举例 在Rest Client节点的参数“URL参数”中使用EL表达式 “tableName {JSONUtil.path(Job.getNodeOutput("getcluster"),"tables[0].tablename")}”。 表达式说明如下: 1. 获取作业中“getcluster”节点的执行结果(“Job.getNodeOutput("getcluster")”),执行结果是一个JSON字符串。 2. 通过JSON路径(“tables[0].tablename”),获取JSON字符串中字段的值。 调试方法介绍 下面为您介绍几种EL表达式的调试方法,能够在调试过程中方便地看到替换结果。 后文以 {DateUtil.now()}表达式为例进行介绍。 1. 使用DIS Client节点。 前提:您需要具备DIS通道。 方法:选择DIS Client节点,将EL表达式直接写在要发送的数据中,点击“测试运行”,然后在节点上右键查看日志,日志中会把EL表达式的值打印出来。 2. 使用Kafka Client节点。 前提:您需要具备MRS集群,且集群有Kafka组件。 方法:选择Kafka Client节点,将EL表达式直接写在要发送的数据中,点击“测试运行”,然后在节点上右键查看日志,日志中会把EL表达式的值打印出来。 3. 使用Shell节点。 前提:您需要具备ECS弹性云主机。 方法:创建一个主机连接,将EL表达式直接通过echo打印出来,点击“测试运行”之后查看日志,日志中会打印出EL表达式的值。 4. 使用Create OBS节点。 如果上述方法均不可用,则可以通过Create OBS去创建一个OBS目录,目录名称就是EL表达式的值,点击“测试运行”后,再去OBS界面查看创建出来的目录名称。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        EL表达式参考
        表达式概述
      • 新建原子指标
        当需要... 则... 新建 执行新建原子指标并发布。 编辑 执行3。 发布 执行4。 查看发布历史 执行5。 下线 执行6。 删除 执行7。 导入 执行8。 导出 执行9。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据架构
        指标设计
        技术指标
        新建原子指标
      • Data Quality Monitor
        参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将不会再重试,直接置为失败状态。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 − 最大重试次数 − 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后将不会再重试,直接置为失败状态。 失败策略 是 节点执行失败后的操作: 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划:暂停当前作业运行,当前作业实例状态显示为“等待运行”。 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        节点参考
        Data Quality Monitor
      • RDS SQL
        参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将不会再重试,直接置为失败状态。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 − 最大重试次数 − 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后将不会再重试,直接置为失败状态。 失败策略 是 节点执行失败后的操作: 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划:暂停当前作业运行,当前作业实例状态显示为“等待运行”。 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        节点参考
        RDS SQL
      • 查看质量报告
        本章节主要介绍查看质量报告的操作。 您可以查询业务指标、数据质量中数据对象的质量评分,来判断各个对象是否质量达标。 查询业务质量评分 质量评分的满分可设置为5分,10分,100分。默认为5分制,是以表关联的规则为基础进行评分的。而表、业务对象、主题域等不同维度的评分,本质上是基于规则评分在不同维度下的加权平均值进行计算的。 您可以查询主题域分组、主题域、业务对象、表以及表关联的规则评分,具体评分对象的计算公式,详请参见下表。 对象评分计算公式 对象 评分计算公式 规则 创建质量作业时,包含“比率”、“值率”的系统内置规则及用户自定义规则可以生成质量评分报告。 包含“比率”、“值率”的规则可以分为正向规则及反向规则,正向规则即比值越高,代表数据质量越好;反向规则即比值越高,则数据质量越差。 正向规则包含唯一值率、重复值率、合法比率规则,反向规则包含空值率规则。 正向规则评分满足规则的数据行数/数据总行数满分(5,10,100)。 反向规则评分(1满足规则的数据行数/数据总行数)满分(5,10,100)。 当表为空,即总行数为0时,正向规则评分固定为满分,反向评分固定为0分。 表 表评分计算公式:∑(表关联的所有规则评分规则权重)/∑规则权重 业务对象 业务对象下所有表评分的加权求平均值,即:∑业务对象下所有表评分/表的数量。 主题域 主题域下所有业务对象评分的加权求平均值,即:∑主题域下所有业务对象评分/业务对象的数量。 主题域分组 分组下所有主题域评分的加权求平均值,即:∑分组下所有主题域评分/主题域的数量。 1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。 详见下图:选择数据质量 2.选择“数据质量监控 > 质量报告”。 3.单击“业务报告”页签,选择主题及截至日期,查询截至日期前7天的数据质量评分,如下图所示。 说明 以评分满分为5分为例。其中45分评价为优秀,34分为良好,23分为中等,12分为及格,01分为不及格。 当天质量评分数据在次日凌晨生成。 质量评分历史趋势中的实线为截至日期前7天质量评分组成的连线,虚线为这7天质量评分的平均分。 若一天多次运行该作业,当天的质量评分为最后一次的得分。 4.单击“表评分”列的评分值链接,展开该表关联的规则评分。 5.单击“规则评分”列的评分值链接,展开该规则关联的字段评分,如下图所示。 表关联规则评分
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据质量
        数据质量监控
        查看质量报告
      • 作业开发流程
        本章节主要介绍作业开发的作业开发流程。 作业开发功能提供如下能力: 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。 提供编辑锁定能力,支持多人协同开发场景。 支持作业的版本管理能力。 开发作业前,您可以通过下图了解数据开发模块作业开发的基本流程。 作业开发流程 1. 新建作业:当前提供两种作业类型:批处理和实时处理,分别应用于批量数据处理和实时连接性数据处理,具体请参见新建作业。 2. 开发作业:基于新建的作业,进行作业开发,您可以进行编排、配置节点。具体请参见开发作业。 3. 调度作业:配置作业调度任务。具体请参见调度作业。 − 如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见调度作业章节中的“配置作业调度任务(批处理作业)”。 − 如果您的作业是实时处理作业,您可以配置节点级别的调度任务,即每一个节点可以独立调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见调度作业章节中的“配置节点调度任务(实时作业)”。 4. 提交版本并解锁:作业调度配置完成后,您需要提交版本并解锁,提交版本并解锁后才能用于调度运行,便于其他开发者修改。具体请参见提交版本并解锁。 5. (可选)管理作业:作业开发完成后,您可以根据需要,进行作业管理。具体请参见(可选)管理作业。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        作业开发
        作业开发流程
      • 配置DMS Kafka连接
        参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dmslink 服务类型 选择DMS Kafka版本,目前只有专享版。 专享版 Kafka Broker Kafka专享版实例的地址,格式为host:port。 Kafka SASLSSL 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。 开启Kafka SASLSSL,则数据加密传输,安全性更高,但性能会下降。 是 用户名 开启Kafka SASLSSL时显示该参数,表示连接DMS Kafka的用户名。 密码 开启Kafka SASLSSL时显示该参数,表示连接DMS Kafka的密码。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理连接
        配置DMS Kafka连接
      • 实时作业监控
        参数 说明 上次暂停时间 节点暂停运行的起始时间。 未运行任务数 节点暂停期间没有运行的任务数量。 运行位置 “运行暂停期间任务”的参数。 表示选择节点暂停运行后,恢复运行时的启动位置。 从暂停节点开始运行 从子作业第一个节点开始运行 处理并发数 “运行暂停期间任务”的参数。 表示选择任务处理的数量。 任务名称 “运行暂停期间任务”的参数。 表示恢复的任务名称。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        运维调度
        作业监控
        实时作业监控
      • 基础操作符
        本章节主要介绍DataArts Studio的基础操作符操作。 EL表达式支持大部分Java提供的算术和逻辑操作符。 操作符列表 基础操作符 操作符 描述 . 访问一个Bean属性或者一个映射条目 [] 访问一个数组或者链表的元素 () 组织一个子表达式以改变优先级 + 加 减或负 乘 /或div 除 %或mod 取模 或eq 测试是否相等 !或ne 测试是否不等 或gt 测试是否大于 或ge 测试是否大于等于 &&或and 测试逻辑与 ‖ 或or 测试逻辑或 ! 或not 测试取反 empty 测试是否空值 ?: 类似if else表示式。如果?前面的语句为true,返回?和:之间的表达式的值;否则返回:后面的值。 举例 如果变量a为空,返回default,否则返回a本身。EL表达式如下: {empty a?"default":a}
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        EL表达式参考
        基础操作符
      • 新建数据表
        数据连接类型 参数说明 DLI 请见下方DLI数据表中的“基本属性”部分 DWS 请见下方DWS数据表中的“基本属性”部分 MRS Hive 请见下方MRS Hive数据表中的“基本属性”部分
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        数据管理
        新建数据表
      • 新建脚本
        参数 说明 目录名称 脚本目录的名称,只能包含英文字母、数字、中文字符、“”、“”,且长度为1~64个字符。 选择目录 选择该脚本目录的父级目录,父级目录默认为根目录。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        脚本开发
        新建脚本
      • 开发SQL脚本
        下载或转储脚本执行结果 约束限制 :转储脚本执行结果功能依赖于OBS服务,如无OBS服务,则不支持该功能。 脚本运行成功后,您可以在执行结果页签下载或转储执行结果,仅支持具有拥有DAYU Administrator或Tenant Administrator权限的用户下载和转储。 下载结果:下载CSV格式的结果文件到本地。 转储结果:转储CSV格式的结果文件到OBS中,请参见下表。 说明 Flink SQL脚本、RDS SQL脚本、Shell脚本的执行结果,不支持转储。 转储结果 参数 是否必选 说明 数据格式 是 目前仅支持导出CSV格式的结果文件。 资源队列 否 选择执行导出操作的DLI队列。当脚本为DLI SQL时,配置该参数。 压缩格式 否 选择压缩格式。当脚本为DLI SQL时,配置该参数。 none bzip2 deflate gzip 存储路径 是 设置结果文件的OBS存储路径。选择OBS路径后,您需要在选择的路径后方自定义一个文件夹名称,系统将在OBS路径下创建文件夹,用于存放结果文件。 覆盖类型 否 如果“存储路径”中,您自定义的文件夹在OBS路径中已存在,选择覆盖类型。当脚本为DLI SQL时,配置该参数。 覆盖:删除OBS路径中已有的重名文件夹,重新创建自定义的文件夹。 存在即报错:系统返回错误信息,退出导出操作。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        脚本开发
        开发脚本
        开发SQL脚本
      • Sub Job
        参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将不会再重试,直接置为失败状态。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 − 最大重试次数 − 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后将不会再重试,直接置为失败状态。 失败策略 是 节点执行失败后的操作: 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划:暂停当前作业运行,当前作业实例状态显示为“等待运行”。 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        节点参考
        Sub Job
      • MRS MapReduce
        参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将不会再重试,直接置为失败状态。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 − 最大重试次数 − 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后将不会再重试,直接置为失败状态。 失败策略 是 节点执行失败后的操作: 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划:暂停当前作业运行,当前作业实例状态显示为“等待运行”。 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        节点参考
        MRS MapReduce
      • 全量导出/导出/导入API
        导出API 1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据服务”模块,进入数据服务页面。 详见下图: 选择数据服务 2.在左侧导航栏选择服务版本(例如:专享版),进入总览页。 3.单击“开发API > API管理”页面,进入API管理页面。 4.勾选待导出的API所在行,在API列表上方,选择“更多 > 导出”,弹出导出窗口。 5.在导出窗口中确认待导出的API,点击确认即可以Excel文件的形式导出API。 详见下图: 导出API 6.打开下载到本地的Excel文件,可以查看导出的API。不同类型的API会分别导出到文件页签中, 点击下方页签可以切换查看并编辑。 详见下图: Excel文件样式 导入API 1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据服务”模块,进入数据服务页面。 详见下图: 选择数据服务 2.在左侧导航栏选择服务版本(例如:专享版),进入总览页。 3.单击“开发API > API管理”页面,进入API管理页面。 4.在API列表上方,选择“更多>导入”,进入导入API窗口。 5.在导入窗口中点击“选择Excel文件”,选择后点击导入,导入结果中可以展示导入状态。 说明 待导入的API文件可以是从其他项目直接导出的API文件,也可以是通过模板填写的Excel文件,需要确保符合模板规范要求。 详见下图: 导入API 6.导入成功后,即可在API列表中查看导入的API。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据服务
        开发API
        管理API
        全量导出/导出/导入API
      • 管理资源
        编辑资源 资源新建完成后,用户可以根据需求修改资源的参数。 1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2. 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 3. 在资源的“操作”列,单击“编辑”,弹出“编辑资源”页面,参考下表修改资源的参数。 4. 单击“确定”,保存修改。 删除资源 当用户不需要使用某个资源时,可以删除该资源。 删除资源前,请确保该资源未被作业使用。删除资源的时候,会检查资源被哪些作业引用,引用列表中“版本”一列,表示此资源被哪些作业版本引用。点击删除时,会删除对应的作业和这个作业的所有版本信息。 1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2. 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 3. 在资源的“操作”列,单击“删除”,弹出“删除资源”页面。 4. 单击“确定”,删除资源。 导入资源 当用户想要导入某个资源时,可以参考如下操作导入该资源。 1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2. 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 3. 在资源目录中,单击,选择“导入资源”,弹出“导入资源”页面。 4. 选择已上传至OBS中的资源文件,然后单击“下一步”,导入完成后,单击“关闭”完成资源的导入。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        配置管理
        管理资源
      • 导出导入作业
        本章节主要介绍(可选)管理作业的导出导入作业。 导出作业,均是导出开发态的最新的已保存内容。 导入作业,会覆盖开发态的内容并自动提交一个新版本。 导出作业 1. 在作业开发页面导出某一个作业 a.双击作业名称,进入某一作业的开发页面,单击画布上方的导出按钮,选择导出作业的类型。 只导出作业:导出作业中节点的连接关系,以及各节点的属性配置到本地,不包含密码等敏感信息。导出后,您可以通过浏览器下载内容获取到zip格式的压缩包文件。 导出作业及其依赖脚本:导出作业中节点的连接关系、各节点的属性配置以及作业的调度配置、参数配置、依赖的脚本、资源定义到本地,不包含密码等敏感信息。导出后,您可以通过浏览器下载内容获取到zip格式的压缩包文件。 详见下图:导出作业(方式一) b.单击“确定”,导出所需的作业文件。 2. 在作业目录中导出一个或多个作业 a.单击作业目录中的,选择“显示复选框”。 详见下图:显示作业复选框 b.勾选需要导出的作业,单击 > 导出作业,可选择“只导出作业”或“导出作业及其依赖脚本和资源定义”。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 详见下图:选择并导出作业
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        作业开发
        (可选)管理作业
        导出导入作业
      • 复制作业
        本章节主要介绍(可选)管理作业的复制作业。 本章节主要介绍如何复制一份作业。 前提条件 已完成作业开发。如何开发作业,请参见开发作业。 操作步骤 1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2. 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 3. 在作业目录中选择需要要复制的作业,右键单击作业名称,选择“拷贝另存为”。 4. 在弹出的“另存为”页面,配置如下表所示的参数。 作业目录参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“”、“”、“.”,且长度为1~128个字符。 选择目录 选择该作业目录的父级目录,父级目录默认为根目录。 5. 单击“确定”,复制作业。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        作业开发
        (可选)管理作业
        复制作业
      • 复制名称和重命名作业
        本章节主要介绍(可选)管理作业的复制名称和重命名作业。 您可以通过复制名称功能复制当前作业名称,通过重命名功能修改当前作业名称。 前提条件 已完成作业开发。如何开发作业,请参见开发作业。 复制名称 1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2. 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 3. 在作业目录中选择需要复制名称的作业,右键单击作业名称,选择“复制名称”,即可复制名称到剪贴板。 重命名作业 1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2. 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 3. 在作业目录中选择需要重命名的作业,右键单击作业名称,选择“重命名”。 4. 在弹出的“重命名作业名称”页面,配置新作业名。 重命名作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“”、“”、“.”,且长度为1~128个字符。 5. 单击“确定”,重命名作业。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        作业开发
        (可选)管理作业
        复制名称和重命名作业
      • 数据服务概览
        界面 说明 发布趋势 从每天、每周、每月、每年的维度统计了API开放方发布的API数量。 调用趋势 从半天、每天、每周、每月的维度统计了API开放方发布的API,被调用的次数。 调用比率TOP5 统计API开放方所开放的API,被调用的比率,包含成功率、失败率、合法率和非法率。 调用时间TOP5 统计API开放方所开放的API,被调用时长,支持统计的维度包含时长平均总值、成功时长平均总值,失败时长平均总值。 调用次数TOP5 统计API开放方所开放的API,被调用次数排名TOP5的,支持统计的维度包含调用总次数、成功次数、失败次数、合法次数和非法次数。 已发布 统计API开放方已成功发布至服务市场的API数量。 开发中 统计API开放方开发中的API数量。 申请者 统计API开放方已成功发布的API,被申请调用的应用数量。 调用成功 统计API开放方已成功发布的API,被应用成功调用的次数。 调用失败 统计API开放方已成功发布的API,被应用调用失败的次数。 总调用次数 统计API开放方已成功发布的API,被应用调用的总次数。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据服务
        数据服务概览
      • DWS SQL
        参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 DWS − 连接名称(必选):单击 ,在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库(必选):单击 ,在弹出的“数据库”窗口选择DWS的数据库。 − schema(必选):单击 ,在弹出的“schema”窗口选择DWS的数据库模式。 − 表名(必选):单击 ,在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径(必选):单击 ,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称(必选):单击 ,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称(必选):输入CSS类型的索引名称。 HIVE − 连接名称(必选):单击 ,在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库(必选):单击 ,在弹出的“数据库”窗口选择HIVE的数据库。 − 表名(必选):单击 ,在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称(必选):输入CUSTOM类型的名称。 − 属性(必选):输入CUSTOM类型的属性,可新增不止一条。 DLI − 连接名称(必选):单击 ,在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库(必选):单击 ,在弹出的“数据库”窗口选择DLI的数据库。 − 表名(必选):单击 ,在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。 编辑 单击 ,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击 ,删除节点输入功能的参数配置。 查看表详情 单击 ,查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 DWS − 连接名称(必选):单击 ,在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库(必选):单击 ,在弹出的“数据库”窗口选择DWS的数据库。 − schema(必选):单击 ,在弹出的“schema”窗口选择DWS的数据库模式。 − 表名(必选):单击 ,在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径(必选):单击 ,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称(必选):单击 ,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称(必选):输入CSS类型的索引名称。 HIVE − 连接名称(必选):单击 ,在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库(必选):单击 ,在弹出的“数据库”窗口选择HIVE的数据库。 − 表名(必选):单击 ,在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称(必选):输入CUSTOM类型的名称。 − 属性(必选):输入CUSTOM类型的属性,可新增不止一条。 DLI − 连接名称(必选):单击 ,在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库(必选):单击 ,在弹出的“数据库”窗口选择DLI的数据库。 − 表名(必选):单击,在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”,保存节点输出功能的参数配置。 取消 单击“取消”,取消节点输出功能的参数配置。 编辑 单击 ,修改节点输出功能的参数配置,修改完成后,请保存。 删除 单击 ,删除节点输出功能的参数配置。 查看表详情 单击 ,查看节点输出血缘关系创建数据表的详细信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        节点参考
        DWS SQL
      • DLI Spark
        本章节主要介绍节点参考的 DLI Spark。 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 参数 用户可参考下表配置DLI Spark节点的参数。 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符,长度为1~128个字符。 DLI队列 是 下拉选择需要使用的队列。 作业特性 否 选择自定义镜像和对应版本。仅当DLI队列为容器化队列类型时,出现本参数。自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像,使用Dockerfile将作业运行需要的依赖(文件、jar包或者软件)打包到镜像中,生成自己的自定义镜像,然后将镜像发布到SWR(容器镜像服务)中,最后在此选择自己生成的镜像,运行作业。自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些私有能力内置到自定义镜像中,从而增强作业的功能、性能。。 作业名称 是 填写DLI Spark作业的名称,只能包含英文字母、数字、“”,且长度为1~64个字符。默认与节点的名称一致。 作业运行资源 否 选择作业运行的资源规格: 8核32G内存 16核64G内存 32核128G内存 作业主类 是 Spark作业的主类名称。当应用程序类型为“.jar”时,主类名称不能为空。 Spark程序资源包 是 运行spark作业依赖的jars。可以输入jar包名称,也可以输入对应jar包文件的的OBS路径,格式为:obs://桶名/文件夹路径名/包名。在选择资源包之前,您需要先将Jar包及其依赖包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考管理资源章节中的“新建资源”。 资源类型 是 支持OBS路径和DLI程序包两种类型的资源。 OBS路径:作业执行时,不会上传资源包文件到DLI资源管理,文件的OBS路径会作为启动作业消息体的一部分,推荐使用该方式。 DLI程序包:作业执行前,会将资源包文件上传到 DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”时,需要设置。可选择“已有分组”,“创建新分组”或“不分组”。 分组名称 否 当“资源类型”选择了“DLI程序包”时,需要设置。 选择“已有分组”:可选择已有的分组。 选择“创建新分组”:可输入自定义的组名称。 选择“不分组”:不需要选择或输入组名称。 主类入口参数 否 用户自定义参数,多个参数请以Enter键分隔。应用程序参数支持全局变量替换。例如,在“全局配置”>“全局变量”中新增全局变量key为batchnum,可以使用{{batchnum}},在提交作业之后进行变量替换。 Spark作业运行参数 否 以“key/value”的形式设置提交Spark作业的属性,多个参数以Enter键分隔。具体参数请参见Spark Configuration。 Spark参数value支持全局变量替换。 例如,在“全局配置”>“全局变量”中新增全局变量key为customclass,可以使用"spark.sql.catalog"{{customclass}},在提交作业之后进行变量替换。 说明 Spark作业不支持自定义设置jvm垃圾回收算法。 Module名称 否 DLI系统提供的用于执行跨源作业的依赖模块,访问各个不同的服务,选择不同的模块: CloudTable/MRS HBase: sys.datasource.hbase DDS:sys.datasource.mongo CloudTable/MRS OpenTSDB: sys.datasource.opentsdb DWS: sys.datasource.dws RDS MySQL: sys.datasource.rds RDS PostGre: sys.datasource.rds DCS: sys.datasource.redis CSS: sys.datasource.css DLI内部相关模块: sys.res.dliv2 sys.res.dli sys.datasource.dliinnertable 访问元数据 是 是否通过Spark作业访问元数据。 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将不会再重试,直接置为失败状态。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 − 最大重试次数 − 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后将不会再重试,直接置为失败状态。 失败策略 是 节点执行失败后的操作: 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划:暂停当前作业运行,当前作业实例状态显示为“等待运行”。 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 DWS − 连接名称(必选):单击,在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库(必选):单击,在弹出的“数据库”窗口选择DWS的数据库。 − schema(必选):单击,在弹出的“schema”窗口选择DWS的数据库模式。 − 表名(必选):单击,在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称(必选):输入CSS类型的索引名称。 HIVE − 连接名称(必选):单击,在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库(必选):单击,在弹出的“数据库”窗口选择HIVE的数据库。 − 表名(必选):单击,在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称(必选):输入CUSTOM类型的名称。 − 属性(必选):输入CUSTOM类型的属性,可新增不止一条。 DLI − 连接名称(必选):单击,在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库(必选):单击,在弹出的“数据库”窗口选择DLI的数据库。 − 表名(必选):单击,在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。 编辑 单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 DWS − 连接名称(必选):单击,在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库(必选):单击,在弹出的“数据库”窗口选择DWS的数据库。 − schema(必选):单击,在弹出的“schema”窗口选择DWS的数据库模式。 − 表名(必选):单击,在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称(必选):输入CSS类型的索引名称。 HIVE − 连接名称(必选):单击,在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库(必选):单击,在弹出的“数据库”窗口选择HIVE的数据库。 − 表名(必选):单击,在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称(必选):输入CUSTOM类型的名称。 − 属性(必选):输入CUSTOM类型的属性,可新增不止一条。 DLI − 连接名称(必选):单击,在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库(必选):单击,在弹出的“数据库”窗口选择DLI的数据库。 − 表名(必选):单击,在弹出的“表名”窗口选择DLI的数据表。 确定 单击“确认”,保存节点输出功能的参数配置。 取消 单击“取消”,取消节点输出功能的参数配置。 编辑 单击,修改节点输出功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输出功能的参数配置。 查看表详情 单击,查看节点输出血缘关系创建数据表的详细信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        节点参考
        DLI Spark
      • ROMA FDI Job
        参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将不会再重试,直接置为失败状态。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 − 最大重试次数 − 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后将不会再重试,直接置为失败状态。 失败策略 是 节点执行失败后的操作: 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划:暂停当前作业运行,当前作业实例状态显示为“等待运行”。 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        节点参考
        ROMA FDI Job
      • 文件格式介绍
        5.使用正则表达式分隔字段 这个功能是针对一些复杂的半结构化文本,例如日志文件的解析,详见: 正则表达式分隔半结构化文本。 6.首行为标题行 这个参数是针对CSV文件导出到其它地方的场景,如果源端指定了该参数,CDM在抽取数据时将第一行作为标题行。在传输CSV文件的时候会跳过标题行,这时源端抽取的行数,会比目的端写入的行数多一行,并在日志文件中进行说明跳过了标题行。 7.写入文件大小 这个参数是针对数据库导出到CSV文件的场景,如果一张表的数据量比较大,那么导出到CSV文件的时候,会生成一个很大的文件,有时会不方便下载或查看。这时可以在目的端指定该参数,这样会生成多个指定大小的CSV文件,避免导出的文件过大。该参数的数据类型为整型,单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容: CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 1.CDM支持解析的JSON 类型:JSON对象、JSON数组。 JSON对象:JSON文件包含单个对象,或者以行分隔/串连的多个对象。 i.单一对象JSON: { "took" : 190, "timedout" : false, "total" : 1000001, "maxscore" : 1.0 ii.行分隔的JSON对象: {"took" : 188, "timedout" :false, "total" : 1000003, "maxscore" : 1.0 } {"took" : 189, "timedout" : false, "total" :1000004, "maxscore" : 1.0 } iii. 串连的JSON对象: { "took": 190, "timedout": false, "total": 1000001, "maxscore": 1.0 } { "took": 191, "timedout": false, "total": 1000002, "maxscore": 1.0 } JSON数组:JSON文件是包含多个JSON对象的数组。 [{ "took" : 190, "timedout" : false, "total" : 1000001, "maxscore" : 1.0 },{ "took" : 191, "timedout" : false, "total" : 1000001, "maxscore" : 1.0 }]
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        文件格式介绍
      • 流程设计
        参数名 说明 更新已有数据 如果所要导入的流程,在DataArts Studio数据架构中已经存在,是否更新已有的流程。支持以下选项: 不更新 :当流程已存在时,将直接跳过,不处理。 更新 :当流程已存在时,更新已有的流程信息。 在导入流程时,只有创建或更新操作,不会删除已有的流程。 上传模板 选择所需导入的流程设计文件。 所需导入的流程设计文件,可以通过以下两种方式获得。 下载流程模板并填写模板: 在“导入配置”页签内,单击“下载流程模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存后,先添加再上传,完成模板上传。模板参数的详细描述请参见下表。 导出的流程 : 您可以将某个DataArts Studio实例的数据架构中已建立的流程设计信息导出到Excel文件中。导出后的文件可用于导入。导出流程的操作请参见上方“导出流程”。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据架构
        数据调研
        流程设计
      • 管理通知
        参数 是否必选 说明 通知范围 是 选择通知的范围: 单个作业:对单个作业发送通知。 所有作业:对所有作业发送通知。 作业名称 是 选择作业。 通知类型 是 选择通知类型: 单个作业: − 运行异常/失败:作业的状态为“运行异常”或“失败”时,发送通知。 − 运行成功:作业的状态为“成功”时,发送通知。 − 未完成:该功能仅支持按天调度的作业配置。如果作业执行时间超过设置的未完成时间,则发送通知。 − 资源繁忙:如果执行作业时,资源繁忙,则发送通知。 所有作业: − 运行异常/失败:作业的状态为“运行异常”或“失败”时,发送通知。 − 资源繁忙:如果执行作业时,资源繁忙,则发送通知。 说明 实时作业只支持状态为 运行异常/失败 时发送通知,批处理作业在状态为运行成功和运行异常/失败时都能发送通知。 选择主题 是 选择通知的消息主题。 说明 当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 开关 是 是否开启通知,默认开启。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        运维调度
        通知管理
        管理通知
      • 批作业监控
        本章节主要介绍作业监控的批作业监控。 批作业监控提供了对批处理作业的状态进行监控的能力。 批处理作业支持作业级别的调度计划,可以定期处理批量数据,主要用于实时性要求低的场景。批作业是是由一个或多个节点组成的流水线,以流水线作为一个整体被调度。被调度触发后,任务执行一段时间必须结束,即任务不能无限时间持续运行。 您可以在“作业监控 > 批作业监控”页面查看批处理作业的调度状态、调度频率、调度开始时间等信息,以及进行如下表所示的操作。 详见下图:批作业监控 批作业监控支持的操作项 序号 支持的操作项 说明 1 根据“作业名”或“责任人名”搜索作业 2 根据“作业是否配置通知”、“调度状态”、“作业标签”或“下次计划时间”范围,筛选作业 3 批量配置作业 通过勾选作业名称前的复选框,支持批量执行操作。 4 查看作业实例状态 单击作业名称前方的,显示“最近的实例”页面,查看该作业最近的实例信息。 5 查看作业的节点信息 单击作业名称,在打开的页面中点击作业节点,查看该节点的相关关联作业/脚本与监控信息。 6 调度作业相关 在作业的“操作”列,支持执行调度、暂停调度、恢复调度、停止调度、调度配置等,详情请参见批作业监控章节中的“调度作业”。 7 通知设置 在作业的“操作”列,选择“更多 > 通知设置”,弹出“新建通知”页面,参考管理通知章节中的通知参数表。 8 实例监控 在作业的“操作”列,选择“更多 > 实例监控”,跳转到实例监控页面,查看该作业所有实例的运行记录。 9 补数据 在作业的“操作”列,选择“更多 > 补数据”,弹出“补数据”对话框,详情请参见批作业监控章节中的“补数据”。 10 添加作业标签 在作业的“操作”列,选择“更多 > 添加作业标签”,弹出“添加作业标签”对话框,详情请参见批作业监控:添加作业标签。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        运维调度
        作业监控
        批作业监控
      • 新建数据库
        参数 是否必选 说明 数据库名称 是 数据库的名称,命名要求如下: DLI:数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 DWS:数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 MRS Hive:只能包含英文字母、数字、“”,只能以数字和字母开头,不能全部为数字,且长度为1~128个字符。 描述 否 数据库的描述信息,填写要求如下: DLI:最大长度为256个字符。 DWS:最大长度为1024个字符。 MRS Hive:最大长度为1024个字符。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        数据管理
        新建数据库
      • 开发Shell脚本
        !/bin/bash select Actions in "begin" "end" "exit" do case $Actions in "begin") echo "start something" break ;; "end") echo "stop something" break ;; "exit") echo "exit" break ;; ) echo "Ignorant" ;; esac done 5. 在编辑器中编辑Shell语句。为了方便脚本开发,数据开发模块提供了如下能力: − 脚本编辑器支持使用如下快捷键,以提升脚本开发效率。 Ctrl + /:注释或解除注释光标所在行或代码块 Ctrl + S:保存 Ctrl + Z:撤销 Ctrl + Y:重做 Ctrl + F:查找 Ctrl + Shift + R:替换 Ctrl + X:剪切,光标未选中时剪切一行 Alt + 鼠标拖动:列模式编辑,修改一整块内容 Ctrl + 鼠标点选:多列模式编辑,多行缩进 Shift + Ctrl + K:删除当前行 Ctrl + →或Ctrl + ←:向右或向左按单词移动光标 Ctrl + Home或Ctrl + End:移至当前文件的最前或最后 Home或End:移至当前行最前或最后 Ctrl + Shift + L:鼠标双击相同的字符串后,为所有相同的字符串添加光标,实现批量修改 − 支持脚本参数功能,使用方法如下: a.在Shell语句中直接写入脚本参数名称和参数值。当Shell脚本被作业引用时,如果作业配置的参数名称与Shell脚本的参数名称相同,Shell脚本的参数值将被作业的参数值替换。 脚本示例如下: a1 echo ${a} 其中,a是参数名称,只支持英文字母、数字、“”、“”、“ ”,最大长度为16字符,且参数名称不允许重名。 b.在编辑器上方配置参数,在执行Shell脚本时,参数会向脚本传递。参数之间使用空格分隔,例如:a b c。此处的“参数”需要在Shell脚本中引用,否则配置无效。 注意 shell脚本中若引用变量请直接使用 args格式,不要使用 {args}格式,否则会导致被作业中同名参数替换。 − 支持设置脚本责任人 单击编辑器右侧的“脚本基本信息”,可设置脚本的责任人和描述信息。 6. 在编辑器上方,单击“运行”。Shell语句运行完成后,在编辑器下方可以查看脚本的执行历史和执行结果。 说明 对于执行结果支持如下操作: 重命名:可通过双击执行结果页签的名称进行重命名,也可通过右键单击执行结果页签的名称,单击重命名。重命名不能超过16个字符。 可通过右键单击执行结果页签的名称关闭当前页签、关闭左侧页签、关闭右侧页签、关闭其它页签、关闭所有页签。 7. 在编辑器上方,单击,保存脚本。 如果脚本是新建且未保存过的,请配置如下表所示的参数。 保存脚本 参数 是否必选 说明 脚本名称 是 脚本的名称,只能包含字符:英文字母、数字、中文、中划线、下划线和点号,且长度小于等于128个字符。 描述 否 脚本的描述信息。 选择目录 是 选择脚本所属的目录,默认为根目录。 说明 如果脚本未保存,重新打开脚本时,可以从本地缓存中恢复脚本内容。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        脚本开发
        开发脚本
        开发Shell脚本
      • 数据目录权限
        本章节主要介绍数据目录权限管理。 约束与限制 仅管理员角色的用户支持创建、删除、修改数据目录权限规则和设置数据目录权限生效状态。 开发者、运维者和访客角色的用户仅支持查看数据目录权限规则和规则列表。 管理数据目录权限规则 1. 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。 详见下图:选择数据目录 2. 选择“数据权限 > 数据目录权限”,单击“新建”,配置数据目录权限规则。 a.规则名称:设置数据权限规则的名称。 b.类型:当前支持从标签、密级和分类的维度进行过滤筛选。 c.范围:选择实际的标签、密级和分类。 d.用户:配置的数据目录权限规则所适配的用户。 e.生效:打开,表示该数据目录权限规则生效。反之,不生效。 说明 数据目录权限规则生效后,仅该数据目录权限规则所适配的用户,可管理限定标签或者分类的数据资产。例如设置类型为标签,范围选择test,用户设置为A,当开启权限规则后,A用户只可管理test标签的资产。 详见下图:新建规则 3. 在数据权限规则列表中,选择对应规则后的编辑和删除,可修改和删除数据权限规则。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据目录
        数据权限
        数据目录权限
      • 批量修改主题/目录/流程
        本章节主要介绍批量修改主题/目录/流程。 批量修改主题 当前仅支持信息架构、关系建模、维度、事实表、汇总表、技术指标模块进行批量修改主题操作,操作流程相同。 此处以批量修改信息架构为例,展示如下: 1.在DataArts Studio数据架构控制台,单击左侧导航栏中的“信息架构”。 2.进入后,在页面选择所需要批量修改主题的项,单击“更多 > 修改主题”,可以将选中的项更改到其它主题。配置完成点击“确定”。 批量修改目录 当前仅支持码表管理、数据标准进行批量修改目录操作。 1.在DataArts Studio数据架构控制台,单击左侧导航栏中的码表管理或数据标准。 2.进入后,在页面选择所需要批量修改目录的项,单击“更多 > 修改目录”,可以将选中的项更改到其它目录。 批量修改流程 当前仅支持业务指标进行批量修改流程操作。 1.在DataArts Studio数据架构控制台,单击左侧导航栏中的业务指标。 2.进入业务指标页面后,在页面选择所需要批量修改流程的指标,单击“更多 > 修改流程”,可以将选中的项更改到其它流程。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据架构
        通用操作
        批量修改主题/目录/流程
      • 1
      • ...
      • 154
      • 155
      • 156
      • 157
      • 158
      • ...
      • 163
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性云主机 ECS

      GPU云主机

      弹性伸缩服务 AS

      天翼云CTyunOS系统

      公共算力服务

      应用托管

      知识库问答

      人脸检测

      人脸活体检测

      推荐文档

      续订

      消费者生产者

      未备案不得提供非经营性互联网信息服务

      《互联网信息服务管理办法》(国务院292号令)

      创建队列

      云课堂 第六课:如何让云主机不放在同一个篮子里

      全面了解天翼云②:Linux下修改MTU值

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号