活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      费用中心_相关内容
      • DDS数据迁移到DWS
        参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 dbdemo 用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”,选择
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        DDS数据迁移到DWS
      • 时间宏变量使用解析
        时间变量宏定义具体展示 假设当前时间为“20171016 09:00:00”,时间变量宏定义具体如下表“时间变量宏定义具体展示”所示。 宏变量 含义 实际显示效果 ${dateformat(yyyyMMdd)} 以yyyyMMdd格式返回当前时间。 20171016 ${dateformat(yyyy/MM/dd)} 以yyyy/MM/dd格式返回当前时间。 2017/10/16 ${dateformat(yyyyMMdd HH:mm:ss)} 以yyyyMMdd HH:mm:ss格式返回当前时间。 20171016 09:00:00 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 以yyyyMMdd HH:mm:ss格式返回时间,时间为当前时间的前一天。 20171015 09:00:00 ${timestamp()} 返回当前时间的时间戳,即1970年1月1日(00:00:00 GMT)到当前时间的毫秒数。 1508115600000 ${timestamp(10, MINUTE)} 返回当前时间点10分钟前的时间戳。 1508115000000 ${timestamp(dateformat(yyyyMMdd))} 返回今天0点的时间戳。 1508083200000 ${timestamp(dateformat(yyyyMMdd,1,DAY))} 返回昨天0点的时间戳。 1507996800000 ${timestamp(dateformat(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 路径和表名的时间宏变量 如下图“源表名和写入目录配置为时间宏变量所示”,如果将: 源端的“表名”配置为“CDM/${dateformat(yyyyMMdd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换,这个作业表示:将Oracle数据库的“SQOOP.CDM20171016”表中数据,迁移到HDFS的“/opt/ttxx/1508115701746”目录中。 图 目前也支持一个表名或路径名中有多个宏定义变量,例如“/opt/ttxx/ {dateformat(yyyyMMdd)}/ {timestamp()}”,经过转换后为“/opt/ttxx/20171016/1508115701746”。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        增量迁移原理介绍
        时间宏变量使用解析
      • 迁移文件时加解密
        本章节主要介绍迁移文件时加解密。 在迁移文件到文件系统时,CDM支持对文件加解密,目前支持以下加密方式: AES256GCM加密 KMS加密 AES256GCM加密 目前只支持AES256GCM(NoPadding)。该加密算法在目的端为加密,在源端为解密,支持的源端与目的端数据源如下。 源端支持的数据源:OBS、FTP、SFTP、HDFS(使用二进制格式传输时支持)、HTTP(适用于OBS共享文件的下载场景)。 目的端支持的数据源:OBS、FTP、SFTP、HDFS(使用二进制格式传输时支持)。 下面分别以OBS导出加密文件时解密、导入文件到OBS时加密为例,介绍AES256GCM加解密的使用方法。其它数据源的使用方法一样。 源端配置解密 创建从OBS导出文件的CDM作业时,源端数据源选择OBS后,在“源端作业配置”的“高级属性”中,配置如下参数。 a.加密方式:选择“AES256GCM”。 b.数据加密密钥:这里的密钥必须与加密时配置的密钥一致,否则解密出来的数据会错误,且系统不会提示异常。 c.初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。 这样CDM从OBS导出加密过的文件时,写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到OBS的作业时,目的端数据源选择OBS后,在“目的端作业配置”的“高级属性”中,配置如下参数。 a.加密方式:选择“AES256GCM”。 b.数据加密密钥:用户自定义密钥,密钥由长度64的十六进制数组成,不区分大小写但必须64位,例如“DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B”。 c.初始化向量:用户自定义初始化向量,初始化向量由长度32的十六进制数组成,不区分大小写但必须32位,例如“5C91687BA886EDCD12ACBC3FF19A3C3F”。 这样在CDM导入文件到OBS时,目的端OBS上的文件便是经过AES256GCM算法加密后的文件。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        迁移文件时加解密
      • OBS数据迁移到DLI服务
        创建OBS连接 1.单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面。 详见下图:选择连接器类型 2.连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建从OBS迁移数据到DLI的任务,如下图“创建OBS到DLI的迁移任务”所示。 作业名称:用户自定义作业名称。 源连接名称:选择创建OBS连接中的“obslink”。 −桶名:待迁移数据所属的桶。 −源目录或文件:待迁移数据的具体路径。 −文件格式:传输文件到数据表时,这里选择“CSV格式”或“JSON格式”。 −高级属性里的可选参数保持默认,详细说明请参见 配置OBS源端参数。 目的连接名称:选择创建DLI连接中的“dlilink”。 −资源队列:选择目的表所属的资源队列。 −数据库名称:写入数据的数据库名称。 −表名:写入数据的目的表。CDM暂不支持在DLI中自动创表,这里的表需要先在DLI中创建好,且该表的字段类型和格式,建议与待迁移数据的字段类型、格式保持一致。 −导入前清空数据:导入数据前,选择是否清空目的表中的数据,这里保持默认“否”。 2.单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM支持迁移过程中转换字段内容。 3.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 作业运行完是否删除:这里保持默认值“不删除”。 4.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        OBS数据迁移到DLI服务
      • 关系数据库增量迁移
        本章节主要介绍关系数据库增量迁移。 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 −适用场景:源端为关系型数据库,目的端没有要求。 −关键配置:Where子句+定时执行作业。 −前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。 Where子句 参数位置:在创建表/文件迁移作业时,如果源端为关系型数据库,那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age < 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支持配置为时间宏变量使用解析,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。 配置样例: 假设数据库表中存在表示时间的列DS,类型为“varchar(30)”,插入的时间格式类似于“2017xxxx”,如下图所示,参数配置如下: 图 表数据 a.Where子句:配置为 DS'${dateformat(yyyyMMdd,1,DAY)}' 。 b.配置定时任务:重复周期为1天,每天的凌晨0点自动执行作业。 这样就可以每天0点导出前一天产生的所有数据。Where子句支持配置多种 时间宏变量使用解析,结合CDM定时任务的重复周期:分钟、小时、天、周、月,可以实现自动导出任意指定日期内的数据。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        增量迁移原理介绍
        关系数据库增量迁移
      • MySQL数据迁移到MRS Hive分区表
        参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mrslink Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 127.0.0.1 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 SIMPLE Hive版本 Hive的版本。根据服务端Hive版本设置。 HIVE3X 用户名 选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Managerviewer的角色权限才能在CDM创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备Manageradministrator或Systemadministrator权限,才能在CDM创建连接。 仅具备Managertenant或Managerauditor权限,无法创建连接。 cdm 密码 访问MRS Manager的用户密码。 OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 运行模式 “HIVE3X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式或者配置不同的Agent。 说明 STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通性。 否 是否使用集群配置 用户可以在“连接管理”处创建集群配置,用于简化Hadoop连接参数配置。 否 属性配置 其他Hive客户端配置属性。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        MySQL数据迁移到MRS Hive分区表
      • 作业配置管理
        CDM集群规格 vCPUs/内存 抽取并发数参考配置 cdm.large 8核16GB 16 cdm.xlarge 16核32GB 32 cdm.4xlarge 64核128GB 128
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        作业配置管理
      • 配置DLI目的端参数
        本章节主要介绍配置DLI目的端参数。 作业中目的连接为配置DLI连接,即将数据导入到数据湖探索服务(DLI)时,目的端作业参数如下表所示。 说明 使用CDM服务迁移数据到DLI时,当前用户需要先开通OBS读取权限。 表 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 cardetail 导入前清空数据 选择导入前是否清空目的表的数据。 如果设置为是,任务启动前会清除目标表中数据。 否 清空数据方式 导入前清空数据,如果设置为true时,呈现此参数。 TRUNCATE:删除标准数据。 INSERTOVERWRITE:新增数据插入,同主键数据覆盖。 TRUNCATE 分区 “导入前清空数据”设置为“是”时,呈现此参数。 填写分区信息后,表示清空该分区的数据。 year2020,locationsun
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置DLI目的端参数
      • 支持云审计的关键操作
        本章节主要介绍支持云审计的关键操作。 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录云数据迁移相关的操作事件,便于日后的查询、审计和回溯。 表 云审计服务支持的CDM操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster 删除集群 cluster deleteCluster 修改集群配置 cluster modifyCluster 开机 cluster startCluster 重启 cluster startStopCluster 导入作业 cluster clusterImportJob 绑定弹性IP cluster bindEip 解绑弹性IP cluster unbindEip 创建连接 link createLink 修改连接 link modifyLink 删除连接 link deleteLink 创建任务 job createJob 修改任务 job modifyJob 删除任务 job deleteJob 启动任务 job startJob 停止任务 job stopJob
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        审计
        支持云审计的关键操作
      • 配置Hive目的端参数
        参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。 单击输入框后面的按钮可进入数据库选择界面。 default 自动创表 只有当源端为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作: 不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。 不自动创建 表名 输入或选择写入数据的目标表名。 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 TBLX 导入前清空数据 选择目的端表中数据的处理方式: 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 是 待清空分区 “导入前清空数据”设置为“是”时,呈现此参数。 填写待清空分区信息后,表示清空该分区的数据。 单分区:year2020,locationsun; 多分区:['year2020,locationsun', 'year2021,locationearth'].
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置Hive目的端参数
      • 配置定时任务
        天 CDM支持配置每几天执行一次作业。 重复周期(天):从开始时间起,每多少天执行一次作业。 有效期:分为开始时间和结束时间。 −开始时间:表示定时配置生效的时间,也是第一次自动执行作业的时间。 −结束时间:该参数是可选参数,表示停止自动执行的时间。如果不配置,则表示一直自动执行。 周 CDM支持配置每几周执行一次作业。 重复周期(周):表示从开始时间起,每多少周执行一次定时任务。 触发时间(天):选择每周几自动执行作业,可单选或多选。 有效期:分为开始时间和结束时间。 −开始时间:表示定时配置生效的时间。 −结束时间:该参数是可选参数,表示停止自动执行的时间。如果不配置,则表示一直自动执行。 月 CDM支持配置每几月执行一次作业。 重复周期(月):从开始时间起,每多少个月自动执行定时任务。 触发时间(天):选择每月的几号执行作业,该参数值取值范围是“1~31”,可配置多个值但不可重复,中间使用“,”分隔。 有效期:分为开始时间和结束时间。 −开始时间:表示定时配置生效的时间。其中的时、分、秒也是每次自动执行的时间。 −结束时间:该参数为可选参数,表示停止自动执行定时任务的时间。如果没有配置,则表示一直自动执行。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置定时任务
      • 配置HBase/CloudTable目的端参数
        参数名 说明 取值样例 表名 写入数据的HBase表名。如果是创建新HBase表,支持从源端拷贝字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 TBL2 导入前清空数据 选择目的端表中数据的处理方式: 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 是 Row key拼接分隔符 可选参数,用于多列合并作为rowkey,默认为空格。 , Rowkey冗余 可选参数,是否将选做Rowkey的数据同时写入HBase的列,默认值“否”。 否 压缩算法 可选参数,创建新HBase表时采用的压缩算法,默认为值“NONE”。 NONE:不压缩。 SNAPPY:压缩为Snappy格式。 GZ:压缩为GZ格式。 NONE WAL开关 选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据,会转换为Byte[]数组(二进制)写入HBase,其他类型的按字符串写入。 如果这几种类型中,有合并做rowkey的,则依然当字符串写入。 该功能作用是:降低存储占用空间,存储更高效;特定场景下rowkey分布更均匀。 否:源端数据库中所有类型的数据,都会按照字符串写入HBase。 否
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置HBase/CloudTable目的端参数
      • 配置DDS目的端参数
        本章节主要介绍配置DDS目的端参数。 作业中目的连接为配置DDS连接,即导入数据到文档数据库服务(DDS)时,目的端作业参数如下表所示。 表 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mongodb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的帐号是否有元数据查询的权限。 COLLECTION
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置DDS目的端参数
      • 配置OpenTSDB源端参数
        本章节主要介绍 配置OpenTSDB源端参数。 作业中源连接为配置CloudTable OpenTSDB连接时,源端作业参数如下表所示。 表 OpenTSDB作为源端时的作业参数 参数名 说明 取值样例 开始时间 查询的起始时间,格式为yyyyMMddHHmmdd的字符串或时间戳。 20180920145505 结束时间 可选参数,查询的终止时间,格式为yyyyMMddHHmmdd的字串或时间戳。 20180921145505 指标 输入迁移哪个指标的数据,或选择OpenTSDB中已存在的指标。 city.temp 聚合函数 输入聚合函数。 sum 标记 可选参数,如果这里有输入标记,则只迁移标记的数据。 tagk1:tagv1,tagk2:tagv2
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置OpenTSDB源端参数
      • 配置OBS目的端参数
        本章节主要介绍配置OBS目的端参数。 作业中目的连接为配置OBS连接时,即导入数据到云服务OBS时,目的端作业参数如下表所示。 高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket2 基本参数 写入目录 写入数据到OBS服务器的目录,目录前面不加“/”。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 directory/ 基本参数 文件格式 写入后的文件格式,可选择以下文件格式: CSV格式:按CSV格式写入,适用于数据表到文件的迁移。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式,适用于文件到文件的迁移。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 基本参数 重复文件处理方式 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复,可选择如下处理方式: 替换重复文件 跳过重复文件 停止任务 跳过重复文件 高级属性 加密方式 选择是否对上传的数据进行加密,以及加密方式: 无:不加密,直接写入数据。 KMS:使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。 AES256GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES256GCM(NoPadding)。该参数在目的端为加密,在源端为解密。 KMS 高级属性 KMS ID 写入文件时加密使用的密钥,“加密方式”选择“KMS”时显示该参数。单击输入框后面的,可以直接选择在数据加密服务中已创建好的KMS密钥。 当使用与CDM集群相同项目下的KMS密钥时,不需要修改下面的“项目ID”参数。 当用户使用其它项目下的KMS密钥时,需要修改下面的“项目ID”参数。 53440ccb3e73470098b571ff5476e621 高级属性 项目ID KMS ID所属的项目ID,该参数默认值为当前CDM集群所属的项目ID。 当“KMS ID”与CDM集群在同一个项目下时,这里的“项目ID”保持默认即可。 当“KMS ID”使用的是其它项目下的KMS ID时,这里需要修改为KMS所属的项目ID。 9bd7c4bd54e5417198f9591bef07ae67 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数,密钥由长度64的十六进制数组成。 请您牢记这里配置的“数据加密密钥”,解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数,初始化向量由长度32的十六进制数组成。 请您牢记这里配置的“初始化向量”,解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 复制ContentType属性 “文件格式”为“二进制”,且源端、目的端都为对象存储时,才有该参数。 选择“是”后,迁移对象文件时会复制源文件的ContentType属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置ContentType属性,所以如果开启了该参数,目的端选择写入的桶时,必须选择非归档存储的桶。 否 高级属性 换行符 文件中的换行符,默认自动识别“n”、“r”或“rn”。“文件格式”为“二进制格式”时该参数值无效。 n 高级属性 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。 , 高级属性 写入文件大小 源端为数据库时该参数才显示,支持按大小分成多个文件存储,避免导出的文件过大,单位为MB。 1024 高级属性 校验MD5值 使用“二进制格式”传输文件时,才能校验MD5值。选择校验MD5值时,无法使用KMS加密。 计算源文件的MD5值,并与OBS返回的MD5值进行校验。如果源端已经存在MD5文件,则直接读取源端的MD5文件与OBS返回的MD5值进行校验。 是 高级属性 记录校验结果 当选择校验MD5值时,可以选择是否记录校验结果。 是 高级属性 校验结果写入连接 可以指定任意一个OBS连接,将MD5校验结果写入该连接的桶下。 obslink 高级属性 OBS桶 写入MD5校验结果的OBS桶。 cdm05 高级属性 写入目录 写入MD5校验结果的目录。 /md5/ 高级属性 编码类型 文件编码类型,例如:“UTF8”或“GBK”。“文件格式”为“二进制格式”时该参数值无效。 GBK 高级属性 使用包围符 “文件格式”为“CSV格式”,才有该参数,用于将数据库的表迁移到文件系统的场景。 选择“是”时,如果源端数据表中的某一个字段内容包含字段分隔符或换行符,写入目的端时CDM会使用双引号(")作为包围符将该字段内容括起来,作为一个整体存储,避免其中的字段分隔符误将一个字段分隔成两个,或者换行符误将字段换行。例如:数据库中某字段为hello,world,使用包围符后,导出到CSV文件的时候数据为"hello,world"。 否 高级属性 首行为标题行 从关系型数据库导出数据到OBS,“文件格式”为“CSV格式”时,才有该参数。 在迁移表到CSV文件时,CDM默认是不迁移表的标题行,如果该参数选择“是”,CDM在才会将表的标题行数据写入文件。 否 高级属性 作业成功标识文件 当作业执行成功时,会在写入目录下生成一个标识文件,文件名由用户指定。不指定时默认关闭该功能。 finish.txt 高级属性 自定义目录层次 选择“是”时,支持迁移后的文件按照自定义的目录存储。即只迁移文件,不迁移文件所归属的目录。 是 高级属性 目录层次 自定义迁移后文件的存储路径,支持时间宏变量。 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 高级属性 自定义文件名 从关系型数据库导出数据到OBS,且“文件格式”为“CSV格式”时,才有该参数。 用户可以通过该参数自定义OBS端生成的文件名,支持以下自定义方式: 字符串,支持特殊字符。例如“cdm
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置OBS目的端参数
      • 配置HBase/CloudTable源端参数
        本章节主要介绍配置HBase/CloudTable源端参数。 作业中源连接为配置HBase连接或配置CloudTable连接时,即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时,源端作业参数如下表所示。 说明 CloudTable或HBase作为源端时,CDM会读取表的首行数据作为字段列表样例,如果首行数据未包含该表的所有字段,用户需要自己手工添加字段。 由于HBase的无Schema技术特点,CDM无法获知数据类型,如果数据内容是使用二进制格式存储的,CDM会无法解析。 从HBase/CloudTable导出数据时,由于HBase/CloudTable是无Schema的存储系统,CDM要求源端数值型字段是以字符串格式存储,而不能是二进制格式,例如数值100需存储格式是字符串“100”,不能是二进制“01100100”。 表 HBase/CloudTable作为源端时的作业参数 参数名 说明 取值样例 表名 导出数据的HBase表名。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 TBL2 列族 可选参数,导出数据所属的列族。 CF1&CF2 切分Rowkey 可选参数,选择是否拆分Rowkey,默认为“否”。 是 Rowkey分隔符 可选参数,用于拆分Rowkey的分隔符,若不设置则不切分。 l 起始时间 可选参数,起始时间(包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间及以后的数据。 该参数支持配置为时间宏变量,使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 20190101 20:00:00 终止时间 可选参数,终止时间(不包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间以前的数据。 该参数支持配置为时间宏变量。 20190201 20:00:00
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置HBase/CloudTable源端参数
      • 配置MySQL源端参数
        本章节主要介绍配置MySQL源端参数。 作业中源连接为配置MySQL数据库连接,源端作业参数如下表所示。 表 MySQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 基本参数 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明 SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如select from table a; select from table b。 不支持with语句。 不支持注释 ,比如"",“/”。 不支持增删改操作,包括但不限于以下操作: load data delete from alter table create table drop table into outfile select id,name from sqoop.user; 基本参数 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMAE 基本参数 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 说明 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 table 高级属性 抽取分区字段 “使用SQL语句”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分区字段名。 说明 抽取分区字段支持CHAR、VARCHAR、LONGVARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型,建议该字段带有索引。 当选择CHAR、VARCHAR、LONGVARCHAR抽取分区字段类型时,字段值不支持ASCII字符代码表之外的字符,不支持中文字符。 id 高级属性 Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 高级属性 分区字段是否允许空值 是否允许分区字段包含空值。 是 高级属性 作业拆分字段 使用该字段将作业拆分为多个子作业并发执行。 高级属性 拆分字段最小值 表示抽取数据时“作业拆分字段”的最小值。 高级属性 拆分字段最大值 表示抽取数据时“作业拆分字段”的最大值。 高级属性 子作业个数 根据“作业拆分字段”的最小值和最大值限定的数据范围,将作业拆分为多少个子作业执行。 高级属性 按表分区抽取 从MySQL导出数据时,支持从分区表的各个分区并行抽取数据。启用该功能时,可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dbatabpartitions 和dbatabsubpartitions 的SELECT权限。 否 说明 MySQL到DWS的场景下,MySQL Binlog方式增量迁移数据功能的使用限制如下: 单个集群在当前版本中只支持一个MySQL Binlog方式的增量迁移任务。 1.当前版本不支持一次性删除、更新万条记录。 2.不支持整库迁移。 3.不支持DDL操作。 4.不支持事件(event)迁移。 5.当选择增量迁移时,源MySQL数据库的“binlogformat”需要设置为“ROW”。 6.当选择增量迁移时,增量迁移过程中如果源MySQL实例,出现因实例跨机迁移或跨机重建等导致的binlog文件ID乱序,可能导致增量迁移数据丢失。 7.当目的表存在主键时,如果重启CDM集群或全量迁移过程中产生增量数据,主键可能会出现重复数据,导致迁移失败。 8.如果目标数据库DWS存在重启行为,会导致迁移失败,需要重启CDM集群重新拉起迁移作业。 MySQL推荐配置如下:
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置MySQL源端参数
      • 新建整库迁移作业
        源端数据库类型 源端参数 参数说明 取值样例 DWS FusionInsight LibrA MySQL PostgreSQL SQL Server Oracle SAPHANA MYCAT 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的帐号是否有元数据查询的权限。 schema DWS FusionInsight LibrA MySQL PostgreSQL SQL Server Oracle SAPHANA MYCAT Where子句 该参数适用于整库迁移中的所有子表,配置子表抽取范围的Where子句,不配置时抽取整表。如果待迁移的表中没有Where子句的字段,则迁移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据。 age > 18 and age < 60 DWS FusionInsight LibrA MySQL PostgreSQL SQL Server Oracle SAPHANA MYCAT 分区字段是否允许空值 选择分区字段是否允许空值。 是 HIVE 数据库名称 待迁移的数据库名称,源连接中配置的用户需要拥有读取该数据库的权限。 hivedb HBASE CloudTable 起始时间 起始时间(包含该值)。格式为'yyyyMMdd hh:mm:ss',支持dateformat时间宏变量函数。例如:"20171231 20:00:00"或"{dateformat(yyyyMMdd, 1, DAY)} 02:00:00"或 {dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} HBASE CloudTable 终止时间 终止时间(不包含该值)。格式为'yyyyMMdd hh:mm:ss',支持dateformat时间宏变量函数。例如:"20180101 20:00:00"或"{dateformat(yyyyMMdd, 1, DAY)} 02:00:00"或" {dateformat(yyyyMMdd HH:mm:ss, 1, DAY)}" Redis 键过滤字符 填写键过滤字符后,将迁移符合条件的键。例如:a,迁移所有: DDS MongoDB 数据库名称 待迁移的数据库名称,源连接中配置的用户需要拥有读取该数据库的权限。 mongodb DDS MongDB 查询筛选 创建用于匹配文档的筛选器。例如: {HTTPStatusCode:{ $ gt:"400",$lt:"500"},HTTPMethod:"GET"} 。 Elasticsearch CSS 索引 待抽取数据的索引,支持配置为通配符,一次迁移多个符合通配符条件的索引。例如这里配置为cdm时,CDM将迁移所有名称为cdm开头的索引:cdm01、cdmB3、cdm45…… 如果源端配置为迁移多个索引时,目的端的作业参数“索引”将不允许配置。 cdm
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        新建整库迁移作业
      • 配置HTTP源端参数
        本章节主要介绍配置HTTP源端参数。 作业中源连接为HTTP连接时,源端作业参数如下表所示。当前只支持从HTTP URL导出数据,不支持导入。 表 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法,从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 列表文件 选择“是”,将待上传的文本文件中所有URL对应的文件拉取到OBS,文本文件记录的是HDFS上的文件路径。 是 列表文件源连接 文本文件存储在OBS桶中,这里需要选择已建立的OBS连接。 obslink 列表文件OBS桶 存储文本文件的OBS桶名称。 obscdm 列表文件或目录 在OBS中存储文本文件文件的自定义目录,多级目录可用“/”进行分隔。 test1 文件格式 当前CDM只支持选择“二进制格式”,不解析文件内容直接传输,不要求原文件格式必须为二进制。 二进制格式 压缩格式 选择对应压缩格式的源文件进行迁移: 无:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 TAR.GZ:表示只传输TAR.GZ格式的文件。 无 压缩文件后缀 压缩格式非无时,显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时,才会执行解压缩操作,否则则保持原样传输。当输入或为空时,所有文件都会被解压。 文件分隔符 传输多个文件时,CDM使用这里配置的文件分隔符来区分各个文件,默认为l。列表文件显示为“是”时,显示该参数。 l QUERY参数 该参数设置为“是”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。 该参数设置为“否”时,上传到OBS的对象使用的对象名,包含query参数。 否 加密方式 如果源端数据是被加密过的,则CDM支持解密后再导出。这里选择是否对源端数据解密,以及选择解密算法: 无:不解密,直接导出。 AES256GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES256GCM(NoPadding)。该参数在目的端为加密,在源端为解密。 AES256GCM 忽略不存在原路径/文件 如果将其设为是,那么作业在源路径不存在的情况下也能成功执行。 否 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数,密钥由长度64的十六进制数组成,且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 初始化向量 “加密方式”选择“AES256GCM”时显示该参数,初始化向量由长度32的十六进制数组成,且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F MD5文件名后缀 校验CDM抽取的文件,是否与源文件一致。 .md5
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置HTTP源端参数
      • 支持的监控指标
        维度 Key Value instanceid 云数据迁移服务实例
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理集群
        监控指标
        支持的监控指标
      • 查看集群基本信息/修改集群配置
        本章节主要介绍查看集群基本信息/修改集群配置。 操作场景 CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群的配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置: 消息通知:CDM的迁移作业(目前仅支持表/文件迁移的作业)失败时,或者EIP异常时,会发送短信或邮件通知用户。 用户隔离:控制其他用户是否能够操作该集群中的迁移作业、连接。 1. 开启该功能时,该集群中的迁移作业、连接会被隔离,云帐号下的其他IAM用户无法操作该集群下的作业、连接。 2. 关闭该功能时,该集群中的迁移作业、连接信息可以用户共享,云帐号下的所有拥有相应权限的IAM用户可以查看、操作。 注意 用户隔离关闭后需要重启集群VM才能生效。 管理CDM集群标签: 支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源,后续在TMS标签系统中可筛选出同一标签的云资源。 说明 一个CDM集群最多可新增10个标签。 前提条件 已创建CDM集群。 查看集群基本信息 1.登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。详见下图:集群列表 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.单击集群名称,可查看集群的基本信息。详见下图:CDM集群的配置信息
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理集群
        查看集群基本信息/修改集群配置
      • 使用DataArts Studio前的准备
        1.创建数据库 在使用DataArts Studio数据集成将数据迁移上云之前,我们需要在目的端数据湖中创建目标数据库。根据数据湖治理落地流程,建议您在数据湖中为SDI层、DWI层、DWR层和DM层分别创建一个数据库,从而对数据进行分层分库。数据分层是后面在数据架构中将涉及到的概念,此处可先简单了解,在数据架构时将深入了解与操作。 您可以参考以下任一一种方式在数据湖中创建数据库。 您可以在DataArts Studio数据开发模块中,可视化方式创建数据库,具体操作请参见“数据开发 > 数据管理 > 新建数据库”章节。 您可以通过在DataArts Studio数据开发模块或数据湖产品的SQL编辑器上,开发并执行用于创建数据库的SQL脚本,从而创建数据库。在DataArts Studio数据开发模块开发脚本的具体操作请参见“数据开发 > 脚本开发 > 开发脚本> 开发SQL脚本”章节;数据湖产品的SQL编辑器上的具体操作请参见对应数据湖产品的帮助文档。 2.创建数据表 在使用DataArts Studio数据集成将数据迁移上云之前,我们需要在目的端数据湖的SDI层数据库中创建一个目标表,用于存储原始数据。批量数据迁移场景下,关系型数据库之间的迁移和关系型数据库到Hive的迁移支持自动创建目标表,这种情况下可以不预先在目的端数据库中创建目标表。 您可以参考以下任一一种方式在数据湖中创建原始数据表。如果表字段个数较多,建议使用编写SQL脚本的方式创建表。 您可以在DataArts Studio数据开发模块中,可视化方式创建数据表,具体操作请参见“数据开发 > 数据管理 > 新建数据表”章节。 您可以通过在DataArts Studio数据开发模块或数据湖产品的SQL编辑器上,开发并执行用于创建数据表的SQL脚本,从而创建数据表。在DataArts Studio数据开发模块开发脚本的具体操作请参见“数据开发 > 脚本开发 > 开发脚本> 开发SQL脚本”章节;数据湖产品的SQL编辑器上的具体操作请参见对应数据湖产品的帮助文档。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        使用DataArts Studio前的准备
      • 添加工作空间成员和角色
        背景信息 如果创建的IAM用户被授权DAYU User权限,则还需要添加工作空间成员和角色,否则会导致IAM用户无法查看已有的DataArts Studio工作空间。 约束与限制 由于鉴权缓存机制的限制,工作空间成员的角色发生变更后,不会直接生效。需要在工作空间成员暂停访问DataArts Studio控制台并等待6分钟后,才能使角色变更生效。 前提条件 修改工作空间的用户账号,需要满足如下任一条件: DAYU Administrator 或Tenant Administrator账号。 DAYU User账号,但为当前工作空间的管理员。 添加成员和角色 步骤 1 参考 访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 步骤 2 在“空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1 空间信息 步骤 3 单击空间成员下的“添加”,在弹出的“添加成员”对话框中选择“按用户添加”或“按用户组添加”,然后从“成员账号”的下拉选项中选择用户或用户组,并设置角色。 图2 添加成员 步骤 4 单击“确定”即可添加成功。添加完成后,您可以在空间成员列表中查看或修改已有的成员和对应角色,也可将空间成员从工作空间中删除。 相关操作 移除空间成员:通过空间编辑进入空间信息页面后,在成员列表中勾选所需移除的成员,单击“移除”。在“移除”对话框中,如果确认要移除成员,请单击“确定”。 说明 工作空间的所有者不能被删除。 图3 移除成员
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        准备工作
        授权用户使用DataArts Studio
        添加工作空间成员和角色
      • 权限控制概述
        同一个Nacos引擎可能会有多个用户共同使用,开启了“安全认证”的Nacos引擎专享版,通过微服务控制台提供的基于RBAC(RoleBased Access Control,基于角色的访问控制)的权限控制功能,使不同的用户根据其责任和权限,具备不同的引擎访问和操作权限。 开启了“安全认证”的Nacos引擎专享版,支持微服务正常接入。 说明 只有引擎版本为2.1.0.1及以上版本支持此功能,若版本低于2.1.0.1,可参考 当Nacos引擎版本为2.1.0升级到2.1.0.1及以上版本时,需要先开启安全认证初始化密钥信息,才可使用权限控制功能。
        来自:
        帮助文档
        微服务引擎
        用户指南
        注册配置中心
        使用注册配置中心
        权限控制
        权限控制概述
      • 软件中心
        如何解决上传软件包失败的问题? 问题描述 上传满足系统要求的软件包后,系统提示“无权限访问,请联系管理员”。 解决方法 步骤 1 在谷歌浏览器中,选择“更多工具 > 清除浏览数据”。 步骤 2 在弹出的清除浏览数据窗口中,保持默认勾选,单击“清除数据”。 如何解决Docker客户端push镜像失败的问题 问题描述 在后台Docker登录成功以后,使用Docker客户端上传镜像包时,例如执行如下命令上传: docker push 10.125.54.133:20202 / test1 /busybox:latest 说明: 10.125.54.133:20202为租户或用户准备上传仓库的IP和端口号。 test1为namespace。 上传失败,Docker客户端出现如下提示: unauthorized: authentication required 解决方法 步骤 1 租户或用户以正确的AK/SK登录Docker客户端。 步骤 2 向本租户或用户下有操作权限的namespace上传镜像,或者更换到新的namespace。 执行如下命令,向本租户或用户下有操作权限的namespace上传镜像。 docker push 10.125.54.133:20202/test2 /busybox:latest 说明: 10.125.54.133:20202为为租户或用户准备上传仓库的IP和端口号。 test2为该租户或用户下有操作权限的namespace。 执行如下命令,更换到新的namespace。 docker push 10.125.54.133:20202/test3 /busybox:latest 说明: 10.125.54.133:20202为为租户或用户准备上传仓库的IP和端口号。 test3为新的namespace。 步骤 2 上传成功后,显示如下: The push refers to a repository [10.125.54.133:20202/test2/busybox] 6a749002dd6a: Pushed latest: digest: sha256:ecb3f3e96e003af6e02f0f47ac4d25a3b0585db54de0a82bb070f8cb78a79bc7 size: 527 出现异常,请联系技术支持工程师。
        来自:
        帮助文档
        微服务云应用平台
        常见问题
        软件中心
      • 企业证件认证
        企业用户可以通过企业证件认证快速完成账号实名认证。 企业证件认证需要提供企业证照,以及法定代表人及被授权人身份证等相关信息,并进行人脸识别。一个企业信息最多可以认证5个天翼云账号(含已注销3个月内的账号)。 注意事项 法定代表人操作需要提供企业营业执照,以及法定代表人身份证信息。 被授权人操作需提供企业营业执照、法定代表人身份证信息、被授权人身份证信息、授权书,提交后需要等待人工审核。 若系统未查询到企业信息,提交后需要等待人工审核。 注意 企业认证需上传营业执照原件。企业证件不能提供原件时,可提供加盖企业公章复印件作为原件使用,公章需加盖在企业证件文字上方,不得加盖在复印件空白处。 操作步骤 1、登录天翼云官网,进入实名认证页面。 2、选择“企业认证”。 3、在企业认证方式选择页面,选择“企业证件认证”。 4、选择企业证件类型,上传企业证件并核对信息。 注意 请务必根据上传的企业证件选择企业证件类型,若类型不匹配,可能导致认证失败。 上传后,系统会自动识别企业信息,若发现企业信息错误,可手动修改。 证件类型可选择以下几种: 5、选择操作人身份,并提供相应证件信息。 (1)法定代表人 选择法定代表人操作时,需要填写法定代表人姓名、身份证号码。 (2)被授权人(非法定代表人) 选择被授权人操作时,需要填写法定代表人姓名及身份证号码、授权书、被授权人姓名及身份证号码。 6、操作人信息填写无误后,勾选“确保提供的信息真实有效”,并点击下方“提交”,系统会弹出“身份认证”二维码对话窗。 7、使用天翼云APP或手机微信扫描二维码(请扫描页面实时弹出的“身份认证”对话框中的二维码,若过期请刷新),按照提示完成验证。 8、人脸识别通过后,系统进行信息校验,根据校验情况反馈结果。 (1)法定代表人操作 校验通过,则完成企业实名认证,跳转实名认证页面,显示已完成企业实名认证。 校验不通过,如信息不一致,则需要修改信息,重新提交校验。 若系统未查询到企业信息,可继续提交,等待人工审核,审核时间为13个工作日。 (2)被授权人操作(非法定代表人) 校验通过,提交后需要等待人工审核,审核时间为13个工作日。 校验不通过,如信息不一致,则需要修改信息,重新提交校验。 若系统未查询到企业信息,可继续提交,等待人工审核,审核时间为13个工作日。 人工审核通过,实名认证页面显示已完成企业实名认证;人工审核不通过,可在实名认证页面查看原因,调整后重新进行企业证件认证。
        来自:
        帮助文档
        账号中心
        操作指南
        实名认证
        企业实名认证
        企业证件认证
      • 企业实名认证
        企业实名认证经办人授权书如何下载? 企业实名认证经办人授权书
        来自:
        帮助文档
        账号中心
        常见问题
        实名认证
        企业实名认证
      • 对公账户打款认证
        企业用户可以通过对公账户打款方式进行实名认证,本文讲述了对公账户打款认证流程。 对公账户打款认证需要您提供一个公司的对公银行账号,天翼云将通过中国银联向此账号里转入随机金额,您在天翼云实名认证页面准确输入到账金额后,即可完成认证。一个企业信息最多可以认证5个天翼云账号(含已注销3个月内的账号)。 注意事项 请准备好企业的银行对公账户。 确保该账户可用,天翼云将向该账户打款。 确保您能直接或间接查询该账户打款信息,需要接收并提交到账金额。 操作步骤 1、登录天翼云官网,进入实名认证页面。 2、选择“企业认证”。 3、在企业认证方式选择页面,选择“对公账户打款认证”。 4、根据页面提示,填写企业信息和银行对公账户信息。 注意 增值税专用发票抬头默认为单位名称,请与贵公司财务人员核实,确保与在税务机关预留的登记信息保持一致,以免影响发票的后续使用。如果选择开户行时,没有找到对应的银行,说明天翼云目前尚不支持向该银行打款。 5、核实您的身份 (1)法定代表人 选择法定代表人操作时,需要填写法定代表人姓名、身份证号码。 (2)被授权人(非法定代表人) 选择被授权人操作时,需要填写法定代表人姓名、授权书、被授权人姓名及身份证号码。 6、身份信息填写无误后,勾选“确保提供的信息真实有效”,并点击下方“下一步”,系统会弹出“身份认证”二维码对话窗。 7、使用天翼云APP或手机微信扫描二维码(请扫描页面实时弹出的“身份认证”对话框中的二维码,若过期请刷新),按照提示完成验证。 8、人脸识别通过后,系统进行信息校验,根据校验情况反馈结果。 (1)法定代表人操作 校验通过,则进入下一步。 校验不通过,如信息不一致,则需要修改信息,重新提交申请。 (2)被授权人操作(非法定代表人) 校验通过,提交后需要等待人工审核,审核时间为13个工作日。 校验不通过,如信息不一致,则需要修改信息,重新提交申请。 人工审核通过,则进入下一步;人工审核不通过,可在实名认证页面查看原因,调整后重新提交申请。 9、信息提交成功后,天翼云将通过中国银联向您的对公账户转入随机金额(0.01元~0.5元,预计将在02天内到账)。 10、请您及时关注并联系对公账户管理员,通过网上银行、手机银行、银行柜台等方式查询到账金额后,您可再回到实名认证页面,输入到账金额,单击“提交认证”,若到账金额输入正确且在有效期内则验证通过,完成实名认证。 说明 随机金额打款账户信息如下: 账户名称:银联商务支付股份有限公司 开户行:银联商务备付金账户 账号:215500709 银行对公账户认证申请7天内有效,超过7天请重新提交认证信息。
        来自:
        帮助文档
        账号中心
        操作指南
        实名认证
        企业实名认证
        对公账户打款认证
      • 通用问题
        本文主要介绍与实名认证相关的常见问题。 如何在官网进行实名认证? 若您的“账号”未进行实名认证,您可在登录官网后,点击右上角人物头像,然后点击“未实名认证”,根据需要进行个人实名认证或企业实名认证。详情可参考:实名认证 官网“账号”的实名认证需要多久时间? 不同的认证方式,需要的时间有不同。正常情况下系统自动认证完成,人工审核需要3个工作日。 一个证件号能认证几个天翼云帐号? 同一证件最多可认证5个天翼云账号(含已注销3个月内的账号),同一证件指身份证、企业营业执照。 实名认证有年龄限制吗? 有年龄限制。禁止18周岁以下的未成年人进行个人或企业实名认证。 说明 同一个企业法人最多可认证10个天翼云账号。 天翼云账号实名认证变更有时间限制吗? 个人认证变更企业认证无时间限制,其他实名认证变更场景需在上次实名认证完成30天后才允许变更。。
        来自:
        帮助文档
        账号中心
        常见问题
        实名认证
        通用问题
      • 没有统一社会信用代码的处理方式
        企业类型 证件类型 证件类型号码 证件号码示例 企业、个体工商户 营业执照 统一社会信用代码 如:123301277766424499 组织机构 组织机构代码证 组织机构代码 如:052663674 事业单位 事业单位法人证书 事证号 如:事证第142020000639号 社会团体 社会团体法人登记证书 社证号 如:(京)社证字第4066号 党政及国家机关 行政执法主体资格证 执法证号 如:(京)执法证字第0000001号 其他(不属于以上几种企业类型时,可选择其他) 其他 证件号 如:000000888
        来自:
        帮助文档
        账号中心
        操作指南
        实名认证
        企业实名认证
        没有统一社会信用代码的处理方式
      • 账号名找回
        本文主要介绍忘记账号名该如何找回。 当用户忘记账号名时,可通过账号登录页面点击“忘记账号”进行账号名找回。 操作流程 1、进入天翼云官网,在账号登录页面点击右下角的“忘记账号”。 2、选择找回方式,根据提示操作,完成账号名找回。 方式一:通过个人信息找回 (1)填写天翼云账号个人实名认证信息:姓名、身份证号。 (2)进行人脸识别,验证身份。 (3)通过后页面显示该身份证下认证的账号信息。 方式二:通过企业信息找回 (1)填写天翼云账号企业认证信息:企业名称、信用代码/组织机构代码,及申诉原因。 (2)输入法人姓名、法人身份证号。 (3)进行法人的人脸识别,验证身份。 (4)通过后页面显示该企业证件下认证的账号信息。 说明 仅针对完成实名认证的账号,才支持找回账号名。
        来自:
        帮助文档
        账号中心
        操作指南
        安全信息管理
        账号名找回
      • 账号登录安全策略说明
        本文主要对账号登录安全策略的几个场景进行了说明。 为了保障您的账号安全,天翼云账号若长期未登录或登录IP发生变动,登录时系统会要求进行短信验证。具体场景如下: 未登录≥180天 账号长时间未登录(≥180天),账号登录时需要进行短信验证。 IP地址发生市级变动 账号登录时,所在IP地址与上一次登录时的IP地址发生了市级及以上变动的,需要进行短信验证。 在海外登录 账号在海外登录,或登录时IP判定为海外IP,登录时需要进行短信验证。 注意 登录前请确保手机号码可正常接收短信验证码。
        来自:
        帮助文档
        账号中心
        操作指南
        安全信息管理
        账号登录安全策略说明
      • 1
      • ...
      • 157
      • 158
      • 159
      • 160
      • 161
      • ...
      • 163
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性云主机 ECS

      GPU云主机

      轻量型云主机

      弹性伸缩服务 AS

      弹性高性能计算 E-HPC

      训推服务

      AI Store

      知识库问答

      人脸检测

      推荐文档

      公司的营业执照名称发生变更怎么办?

      页面顶部

      运维说明

      查看监控信息

      加入会议

      重置密码

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号